CN111540006B - 基于深度迁移学习的植物气孔智能检测与识别方法及系统 - Google Patents
基于深度迁移学习的植物气孔智能检测与识别方法及系统 Download PDFInfo
- Publication number
- CN111540006B CN111540006B CN202010337410.0A CN202010337410A CN111540006B CN 111540006 B CN111540006 B CN 111540006B CN 202010337410 A CN202010337410 A CN 202010337410A CN 111540006 B CN111540006 B CN 111540006B
- Authority
- CN
- China
- Prior art keywords
- image
- optical microscope
- detection
- user
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013508 migration Methods 0.000 title claims abstract description 14
- 230000005012 migration Effects 0.000 title claims abstract description 14
- 238000000879 optical micrograph Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims abstract description 22
- 210000002615 epidermis Anatomy 0.000 claims abstract description 10
- 239000011148 porous material Substances 0.000 claims description 33
- 239000004576 sand Substances 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 210000004027 cell Anatomy 0.000 claims description 8
- 230000006978 adaptation Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000007477 logistic regression Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 210000001339 epidermal cell Anatomy 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 241000196324 Embryophyta Species 0.000 description 23
- 230000000877 morphologic effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 235000009754 Vitis X bourquina Nutrition 0.000 description 2
- 235000012333 Vitis X labruscana Nutrition 0.000 description 2
- 240000006365 Vitis vinifera Species 0.000 description 2
- 235000014787 Vitis vinifera Nutrition 0.000 description 2
- 240000008042 Zea mays Species 0.000 description 2
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000016383 Zea mays subsp huehuetenangensis Nutrition 0.000 description 1
- 230000004103 aerobic respiration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 235000009973 maize Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000243 photosynthetic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000005068 transpiration Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种植物气孔智能检测与识别系统;该系统包括:导入图像模块、气孔检测模块、批量处理与显示模块、模型参数调整模块、显示检测识别详细信息模块。该系统极大地方便了用户对高通量植物表皮的细胞图像中气孔表型性状的分析,模型训练耗时短,用户能通过自定义参数功能最大限度地提高气孔自动检测与识别准确性和可扩展性。本发明还提供基于深度迁移学习的植物气孔智能检测与识别方法;该方法通过将自定义的高通量植物叶表皮的细胞光学显微镜图像集和预训练的YOLOv3网络结构进行深度迁移学习来快速高效地训练模型,根据检测与识别的实际效果让用户参与其中,并进行适当的模型参数调整,从而最大限度地提升检测与识别结果。
Description
技术领域
本发明属于目标检测技术领域,特别涉及基于深度迁移学习的植物气孔智能检测与识别方法及系统。
背景技术
气孔是位于植株表面的开孔,是陆地植物表皮所特有的结构。它是植物与外界环境进行光合碳同化、有氧呼吸产能以及蒸腾散热所必需的水分和气体交换门户,直接影响植物的产量和抗旱性。叶面气孔的形状性状,如分布密度、大小和频率对植物气孔的功能发挥有重要影响,是培育高产抗逆品种一个重要指标。因此,表征气孔的性状具有重要的理论和应用价值,可为提高作物产量和增强作物逆境(干旱,盐度等)的耐受性提供依据。如何快速准确地在光学显微镜图像下识别植物气孔是研究植物气孔生理特征的前提和关键。
在过去的几十年中,主要依靠手动或半自动方法来统计气孔表型性状,没有使气孔识别这一过程自动化。其中,H.Laga,F.Shahinnia,D.Fleury等人曾提出了一种使用模板匹配来检测气孔的框架,然后进行二值化以提取气孔孔径;L.Scarlett,J.Tang,P.Petrie,M.Whitty采用最大稳定外部区域(MSER)来同时检测和定量葡萄气孔。与这些用于估计气孔密度的图像处理方法相比,S.Vialet-Chabrand,O.Brendel采用了一种机器学习方法,该方法利用了基于橡树种类似哈尔特征(Haar-like features)的级联物体检测器(CascadeObject Detector,COD)。同样,N.Dalal,B.Triggs等人采用梯度直方图(Histograms ofOriented Gradients,HOG)特征而不是类似哈尔特征(Haar-Like Features),以减少用于检测葡萄气孔的COD训练时间,并使用二值化来分割气孔孔径。
然而,这些方法来检测植物气孔要求扫描电子显微镜图像具有均匀质地背景。因此,它们不适合具有丰富背景特征的图像。而且,气孔分割也受到二值化的限制。
近几年随着深度学习的高速发展,卷积神经网络已在各种计算机视觉任务上取得不凡的结果。印度理工学院德里分校联合印度农业研究所提出一种深度学习高通量气孔表型自动气孔检测及其量化的框架,其包括:第一步,采用Single Shot Multibox Detector(SSD)处理不同的气孔配置。第二步,涉及从检测到的气孔中提取气孔孔径,但在研究的扫描电子显微镜(光学显微镜)图像数据中,由于较小的气孔而无法完成此分割任务;因此,在分割步骤之前,以检测到的气孔作为输入应用超分辨率卷积神经网络(Super-ResolutionConvolutional Neural Network,SRCNN)方案;这样做是为了增强小气孔结构的可视化。第三步通过利用基于全连接神经网络(Fully Connected Neural Network,FCNN)的深度学习框架,自动化处理包含多个气孔的更具挑战性的图像数据集,而无需事先获得有关气孔参数(数量,形状和大小)的信息,从而有助于进行高通量气孔分析。但是,该方法对小目标,尤其是密集小目标的检测效果不好,而且有时检测结果中会出现重叠框,而且训练耗时且模型泛化能力一般,需要借助人工操作。
发明内容
为了解决现有技术的不足,本发明旨在提供一种能自动且高效准确地对气孔表型性状进行检测和识别、训练耗时短、具有良好的可扩展性和鲁棒性、基于深度迁移学习的植物气孔智能检测与识别方法。
为了实现上述目的,本发明采用的技术方案如下:
一种植物气孔智能检测与识别系统,包括以下模块:
导入图像模块,使得用户从本地文件中选择需要检测和识别的单张光学显微镜图像;
气孔检测模块,系统自动对导入的图像进行气孔检测和识别,以及气孔形态处理计算,并保存处理后的图像和结果文件;
批量处理与显示模块,使得用户从本地文件中选择一个或多个目录下的多张光学显微镜图像,系统自动对导入目录下的所有图像进行气孔检测和识别,以及气孔形态处理计算,并显示批量处理后的全部光学显微镜图像,保存处理后的全部图像和结果文件;
模型参数调整模块,使得用户自定义合适的模型参数;
显示检测与识别详细信息模块,显示检测与识别后的单张光学显微镜图像和该图像中每个气孔的形态计算详细结果。
相应的,本发明还提供一种基于深度迁移学习的植物气孔智能检测与识别的方法,包括如下步骤:
1)将来自导入图像模块的植物叶表皮的细胞扫描光学显微镜图像分成训练集、验证集、测试集,并分别对训练集和验证集进行气孔边界框的人工标注;
2)读取、预处理训练集,使用YOLOv3网络结构对光学显微镜图像进行特征提取和气孔表型性状的边界框预测;
3)采用深度迁移学习,结合YOLOv3网络结构构建预训练模型,对训练集的全部光学显微镜图像进行训练,计算每次迭代的网络模型的损失函数值,直至损失函数值收敛到最小,即保存当前模型;
4)载入训练后的模型,通过气孔检测模块对测试集光学显微镜图像进行气孔检测,并将气孔表型性状的边界框标注的实际情况反馈给用户;
用户通过检测后的图像即可判断边界框标注的实际情况;其中,气孔表型性状的边界框标注的实际情况具体有:在模型检测过程中光学显微镜图像中的所有气孔是否均被边界框框住、一个气孔周围是否被多个边界框框住、气孔表型性状是否被完整且精确地框住。
5)通过模型参数调整模块,用户参与参数调整,对测试集进行检测:若用户对气孔表型性状的检测与识别结果满意,则停止调整参数,计算并得到气孔尺寸、坐标、密度信息,并由显示检测与识别详细信息模块进行信息显示;若不满意,则用户可以根据需要,调整气孔目标最小存在可能性,以及非极大值抑制的大小,并返回步骤4),直至用户满意。
其中,步骤1)具体包括:
(11)根据需要选取n个自交系的m张植物表皮细胞的光学显微镜图像,其中n≥1,m≥1;
(12)将其按照用户指定的图像数量比例分为训练数据集、验证数据集和测试数据集;
(13)利用标注工具LabelImg,对训练数据集和验证数据集的部分光学显微镜图像的所有气孔表型性状进行人工标注边界框;
(14)生成并保存对应的XML标记文件,便于记录每张光学显微镜图像的所有气孔表型性状的边界框坐标。
步骤2)具体包括:
(21)读取训练集全部光学显微镜图像,并根据用户所期望得到的图像目标分辨率,并对图像尺寸进行调整;
(22)将在COCO数据集上的YOLOv3网络结构进行预训练模型、自定义光学显微镜图像训练集分别当作源领域Ds和目标领域Dt;
(23)采用Darknet-53网络结构的前52层,对Ds与Dt进行特征数据混合并提取两个域中的共同特征,得到3个不同尺度的特征图;
(24)通过K均值聚类算法从提取后的特征中确定先验框尺寸大小;
(25)将步骤(23)中得到的3个特征图分别通过k(4+1+c)个大小为11的卷积核进行边界框的位置预测,其中k为预设边界框,即初始聚类中心,c为预测目标的类别数;
(26)建立领域自适应,在步骤(23)和(25)间加入自适应层使得Ds和Dt的特征分布更加接近,计算Ds和Dt的距离为Lst;
(27)每个边界框都预测一组类别,并采用逻辑回归作分类器预测每个类别置信度分数,并设置一个阈值,比阈值高的类别即为该边界框真正的类别;
(28)预测3种不同尺寸下的边界框,并输出张量为:
N×N×[3(boffset+s+c)],其中N×N为网格数,boffset为边框坐标,s为边界框置信度得分。
步骤3)具体包括:
(31)设置全部训练集的训练所需的迭代轮数为p,一次读入的光学显微镜图像数量为q张,其中p≥1,q≥1;
(32)将步骤(26)得到的Lst加入到损失函数中,计算每轮迭代的网络模型的损失函数值;
(33)重复步骤(32),直至得到的损失函数值最小,即保存该模型。
本发明具有的有益效果为:
1.本发明通过将自定义的高通量植物叶表皮的细胞光学显微镜图像集和预训练的YOLOv3网络结构进行深度迁移学习来快速高效地训练模型,根据检测与识别的实际效果让用户参与其中,并进行适当的模型参数调整,提高用户对气孔表形态分析和密度计算的效率,降低了模型的训练时间,极大地方便了用户对气孔表型性状的分析,用户能通过自定义参数功能最大限度地提高气孔检测与识别准确性和可扩展性。
2.本发明基于该检测与识别方法的检测与识别系统界面设计简洁,操作简易,易于实现,适合各类用户的使用。
附图说明
图1为本发明气孔检测与识别结果的气孔检测界面;
图2为本发明批量显示后的结果展示界面;
图3为本发明的方法流程图。
附图标记:1.待检测图像;2.气孔检测模块;3.导入图像模块;4.批量处理与显示模块;5.模型参数调整模块;6.显示检测与识别详细信息模块。
具体实施方式
如图1-2所示,本发明提供一种植物气孔智能检测与识别的系统,包括:导入图像模块3、气孔检测模块2、批量处理与显示模块4、模型参数调整模块5和显示检测与识别详细信息模块6。
导入图像模块3,使得用户从本地文件中选择待检测和识别的单张光学显微镜图像。
气孔检测模块2,系统自动对导入的图像进行气孔检测和识别,以及气孔表型性状形态学处理计算,并保存处理后的图像和详细信息结果TXT格式文件。
批量处理与显示模块4,使得用户从本地文件中选择一个或多个目录下的多张光学显微镜图像,系统自动对导入目录下的所有图像进行气孔检测和识别,以及气孔表型性状形态学处理计算,并显示批量处理后的全部光学显微镜图像,其中,批量显示结果如图2所示;保存处理后的全部图像和气孔检测后的详细信息结果为TXT格式文件。
模型参数调整模块5,使得用户自定义合适的模型参数,包括气孔最小存在可能性、NMS参数。
显示检测与识别详细信息模块6,显示检测与识别后的单张光学显微镜图像和该图像中每个气孔的形态学计算详细结果,包括气孔的尺寸、坐标、数量、所有宽高的中位数。
如图3所示,本发明还提出基于深度迁移学习的植物气孔智能检测与识别的方法,包括步骤:
1)、将来自导入图像模块3的植物表皮的细胞扫描光学显微镜图像分成训练数据集、验证数据集、测试数据集,并分别对训练集和验证集进行气孔的人工标注边界框。具体实现步骤如下:
(11)根据需要选取n(n≥1)个自交系的m(m≥1)张植物叶表皮的细胞光学显微镜图像,可选取的是100个玉米自交系共550张叶表皮的细胞光学显微镜图像,分辨率为2736×1824;
(12)将其按照用户指定的图像数量比例(比例值可为4:1:1)分为训练数据集(360张),验证数据集(97张)和测试数据集(93张);
(13)利用标注工具LabelImg,对训练数据集和验证数据集的部分光学显微镜图像的所有气孔表型性状进行人工标注Bbox;
(14)生成并保存对应的XML标记文件便于记录每张光学显微镜图像的所有气孔表型性状的Bbox坐标。
2)、读取、预处理训练集,采用深度迁移学习,使用改进的YOLOv3网络结构对光学显微镜图像进行特征提取和气孔表型性状的Bbox预测;
常用的目标检测技术分为One-Stage和Two-Stage,Two-Stage即两步走策略,先进行区域推荐,后进行目标分类,此类虽然检测准确性较高,但算法的训练耗时长。而One-Stage即端到端策略,只使用一个网络,其网络训练速度比Two-Stage快很多,且更重要的是能学到物体的泛化特征。本发明采用的YOLOv3网络结构是在One-Stage传统结构的基础上,增强了对小目标的检测,尤其是较密集的目标。
为了降低计算门槛,提高对气孔表型性状检测与识别的准确性,本发明采用深度迁移学习的思想,并结合YOLOv3网络结构对密度高、尺寸小的植物气孔表型性状进行快速精确检测。具体实现步骤如下:
(21)读取训练集全部光学显微镜图像,并根据用户所期望得到的图像目标分辨率,对图像尺寸进行相应调整。
(22)将在COCO数据集上的YOLOv3网络结构预训练模型、自定义光学显微镜图像训练集分别当作源领域Ds和目标领域Dt。
(23)采用Darknet-53网络结构的前52层即没有全连接层,对Ds与Dt进行特征数据混合并提取两个域中的共同特征;
为了降低池化带来的梯度负面效果,YOLOv3网络结构摒弃了所有的池化层,网络全部由卷积神经网络构成,并大量使用残差网络的跳层连接,利用步长为2的卷积核来实现降采样。为了加强对小目标检测的精确度,YOLOv3网络结构中采用类似特征金字塔网络(Feature Pyramid Networks,FPN)的上采样和融合做法,在多个尺度的特征图上做检测,最后输出了3个不同尺度的特征图。
(24)通过K-均值(K-means)聚类算法从提取后的特征中确定先验框(Anchor Box,Abox)尺寸大小,得到3个不同尺度的特征图;
Abox和Bbox均为常用的标记或检测手段,其中Bbox包含目标对象的中心坐标、宽高、目标置信度,而Abox只包含最可能存在目标对象的宽高。Abox需要事先通过聚类得到,假设对某一像素单元预测出一个Bbox,则围绕该像素单元可以预测出无数种Bbox的形状,但是这种预测需要参考Abox的大小,即从已标注的数据集中通过聚类计算到的最有可能的Bbox的形状;
一般计算样本点到质心的距离的时候直接算的是两点之间的距离,然后将样本点划归为与之距离最近的一个质心,但考虑到不同Bbox的尺寸形状,采用改进版的K均值聚类算法在训练集的光学显微镜图像中确定Abox的尺寸大小。实现的具体步骤为:
(24-1)从训练数据集中选取k个初始聚类中心(质心),默认取k为3;
(24-2)计算每个样本框Bbox与质心的相似程度(Intersection over Union,IoU),构造一种距离函数d,将最小的d值对应的样本框划归到质心,包括以下过程:
(24-3)计算两个Bbox间的交并比(IoU),即
其中Sa和Sb代表两个不同的Bbox的面积,公式(1)表明:两个不同Bbox的重叠面积越大,预测准确性越高,一般而言,IoU≥0.5即满足检测;
(24-4)构造一种合适的相似程度判断标准d,将最小值d对应的样本框划归为质心;
基于(1)式计算,即
d(bi,centroid)=1-IoU(bi,bcluster),1≤i≤m (2)
其中bi为候选样本Bbox,bcluster为已划分的簇,即已标注的Bbox,公式(2)表明:d越小,bi与bcluster越类似,并将最小的bi,1≤i≤m划归为bcluster;
(24-5)更新质心,反复执行(24-3)-(24-4)过程,直至质心不再变化;
结合(2)式,计算每个bcluster中样本框总数并取均值,然后更新bcluster质心,不断重复(24-3)-(24-4)过程,直至质心不再变化,即聚类结束;
(24-6)保存聚类得到的Abox尺寸大小。
(25)在步骤(23)中得到的3个特征图分别通过k(4+1+c)个大小为11的卷积核进行Bbox的位置预测,其中k为预设边界框(Bounding Box Prior),即步骤(24-1)中的初始聚类质心,c为预测目标的类别数。
(26)建立领域自适应(Domain Adaptation),在步骤(23)和(25)间加入自适应层使得Ds和Dt的特征分布更加接近,计算Ds和Dt的距离为Lst。
(27)每个Bbox都预测一组类别,并采用逻辑回归(Logistic Regression,LR)作分类器预测每个类别置信度分数,并设置一个阈值,比阈值高的类别即为该Bbox真正的类别;
LR用于对Abox包围的部分进行一个目标存在可能性性评分(Objectness Score,OS),即这块位置是目标的可能性有多大,然后从9个候选Abox中找到OS最高的。
(28)预测3种不同尺寸下的Bbox,并输出张量为
N×N×[3(boffset+s+c)],其中N×N为网格数,boffset为边框坐标,s为Bbox置信度得分。
3)、对训练集的全部光学显微镜图像进行训练,计算每次迭代的网络模型的损失(Loss)函数值大小,直至Loss值收敛到最小,即保存当前模型;
使用两块8G显存的Nvidia Quadro M4000 GPU训练24小时,具体实现步骤如下:
(31)设置迭代轮数(Epoch)为100,一次读入的光学显微镜图像量(Batch-size)为8张;
(32)将步骤(26)得到的Lst加入到Loss函数中,计算每轮迭代的网络模型的Loss函数值;
(33)重复步骤(32),直至得到的Loss函数值最小,即保存该模型。
4)、载入训练后的模型,通过气孔检测模块2对测试集光学显微镜图像进行气孔的检测,并将气孔表型性状的Bbox标注的实际情况反馈给用户;
用户通过检测后的图像即可判断Bbox标注的实际情况;其中,气孔表型性状的Bbox标注的实际情况具体有:在模型检测过程中光学显微镜图像中的所有气孔是否均被Bbox框住、一个气孔周围是否被多个Bbox框住、气孔表型性状是否被完整且精确地框住。
5)、通过模型参数调整模块5,用户参与参数调整,对测试集进行检测:若用户对气孔表型性状的检测与识别结果满意,则停止调整参数,计算并得到气孔尺寸、坐标、密度信息,并由显示检测与识别详细信息模块6进行信息显示;若不满意,则用户可以根据需要,调整气孔目标最小存在可能性,以及非极大值抑制的大小,并返回步骤4),直至用户满意。
仿真实验:
本发明的方法及系统用仿真实验给予进一步的展示,以500个自交系的玉米叶表皮的细胞光学显微镜图像库中的第102系的全部光学显微镜图像进行批量处理,并将第103系别图形库的第一张图像U-103-1.tif作为用户选择并导入的待检测图像1;其中,仿真结果如图1-2所示。
如图1所示的气孔检测界面中,左上角显示用户从光学显微镜图像库中选择U-103-1.tif作为待检测图像1,在模型参数调整模块5中设置气孔最小存在可能性为25%,NMS为0.35,点击“气孔检测”,即可在检测与识别系统的显示检测与识别详细信息模块6得到该光学显微镜图像所有气孔的检测与识别结果;其中,右上部分为检测与识别后得到每个气孔的检测边界框,每个边界框上均标注该气孔的宽高数据,而右下部分为每个气孔检测后的详细数据,如每个气孔存在可能性、坐标、尺寸以及该图像中检测到的气孔总数和气孔宽高中位数。图2表示用户第102系的全部光学显微镜图像进行批量处理后的部分检测与识别结果图。
根据图1和图2所示,本发明的植物气孔智能检测与识别方法有较高的准确性和提供较全面的气孔表型性状形态学信息。该检测与识别的系统界面设计简洁,操作简易,适合各类用户的使用。
Claims (3)
1.一种基于深度迁移学习的植物气孔智能检测与识别的方法,其特征在于:所述方法依据的检测与识别系统包括:
导入图像模块,使得用户从本地文件中选择需要检测和识别的单张光学显微镜图像;
气孔检测模块,系统自动对导入的图像进行气孔检测和识别,以及气孔形态处理计算,并保存处理后的图像和结果文件;
批量处理与显示模块,使得用户从本地文件中选择一个或多个目录下的多张光学显微镜图像,系统自动对导入目录下的所有图像进行气孔检测和识别,以及气孔形态处理计算,并显示批量处理后的全部光学显微镜图像,保存处理后的全部图像和结果文件;
模型参数调整模块,使得用户自定义合适的模型参数;
显示检测与识别详细信息模块,显示检测与识别后的单张光学显微镜图像和该图像中每个气孔的形态计算详细结果;
所述方法的实现包括如下步骤:
1)将来自导入图像模块的植物叶表皮的细胞扫描光学显微镜图像分成训练集、验证集、测试集,并分别对训练集和验证集进行气孔边界框的人工标注;
2)读取、预处理训练集,使用YOLOv3网络结构对光学显微镜图像进行特征提取和气孔表型性状的边界框预测;具体包括:
(21)读取训练集全部光学显微镜图像,并根据用户所期望得到的图像目标分辨率,并对图像尺寸进行调整;
(22)将在COCO数据集上的YOLOv3网络结构进行预训练模型、自定义光学显微镜图像训练集分别当作源领域Ds和目标领域Dt;
(23)采用Darknet-53网络结构的前52层,对Ds与Dt进行特征数据混合并提取两个域中的共同特征,得到3个不同尺度的特征图;
(24)通过K均值聚类算法从提取后的特征中确定先验框尺寸大小;
实现的具体步骤为:
(24-1)从训练数据集中选取k个初始聚类质心,默认取k为3;
(24-2)计算每个样本框Bbox与质心的相似程度,构造一种距离函数d,将最小的d值对应的样本框划归到质心,包括以下过程:
(24-3)计算两个样本框Bbox间的交并比IoU,即
其中Sa和Sb代表两个不同的样本框Bbox的面积;其中,两个不同Bbox的重叠面积越大,预测准确性越高;
(24-4)构造一种合适的相似程度判断标准d,将最小值d对应的样本框划归为质心;
根据公式(1)计算,即
d(bi,centroid)=1-IoU(bi,bcluster),1≤i≤m, (2)
其中bi为候选样本Bbox,bcluster为已划分的簇,即已标注的Bbox;其中d越小,bi与bcluster越类似,并将最小的bi,1≤i≤m划归为bcluster;
(24-5)更新质心,反复执行(24-3)-(24-4)过程,直至质心不再变化;
具体为:结合(2)式,计算每个bcluster中样本框总数并取均值,然后更新bcluster质心,不断重复(24-3)-(24-4)过程,直至质心不再变化,即聚类结束;
(24-6)保存聚类得到的Abox尺寸大小;
(25)将步骤(23)中得到的3个特征图分别通过k(4+1+c)个大小为11的卷积核进行边界框的位置预测,其中k为预设边界框,即初始聚类中心,c为预测目标的类别数;
(26)建立领域自适应,在步骤(23)和(25)间加入自适应层使得Ds和Dt的特征分布更加接近,计算Ds和Dt的距离为Lst;
(27)每个边界框都预测一组类别,并采用逻辑回归作分类器预测每个类别置信度分数,并设置一个阈值,比阈值高的类别即为该边界框真正的类别;
(28)预测3种不同尺寸下的边界框,并输出张量为:
N×N×[3(boffset+s+c)],其中N×N为网格数,boffset为边框坐标,s为边界框置信度得分;
3)采用深度迁移学习,结合YOLOv3网络结构构建预训练模型,对训练集的全部光学显微镜图像进行训练,计算每次迭代的网络模型的损失函数值,直至损失函数值收敛到最小,即保存当前模型;
4)载入训练后的模型,通过气孔检测模块对测试集光学显微镜图像进行气孔检测,并将气孔表型性状的边界框标注的实际情况反馈给用户;
用户通过检测后的图像即可判断边界框标注的实际情况;其中,气孔表型性状的边界框标注的实际情况具体有:在模型检测过程中光学显微镜图像中的所有气孔是否均被边界框框住、一个气孔周围是否被多个边界框框住、气孔表型性状是否被完整且精确地框住;
5)通过模型参数调整模块,用户参与参数调整,对测试集进行检测:若用户对气孔表型性状的检测与识别结果满意,则停止调整参数,计算并得到气孔尺寸、坐标、密度信息,并由显示检测与识别详细信息模块进行信息显示;若不满意,则用户可以根据需要,调整气孔目标最小存在可能性,以及非极大值抑制的大小,并返回步骤4),直至用户满意。
2.根据权利要求1所述的植物气孔智能检测与识别方法,其特征在于:步骤1)具体包括:
(11)根据需要选取n个自交系的m张植物表皮细胞的光学显微镜图像,其中n≥1,m≥1;
(12)将其按照用户指定的图像数量比例分为训练数据集、验证数据集和测试数据集;
(13)利用标注工具LabelImg,对训练数据集和验证数据集的部分光学显微镜图像的所有气孔表型性状进行人工标注边界框;
(14)生成并保存对应的XML标记文件,便于记录每张光学显微镜图像的所有气孔表型性状的边界框坐标。
3.根据权利要求1所述的植物气孔智能检测与识别方法,其特征在于:步骤3)具体包括:
(31)设置全部训练集的训练所需的迭代轮数为p,一次读入的光学显微镜图像数量为q张,其中p≥1,q≥1;
(32)将步骤(26)得到的Lst加入到损失函数中,计算每轮迭代的网络模型的损失函数值;
(33)重复步骤(32),直至得到的损失函数值最小,即保存该模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010337410.0A CN111540006B (zh) | 2020-04-26 | 2020-04-26 | 基于深度迁移学习的植物气孔智能检测与识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010337410.0A CN111540006B (zh) | 2020-04-26 | 2020-04-26 | 基于深度迁移学习的植物气孔智能检测与识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111540006A CN111540006A (zh) | 2020-08-14 |
CN111540006B true CN111540006B (zh) | 2021-03-30 |
Family
ID=71980054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010337410.0A Active CN111540006B (zh) | 2020-04-26 | 2020-04-26 | 基于深度迁移学习的植物气孔智能检测与识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111540006B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112052836B (zh) * | 2020-10-09 | 2024-01-26 | 南京农业大学 | 一种植物叶片气孔开闭状态的实时监测系统及方法 |
CN112215355B (zh) * | 2020-10-09 | 2024-09-13 | 广东弓叶科技有限公司 | 神经网络模型优化系统及方法 |
CN112270341A (zh) * | 2020-10-15 | 2021-01-26 | 西安工程大学 | 一种融合迁移学习与深度学习的口罩检测方法 |
CN112699967B (zh) * | 2021-01-18 | 2024-03-12 | 武汉大学 | 一种基于改进深度神经网络的远距离机场目标检测方法 |
CN112784927B (zh) * | 2021-02-09 | 2022-03-04 | 中国人民解放军国防科技大学 | 一种基于在线学习的半自动图像标注方法 |
CN112949517B (zh) * | 2021-03-09 | 2022-11-22 | 河南大学 | 基于深度迁移学习的植物气孔密度和开度识别方法及系统 |
CN113506263A (zh) * | 2021-07-07 | 2021-10-15 | 东北林业大学 | 基于卷积神经网络的植物叶片气孔孔隙解剖参数测量方法 |
CN114359743B (zh) * | 2022-03-21 | 2022-06-21 | 华中科技大学 | 一种基于多波段的低慢小目标识别方法及系统 |
CN114913523B (zh) * | 2022-05-30 | 2024-02-20 | 河南大学 | 基于yolox的植物气孔多功能实时智能识别系统 |
-
2020
- 2020-04-26 CN CN202010337410.0A patent/CN111540006B/zh active Active
Non-Patent Citations (6)
Title |
---|
Microscope image based fully automated stomata detection and pore measurement method for grapevines;Hiranya Jayakody 等;《Plant Methods》;20171231;全文 * |
Segmenting High-quality Digital Images of Stomata using the Wavelet Spot Detection and the Watershed Transform;Duarte K 等;《Science and Technology Publications》;20171231;全文 * |
单子叶作物叶片气孔自动识别与计数技术;孙壮壮 等;《农业工程学报》;20191130;第35卷(第23期);第170-172页,图1 * |
基于YOLO的目标检测算法设计与实现;阮激扬;《中国优秀硕士学位论文全文数据库(电子期刊)》;20190815;全文 * |
基于增强Tiny YOLOV3算法的车辆实时检测与跟踪;刘军 等;《农业工程学报》;20190430;第35卷(第8期);全文 * |
基于改进YOLO深度卷积神经网络的缝纫手势检测;王晓华 等;《纺织学报》;20200415;第41卷(第4期);第145页,表2 * |
Also Published As
Publication number | Publication date |
---|---|
CN111540006A (zh) | 2020-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111540006B (zh) | 基于深度迁移学习的植物气孔智能检测与识别方法及系统 | |
CN110310259B (zh) | 一种基于改进YOLOv3算法的木结瑕疵检测方法 | |
CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
CN108830326B (zh) | 一种mri图像的自动分割方法及装置 | |
CN109509187B (zh) | 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法 | |
CN109977780A (zh) | 一种基于深度学习算法的硅藻的检测与识别方法 | |
CN103518224B (zh) | 用于分析微生物生长的方法 | |
CN114998220B (zh) | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 | |
CN112949517B (zh) | 基于深度迁移学习的植物气孔密度和开度识别方法及系统 | |
CN104156734A (zh) | 一种基于随机蕨分类器的全自主在线学习方法 | |
Liu et al. | Deep learning based research on quality classification of shiitake mushrooms | |
CN104268552B (zh) | 一种基于部件多边形的精细类别分类方法 | |
CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
CN110929746A (zh) | 一种基于深度神经网络的电子卷宗标题定位提取与分类方法 | |
CN114463843A (zh) | 一种基于深度学习的多特征融合鱼类异常行为检测方法 | |
CN116563205A (zh) | 基于小目标检测和改进YOLOv5的麦穗计数检测方法 | |
CN116665054A (zh) | 一种基于改进YOLOv3的遥感影像小目标检测方法 | |
CN113989536A (zh) | 一种基于布谷鸟搜索算法的番茄病害识别方法 | |
CN106326914B (zh) | 一种基于svm的珍珠多分类方法 | |
CN114818931A (zh) | 一种基于小样本元学习的水果图像分类方法 | |
CN114882204A (zh) | 船名自动识别方法 | |
CN110188662A (zh) | 一种水表数字的ai智能识别方法 | |
CN113569737A (zh) | 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质 | |
CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |