CN116109840A - 一种基于机器视觉的樱桃孢子识别方法 - Google Patents
一种基于机器视觉的樱桃孢子识别方法 Download PDFInfo
- Publication number
- CN116109840A CN116109840A CN202310368440.1A CN202310368440A CN116109840A CN 116109840 A CN116109840 A CN 116109840A CN 202310368440 A CN202310368440 A CN 202310368440A CN 116109840 A CN116109840 A CN 116109840A
- Authority
- CN
- China
- Prior art keywords
- spore
- feature
- cherry
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000167854 Bourreria succulenta Species 0.000 title claims abstract description 34
- 235000019693 cherries Nutrition 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 241000233866 Fungi Species 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000000877 morphologic effect Effects 0.000 claims abstract description 6
- 238000002156 mixing Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 36
- 238000002372 labelling Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 6
- 206010027146 Melanoderma Diseases 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 241000221198 Basidiomycota Species 0.000 claims description 3
- 241000813090 Rhizoctonia solani Species 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 abstract description 6
- 238000004220 aggregation Methods 0.000 abstract description 6
- 239000012535 impurity Substances 0.000 abstract description 6
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000003708 edge detection Methods 0.000 abstract description 2
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 229920000742 Cotton Polymers 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- QXJJQWWVWRCVQT-UHFFFAOYSA-K calcium;sodium;phosphate Chemical compound [Na+].[Ca+2].[O-]P([O-])([O-])=O QXJJQWWVWRCVQT-UHFFFAOYSA-K 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002538 fungal effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000008223 sterile water Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 244000052616 bacterial pathogen Species 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004820 blood count Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007865 diluting Methods 0.000 description 1
- 239000003085 diluting agent Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010828 elution Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000002504 physiological saline solution Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及一种基于机器视觉的樱桃孢子识别方法,属于机器学习领域,针对樱桃孢子的图像聚集、粘连等很难达到检测的高准确率,所采集的图像含有多杂质和气泡很难通过改善特征提取的方式将这些干扰项与真菌孢子区分开来。经智能孢子捕捉仪器捕捉、孢子洗脱、图像获取、图像预处理等步骤。针对樱桃孢子形态,选择孢子的多个形态特征参数,作为樱桃孢子的分类依据。通过对图像进行特征提取,然后将输出的特征进行候选区域预测,采用基于数据分析的单模型训练+多模型融合的策略进行目标的检测与识别,在孢子粘连、聚集、杂质、气泡等去遮挡操作、孢子图像融合、边缘检测和基于均衡化的孢子图像增强等操作使得最终准确率、混效率等有了有效提升。
Description
技术领域
本发明涉及机器学习领域。具体为一种基于机器视觉的樱桃孢子识别方法。
背景技术
近年来针对樱桃生长环境生长状态的无损检测技术、数字图像处理技术以及小型无人机在田中的广泛应用,为樱桃状况实时识别提供了新的技术手段。针对樱桃病害可分为侵染性病害和非侵染性病害研究,侵染性病害是由细菌、真菌或者病毒对作物的侵入而造成危害,非侵染性病害主要包括无害孢子以及樱桃本身孢子。因此分离鉴定真菌孢子,对正确识别不同类型的孢子,进而识别因此引起的不同病害,从而采取相应的防治措施和观察樱桃发育情况具有重要意义。
针对目前孢子检测技术有多种方法,可以通过结合傅里叶描述子和K-means算法实现对粘连孢子的准确分割识别;基于BP神经网络并引入弹性算法Rprop,对于Rprop神经网络提取的孢子边缘检测;利用机器视觉技术和支持向量机对孢子进行判别和分类。
目前现有技术对于孢子的识别分类,主要是通过人为设计孢子的特征提取方法、增加特征的提取方式和丰富性和适度来提升检测的准确率。针对樱桃孢子的图像聚集、粘连等很难达到检测的高准确率。同时所采集的图像信息含有多杂质和气泡,很难通过改善特征提取的方式将这些干扰项与真菌孢子区分开来,也很难区分樱桃孢子的侵染性孢子和非侵染性孢子。本申请对孢子检测中粘连、杂质、聚集问题提出相应的解决方案。
发明内容
本发明为了解决背景技术中存在的问题,目的在于提供了一种基于机器视觉的樱桃孢子识别方法,本发明公开了一种基于机器视觉的樱桃孢子识别类型算法,包括数据集建立、特征提取机构、检测算法等基于机器学习的方法。针对樱桃孢子的图像聚集、粘连等很难达到检测的高准确率,同时所采集的图像信息含有多杂质和气泡很难通过改善特征提取的方式将这些干扰项与真菌孢子区分开来。经过智能孢子捕捉仪器捕捉、孢子洗脱、图像获取、图像预处理等步骤。针对樱桃孢子形态,选择孢子的最小外接矩形长宽比、轮廓面积、周长、椭圆度4个形态特征参数,作为樱桃孢子的分类依据。通过Faster RCNN模型对图像进行特征提取,然后将输出的特征采用RPN网络进行候选区域预测,采用基于数据分析的单模型训练+多模型融合的策略进行目标的检测与识别。
用于解决问题的方案
一种基于机器视觉的樱桃孢子识别方法,所述方法包括:
对多个含有标注信息的彩色图像样本进行特征提取处理,得到多个含有特征信息的特征图像;
对多个含有特征信息的特征图像进行数据预处理及特征增强处理,得到特征增强处理后的图像样本及全局学习率;所述全局学习率用于目标检测和目标分类;
基于全局学习率,利用单模型训练+多模型融合策略进行目标检测处理,得到召回率;
选择召回率大于百分之五十的特征增强处理后的图像样本,进行分辨率转换处理后输入至决策分类模型中,输出孢子分类结果。
进一步,对多个含有标注信息的彩色图像样本进行特征提取处理之前,所述方法还包括:
获取孢子样品彩色图像;
对图像进行信息标注处理,得到含有标注信息的彩色图像样本;
对含有标注信息的彩色图像样本进行数据集扩充处理,得到多个含有标注信息的彩色图像样本。
进一步,对多个含有特征信息的特征图像预处理及特征增强处理,具体包括:
对多个含有特征信息的特征图像进行灰度化处理,得到灰度化处理后的多个含有特征信息的特征图像;
对灰度化处理后的多个含有特征信息的特征图像进行图像滤波降噪处理,得到滤波降噪处理后的多个含有特征信息的特征图像;
对滤波降噪处理后的多个含有特征信息的特征图像进行图像边缘增强处理,得到预处理后的多个图像样本;
对预处理后的多个图像样本进行混合处理,生成混合后的图像样本;
对混合后的图像样本中的特征点进行平滑处理,得到平滑处理后的图像样本;
对平滑处理后的图像样本进行全局特征搜索处理,得到全局学习率。
进一步,选取的单模型包括:Faster RCNN、ATSS、FCOS、CENTERNET和YOLOV3-V5中的其中之一。
进一步,采用RankOfExperts、NMW、WBF、swExpansion、swWeightedAvg、swConfidenceBoost方法中的其中之一对融合模型进行全局搜索,得到评估值;基于评估值选择最优的模型对目标进行检测,得到召回率。
进一步,对混合后的图像样本中的特征点进行平滑处理,具体包括:
通过Prewitt算子,利用像素点上下、左右邻点的灰度差,在边缘处达到极值检测边缘,去掉部分伪边缘;在图像空间利用两个方向模板与图像进行邻域卷积,上述两个方向模板一个检测水平边缘,一个检测垂直边缘;
对数字图像f(*,y),Prewitt算子的定义如下:
G(i)=|[f(i-1,j-1)+f(i-1,j)+f(i-1,j+1)]-[f(i+1,j-1)+f(i+1,j)+f(i+1,j+1)];
G(j)=|[f(i-1,j+1)+f(i,j+1)+f(i+1,j+1)]-[f(i-1,j-1)+f(i,j-1)+f(i+1,j-1)];
则P(i,j)=ma*[G(i),G(j)]或P(i,j)=G(i)+G(j);
选择阈值T,若P(i,j)≥T,则(i,j)为边缘点,P(i,j)为边缘图像。
进一步,使用labelme软件对于拍摄的图像进行标注,对担子真菌、立枯丝核菌、褐腐病菌、黑斑病真菌和灰霉菌孢子进行标记,标记信息包括真菌孢子边界框的左上角、右下角的坐标及其类别,得到含有标注信息的彩色图像样本。
进一步,通过对标记图像进行镜像、旋转、尺度变换、随机抠取和色彩抖动,得到多个含有标注信息的彩色图像样本。
进一步,所述进行特征提取处理,具体为:
对樱桃孢子形态,选择孢子的最小外接矩形长宽比、轮廓面积、周长、椭圆度4个形态特征参数,作为樱桃孢子的分类依据。
有益效果:
上述技术方案的有益效果在于:
本孢子识别类型算法在孢子粘连、聚集、杂质、气泡等去遮挡操作、孢子图像融合、边缘检测和基于均衡化的孢子图像增强等操作使得最终准确率、混效率等有了有效提升。
Faster RCNN通过两阶段加上RPN,实现高精度的检测性能。相较于其他一阶段的检测网络,两阶段的网络更加的精准,更加可以解决多尺度、小目标问题。FasterRCNN在多个数据集上表现优秀,且容易进行迁移,对数据集中的目标类进行更改就可以很好的改变测试模型。
附图说明
图1为本发明整体流程图;
图2为单模型训练+多模型融合策略检测流程图;
图3为Faster RCNN算法的网络结构;
图4为算法整体流程执行图。
具体实施方式
下面结合实施例描述本发明具体实施方式:
需要说明的是,本说明书所示意的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
实施例1:
如图1所示,为本发明的整体流程图;本实施例包括以下步骤:
1.数据集建立:
1.1智能孢子捕捉仪器:
仪器选用郑州欧柯奇仪器制造有限公司OK-BZ3型固定式孢子捕捉仪,专门收集随空气流动而传播的病原菌孢子及花粉尘粒。该设备主要由孢子捕捉装置、孢子承载装置、图像采集装置、网络传输模块、电源与防雷系统组成。该设备利用现代光电数控技术,实现远程自动捕捉各种花粉和孢子信息,供用户对田间孢子情况进行了解,为现代农业提供服务,满足病情预测预报及标本采集的需要,及时防治病害发生。
1.2孢子洗脱:
超净台上,把含有孢子的灭菌玻璃珠倾入试管斜面上,加5ml无菌生理盐水,换棉塞为灭菌胶塞。轻轻将灭菌玻璃球表面孢子刮下,通过细胞筛子过滤至50ml尖底离心管里,瓶中预先放置数粒无菌玻璃球,充分振摇后用灭菌的脱脂棉进行过滤,并用无菌水冲洗滤渣2-3次,将孢子悬浊液用无菌水稀释至10-2、10-3,吸取适量的稀释液至16中格血球计数板在高倍显微镜下不断调节微调螺旋观察,取左上、在下、右上、右下的4个中格(即100小格)的孢子数计数。盖好盖子封口膜缠好放4度冰箱内,用前漩涡振荡器上混匀。
1.3 图像获取:
图像获取采用Nikon公司Biopipeline LIVE/PLATE/SLIDE型号显微镜,搭载载玻片loader,可实现多样品载玻片的图像获取、分析等功能,可实现最多120片载玻片连续成像,成像倍数采用1200倍成像。使用步骤如下:1.31.将孢子悬浊液通过灭菌滴管加入血球计数板放入显微镜载物台;1.32.通过显微镜梯度算法对拍摄区域自动对焦;1.33.启动拍摄并将拍摄图像上传至系统;1.34.重复1.31、1.32、1.33步拍摄。
1.4 图像标记:
使用labelme软件对于拍摄的图像进行标注,对担子真菌(木腐病)、立枯丝核菌(炭疽病)、褐腐病菌(褐腐病)、黑斑病真菌(黑斑病)、灰霉菌(灰霉病)等孢子进行标记。标记信息包括真菌孢子边界框的左上角、右下角的坐标及其类别。
1.5 数据集扩充:
通过对标记图像进行镜像、旋转、尺度变换、随机抠取、色彩抖动,可以提高随机改变训练样本可以降低模型对某些属性的依赖,从而提高模型的泛化能力。
2.特征提取结构:
针对樱桃孢子形态,选择孢子的最小外接矩形长宽比、轮廓面积、周长、椭圆度4个形态特征参数,作为樱桃孢子的分类依据。
2.1图像灰度化:
图像包含的色彩识别度不高,而后续对孢子的识别计数主要依据其形态特征参数,与其色彩识别度无关。因此,将RGB三通道的色彩空间图转换为单通道的灰色图像,以缩短后续的处理时间,提高处理效率。
利用OpenCV库中的cvtColor函数实现孢子图像从RGB三通道图像转换成单通道灰度图像的过程。
灰度转化所采用的公式为:Gray=(R+G+B)/3。
2.2图像滤波降噪:
为滤除孢子图像中的噪声,提高图像质量,降低后续的特征提取难度,选择进行滤波处理降噪。双边滤波与高斯滤波器相比,对于图像的边缘信息能过更好的保存,所选用双边滤波器内核为7×7时,降噪效果最好,同时对孢子图像的边缘轮廓保护更好,无边缘轮廓等信息丢失严重的现象。
2.3图像边缘增强:
可通过Prewitt算子利用像素点上下、左右邻点的灰度差,在边缘处达到极值检测边缘,去掉部分伪边缘,对噪声具有平滑作用。其原理是在图像空间利用两个方向模板与图像进行邻域卷积来完成的,这两个方向模板一个检测水平边缘,一个检测垂直边缘。对数字图像f(x,y),Prewitt算子的定义如下:
G(i)=|[f(i-1,j-1)+f(i-1,j)+f(i-1,j+1)]-[f(i+1,j-1)+f(i+1,j)+f(i+1,j+1)];
G(j)=|[f(i-1,j+1)+f(i,j+1)+f(i+1,j+1)]-[f(i-1,j-1)+f(i,j-1)+f(i+1,j-1)];
则 P(i,j)=max[G(i),G(j)]或 P(i,j)=G(i)+G(j);
选择适当的阈值T,若P(i,j)≥T,则(i,j)为边缘点,P(i,j)为边缘图像。
通过上述流程可以增强孢子图像的边缘、细节等信息,可以极大程度的改善图像的清晰度。
3.单模型训练+多模型融合策略检测:
本方法采用单模型训练+多模型融合策略实现对目标的目标检测,具体流程示意图2所示:
本识别模型选取的单模型包括但不限于:
Faster RCNN,ATSS,FCOS,CENTERNET,YOLOV3-V5等,并对上述模型进行单体调优,调优策略包括但不限于以下:
3.1.混合训练数据:
3.2.标签平滑化:
3.3.特征增强及特征搜索:(该学习率可用于目标检测模型的学习率);
3.31.构建backbone网络;
3.32.构造优化器SGD优化器,lr=begin_lr;
3.33.选择数据准备阶段的第一组数据作为训练数据,创建train_dataloader(transformer='torch_valid'默认值);
3.34.初始化loss_record=[];lr_record=[];
3.35.循环以下操作:
训练一个batch;
训练loss添加到loss_record;
优化器当前的lr添加到lr_record:更新学习率;
如果训练次数>=max_step:停止循环;
如果训练次数>200:
对loss_record做平滑操作;tmp_loss_record=get_smooth(lossrecord);
如果tmp_loss_record[-1]-tmp_loss_record[0]>2 and(tmp_loss record[0]-最小loss)/(tmp_loss_record[0]-最小loss)>2:停止循环;
3.36.根据loss_record和lr_record搜索最大学习率max_lr;
4.融合模型搜索策略:
采用RankOfExperts、NMW、WBF、swExpansion、swWeightedAvg、swConfidenceBoost等方法对融合模型进行全局搜索,选择最优的目标模型对目标进行检测。
5.选择算法对目标进行深度检测,以Faster RCNN为例:
图像自动检测方法的主要过程是:输入一张原始孢子图像、检测孢子的类别和对应的边界框类别,通过CNN模型对图像进行特征提取,随后进行特征增强,分辨率调整,融合模型搜索、选择,然后将输出的特征采用RPN网络进行候选区域预测,并用预测到的候选区域边框对特征图进行Fast RCNN中的RoI Pooling操作,最终达到孢子的检测和定位。
RoI Pooling层的输入数据由两部分组成,一部分是区域建议,另一部分是卷积神经网络输出的特征图。RoI Pooling层的作用是将区域建议映射到特征图上,得到该区域建议在特征图上的区域,并将所有区域建议大小不同的特征图处理成相同的尺寸,作为下一层全连接层的输入。RoIPooling层加速了算法训练和测试的速度,并保证了整体算法结构能够实现端到端的训练。
在主干特征提取网络中Bottleneck首先压缩通道,再通过特征提取后再次拓张通道,可以更好的提取特征和加深整个网络和减少参数量。使用resnet50()函数来获得resnet50的公用特征层,其中features部分为公用特征层,classifier部分为第二阶段用到的分类器。
class ResNet(nn.Module):
def __init__(self, block, layers, num_classes=1000):
# 假设输入进来的图片是600,600,3
self.inplanes = 64
super(ResNet, self).__init__()
# 600,600,3 ->300,300,64
self.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2,padding=3, bias=False)
self.bn1 = nn.BatchNorm2d(64)
self.relu = nn.ReLU(inplace=True)
# 300,300,64 ->150,150,64
self.ma*pool = nn.Ma*Pool2d(kernel_size=3, stride=2, padding=0, ceil_mode=True)
# 150,150,64 ->150,150,256
self.layer1 = self._make_layer(block, 64, layers[0])
# 150,150,256 ->75,75,512
self.layer2 = self._make_layer(block, 128, layers[1], stride=2)
# 75,75,512 ->38,38,1024 到这里可以获得一个38,38,1024的共享特征层
self.layer3 = self._make_layer(block, 256, layers[2], stride=2)
# self.layer4被用在classifier模型中
self.layer4 = self._make_layer(block, 512, layers[3], stride=2)
获得的公用特征层在图像中就是Feature Map,可以和ROIPooling结合使用或者进行一次3*3的卷积后,进行一个18通道的1*1卷积,还有一个36通道的1*1卷积。在Faster-RCNN中先验框为9,9*4的卷积用于预测公用特征层上每一个网格点上每一个先验框的变化情况。9*2的卷积用于预测公用特征层上每一个网格点上每一个预测框内部是否包含了物体,序号为1的内容为包含物体的概率。输入的图片的shape是600*600*3的时候,公用特征层的shape就是38*38*1024,相当于把输入进来的图像分割成38*38的网格,9*4的卷积的结果会对这些先验框进行调整,获得一个新的框。9*2的卷积会判断上述获得的新框是否包含物体。
可以获得38*38*9个先验框的预测结果,9**4的卷积*用于预测*公用特征层上*每一个网格点上*每一个先验框的变化情况。9***2的卷积*用于预测*公用特征层上*每一个网格点上*每一个预测框内部是否包含了物体。对于Proposal建议框对图片哪一个区域有物体存在进行初步筛选,然后再对每个建议框再进行Resnet原有的第五次压缩。压缩完后进行一个平均池化,再进行一个Flatten,最后分别进行一个num_classes的全连接和(num_classes)*4全连接。num_classes的全连接用于对最后获得的框进行分类,(num_classes)*4全连接用于对相应的建议框进行调整。
图4为算法整体流程执行图。
6.分辨率搜索:
候选分辨率为[224,448],用一个小的backbone网络上同时用224和448的分辨率同步训练m个epoch;
每个epoch结束时,如果用224的分辨率验证集acc>threshold,则使用224分辨率并停止搜索;
每个epoch结束时,如果448分辨率验证集acc-244分辨率验证集acc>threshold2,使用448分辨率并停止搜索;
若训练完m个epoch,都没满足停止搜索的条件,则使用224分辨率;
7.根据召回率将目标检测模型进入判别模型进行结果预测(Embedding网络训练):
7.1 训练准备tran_prepare:
预处理数据list,根据datasize和num_k_folds(=5)计算对数据做拆分的split_num, 并拆分;
选择num_k_folds个train和valid组合;
根据数据集大小选择合适的base_batch_size;
再根据(base_batch_size,networklist,input_size,num_classes,gpus,val_file,数据增强策略)确定每个network的batch_size和使用的gpu个数;
7.2 逐个backbone网络训练 swa_train:
7.21学习率搜索:
与数据增强查找lr的aug_lr_search方法相同;
网络结构用的是当前需要训练的backbone网络的;
train_loader用的是当前backbone网络对应的fold的数据,数据增强策略使用查找到的最优aug_policy;
注:Backbone网络包括:efficientnet-b3,efficientnet-b1,inception_v3,mpncovresnet101,mpncovresnet50;
7.22SWA训练:
7.221.构造train_loader,valid_loader;训练集的transform和input_size采用前面搜索到的值,验证集的transformer ='torch_valid'(默认值),input_szie用搜索到的值;
7.222.构建backbone网络得到model;
7.223.构建基于SWA的SGD优化器:optimizer=SWA(SGD(lr=max_lr));
cyclic_scheduler = CyclicLR(base_lr=max_lr/5,max_lr=max_lr);
7.224.开始逐个epoch训练;
a.训练一个epoch:
训练过程逐batch训练,每个batch训练完后:optimizer.zero_grad(),optimizer.step();
根据num_swa_update_per_epoch(=2)控制在特定的batch更新swa权重optimizer.update_swa(),保证在一个epoch里更新的间隔相同;
b. cyclic_scheduler.step()
c.if(epoch+1)%val_interval==0:
validate()得到验证loss和acc
7.225. optimizer.swap_swa_sgd();
7.226. optimizer.bn_update(train_loader, model, device =settings.device);
7.227.最后验证validate()得到验证loss和acc,并保存;
7.228.返回模型存储地址和验证集acc;
每次学习率循环结束时产生的局部最小值趋向于在损失面的边缘区域累积,这些边缘区域上的损失值较小。通过对几个这样的点取平均,很有可能得到一个甚至更低损失的、全局化的通用解。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
Claims (9)
1.一种基于机器视觉的樱桃孢子识别方法,其特征在于,所述方法包括:
对多个含有标注信息的彩色图像样本进行特征提取处理,得到多个含有特征信息的特征图像;
对多个含有特征信息的特征图像进行数据预处理及特征增强处理,得到特征增强处理后的图像样本及全局学习率,所述全局学习率用于目标检测和目标分类;
基于全局学习率,利用单模型训练+多模型融合策略进行目标检测处理,得到召回率;
选择召回率大于百分之五十的特征增强处理后的图像样本,进行分辨率转换处理后输入至决策分类模型中,输出孢子分类结果。
2.根据权利要求1所述的一种基于机器视觉的樱桃孢子识别方法,其特征在于,对多个含有标注信息的彩色图像样本进行特征提取处理之前,所述方法还包括:
获取孢子样品彩色图像;
对图像进行信息标注处理,得到含有标注信息的彩色图像样本;
对含有标注信息的彩色图像样本进行数据集扩充处理,得到多个含有标注信息的彩色图像样本。
3.根据权利要求1所述的一种基于机器视觉的樱桃孢子识别方法,其特征在于,对多个含有特征信息的特征图像预处理及特征增强处理,具体包括:
对多个含有特征信息的特征图像进行灰度化处理,得到灰度化处理后的多个含有特征信息的特征图像;
对灰度化处理后的多个含有特征信息的特征图像进行图像滤波降噪处理,得到滤波降噪处理后的多个含有特征信息的特征图像;
对滤波降噪处理后的多个含有特征信息的特征图像进行图像边缘增强处理,得到预处理后的多个图像样本;
对预处理后的多个图像样本进行混合处理,生成混合后的图像样本;
对混合后的图像样本中的特征点进行平滑处理,得到平滑处理后的图像样本;
对平滑处理后的图像样本进行全局特征搜索处理,得到全局学习率。
4.根据权利要求1所述的一种基于机器视觉的樱桃孢子识别方法,其特征在于,选取的单模型包括:Faster RCNN、ATSS、FCOS、CENTERNET和YOLOV3-V5中的其中之一。
5.根据权利要求1所述的一种基于机器视觉的樱桃孢子识别方法,其特征在于,
采用RankOfExperts、NMW、WBF、swExpansion、swWeightedAvg、swConfidenceBoost方法中的其中之一对融合模型进行全局搜索,得到评估值;基于评估值选择最优的模型对目标进行检测,得到召回率。
6.根据权利要求1所述的一种基于机器视觉的樱桃孢子识别方法,其特征在于,对混合后的图像样本中的特征点进行平滑处理,具体包括:
通过Prewitt算子,利用像素点上下、左右邻点的灰度差,在边缘处达到极值检测边缘,去掉部分伪边缘;在图像空间利用两个方向模板与图像进行邻域卷积,上述两个方向模板一个检测水平边缘,一个检测垂直边缘;
对数字图像f(*,y),Prewitt算子的定义如下:
G(i)=|[f(i-1,j-1)+f(i-1,j)+f(i-1,j+1)]-[f(i+1,j-1)+f(i+1,j)+f(i+1,j+1)];
G(j)=|[f(i-1,j+1)+f(i,j+1)+f(i+1,j+1)]-[f(i-1,j-1)+f(i,j-1)+f(i+1,j-1)];
则P(i,j)=ma*[G(i),G(j)]或P(i,j)=G(i)+G(j);
选择阈值T,若P(i,j)≥T,则(i,j)为边缘点,P(i,j)为边缘图像。
7.根据权利要求1所述的一种基于机器视觉的樱桃孢子识别方法,其特征在于,使用labelme软件对于拍摄的图像进行标注,对担子真菌、立枯丝核菌、褐腐病菌、黑斑病真菌和灰霉菌孢子进行标记,标记信息包括真菌孢子边界框的左上角、右下角的坐标及其类别,得到含有标注信息的彩色图像样本。
8.根据权利要求1所述的一种基于机器视觉的樱桃孢子识别方法,其特征在于,通过对标记图像进行镜像、旋转、尺度变换、随机抠取和色彩抖动,得到多个含有标注信息的彩色图像样本。
9.根据权利要求1所述的一种基于机器视觉的樱桃孢子识别方法,其特征在于,所述进行特征提取处理,具体为:
对樱桃孢子形态,选择孢子的最小外接矩形长宽比、轮廓面积、周长、椭圆度4个形态特征参数,作为樱桃孢子的分类依据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310368440.1A CN116109840B (zh) | 2023-04-10 | 2023-04-10 | 一种基于机器视觉的樱桃孢子识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310368440.1A CN116109840B (zh) | 2023-04-10 | 2023-04-10 | 一种基于机器视觉的樱桃孢子识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116109840A true CN116109840A (zh) | 2023-05-12 |
CN116109840B CN116109840B (zh) | 2023-08-29 |
Family
ID=86262347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310368440.1A Active CN116109840B (zh) | 2023-04-10 | 2023-04-10 | 一种基于机器视觉的樱桃孢子识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116109840B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117407833A (zh) * | 2023-10-30 | 2024-01-16 | 山东农业大学 | 基于神经网络的农作物致病孢子识别自动监测系统及方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564124A (zh) * | 2018-04-13 | 2018-09-21 | 山东农业大学 | 一种基于支持向量机的稻瘟病菌孢子显微图像检测识别方法 |
CN109961049A (zh) * | 2019-03-27 | 2019-07-02 | 东南大学 | 一种复杂场景下香烟品牌识别方法 |
US20200340901A1 (en) * | 2019-04-24 | 2020-10-29 | The Regents Of The University Of California | Label-free bio-aerosol sensing using mobile microscopy and deep learning |
CA3092375A1 (en) * | 2019-09-05 | 2021-03-05 | Beescanning Global Ab | Method for calculating deviation relations of a population |
CN113516054A (zh) * | 2021-06-03 | 2021-10-19 | 三峡大学 | 一种载木车辆检测识别及跟踪方法 |
GB202112652D0 (en) * | 2021-09-06 | 2021-10-20 | Xrapid Env Inc | System and method for identifying and counting biological species |
CN114049621A (zh) * | 2021-11-10 | 2022-02-15 | 石河子大学 | 一种基于Mask R-CNN的棉花顶尖识别检测方法 |
CN114067298A (zh) * | 2021-11-18 | 2022-02-18 | 石河子大学 | 一种基于Faster R-CNN的棉花顶尖识别方法 |
CN114067109A (zh) * | 2022-01-13 | 2022-02-18 | 安徽高哲信息技术有限公司 | 谷物检测方法及检测设备、存储介质 |
CN114202643A (zh) * | 2021-11-03 | 2022-03-18 | 西安工程大学 | 基于多传感融合的苹果叶部病害识别终端及方法 |
CN115713715A (zh) * | 2022-11-22 | 2023-02-24 | 天津安捷物联科技股份有限公司 | 一种基于深度学习的人体行为识别方法及识别系统 |
-
2023
- 2023-04-10 CN CN202310368440.1A patent/CN116109840B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564124A (zh) * | 2018-04-13 | 2018-09-21 | 山东农业大学 | 一种基于支持向量机的稻瘟病菌孢子显微图像检测识别方法 |
CN109961049A (zh) * | 2019-03-27 | 2019-07-02 | 东南大学 | 一种复杂场景下香烟品牌识别方法 |
US20200340901A1 (en) * | 2019-04-24 | 2020-10-29 | The Regents Of The University Of California | Label-free bio-aerosol sensing using mobile microscopy and deep learning |
CA3092375A1 (en) * | 2019-09-05 | 2021-03-05 | Beescanning Global Ab | Method for calculating deviation relations of a population |
US20210073528A1 (en) * | 2019-09-05 | 2021-03-11 | Beescanning Global Ab | Method for calculating deviation relations of a population |
CN113516054A (zh) * | 2021-06-03 | 2021-10-19 | 三峡大学 | 一种载木车辆检测识别及跟踪方法 |
GB202112652D0 (en) * | 2021-09-06 | 2021-10-20 | Xrapid Env Inc | System and method for identifying and counting biological species |
WO2023031622A1 (en) * | 2021-09-06 | 2023-03-09 | xRapid Environment Inc. | System and method for identifying and counting biological species |
CN114202643A (zh) * | 2021-11-03 | 2022-03-18 | 西安工程大学 | 基于多传感融合的苹果叶部病害识别终端及方法 |
CN114049621A (zh) * | 2021-11-10 | 2022-02-15 | 石河子大学 | 一种基于Mask R-CNN的棉花顶尖识别检测方法 |
CN114067298A (zh) * | 2021-11-18 | 2022-02-18 | 石河子大学 | 一种基于Faster R-CNN的棉花顶尖识别方法 |
CN114067109A (zh) * | 2022-01-13 | 2022-02-18 | 安徽高哲信息技术有限公司 | 谷物检测方法及检测设备、存储介质 |
CN115713715A (zh) * | 2022-11-22 | 2023-02-24 | 天津安捷物联科技股份有限公司 | 一种基于深度学习的人体行为识别方法及识别系统 |
Non-Patent Citations (4)
Title |
---|
刘惠;冀荣华;祁力钧;马伟;高春花;: "基于PCA和BP神经网络的万寿菊黑斑病孢子识别", 中国农业大学学报, no. 06 * |
张迎: "基于深度学习的真菌孢子检测算法研究", 《中国优秀硕士论文全文数据库》, pages 37 - 39 * |
方晨晨;石繁槐;: "基于改进深度残差网络的番茄病害图像识别", 计算机应用, no. 1 * |
李鑫铭;赵磊;邵宝民;王栋;: "一种新的基于形态学与Yolov3算法的显微镜图像中孢子识别方法", 智能计算机与应用, no. 05 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117407833A (zh) * | 2023-10-30 | 2024-01-16 | 山东农业大学 | 基于神经网络的农作物致病孢子识别自动监测系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116109840B (zh) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109800824B (zh) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 | |
CN115601374B (zh) | 一种染色体图像分割方法 | |
CN112926410B (zh) | 目标跟踪方法、装置、存储介质及智能视频系统 | |
US8509526B2 (en) | Detection of objects in digital images | |
CN112200045B (zh) | 基于上下文增强的遥感图像目标检测模型建立方法及应用 | |
CN109460754B (zh) | 一种水面异物检测方法、装置、设备及存储介质 | |
CN111079620B (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
CN111027481B (zh) | 基于人体关键点检测的行为分析方法及装置 | |
CN114300099B (zh) | 一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法 | |
CN113781455B (zh) | 宫颈细胞图像异常检测方法、装置、设备及介质 | |
CN114067186B (zh) | 一种行人检测方法、装置、电子设备及存储介质 | |
CN114945941A (zh) | 用于支持肿瘤检测和分析的非肿瘤分割 | |
CN116109840B (zh) | 一种基于机器视觉的樱桃孢子识别方法 | |
CN113744195B (zh) | 一种基于深度学习的hRPE细胞微管自动检测方法 | |
CN114120317B (zh) | 基于深度学习和图像处理的光学元件表面损伤识别方法 | |
CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
CN113221731B (zh) | 一种多尺度遥感图像目标检测方法及系统 | |
CN115641364B (zh) | 基于胚胎动力学参数的胚胎分裂周期智能预测系统及方法 | |
CN111738114A (zh) | 基于无锚点精确采样遥感图像车辆目标检测方法 | |
CN114240822A (zh) | 基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法 | |
CN112733747A (zh) | 一种缓解阀拉杆脱落故障的识别方法、系统及装置 | |
CN113837154B (zh) | 一种基于多任务辅助的开放集过滤系统及方法 | |
CN113887455A (zh) | 一种基于改进fcos的人脸口罩检测系统及方法 | |
CN112288765A (zh) | 一种用于车载红外行人检测跟踪的图像处理方法 | |
CN112991281A (zh) | 视觉检测方法、系统、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |