CN111105393B - 一种基于深度学习的葡萄病虫害识别方法及装置 - Google Patents
一种基于深度学习的葡萄病虫害识别方法及装置 Download PDFInfo
- Publication number
- CN111105393B CN111105393B CN201911169056.9A CN201911169056A CN111105393B CN 111105393 B CN111105393 B CN 111105393B CN 201911169056 A CN201911169056 A CN 201911169056A CN 111105393 B CN111105393 B CN 111105393B
- Authority
- CN
- China
- Prior art keywords
- image
- pest
- grape
- disease
- characteristic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 96
- 201000010099 disease Diseases 0.000 title claims abstract description 83
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 63
- 235000009754 Vitis X bourquina Nutrition 0.000 title claims abstract description 44
- 235000012333 Vitis X labruscana Nutrition 0.000 title claims abstract description 44
- 235000014787 Vitis vinifera Nutrition 0.000 title claims abstract description 44
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 240000006365 Vitis vinifera Species 0.000 title 1
- 241000219095 Vitis Species 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 60
- 241000238631 Hexapoda Species 0.000 claims abstract description 37
- 230000006378 damage Effects 0.000 claims abstract description 21
- 230000003902 lesion Effects 0.000 claims description 39
- 238000012706 support-vector machine Methods 0.000 claims description 28
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 241000345998 Calamus manan Species 0.000 claims description 11
- 241000196324 Embryophyta Species 0.000 claims description 11
- 235000013399 edible fruits Nutrition 0.000 claims description 11
- 235000012950 rattan cane Nutrition 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 7
- 239000002689 soil Substances 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 10
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 239000000463 material Substances 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 8
- 241000219094 Vitaceae Species 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 235000021021 grapes Nutrition 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 102100025444 Gamma-butyrobetaine dioxygenase Human genes 0.000 description 2
- 101000934612 Homo sapiens Gamma-butyrobetaine dioxygenase Proteins 0.000 description 2
- 235000006679 Mentha X verticillata Nutrition 0.000 description 2
- 235000002899 Mentha suaveolens Nutrition 0.000 description 2
- 235000001636 Mentha x rotundifolia Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- OLBCVFGFOZPWHH-UHFFFAOYSA-N propofol Chemical compound CC(C)C1=CC=CC(C(C)C)=C1O OLBCVFGFOZPWHH-UHFFFAOYSA-N 0.000 description 2
- 229960004134 propofol Drugs 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 241000277331 Salmonidae Species 0.000 description 1
- 206010039509 Scab Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/162—Segmentation; Edge detection involving graph-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的葡萄病虫害识别方法,包括以下步骤:对获取的葡萄株图像进行处理得到图像特征信息;对图像特征信息进行分析提取病虫害特征信息;将提取的病虫害信息与预设数据特征库进行对比,获取葡萄病虫害类型。本发明还提出一种基于深度学习的葡萄病虫害识别装置。本发明将深度学习的方法用于病虫害检测,代替人工检测葡萄病虫害的情况,有效降低了因人工主观性带来的诊断失误,节约了大量的人工成本,提高了葡萄病虫害检测的准确率和检测速度,有效提高了葡萄种植者的工作效率,节省大量人力,物力,具有十分广阔的市场应用前景。
Description
技术领域
本发明涉及葡萄病虫害识别领域,尤其涉及一种基于深度学习的葡萄病虫害识别方法及装置。
背景技术
葡萄病虫害是影响葡萄产量的主要自然灾害之一,是葡萄生长过程中遭遇的重大自然灾害,严重影响葡萄产量和质量以及受益。
国内外从上世纪开始研究主要采用物理机制进行葡萄病虫害的识别,主要有声测、诱集、近红外等,然而这些方法由于人工检测效率低下,噪声干扰等原因,难以满足识别病虫害的要求。
随着计算机视觉技术的快速发展,许多学者利用机器学习的方法对葡萄病虫害进行识别,但是模型较复杂,应用并不广泛。深度学习方法在葡萄病虫害识别领域得到了较为广泛的应用,但是单纯的深度学习方法在复杂背景下的识别率较低。
发明内容
针对上述现有技术存在不足,本发明提供一种基于深度学习的葡萄病虫害识别方法及装置,能够对葡萄所受病虫害进行有效识别;可以针对不同的病虫害进行不同的整治措施,对葡萄进行及时的治疗,减少不必要的损失。
本发明采用的技术方案为:
一种基于深度学习的葡萄病虫害识别方法,包括以下步骤:
对获取的葡萄株图像进行处理得到图像特征信息;
对图像特征信息进行分析提取病虫害特征信息;
将提取的病虫害信息与预设数据特征库进行对比,获取葡萄病虫害类型。
作为本发明的进一步技术方案为:所述对获取的葡萄株图像进行处理得到图像特征信息,具体包括:对葡萄植株图像进行分割为叶片、果实、叶柄、新梢、卷须和藤条部位的子图像;
对子图像进行灰度处理并进行二值化处理得到第一处理图像;
对第一处理图像进行二次分割得到第二处理图像并得到第二处理图像的图像特征信息。
作为本发明的进一步技术方案为:对图像特征信息进行分析提取病虫害特征信息;具体包括:
对第二处理图像进行处理得到病斑区图像;
对病斑区图像进行形态学图像处理得到最终病斑区图像。
作为本发明的进一步技术方案为:所述对第二处理图像进行处理得到病斑区图像;具体为:根据图像特征信息采用选择搜索方法对第二处理图像处理生成多个子候选区域,对子候选区域进行相似性合并形成候选区域;
对候选区域进行颜色空间变换得到颜色空间候选区域;
利用图像叠加算法得到病斑区图像;
对病斑区图像进行归一化处理,并通过卷积神经网络中进行特征提取得到病虫害特征信息。
作为本发明的进一步技术方案为:所述对候选区域进行颜色空间变换得到颜色空间候选区域;具体为:采用RGB、HSI、Lab三个颜色空间同时进行变换,将三个颜色空间变换后的结果全部作为病斑区图像的候选区域。
作为本发明的进一步技术方案为:所述对病斑区图像进行形态学图像处理得到最终病斑区图像,具体包括:通过开运算来清楚昆虫留在植株上的粪便、沙土,通过闭运算填补虫害内部的孔洞。
作为本发明的进一步技术方案为:所述将提取的病虫害信息与预设数据特征库进行对比,获取葡萄病虫害类型,具体为:
构建病虫害识别支持向量机模型;
对每个类别训练一个支持向量机的二值化分类器进行修正;
用回归器对上述所得类别进行回归操作,最终得到每个类别的修正后的得分最高的边框盒。
作为本发明的进一步技术方案为:所述对每个类别训练一个支持向量机的二值化分类器进行修正;具体包括:
将提取的病虫害特征信息送入支持向量机分类器,通过支持向量机分类器对其打分计算;
计算loU指标,剔除重叠区域位置得到变形后的推荐区域;
使用变形后的推荐区域对CNN参数进行SGD训练得到候选框位置;
使用线性脊回归器精细修正候选框位置。
进一步的,计算loU指标,剔除重叠区域位置得到变形后的推荐区域,具体为:
计算loU指标,采用非极大性抑制方法,以最高分的区域为基础,剔除重叠区域位置得到变形后的推荐区域。
本发明还提出一种基于深度学习的葡萄病虫害识别装置,包括:
图像特征处理模块,用于对获取的葡萄株图像进行处理得到图像特征信息;
病虫害分析模块,用于对图像特征信息进行分析提取病虫害特征信息;
病虫害类型判断模块,用于将提取的病虫害信息与预设数据特征库进行对比,获取葡萄病虫害类型。
本发明的有益效果是:
1、本发明将深度学习的方法用于病虫害检测,代替人工检测葡萄病虫害的情况,有效降低了因人工主观性带来的诊断失误,节约了大量的人工成本,提高了葡萄病虫害检测的准确率和检测速度,有效提高了葡萄种植者的工作效率,节省大量人力,物力,具有十分广阔的市场应用前景;
2、本发明在对图像分割时在RGB,HSI,Lab三个颜色空间都进行,可减少出错率;
3、本发明选用R-CNN卷积网络模型代替现有技术中的CNN卷积网络模型,减少计算量,提高了检测精度和速度。
附图说明
图1为本发明提出的一种基于深度学习的葡萄病虫害识别方法流程图;
图2为本发明提出的实施的R-CNN卷积网络模型图;
图3为本发明提出的一种基于深度学习的葡萄病虫害识别装置结构图。
图4为本发明提出的一具体实施例图;
图5为本发明提出的一具体实施例方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面结合附图对本申请作进一步的详细说明。应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
实施例一
如图1所示,为本发明提出的一种基于深度学习的葡萄病虫害识别方法流程图。
参照图1,一种基于深度学习的葡萄病虫害识别方法,包括以下步骤:
步骤101,对获取的葡萄株图像进行处理得到图像特征信息;
步骤102,对图像特征信息进行分析提取病虫害特征信息;
步骤103,将提取的病虫害信息与预设数据特征库进行对比,获取葡萄病虫害类型。
本发明将深度学习的方法用于病虫害检测,代替人工检测葡萄病虫害的情况,有效降低了因人工主观性带来的诊断失误,节约了大量的人工成本,提高了葡萄病虫害检测的准确率和检测速度,有效提高了葡萄种植者的工作效率,节省大量人力,物力,具有十分广阔的市场应用前景。
在步骤101中,所述对获取的葡萄株图像进行处理得到图像特征信息,具体包括:对葡萄植株图像进行分割为叶片、果实、叶柄、新梢、卷须和藤条部位的子图像;
对葡萄植株图像进行处理,获取图像特征为Char=[YP,GS,GG,YB,XS,JX,TT],其中YP为叶片,GS为果实,YB为叶柄,XS为新梢,JX为卷须,TT为藤条;
具体为:基于Graph-Based Segmentation图像分割算法对葡萄植株图像进行分割,分割为Char0=[YP0,GS0,GG0,YB0,XS0,JX0,TT0],其中YP0为叶片部分图像,GS0为果实部分图像,YB0为叶柄部分图像,XS0为新梢部分图像,JX0为卷须部分图像,TT0为藤条部分图像。
对子图像进行灰度处理并进行二值化处理得到第一处理图像;对第一处理图像进行二次分割得到第二处理图像并得到第二处理图像的图像特征信息。
分别对各个子集中图像进行灰度处理后进一步进行二值化处理,对图像进一步分割,得到最小病斑区图像Char1=[YP1,GS1,GG1,YB1,XS1,JX1,TT1],其中YP1为叶片,GS1为果实,YB1为叶柄,XS1为新梢,JX1为卷须,TT1为藤条。
在步骤102中,对图像特征信息进行分析提取病虫害特征信息;具体包括:
对第二处理图像进行处理得到病斑区图像;
对病斑区图像进行形态学图像处理得到最终病斑区图像。
其中,对第二处理图像进行处理得到病斑区图像;具体为:根据图像特征信息采用Selective Search方法对第二处理图像处理生成多个子候选区域,对子候选区域进行相似性合并形成候选区域;
对候选区域进行颜色空间变换得到颜色空间候选区域;
利用图像叠加算法得到病斑区图像;
对病斑区图像进行归一化处理,并通过卷积神经网络进行特征提取得到病虫害特征信息。
在上述步骤中,对候选区域进行颜色空间变换得到颜色空间候选区域;具体为:采用RGB,HSI,Lab三个颜色空间同时进行变换,将三个颜色空间变换后的结果全部作为病斑区图像的候选区域。
其中,对病斑区图像进行形态学图像处理得到最终病斑区图像,具体包括:通过开运算来清楚昆虫留在植株上的粪便、沙土,通过闭运算填补虫害内部的孔洞。
对第二处理图像乘以原始子图像每个颜色通道,即R,G,B,利用图像叠加算法得到病斑区RGB图像Char2=[YP2,GS2,GG2,YB2,XS2JX2,TT2],其中YP2为叶片,GS2为果实,YB2为叶柄,XS2为新梢,JX2为卷须,TT2为藤条。
对病斑区RGB图像进行形态学图像处理,通过开运算来清楚昆虫留在植株上的粪便、沙土,通过闭运算填补虫害内部的孔洞。
得到最终病斑区图像Char=[YP,GS,GG,YB,XS,JX,TT],其中YP为叶片,GS为果实,YB为叶柄,XS为新梢,JX为卷须,TT为藤条。
本发明实施例中,采用选择搜索(Selective Search)方法,对每一张病斑图像生成多个子候选区域,主要采用一种过分割的手段,将图像分割成小区域;查看现有分割小区域,合并相似性最高的两个区域,重复执行直至合并成一个区域位置,输出所有曾经存在过的区域,即候选区域。主要采用以下合并规则:
颜色(颜色直方图)相近;
纹理(梯度直方图)相近;
合并后总面积较小;
合并后,总面积在其BBOX(Bounding Boxes,物体位置的可能结果,简称边框盒)中所占比例大的。
为了尽可能不遗漏候选区域,对于颜色空间变换在RGB,HSI,Lab三个颜色空间同时进行,所有颜色空间与所有规则的全部结果在取出重复后,都作为候选区域输出。本发明在对图像分割时在RGB,HSI,Lab三个颜色空间都进行,可减少出错率。
对每个候选区域,归一化为同一尺寸227*227,对于框外区域此处选择直接截取;将所得尺寸归一化的图像输入到CNN(Convolutional Neural Networks,卷积神经网络)中进行特征提取。参见图2,本发明选用R-CNN卷积网络模型代替现有技术中的CNN卷积网络模型,减少计算量,提高了检测精度和速度。
在步骤103中,将提取的病虫害信息与预设数据特征库进行对比,获取葡萄病虫害类型,具体为:
构建病虫害识别支持向量机模型;
对每个类别训练一个支持向量机的二值化分类器进行修正;
用回归器对上述所得类别进行回归操作,最终得到每个类别的修正后的得分最高的边框盒。
在上述实施例中,对每个类别训练一个支持向量机的二值化分类器进行修正;具体包括:
将提取的病虫害特征信息送入支持向量机分类器,通过支持向量机分类器对其打分计算;
计算loU指标,剔除重叠区域位置得到变形后的推荐区域;
使用变形后的推荐区域对CNN参数进行SGD训练得到候选框位置;
使用线性脊回归器精细修正候选框位置。
其中,计算loU指标,剔除重叠区域位置得到变形后的推荐区域,具体为:
计算loU指标,采用非极大性抑制方法,以最高分的区域为基础,剔除重叠区域位置得到变形后的推荐区域。
实施例二
本实施例提供一种基于深度学习的葡萄病虫害识别装置,包括:
图像特征处理模块201,用于对获取的葡萄株图像进行处理得到图像特征信息;
病虫害分析模块202,用于对图像特征信息进行分析提取病虫害特征信息;
病虫害类型判断模块203,用于将提取的病虫害信息与预设数据特征库进行对比,获取葡萄病虫害类型。
本实施例提供一种基于深度学习的葡萄病虫害识别装置,通过前述对一种基于深度学习的葡萄病虫害识别方法的详细描述,本领域技术人员可以清楚的知道本实施例中关于一种基于深度学习的葡萄病虫害识别装置的具体构造及实施,所以为了说明书的简洁,在此不再详述。
实施例三
参见图5,为本发明提出的一实施例具体方式流程图。
如图5所示,本发明采用的一种基于深度学习的葡萄病虫害识别方法,包括以下步骤:
步骤一:对葡萄植株图像进行处理,获取图像特征为Char=[YP,GS,GG,YB,XS,JX,TT],其中YP为叶片,GS为果实,YB为叶柄,XS为新梢,JX为卷须,TT为藤条。具体操作为:
步骤11:基于Graph-Based Segmentation图像分割算法对葡萄植株图像进行分割。具体操作如下:
步骤111:计算葡萄植株图像上每一个像素点与其8邻域或4邻域的不相似度;
参见图4,实线为只计算4领域,加上虚线就是计算8邻域,由于是无向图,按照从左到右,从上到下的顺序计算的话,只需要计算右图中灰色的线即可。
步骤112:将边按照不相似度non-decreasing排列(从小到大)排序得到:e1,en,...en;
步骤113:选择en;
步骤114:对当前选择的边en进行合并判断:设其所连接的顶点(vi,vj),如果满足合并条件:
(1)vi,vj不属于同一个区域Id(vi)≠Id(vj);
(id(vi)为vi的所在区域编码);
(2)不相似度不大于二者内部的不相似度,wij≤Mint(ci,cj)则执行步骤114;否则执行步骤115;
(wij为i、j顶点所连接边的不相似度,ci,cj为i、j所在的区域,Mint(ci,cj)为区域内部不相似度)
步骤115:更新阈值以及类标号:
更新类标号:将Id(vi),Id(vj)的类标号统一为Id(vi)的标号;
注意:由于不相似度小的边先合并,所以,wij即为当前合并后的区域的最大的边,即Int(ci∪cj)=wij;
步骤116:如果n≤N,则按照排好的顺序,选择下一条边执行步骤114,否则结束。
根据以上步骤获取图像特征为Char0=[YP0,GS0,GG0,YB0,XS0,JX0,TT0],其中YP0为叶片部分图像,GS0为果实部分图像,YB0为叶柄部分图像,XS0为新梢部分图像,JX0为卷须部分图像,TT0为藤条部分图像。
步骤12:分别对各个子集中图像进行灰度处理后进一步进行二值化处理,对图像进一步分割,得到最小病斑区图像。具体操作如下:
步骤121:选取YP0部分图像,对其进行灰度处理,让像素点矩阵中的每一个像素点都满足下面的关系:R=G=B;具体操作如下:
灰度化后的R=处理前的R×0.3+处理前的G×0.59+处理前的B×0.11;
灰度化后的G=处理前的R×0.3+处理前的G×0.59+处理前的B×0.11;
灰度化后的B=处理前的R×0.3+处理前的G×0.59+处理前的B×0.11;
步骤122:将YP0部分图像灰度处理后,在进行二值化处理,让图像的像素点矩阵中的每个像素点的灰度值为0(黑色)或者255(白色),也就是让整个图像呈现只有黑和白的效果。具体操作如下:
计算像素点矩阵中的所有像素点的灰度值的平均值avg;
(像素点1灰度值+…像素点n灰度值)/n=像素点平均值avg;
让每一个像素点与avg一一比较,小于等于avg的像素点为0(黑色),大于avg的像素点为255(白色);
步骤123:重复以上步骤,对剩余GS0为果实部分图像,YB0为叶柄部分图像,XS0为新梢部分图像,JX0为卷须部分图像,TT0为藤条部分图像依次进行灰度化处理和二值化处理。
步骤13:将步骤12中得到的图形乘以原始子图像每个颜色通道,即R,G,B,利用图像叠加算法得到病斑区RGB图像;
步骤14:对病斑区RGB图像进行形态学图像处理,通过开运算来清楚昆虫留在植株上的粪便、沙土,通过闭运算填补虫害内部的孔洞。具体操作如下:
步骤141:假定二值图像A和形态学处理的结构元素B是定义在笛卡儿网格上的集合,网格中值为1的点是集合的元素,选取病斑区RGB图像对其先进行腐蚀操作,即对图像中的集合A和B,B对A进行腐蚀的整个过程如下:
⑴用结构元素B,扫描图像A的每一个像素;
⑵用结构元素与其覆盖的二值图像做“与”操作;
⑶如果都为1,结果图像的该像素为1,否则为0;
腐蚀处理的结果是使原来的二值图像减小一圈。
步骤142:对病斑区RGB图像进行膨胀操作,即以得到B的相对与它自身原点的映像并且由图像对映像进行移位为基础的,A被B膨胀是所有位移的集合,这样和A至少有一个元素是重叠的;我们可以把上式改写为:
结构元素B可以看作一个卷积模板,区别在于膨胀是以集合运算为基础的,卷积是以算术运算为基础的,但两者的处理过程是相似的:
⑴用结构元素B,扫描图像A的每一个像素;
⑵用结构元素与其覆盖的二值图像做“与”操作;
⑶如果都为0,结果图像的该像素为0,否则为1。
通过以上操作,即开运算,清楚昆虫留在植株上的粪便、沙土等。
步骤143:对病斑区RGB图像进行闭运算操作,即先膨胀操作,后腐蚀操作,填补虫害内部的孔洞,完善葡萄植株图像。
步骤二:对处理后的图像进行基于CNN的病虫害特征提取。具体操作如下:
步骤21:采用Selective Search方法,对每一张病斑图像生成1K~2K个候选区域,主要采用一种过分割的手段,将图像分割成小区域;查看现有分割小区域,合并相似性最高的两个区域,重复执行直至合并成一个区域位置,输出所有曾经存在过的区域,即候选区域。主要采用以下合并规则:
(1)颜色(颜色直方图)相近;
(2)纹理(梯度直方图)相近;
(3)合并后总面积较小;
(4)合并后,总面积在其BBOX中所占比例大的;
具体操作如下:
对初始输入图片进行语义分割以后,能够得到葡萄病斑的所在位置;为了病斑位置进行更精确的定位,需要对初始分割图片进行候选区域提取,采用选择性搜索算法对图像进行候选区域提取,通过计算目标区域的相邻联通子区域的相似度,不断合并图像子块并提取子块外接矩阵的方式选取候选区域。
步骤211:选择性搜索算法提取候选区域:
步骤2111:对语义分割图像进行超像素分割得到超像素分割图;
步骤2112:将得到的超像素分割图分为若干初始图像子块,设子块集合为;
R={r1,r2,···,rn};
对区域集合R中的子集取其对应的外接矩阵作为候选区域;
步骤2113:计算临近图像区域之间的相似度S(rj,rk),所有图像块之间的相似度集合为
S={s(rj,rk),···};
(s(rj,rk)为任意相邻区域间的相似度,集合包含所有图像块间相似度)
将集合S中相似度最大值max(S)对应的两个区域(rj,rk)合并为一个新的区域rnew=rj∪rk,从集合中去除区域rj和rk,并且在相似度集合中去除与其他区域的相似度。
(rnew为最相似的相邻图像块合并后的区域)
重复步骤直到相似度集合S为空集,得到全部候选区域。
步骤212:子块合并:
本步骤在作相似性判断时采用多策略融合的方法进行合并。根据需要采用子块的颜色、纹理、大小的相似度进行合并:
(1)颜色相似度
(2)纹理相似度
区域之间的纹理相似度通过提取SHIFT-LIKE特征进行判别,取两个图像块从每个颜色通道的8个不同方向计算方差σ=1的高斯微分,每个通道每个颜色采用Li-norm归一化获取10bins的直方图,以获取240维的向量区域之间的纹理相似度计算方式如下所示:
在区域合并过程中对新的区域的SHIFT-LIKE特征直方图进行更新,计算方法如下:
其中,size(ri)为第i个区域的像素点数。
(3)大小相似度
采用区域中包含的像素点数进行判别,计算方法如下:
其中,size(im)为整个输入图片的总像素点数;
将纹理特征、颜色特征、大小特征相似度计算方式组合到一起,得到相似度量公式:
s(ri,rj)=a1scolor(ri,rj)+a2stexture(ri,rj)+a3ssize(ri,rj);
s(ri,rj)为综合相似度,其中a1,a2,a3分别为颜色、纹理、大小相似度的权重。
步骤22:为了尽可能不遗漏候选区域,步骤21在RGB、HSI、Lab三个颜色空间同时进行,所有颜色空间与所有规则的全部结果在取出重复后,都作为候选区域输出。
步骤23:对每个候选区域,归一化为同一尺寸227*227,对于框外区域此处选择直接截取;
步骤24:将所得尺寸归一化的图像输入到CNN深度卷积神经网络中进行特征提取,在Sigmoid激励函数的计算下,得到病害特征提取结果。后期利用反向传播算法调整权值。
步骤三:将图像特征与数据特征库进行对比,获得葡萄病虫害的类型。
具体操作如下:
步骤31:构建病虫害识别SVM(Support Vector Machines)模型。具体操作如下:
步骤311:分别获取的农作物叶部、茎部和根部病变区域的学习样本集{(xj,yk)|i=1,2,…,N}通过SMO(Sequnential Minimal Optimal,顺序最小优化算法)算法求解支持向量机SVM模型的最优超平面。
其中,xj是第i个样本的输入参数向量,yk是第i个样本的输出结果
其中,xj由病变区域面积S、周长P、圆形度O、矩行度R、形状复杂度E参数构成。
步骤312:在超平面确定的情况下,找出所有支持向量,然后计算出间隔margin,具体目标函数和约束条件为:
s.t yi(wtxi+b)-1≥0;
步骤313:取待检测试样,代入上述支持向量机SVM模型的最优超平面获得yk的值,当yk=1表示是该种病虫害,yk=-1表示非该种病虫害。
步骤314:采用引入松弛变量、分类误差惩罚因子的支持向量机SVM学习葡萄叶部病虫害图像,以通过检测设备大量容易的、大批量的获取植物病虫害结果。具体新目标函数和约束条件为:
s.t yi(wTxi+b)≥1-ζi,i=1,2...n
ζi≥0,i=1,2...n;
ζi为松弛变量,允许一些数据可以处于分隔面错误的一侧,提高分类器的容错性。
步骤32:将步骤二提取到的特征送入每一类的SVM分类器,由SVM分类器对其打分;具体操作为:
步骤321:构建最终的分类器产生分数,具体公式:
f(x)=sign(w*·x+b*);
步骤33:针对每一类,通过其计算loU(Intersection over Union,候选框(candidate bound)与原标记框(ground truth bound)的交叠率)识别精度指标,采用非极大性(抑制不是极大值的元素,可以理解为局部最大搜索。这个局部代表的是一个邻域,邻域有两个参数可变,一是邻域的维数,二是邻域的大小。)抑制,以最高分的区域为基础,剔除重叠区域的位置。
具体操作如下:
步骤331:获取物体的ground truth bounding box、预测的bounding box;
步骤332:如果重叠比例大于0.5,则认为此候选框为此标定的类别;否则认为此候选框为背景;
步骤333:将所得重复结果进行剔除。
步骤34:使用变形后的推荐区域对CNN参数进行SGD(Stochastic GradientDescent,随机梯度下降算法)训练,每轮SGD训练统一使用32个正例窗口和96个背景窗口。具体操作如下:
步骤341:每次选取32个正例窗口和96个背景窗口从训练集选取数据训练;
步骤342:图像归一化为224×224直接送入网络;
步骤343:所得结果生成1K~2K个候选区域。
步骤35:使用线性脊回归器精细修正候选框的位置。具体操作如下:
步骤351:正则项λ=10000,输入为深度网络pool5层的4096维特征,输出为x、y方向的缩放和平移;
步骤352:训练样本判定为本类的候选框中,和真值重叠面积大于0.6的候选框;
步骤352:在特征图上框出候选区域作为输入,通过ROI pooling统一为NXM大小;
步骤353:位置精修,针对每一类目标,使用深度网络回归。
步骤36:针对每个类别训练一个SVM的二值化分类器,此处将loU的阈值设置为0.3。具体操作如下:
步骤361:针对每个类别训练一个SVM的二值化分类器,结果只需2种Positive和Negative。
步骤362:R-CNN采用IoU的阈值,这个threshold取0.3。
IoU的threshold来自{0,0.1,0.2,0.3,0.4,0.5}的数值组合
步骤363:如果一个区域与Ground truth的IoU值低于设定的阈值,则看成是Negetive,反之Positive。
步骤364:特征抽取成功,R-CNN用SVM去识别每个区域的类别。
步骤37:用N=20个回归器对上述所得类别进行回归操作,最终得到每个类别的修正后的得分最高的bounding box。具体操作如下:
步骤371:用N=20个回归器对上述所得类别进行回归操作。特征6*6*256维和bounding box的ground truth来训练回归,每种类型的回归器单独训练。
步骤372:只对那些跟ground truth的IoU超过某个阈值且IoU最大的proposal回归,其余的region proposal不参与。
步骤373:得到预测结果尽可能接近ground truth。
步骤374:最终得到每个类别的修正后的得分最高的bounding box。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换,这些未脱离本发明精神和范围的任何修改或者等同替换,均在申请待批的本发明的权利要求保护范围之内。
Claims (4)
1.一种基于深度学习的葡萄病虫害识别方法,其特征在于,包括以下步骤:
对获取的葡萄株图像进行处理得到图像特征信息;
对图像特征信息进行分析提取病虫害特征信息;
将提取的病虫害信息与预设数据特征库进行对比,获取葡萄病虫害类型;
所述对获取的葡萄株图像进行处理得到图像特征信息,具体包括:
对葡萄植株图像进行分割为叶片、果实、叶柄、新梢、卷须和藤条部位的子图像;
对子图像进行灰度处理并进行二值化处理得到第一处理图像;
对第一处理图像进行二次分割得到第二处理图像并得到第二处理图像的图像特征信息;
对图像特征信息进行分析提取病虫害特征信息;具体包括:
对第二处理图像进行处理得到病斑区图像;
对病斑区图像进行形态学图像处理得到最终病斑区图像;
所述对第二处理图像进行处理得到病斑区图像;具体为:根据图像特征信息采用选择搜索方法对第二处理图像处理生成多个子候选区域,对子候选区域进行相似性合并形成候选区域;
对候选区域进行颜色空间变换得到颜色空间候选区域;
利用图像叠加算法得到病斑区图像;
对病斑区图像进行归一化处理,并通过卷积神经网络中进行特征提取得到病虫害特征信息;
所述对候选区域进行颜色空间变换得到颜色空间候选区域;具体为:采用RGB、HSI、Lab三个颜色空间同时进行变换,将三个颜色空间变换后的结果全部作为病斑区图像的候选区域;
所述将提取的病虫害信息与预设数据特征库进行对比,获取葡萄病虫害类型,具体为:
构建病虫害识别支持向量机模型;
对每个类别训练一个支持向量机的二值化分类器进行修正;
用回归器对上述所得类别进行回归操作,最终得到每个类别的修正后的得分最高的边框盒;
所述对每个类别训练一个支持向量机的二值化分类器进行修正;具体包括:
将提取的病虫害特征信息送入支持向量机分类器,通过支持向量机分类器对其打分计算;
计算loU指标,剔除重叠区域位置得到变形后的推荐区域;
使用变形后的推荐区域对CNN参数进行SGD训练得到候选框位置;
使用线性脊回归器精细修正候选框位置。
2.根据权利要求1所述的方法,其特征在于,所述对病斑区图像进行形态学图像处理得到最终病斑区图像,具体包括:通过开运算来清楚昆虫留在植株上的粪便、沙土,通过闭运算填补虫害内部的孔洞。
3.根据权利要求1所述的方法,其特征在于,计算loU指标,剔除重叠区域位置得到变形后的推荐区域,具体为:
计算loU指标,采用非极大性抑制方法,以最高分的区域为基础,剔除重叠区域位置得到变形后的推荐区域。
4.根据权利要求1-3中任一所述的方法提出一种基于深度学习的葡萄病虫害识别装置,其特征在于,包括:
图像特征处理模块,用于对获取的葡萄株图像进行处理得到图像特征信息;
病虫害分析模块,用于对图像特征信息进行分析提取病虫害特征信息;
病虫害类型判断模块,用于将提取的病虫害信息与预设数据特征库进行对比,获取葡萄病虫害类型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911169056.9A CN111105393B (zh) | 2019-11-25 | 2019-11-25 | 一种基于深度学习的葡萄病虫害识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911169056.9A CN111105393B (zh) | 2019-11-25 | 2019-11-25 | 一种基于深度学习的葡萄病虫害识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111105393A CN111105393A (zh) | 2020-05-05 |
CN111105393B true CN111105393B (zh) | 2023-04-18 |
Family
ID=70421288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911169056.9A Active CN111105393B (zh) | 2019-11-25 | 2019-11-25 | 一种基于深度学习的葡萄病虫害识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111105393B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111340070B (zh) * | 2020-02-11 | 2024-03-26 | 杭州睿琪软件有限公司 | 植物病虫害诊断方法和系统 |
CN111797835B (zh) * | 2020-06-01 | 2024-02-09 | 深圳市识农智能科技有限公司 | 一种病症识别方法、病症识别装置及终端设备 |
CN112036470A (zh) * | 2020-08-28 | 2020-12-04 | 扬州大学 | 一种基于云传输的多传感器融合的黄瓜烟粉虱识别方法 |
CN112001365A (zh) * | 2020-09-22 | 2020-11-27 | 四川大学 | 一种高精度的农作物病虫害识别方法 |
CN112801991B (zh) * | 2021-02-03 | 2022-06-03 | 广东省科学院广州地理研究所 | 一种基于图像分割的水稻白叶枯病检测方法 |
CN113269191A (zh) * | 2021-04-19 | 2021-08-17 | 内蒙古智诚物联股份有限公司 | 一种农作物叶片病害识别方法、装置和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013097645A (ja) * | 2011-11-02 | 2013-05-20 | Fujitsu Ltd | 認識支援装置、認識支援方法、およびプログラム |
CN103514459A (zh) * | 2013-10-11 | 2014-01-15 | 中国科学院合肥物质科学研究院 | 一种基于Android手机平台的识别农作物病虫害的方法及系统 |
CN106446942A (zh) * | 2016-09-18 | 2017-02-22 | 兰州交通大学 | 基于增量学习的农作物病害识别方法 |
WO2018120942A1 (zh) * | 2016-12-31 | 2018-07-05 | 西安百利信息科技有限公司 | 一种多模型融合自动检测医学图像中病变的系统及方法 |
CN108304844A (zh) * | 2018-01-30 | 2018-07-20 | 四川大学 | 基于深度学习二值化卷积神经网络的农业病虫害识别方法 |
CN108664979A (zh) * | 2018-05-10 | 2018-10-16 | 河南农业大学 | 基于图像识别的玉米叶部病虫害检测模型的构建方法及应用 |
CN109191455A (zh) * | 2018-09-18 | 2019-01-11 | 西京学院 | 一种基于ssd卷积网络的大田作物病虫害检测方法 |
CN110009043A (zh) * | 2019-04-09 | 2019-07-12 | 广东省智能制造研究所 | 一种基于深度卷积神经网络的病虫害检测方法 |
WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
-
2019
- 2019-11-25 CN CN201911169056.9A patent/CN111105393B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013097645A (ja) * | 2011-11-02 | 2013-05-20 | Fujitsu Ltd | 認識支援装置、認識支援方法、およびプログラム |
CN103514459A (zh) * | 2013-10-11 | 2014-01-15 | 中国科学院合肥物质科学研究院 | 一种基于Android手机平台的识别农作物病虫害的方法及系统 |
CN106446942A (zh) * | 2016-09-18 | 2017-02-22 | 兰州交通大学 | 基于增量学习的农作物病害识别方法 |
WO2018120942A1 (zh) * | 2016-12-31 | 2018-07-05 | 西安百利信息科技有限公司 | 一种多模型融合自动检测医学图像中病变的系统及方法 |
WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
CN108304844A (zh) * | 2018-01-30 | 2018-07-20 | 四川大学 | 基于深度学习二值化卷积神经网络的农业病虫害识别方法 |
CN108664979A (zh) * | 2018-05-10 | 2018-10-16 | 河南农业大学 | 基于图像识别的玉米叶部病虫害检测模型的构建方法及应用 |
CN109191455A (zh) * | 2018-09-18 | 2019-01-11 | 西京学院 | 一种基于ssd卷积网络的大田作物病虫害检测方法 |
CN110009043A (zh) * | 2019-04-09 | 2019-07-12 | 广东省智能制造研究所 | 一种基于深度卷积神经网络的病虫害检测方法 |
Non-Patent Citations (2)
Title |
---|
安强强 ; 张峰 ; 李赵兴 ; 张雅琼 ; .基于深度学习的植物病虫害图像识别.农业工程.2018,(07),全文. * |
田有文 ; 李天来 ; 李成华 ; 朴在林 ; 孙国凯 ; 王滨 ; .基于支持向量机的葡萄病害图像识别方法.农业工程学报.2007,(06),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111105393A (zh) | 2020-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111105393B (zh) | 一种基于深度学习的葡萄病虫害识别方法及装置 | |
Kukreja et al. | Recognizing wheat aphid disease using a novel parallel real-time technique based on mask scoring RCNN | |
CN109344883A (zh) | 一种基于空洞卷积的复杂背景下果树病虫害识别方法 | |
CN114818909B (zh) | 一种基于作物长势特征的杂草检测方法和装置 | |
CN110827273A (zh) | 一种基于区域卷积神经网络的茶叶病害检测方法 | |
CN113657294A (zh) | 一种基于计算机视觉的作物病虫害检测方法及系统 | |
Sahu et al. | Deep learning models for beans crop diseases: Classification and visualization techniques | |
Bhimavarapu et al. | Analysis and characterization of plant diseases using transfer learning | |
Mathew et al. | Determining the region of apple leaf affected by disease using YOLO V3 | |
CN114758132A (zh) | 一种基于卷积神经网络的果树病虫害识别方法及系统 | |
CN113516097B (zh) | 一种基于改进EfficentNet-V2的植物叶片疾病识别方法 | |
CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 | |
Chiu et al. | Semantic segmentation of lotus leaves in UAV aerial images via U-Net and deepLab-based networks | |
CN113673340B (zh) | 一种害虫种类图像识别方法及系统 | |
Widiyanto et al. | Monitoring the growth of tomatoes in real time with deep learning-based image segmentation | |
Jin et al. | An improved mask r-cnn method for weed segmentation | |
CN115170987A (zh) | 一种基于图像分割和配准融合对葡萄进行病害检测的方法 | |
Dahiya et al. | An effective detection of litchi disease using deep learning | |
Tlebaldinova et al. | Cnn-based approaches for weed detection | |
CN114140428A (zh) | 基于YOLOv5的落叶松毛虫虫害检测识别方法及系统 | |
CN114549494A (zh) | 一种温室生产环境下草莓白粉病快速检测方法 | |
CN113269750A (zh) | 香蕉叶部病害图像检测方法、系统、储存介质及检测设备 | |
Hu | A rice pest identification method based on a convolutional neural network and migration learning | |
Iyswaryalakshmi et al. | Classification of Rice Leaf using RCNN with Transfer Learning | |
Prithvi et al. | Pest detection system using machine learning techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |