CN110287822A - 一种铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法 - Google Patents
一种铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法 Download PDFInfo
- Publication number
- CN110287822A CN110287822A CN201910494939.0A CN201910494939A CN110287822A CN 110287822 A CN110287822 A CN 110287822A CN 201910494939 A CN201910494939 A CN 201910494939A CN 110287822 A CN110287822 A CN 110287822A
- Authority
- CN
- China
- Prior art keywords
- snail
- picture
- new
- training
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000237858 Gastropoda Species 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 41
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 33
- 241001523681 Dendrobium Species 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 42
- 241000238631 Hexapoda Species 0.000 claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 235000013350 formula milk Nutrition 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 10
- 241000196324 Embryophyta Species 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 3
- 238000005498 polishing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 6
- 230000002265 prevention Effects 0.000 description 5
- 239000000126 substance Substances 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 241000026010 Dendrobium candidum Species 0.000 description 2
- 235000003143 Panax notoginseng Nutrition 0.000 description 2
- 241000180649 Panax notoginseng Species 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000447 pesticide residue Substances 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 1
- 244000299906 Cucumis sativus var. sativus Species 0.000 description 1
- 241001414989 Thysanoptera Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Catching Or Destruction (AREA)
Abstract
本发明涉及一种铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法，包括步骤：1)收集带有蜗牛的图片及视频数据；2)数据预处理；3)蜗牛检测网络训练；4)蜗牛实时监测。本发明的有益效果是：将按照农业环境特点处理后的图像、视频使用卷积神经网络与滑动窗口技术处理选择目标并进行标注，其在检测准确率与效率上显著优于现有方法，同时由于使用了端到端的卷积神经网络，实时处理速度快，可以满足农业环境中实时监控的要求，具有实现便捷，硬件设备要求少的特点，并且可以有效地提高智慧农业中的虫害检测特别是对于蜗牛的检测效果。
Description
技术领域
本发明涉及农业虫害防治领域，特别是涉及在铁皮石斛栽培中基于卷积神经网络与视觉目标检测技术对农业虫害进行检测与防治的方法。
背景技术
目前人工智能技术在农业生产特别是智慧农业中已经得到了广泛的应用，比如种子检测、作物监控、土壤自动灌溉与根据气象调控作物环境等工作。虫害检测就属于作物监控的一个重要分支，而目前农业领域内的虫害防治多由种植者人工完成，通常使用药物进行防治或者人工进行长时间的监控。在铁皮石斛中，蜗牛就是一种危害极大的虫害，会持续的危害幼茎、嫩叶、花蕾和幼果。它具有目标小，姿态多样，移动速度慢等特点，在蜗牛虫害防治中，视觉目标检测技术可以大大提高农业生产效率，解放人民的生产力。《三七病虫害化学防治与农药残留》，陈荣华、曾东强等，2017年11月09日，广西植保，归纳了三七常见病虫害种类及其化学防治措施，分析了相关农药的检测技术和残留现状；《自动监测装置用温室粉虱和蓟马成虫图像分割识别算法》，杨信廷、刘蒙蒙等，2018年1月，《农业信息与电气技术》，为了监测温室黄瓜作物虫害种类、数量变化情况以预测虫害发展趋势，提出了通过边缘分割来提取区域并使用SVM对虫害进行分类的方法；《基于图谱特征分析的农业虫害检测方法研究》，刘子毅，2017年，《浙江大学博士论文》，本文依托光谱技术和计算机视觉技术作为研究方法，从光谱和图像数据特征分析的角度出发，研究了农业虫害的自动化检测方法。以上方法分析了基于化学方法的病虫害防治会导致不同的农药残留状况，同时也使用了计算机技术对虫害进行防治，但是需要特殊的设备比如诱虫板与高光谱成像仪器，而在使用普通视频进行检测的时候，用基于分类的目标识别方法对特定的特征进行检测时，需要对候选框的提取与候选框的分类分别进行训练，检测时也要按顺序经过候选框提取网络与候选框分类网络，所以在实际使用中适时性较差，而且由于方法的特点导致对背景有一定的误检测率。
发明内容
本发明的目的在于提供一种基于图像目标检测的农业虫害防治方法，将按照农业环境特点处理后的图像、视频使用卷积神经网络与滑动窗口技术处理选择目标并进行标注，在检测准确率与效率上显著优于现有方法，同时由于使用了端到端的卷积神经网络，实时处理速度快，可以满足农业环境中实时监控的要求，具有实现便捷，硬件设备要求少的特点。
铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法，包括以下步骤：
1)收集带有蜗牛的图片及视频数据：通过照相机与摄像机拍摄农业环境中正常的植物与带有蜗牛的部分，其中包括蜗牛散落于地面或者蜗牛位于植物之上的数据。对于同一蜗牛在不同角度可以拍摄多张照片或视频，此为数据集A。之后通过网络收集具有不同外观与角度的多种蜗牛图片与蜗牛视频，标为数据集B。
2)数据预处理：为了提高图像目标检测在蜗牛检测中的成功率与效率，根据农业虫害检测的特点对图像与视频进行标记，标记信息主要包括类别信息(蜗牛)与坐标信息。对于视频，按照一定比例将其中的帧提取出来放到对应的数据集中。由于农业环境中颜色较为接近，且害虫经常具有保护色，所以需要对图片中的颜色进行处理，提高图片颜色饱和度、亮度与对比度。先按照Rnew＝1.2*R+10，Gnew＝1.2*R+10，Bnew＝1.2*R+10，其中(R，G，B)为三个通道原来的数值，(Rnew，Gnew，Bnew)为变换后的数值。对RGB三个颜色通道的数值进行修改，其次将RGB转化为HSL格式的数据，并设置饱和度、亮度。对数据集中的图片，进行90°旋转，旋转时的坐标变换公式为xnew＝(y-H/2)+W/2,ynew＝(x+W/2)+H/2，其中图片的宽度与高度为：(W，H)。这样会产生三个不同的副本，之后对四张图片进行横向翻转操作，扩充数据集，横坐标的变化为xnew＝W-x。定义标准图片大小像素，对所有图片使用灰色(128,128,128)补全。最后进行放缩，将候选框占标准图片面积超过30％的图片整体进行缩小，周围使用灰色补全。
3)蜗牛检测网络训练：将整个数据集A分为三部分训练集D1、验证集D2与测试集D3，将数据集分为三部分是为了防止模型训练过程中的过拟合并选出效果最好的模型。之后将数据集B分为训练集D4与D5，其中数据集B中的数据均由网络中获得，蜗牛的种类颜色照片背景与数据集A中有较大的差别，将训练集D4与训练集D1混合可以增强网络的蜗牛检测能力，可以使模型在实际应用过程中有鉴别新类型蜗牛的能力，训练过程可以分为使用D1与D4训练模型的阶段与使用D5与D2选择模型的阶段。
4)蜗牛实时监测：将视频监控设备与计算机设备连接起来，使用蜗牛目标检测方法实时处理视频流信息。在处理时，由于农业虫害检测特别是蜗牛具有移动速度缓慢的特点，每隔1～2秒检测一次，若检测到目标蜗牛出现，即进行警报并将标注后的视频输出到监控屏中。
作为优选：步骤2)中，蜗牛图片获取之后的预处理包括以下部分：
2.1)颜色变换：对于标注好的数据首先进行颜色变化，提高对比度，饱和度与亮度。图片中每个像素点的颜色使用(R，G，B)x，y表示，其中x，y为像素点的坐标，坐标原点位于图片左上角。按照如下公式进行变换：
Rnew＝1.2*R+10
Gnew＝1.2*R+10
Bnew＝1.2*R+10
变换之后的数值为(Rnew，Gnew，Bnew)x，y，若某个通道的数值大于255，则该通道的值固定为255。之后调整图片的饱和度与亮度，将RGB颜色空间转化为HSL空间，并查找所有像素的S(饱和度)与L(亮度)，将饱和度的取值调整为0.65，亮度的取值调整为0.15，调整后重新转化到RGB图像空间。
2.2)空间变换：对每一张图片围绕中点旋转九十度，图片的宽度与高度为：(W，H)，生成三张不同角度的图片，对其中的候选框坐标也进行变换，令原坐标为(x，y)，变换的公式为：
xnew＝(y-H/2)+W/2
ynew＝(x+W/2)+H/2
在公式中的坐标(x，y)以左上角为原点。之后对每一张图片进行左右翻转操作，其中候选框的变换公式为：
xnew＝H-x
经过预处理后，图片的数量将变为原来的8倍。最后将标准图片大小定义为608*608像素，首先将所有图片拉伸至608*608像素，若大于该分辨率则将图片缩小，其次若图片中单个候选框的面积大于等于图片大小的40％，则将该图片放缩至候选框占标准图片大小的40％，在图片周围用灰色(128,128,128)补齐RGB。
作为优选：步骤3)中，蜗牛目标检测模型的训练过程包括以下步骤：
3.1)模型训练：将D4与D1用于基于卷积神经网络的目标检测模型的训练，并为网络的目标函数添加修正项，训练阶段目标函数为：L＝0.8*LD1+0.2*LD4，其中LD1和LD4是网络在数据集D1和D4上不同的损失函数值。保存训练阶段中生成的多个模型。
3.2)模型选择：使用验证集D2选择准确率最高的模型作为训练结果，可以获得在给定的蜗牛上识别效果的网络，若将D5与D2混合进行选择，则可以通过设定准确率在不同数据集中的参数提高网络的泛化能力。在此，为了提高网络的模型精确度并具有一定的识别新种类蜗牛能力，使用Acc＝0.8*AccD2+0.2*AccD5选择最好的模型，其中AccD2和AccD5是网络在D2和D5上的准确率。
本发明的有益效果是：本发明将按照农业环境特点处理后的图像、视频使用卷积神经网络与滑动窗口技术处理选择目标并进行标注，其在检测准确率与效率上显著优于现有方法，同时由于使用了端到端的卷积神经网络，实时处理速度快，可以满足农业环境中实时监控的要求，具有实现便捷，硬件设备要求少的特点，并且可以有效地提高智慧农业中的虫害检测特别是对于蜗牛的检测效果。
附图说明
图1是本方法的流程图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
铁皮石斛中的蜗牛检测具有鲜明的特点，其中不同蜗牛形态各异，有较强的保护色，同时拍摄角度差异也非常大。与此同时蜗牛具有移动速度较慢，体型较小的特点。而常用目标检测方法在农业蜗牛检测中的效果较差，本发明利用这些特点，修改了图像目标检测中的多个步骤，提出了基于图像目标检测的蜗牛检测方法。
所述铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法，包括以下步骤：
1、收集带有蜗牛的图片及视频数据
通过照相机与摄像机拍摄农业环境中正常的植物与带有蜗牛的部分，其中包括蜗牛散落于地面或者蜗牛位于植物之上的数据。其中对于同一蜗牛在不同角度可以拍摄多张照片或视频，此为数据集A。之后通过网络收集具有不同外观与角度的多种蜗牛图片与蜗牛视频，标为数据集B。
2、数据预处理
为了提高图像目标检测在蜗牛检测中的成功率与效率，根据农业虫害检测的特点对图像与视频进行如下处理，主要包括颜色变换、旋转变换、翻转变换、尺度变换。对于视频，按照10％的比例将其中的帧提取出来放到对应的数据集中。得到所有图片后，对图片进行蜗牛标记，标记信息主要包括类别信息(蜗牛)与候选框的坐标信息。其中候选框为长方形，要包裹住蜗牛的壳与软体部分并使面积尽可能小。对于标注好的数据首先进行颜色变化，提高对比度、饱和度与亮度。图片中每个像素点的颜色使用(R，G，B)x，y表示，其中x，y为像素点的坐标，坐标原点位于图片左上角。按照如下公式进行变换：
Rnew＝1.2*R+10
Gnew＝1.2*R+10
Bnew＝1.2*R+10
变换之后的数值为(Rnew，Gnew，Bnew)x，y，若某个通道的数值大于255，则该通道的值固定为255。之后调整图片的饱和度与亮度，将RGB颜色空间转化为HSL空间，并查找所有像素的S(饱和度)与L(亮度)，将S的取值调整为0.65，L的取值调整为0.15，调整后重新转化到RGB图像空间。之后对每一张图片围绕中点旋转九十度，图片的宽度与高度为：(W，H)，生成三张不同角度的图片，对其中的候选框坐标也进行变换，令原坐标为(x，y)，变换的公式为：
xnew=(y-H/2)-W/2
ynew=(x+W/2)+H/2
在公式中的坐标(x，y)以左上角为原点。之后对每一张图片进行左右翻转操作，其中候选框的变换公式为：
xnew＝H-x
经过数据增强后，图片的数量将变为原来的8倍。最后将标准图片大小定义为608*608像素，首先将所有图片拉伸至608*608像素，若大于该分辨率则将图片减小，其次若图片中单个候选框的面积大于等于图片大小的40％，则将该图片放缩至候选框占标准图片大小的40％，在图片周围用灰色(128,128,128)补齐RGB。
3、蜗牛检测网络训练
对所有数据进行预处理后，将整个数据集A分为三部分训练集D1、验证集D2与测试集D3，比例为(7:2:1)，将数据集分为三部分是为了防止模型训练过程中的过拟合并选出效果最好的模型。之后将数据集B分为训练集D4与D5，比例为(8:2)，其中数据集B中的数据均由网络中获得，蜗牛的种类颜色照片背景与数据集A中有较大的差别，将训练集D4与训练集D1混合，D2与D5混合可以增强网络的蜗牛检测能力，可以使模型在实际应用过程中有鉴别新类型蜗牛的能力，具体的模型以及训练过程如下：
3.1、模型结构
模型主要由端到端的卷积神经网络组成，如表1所示。将输入图片608*608像素分为19*19个格子，每个待预测物体都由对应的格子负责识别。候选框的中心所在格子即为与该候选框所对应的格子。预测时每一个格子根据3种尺度的特征分别预测3个候选框，对每一个候选框则需要输出6种信息，分别是：以每个格子左上角为锚点，在坐标轴X方向上的偏移量、在坐标轴Y方向上的偏移量、候选框的宽度、候选框的高度、类别的置信概率、候选框被分为任何一个类别的概率。其中类别的置信概率为：其中：
表1本方法中训练模型的结构
网络最后一层输出的信息即为S*S*(B*5+C)，网络主要包含53个卷积层：32个3*3大小、64个3*3大小步长为2、32个1*1大小、64个3*3大小、128个3*3大小步长为2、64个1*1大小、128个3*3大小、256个3*3大小步长为2、128个1*1大小、256个3*3大小、512个3*3大小步长为2、256个1*1大小、512个3*3大小、1024个3*3大小步长为2的卷积核以及最后的。每个卷积层都由卷积神经网络、归一化层与LeakyReLU层组成。LeakyRelu的公式为:其中α为自定义参数，在此设定为α＝0.2。
在几个卷积层之间使用了残差网络，F(x)表示经过卷积核大小为1*1与3*3卷积层之后的结果，残差部分的结果：
y＝x+F(x)。
两层卷积层与一层残差网络从上向下有四组，分别重复1、2、8、8与4次。最后将三部分残差网络输出的19*19，38*38，76*76的三个不同大小的特征图输入全连接层得到三组19*19*21维的向量作为最后的输出，其中21＝3*(4+1+2)。
3.2、模型训练
将D4与D1用于网络YoloV3的训练，并为网络的目标函数添加修正项，训练阶段目标函数为：L＝0.8*LD1+0.2*LD4，其中LD1和LD4是网络在数据集D1和D4上不同的损失函数值。保存训练阶段中生成的多个模型。
3.3、模型选择
使用验证集D2选择准确率最高的模型作为训练结果，可以获得在给定的蜗牛上识别效果的网络，若将D5与D2混合进行选择，则可以通过设定准确率在不同数据集中的参数提高网络的泛化能力。在此，为了提高网络的模型精确度并具有一定的识别新种类蜗牛能力，使用Acc＝0.8*AccD2+0.2*AccD5选择最好的模型，其中AccD2和AccD5是网络在D2和D5上的准确率。
4、蜗牛实时监测
将视频监控设备与计算机设备连接起来，使用蜗牛目标检测方法实时处理视频流信息。在处理时，由于农业虫害检测特别是蜗牛具有移动速度缓慢的特点，每隔20帧(1.3秒左右)读取一帧并进行。对于合并后的帧进行检测，若检测到目标蜗牛出现，即进行警报并将标注后的视频输出到监控屏中。
实验及结果：
按照上述方法进行数据预处理，划分训练并选择模型，得到了新的蜗牛目标检测模型Snail-Yolo与原YoloV3模型进行对比，得到如下对比结果：
表2本方法实验过程中对蜗牛的识别准确率
| 方法名称 | 准确率 | 召回率 | F1值 |
| YoloV3 | 71.80％ | 66.30％ | 68.94％ |
| Snail-Yolo | 87.50％ | 80.90％ | 84.07％ |
可以从表2中看出本专利提出的蜗牛目标检测方法显著的提高了农业环境中蜗牛这种小目标的检测效果。
实验结论：
本专利所提出的铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法，准确率高，泛化性能强，能够在准确识别当地农业环境的基础上有效检测出新品种蜗牛的出现，并标注对应的位置。网络运行速度较快也可以满足监控环境的即时性，处理流程可以节省大量人力，并24小时监控农业环境中的异常。
Claims (3)
1.一种铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法，其特征在于：包括以下步骤：
1)收集带有蜗牛的图片及视频数据：拍摄农业环境中正常的植物与带有蜗牛的部分，其中包括蜗牛散落于地面或者蜗牛位于植物之上的数据；对于同一蜗牛在不同角度拍摄多张照片或视频，此为数据集A；之后通过网络收集具有不同外观与角度的多种蜗牛图片与蜗牛视频，标为数据集B；
2)数据预处理：根据农业虫害检测的特点对图像与视频进行标记，标记信息主要包括类别信息与坐标信息；对于视频，按照一定比例将其中的帧提取出来放到对应的数据集中；对图片中的颜色进行处理，提高图片颜色饱和度、亮度与对比度；先按照Rnew＝1.2*R+10，Gnew＝1.2*R+10，Bnew＝1.2*R+10，其中(R，G，B)为三个通道原来的数值，(Rnew，Gnew，Bnew)为变换后的数值；对RGB三个颜色通道的数值进行修改，其次将RGB转化为HSL格式的数据，并设置饱和度、亮度；对数据集中的图片，进行90°旋转，旋转时的坐标变换公式为xnew＝(y-H/2)+W/2，ynew＝(x+W/2)+H/2，产生三个不同的副本，之后对四张图片进行横向翻转操作，扩充数据集；定义标准图片大小像素，对所有图片使用灰色补全；最后进行放缩，将候选框占标准图片面积超过30％的图片整体进行缩小，周围使用灰色补全；
3)蜗牛检测网络训练：将整个数据集A分为三部分训练集D1、验证集D2与测试集D3；之后将数据集B分为训练集D4与D5，其中数据集B中的数据均由网络中获得，蜗牛的种类颜色照片背景与数据集A中有较大的差别，将训练集D4与训练集D1混合；训练过程分为使用D1与D4训练模型的阶段与使用D5与D2选择模型的阶段；
4)蜗牛实时监测：将视频监控设备与计算机设备连接起来，使用蜗牛目标检测方法实时处理视频流信息；在处理时，每隔1～2秒检测一次，若检测到目标蜗牛出现，即进行警报并将标注后的视频输出到监控屏中。
2.根据权利要求1所述的铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法，其特征在于：步骤2)中，蜗牛图片获取之后的预处理包括以下部分：
2.1)颜色变换：对于标注好的数据首先进行颜色变化，提高对比度、饱和度与亮度；图片中每个像素点的颜色使用(R，G，B)x，y表示，其中x，y为像素点的坐标，坐标原点位于图片左上角；按照如下公式进行变换：
Rnew＝1.2*R+10
Gnew＝1.2*R+10
Bnew＝1.2*R+10
变换之后的数值为(Rnew，Gnew，，Bnew)x，y，若某个通道的数值大于255，则该通道的值固定为255；之后调整图片的饱和度与亮度，将RGB颜色空间转化为HSL空间，并查找所有像素的饱和度与亮度，将饱和度的取值调整为0.65，亮度的取值调整为0.15，调整后重新转化到RGB图像空间；
2.2)空间变换：对每一张图片围绕中点旋转九十度，图片的宽度与高度为：(W，H)，生成三张不同角度的图片，对其中的候选框坐标也进行变换，令原坐标为(x，y)，变换的公式为：
xnew＝(y-H/2)+W/2
ynew＝(x+W/2)+H/2
公式中的坐标(x，y)以左上角为原点；之后对每一张图片进行左右翻转操作，其中候选框的变换公式为：
xnew＝H-x
经过预处理后，图片的数量变为原来的8倍；最后将标准图片大小定义为608*608像素，首先将所有图片拉伸至608*608像素，若大于该分辨率则将图片缩小，其次若图片中单个候选框的面积大于等于图片大小的40％，则将该图片放缩至候选框占标准图片大小的40％，在图片周围用灰色补齐RGB。
3.根据权利要求1所述的铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法，其特征在于：步骤3)中，蜗牛目标检测模型的训练过程包括以下步骤：
3.1)模型训练：将D4与D1用于基于卷积神经网络的目标检测模型的训练，并为网络的目标函数添加修正项，训练阶段目标函数为：L＝0.8*LD1+0.2*LD4，其中LD1和LD4是网络在数据集D1和D4上不同的损失函数值；保存训练阶段中生成的多个模型；
3.2)模型选择：使用验证集D2选择准确率最高的模型作为训练结果，获得在给定的蜗牛上识别效果的网络，若将D5与D2混合进行选择，则通过设定准确率在不同数据集中的参数提高网络的泛化能力；使用Acc＝0.8*AccD2+0.2*AccD5选择最好的模型，其中AccD2和AccD5是网络在D2和D5上的准确率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910494939.0A CN110287822A (zh) | 2019-06-10 | 2019-06-10 | 一种铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910494939.0A CN110287822A (zh) | 2019-06-10 | 2019-06-10 | 一种铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110287822A true CN110287822A (zh) | 2019-09-27 |
Family
ID=68003642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910494939.0A Pending CN110287822A (zh) | 2019-06-10 | 2019-06-10 | 一种铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110287822A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111368854A (zh) * | 2020-03-03 | 2020-07-03 | 东南数字经济发展研究院 | 一种批量提取航拍图像中颜色单一的同类目标轮廓的方法 |
| CN114219984A (zh) * | 2021-12-14 | 2022-03-22 | 华南农业大学 | 一种基于改进YOLOv3的微小病虫害检测系统及其方法 |
| CN114877949A (zh) * | 2022-06-14 | 2022-08-09 | 古田县恒春农业开发有限公司 | 一种铁皮石斛种植用智能实时监测装置及监测方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107145827A (zh) * | 2017-04-01 | 2017-09-08 | 浙江大学 | 基于自适应距离度量学习的跨摄像机行人再识别方法 |
| TW201820257A (zh) * | 2016-11-29 | 2018-06-01 | 財團法人車輛研究測試中心 | 具平行架構之階層式標的物偵測系統及其方法 |
| CN108230355A (zh) * | 2017-06-14 | 2018-06-29 | 北京市商汤科技开发有限公司 | 目标跟踪及神经网络训练方法、装置、存储介质和电子设备 |
| CN108615046A (zh) * | 2018-03-16 | 2018-10-02 | 北京邮电大学 | 一种储粮害虫检测识别方法及装置 |
| CN109033947A (zh) * | 2018-06-11 | 2018-12-18 | 北京航空航天大学 | 基于深度学习的路面遗撒识别方法 |
| CN109033934A (zh) * | 2018-05-25 | 2018-12-18 | 江南大学 | 一种基于YOLOv2网络的水上漂浮物检测方法 |
| CN109147254A (zh) * | 2018-07-18 | 2019-01-04 | 武汉大学 | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 |
| CN109325418A (zh) * | 2018-08-23 | 2019-02-12 | 华南理工大学 | 基于改进YOLOv3的道路交通环境下行人识别方法 |
| CN109815800A (zh) * | 2018-12-17 | 2019-05-28 | 广东电网有限责任公司 | 基于回归算法的目标检测方法及系统 |
-
2019
- 2019-06-10 CN CN201910494939.0A patent/CN110287822A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201820257A (zh) * | 2016-11-29 | 2018-06-01 | 財團法人車輛研究測試中心 | 具平行架構之階層式標的物偵測系統及其方法 |
| CN107145827A (zh) * | 2017-04-01 | 2017-09-08 | 浙江大学 | 基于自适应距离度量学习的跨摄像机行人再识别方法 |
| CN108230355A (zh) * | 2017-06-14 | 2018-06-29 | 北京市商汤科技开发有限公司 | 目标跟踪及神经网络训练方法、装置、存储介质和电子设备 |
| CN108615046A (zh) * | 2018-03-16 | 2018-10-02 | 北京邮电大学 | 一种储粮害虫检测识别方法及装置 |
| CN109033934A (zh) * | 2018-05-25 | 2018-12-18 | 江南大学 | 一种基于YOLOv2网络的水上漂浮物检测方法 |
| CN109033947A (zh) * | 2018-06-11 | 2018-12-18 | 北京航空航天大学 | 基于深度学习的路面遗撒识别方法 |
| CN109147254A (zh) * | 2018-07-18 | 2019-01-04 | 武汉大学 | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 |
| CN109325418A (zh) * | 2018-08-23 | 2019-02-12 | 华南理工大学 | 基于改进YOLOv3的道路交通环境下行人识别方法 |
| CN109815800A (zh) * | 2018-12-17 | 2019-05-28 | 广东电网有限责任公司 | 基于回归算法的目标检测方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| QI CHU 等: "Online Multi-Object Tracking Using CNN-based Single Object Tracker with Spatial-Temporal Attention Mechanism", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
| 于君霞: "基于自适应动态限幅的水下图像增强算法改进", 《西部皮革》 * |
| 张建华 等: "基于改进VGG卷积神经网络的棉花病害识别模型", 《中国农业大学学报》 * |
| 徐江川: "基于深度卷积神经网络的熟料颗粒方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 马红强 等: "基于深度卷积神经网络的低照度图像增强", 《光学学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111368854A (zh) * | 2020-03-03 | 2020-07-03 | 东南数字经济发展研究院 | 一种批量提取航拍图像中颜色单一的同类目标轮廓的方法 |
| CN114219984A (zh) * | 2021-12-14 | 2022-03-22 | 华南农业大学 | 一种基于改进YOLOv3的微小病虫害检测系统及其方法 |
| CN114219984B (zh) * | 2021-12-14 | 2024-03-01 | 华南农业大学 | 一种基于改进YOLOv3的微小病虫害检测系统及其方法 |
| CN114877949A (zh) * | 2022-06-14 | 2022-08-09 | 古田县恒春农业开发有限公司 | 一种铁皮石斛种植用智能实时监测装置及监测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | In-field automatic observation of wheat heading stage using computer vision | |
| Sun et al. | Northern maize leaf blight detection under complex field environment based on deep learning | |
| Bai et al. | Rice heading stage automatic observation by multi-classifier cascade based rice spike detection method | |
| CN110717903A (zh) | 一种利用计算机视觉技术进行农作物病害检测的方法 | |
| Tang et al. | Weed detection using image processing under different illumination for site-specific areas spraying | |
| CN113538390B (zh) | 一种柚子病虫害的快速识别方法 | |
| Yu et al. | Automatic image-based detection technology for two critical growth stages of maize: Emergence and three-leaf stage | |
| Zhou et al. | Using colour features of cv.‘Gala’apple fruits in an orchard in image processing to predict yield | |
| CN109961024A (zh) | 基于深度学习的小麦田间杂草检测方法 | |
| CN110287822A (zh) | 一种铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法 | |
| Zhang et al. | EPSA-YOLO-V5s: A novel method for detecting the survival rate of rapeseed in a plant factory based on multiple guarantee mechanisms | |
| CN109344738A (zh) | 农作物病虫草害识别方法及装置 | |
| Ji et al. | In-field automatic detection of maize tassels using computer vision | |
| CN114067207A (zh) | 一种基于深度学习和图像处理的蔬菜苗田杂草检测方法 | |
| CN105513096A (zh) | 一种冬小麦生物量估算方法 | |
| Ullagaddi et al. | Disease recognition in Mango crop using modified rotational kernel transform features | |
| CN109815914A (zh) | 一种基于植被区域识别的卷积神经网络模型训练方法及系统 | |
| Loresco et al. | Segmentation of lettuce plants using super pixels and thresholding methods in smart farm hydroponics setup | |
| CN117876823B (zh) | 一种茶园图像检测方法及其模型训练方法和系统 | |
| CN114219795A (zh) | 一种基于高光谱成像系统的茶树干旱诱导成分及干旱程度评估的预测方法和系统 | |
| Niu et al. | YOLO-plum: A high precision and real-time improved algorithm for plum recognition | |
| Chakraborty et al. | Early almond yield forecasting by bloom mapping using aerial imagery and deep learning | |
| Xiong et al. | A Study on Weed Detection Based on Improved Yolo v5 | |
| Zhang et al. | A rapidly diagnosis and application system of fusarium head blight based on smartphone | |
| CN115147835B (zh) | 一种基于改进RetinaNet的自然果园场景下的凤梨成熟度检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190927 |