CN111611889A - 基于改进卷积神经网络的农田微型虫害识别装置 - Google Patents

基于改进卷积神经网络的农田微型虫害识别装置 Download PDF

Info

Publication number
CN111611889A
CN111611889A CN202010398156.5A CN202010398156A CN111611889A CN 111611889 A CN111611889 A CN 111611889A CN 202010398156 A CN202010398156 A CN 202010398156A CN 111611889 A CN111611889 A CN 111611889A
Authority
CN
China
Prior art keywords
module
image
insect pest
images
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010398156.5A
Other languages
English (en)
Other versions
CN111611889B (zh
Inventor
陈鹏
李卫鹭
方桃
章军
王兵
梁栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202010398156.5A priority Critical patent/CN111611889B/zh
Publication of CN111611889A publication Critical patent/CN111611889A/zh
Application granted granted Critical
Publication of CN111611889B publication Critical patent/CN111611889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进卷积神经网络的农田微型虫害识别装置，包括摄像终端系统、智能识别系统、远程更新系统。所述摄像终端系统用于通过摄像控制模块来调用终端摄像模块，拍摄田间微型虫害图片，并传送到智能识别系统中；所述智能识别系统，基于改进卷积神经网络，接收摄像终端系统拍摄的图片并进行一定的处理，通过智能识别系统识别拍摄图片中的农业微型虫害，再返回到摄像终端系统的界面以显示虫害的具体种类以及防治等信息；所述远程更新系统，在于实时存储用户拍摄的图片，以此定期更新智能识别系统，提高虫害识别精度和效率。本发明具有操作方便、智能交互、便于携带等优点。

Description

基于改进卷积神经网络的农田微型虫害识别装置
技术领域
本发明属于农业害虫检测领域，涉及农田虫害识别装置技术，具体是基于改进卷积神经网络的农田微型虫害识别装置。
背景技术
我国农田的害虫种类众多，有些微小型虫害很难去精准识别，例如麦蚜虫、麦叶蜂、小麦蜘蛛等。小麦蜘蛛在小麦拔节、孕穗期为害严重，可对小麦造成不同程度的减产，对小麦蜘蛛的田间计数调查，并及时预测预报尤为重要。然而，因虫体过小，对小麦蜘蛛的计数方法，目前仍使用人工田间肉眼估计的方法。由于人工识别过程中自动化程度低、效率低，准确度受检验人员经验和状态的影响，费时费力。
鉴于此，本发明基于计算机视觉技术，利用深度学习方法对其进行检测，实现田间小型虫害，比如小麦蜘蛛的自动统计，提升了传统田间小型虫害调查的工程化与自动化水平。
发明内容
本发明的目的在于提供基于改进卷积神经网络的农田微型虫害识别装置。
本发明所要解决的技术问题为：
如何对原始图像(比如分辨率为1440*1080)中的微型虫害(比如小麦蜘蛛)进行检测，实现田间小型虫害的自动统计。
本发明的目的可以通过以下技术方案实现：
一种基于改进卷积神经网络的农田微型虫害识别装置，包括：
摄像终端系统，所述摄像终端系统包括终端摄像模块、摄像控制模块、ARM芯片板和数据传输模块；所述摄像终端系统用于通过ARM芯片板上嵌入的软件界面来控制摄像控制模块，从而调用终端摄像模块拍摄田间微型虫害图片，并将虫害图片传送到智能识别系统中；
其中，所述摄像控制模块用于连接终端摄像模块，调用终端摄像模块拍摄田间微型虫害图像后通过数据传输模块上传到数据处理模块；所述摄像控制模块包括调用摄像头子模块、图像识别子模块、图像上传子模块；
智能识别系统，所述智能识别系统包括数据处理模块、识别模块、信息下发模块；所述智能识别系统基于改进卷积神经网络模型的微型虫害检测方法，接收终端摄像模块拍摄的图像并通过数据处理模块进行处理扩展图像数据数量，通过智能识别系统识别拍摄图像中的农业微型虫害，再返回到摄像终端系统的ARM芯片板上嵌入的软件界面以显示虫害的具体种类以及防治信息；
远程更新系统，所述远程更新系统包括远程存储模块、虫害数据库、远程网络训练模块；所述远程更新系统用于实时存储终端摄像模块拍摄的图像，以此定期更新智能识别系统，提高虫害识别精度和效率；
其中，所述远程存储模块用于存储上传的农田微型虫害图片；所述虫害数据库包括历史的虫害图像和当前上传的虫害图像，以更新远程网络训练模块，使其识别精度更高；
所述远程网络训练模块用户搭建基于改进卷积神经网络的训练模型，用于指导智能识别系统中部署的嵌入式识别模块，以精准识别微型虫害。
进一步地，所述数据处理模块对终端摄像模块拍摄的图像进行处理扩展图像数据数量的方法为：
步骤SS01：通过终端摄像模块在农田实际环境中获取的微型虫害图像，将图像分为5组，取其中1组图像作为测试集，其他4组作为训练集；
步骤SS02：将接收到的图像转换为单尺度图像和多尺度图像，使图像中的每个微型虫害都具有4种尺度大小；
步骤SS03：通过数据增强技术来扩展图像数据集：对训练集中的图像进行水平镜像翻转、垂直镜像翻转和添加椒盐噪声，以此扩展图像数据数量。
进一步地，所述步骤SS02中将接收到的图像转换为单尺度图像和多尺度图像的规则具体为：
将所有数据集的每个原始图像裁剪成具有多种尺寸的图像；尺寸为150*250、240*400、300*500、600*1000，其中，多尺度图像都具有相同的宽高比，宽高比为3：5。
进一步地，基于改进卷积神经网络模型的微型虫害检测方法为：
步骤S001：通过对比卷积神经网络不同的检测模型，选择R-FCN模型作为原型并通过算法进行改进，并使用经过算法改进后的R-FCN模型对训练集数据进行训练，得到用于检测微型虫害的深度学习模型；
步骤S002：将测试集数据输入到步骤S001中得到的深度学习模型中，通过改进后的R-FCN模型提取微型虫害图像的特征，再对提取的特征进行定位检测，得到微型虫害的识别精度；
步骤S003：根据输出的测试识别精度结果，保存训练最优化的模型算法。
进一步地，所述步骤S001中通过算法对R-FCN模型进行改进的方法为：
步骤S01：锚点的优化：利用聚类算法对所有的数据进行统计分析，根据聚类分析结果来设计锚点的大小和比例；通过k中心点聚类对所有的真实框进行分析，将锚点的大小设为{32^2，64^2，128^2，256^2}，比例设置为{3:4，1:1，5:4}，得到12种的具有不同大小及比例的锚点；
步骤S02：超参数的优化：在原始R-FCN模型默认参数基础上做如下优化：
S021：前景与背景样本的阈值：前景样本的阈值设为0.60，背景样本的阈值设为0～0.60；感兴趣区域与前景的重叠度大于0.60被认为前景样本，感兴趣区域与前景的重叠度在0～0.60之间被认为背景样本；
S022：BBOX阈值：设定为0.65，只有感兴趣区域与真实框的重叠度大于0.65，该感兴趣区域才能用作BB回归的训练样本；
S023：minibatch大小：设定为64；
S024：域建议网络的正负样本阈值：正样本设定为0.75；负样本阈值设定为0.4；
S025：将所有实验中经过非极大抑制留下的候选区域数量设置为200，其他设置保持默认不变。
进一步地，所述步骤S001中用于检测微型虫害的深度学习模型，具体检测步骤包括：
步骤S1：利用四层卷积神经网络对微型虫害图像进行特征提取，获得一系列特征图；
步骤S2：利用域建议网络生成一系列感兴趣区域；
步骤S3：在域建议网络最后添加一层特殊卷积层对每一个感兴趣区域构建一组位置敏感得分图，每个得分图都保存微型虫害的空间位置信息；
步骤S4：对每一组位置敏感得分图进行均值池化处理，经过投票得到一组向量，然后送入softmax函数进行分类并输出微型虫害及背景的概率。
进一步地，所述终端摄像模块用于拍摄农田中的微型虫害图像，终端摄像模块采用一个单独的摄像头或嵌入式的摄像头或便携设备的摄像头。
本发明的有益效果：
1、本发明的农田微型虫害图像是经由数码相机在麦田实际环境中进行实地采集的，其中包含农田微型虫害的不同拍摄视角，由于原始图像中的农田微型虫害像素少，且特征不明显，因此，和大目标相比，其检测率低。针对这个问题，本发明中对数据集进行改进，将数据集的图像转换为两个级别：单尺度图像和多尺度图像，能对原始图像(分辨率为1440*1080)中的农田微型虫害具有较好的检测率，能更好的检测到农田微型虫害的数量；
2、对于深度学习方法，通常情况数据集越大，模型效果越好；本发明采取数据增强技术来增加数据集，提高模型的精度，对训练数据集中的图像通过镜像翻转和椒盐噪声等进行了扩充；
3、本发明中选用了R-FCN模型作为原型做出改进，为了进一步提高模型的检测精度，本发明分别从网络结构、锚点、超参数等方面对模型进一步优化，得到适用农田微型虫害图像检测的模型；
4、与使用人工田间肉眼估计的方法费时费力，以及不稳定性相比，本发明利用深度学习方法对其进行检测，实现田间微型虫害的自动统计，具有快速、方便、精准、客观的优点，提升田间害虫预测预报的时效性，减少环境和食物的污染，减少微型虫害所带来的损失，提高微型虫害的综合防治能力，提升了传统微型虫害调查的工程化与自动化水平。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1是本发明的框架流程图；
图2是深度学习的R-FCN结构图；
图3是本发明中田间小型农田虫害检测过程结构图；
图4是优化后的检测过程结构图；
图5是不同目标检测算法在多尺度数据集上的测试结果图；
图6是不同的特征提取网络的识别精度和测试时间比较；
图7是本发明实施例二对应的使用方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1-5所示，基于改进卷积神经网络的农田微型虫害识别装置，包括：
摄像终端系统，摄像终端系统包括终端摄像模块、摄像控制模块、ARM芯片板和数据传输模块，不同的模块需要安装不同的软件和硬件；摄像终端系统用于通过ARM芯片板上嵌入的软件界面来控制摄像控制模块，从而调用终端摄像模块拍摄田间微型虫害图片，并将虫害图片传送到智能识别系统中；其中，摄像控制模块用于连接终端摄像模块，调用终端摄像模块拍摄田间微型虫害图像后通过数据传输模块上传到数据处理模块；摄像控制模块包括调用摄像头子模块、图像识别子模块、图像上传子模块，摄像控制模块主要功能包括：控制软件界面、调用摄像头以拍摄农田的小型农田虫害、本地存储图像、远程发送图像、显示远程下发信息等服务和功能；，终端摄像模块用于拍摄农田中的微型虫害图像，终端摄像模块采用一个单独的摄像头或嵌入式的摄像头或便携设备的摄像头，即数码相机、手机摄像头、终端摄像头等，终端摄像模块为独立的摄像头，连接到摄像终端系统的嵌入式ARM芯片板上。
智能识别系统，智能识别系统包括数据处理模块、识别模块、信息下发模块；识别模块的功能包括：部署在ARM芯片板上的基于改进卷积神经网络的在线测试模型、在线模型更新、模型输出、信息下发等。智能识别系统基于改进卷积神经网络模型的微型虫害检测方法，接收终端摄像模块拍摄的图像并通过数据处理模块进行处理扩展图像数据数量，通过智能识别系统识别拍摄图像中的农业微型虫害，再返回到摄像终端系统的ARM芯片板上嵌入的软件界面以显示虫害的具体种类以及防治信息；
远程更新系统，远程更新系统包括远程存储模块、虫害数据库、远程网络训练模块；远程网络训练模块的功能包括：虫害图像预处理子模块、部署在远程端的网络训练模型子模块、参数共享下发子模块等。远程更新系统用于实时存储终端摄像模块拍摄的图像，以此定期更新智能识别系统，提高虫害识别精度和效率；远程存储模块用于存储上传的农田微型虫害图片；虫害数据库包括历史的虫害图像和当前上传的虫害图像，以更新远程网络训练模块，使其识别精度更高；远程网络训练模块用户搭建基于改进卷积神经网络的训练模型，用于指导智能识别系统中部署的嵌入式识别模块，以精准识别微型虫害。
实施例一：如图2-6所示：
本实施例以小麦蜘蛛为例，一种基于改进卷积神经网络的小麦蜘蛛的识别装置，包括：
通过数码相机在麦田实际环境中获取的分辨率为1440*1080的真实小麦蜘蛛图像，并进行处理，将84张1440*1080图像分为训练集(64张)和测试集(20张)；将收集到的图像转换为单尺度图像和多尺度图像；
采取数据增强技术来扩展训练集图像：本文的数据集中只有850张图像，数据集太小，无法充分利用深度学习模型的强大功能，因此，需要采取数据增强技术来增加数据集。对训练数据集中的图像通过镜像翻转和椒盐噪声，相当于对原始小图像扩增了三倍，最终获得3400个图像，而测试集没有做数据扩增，仍然为378张图像；
使用经过算法改进后的R-FCN模型来对训练集数据进行训练，得到用于检测小麦蜘蛛的深度学习模型。对比卷积神经网络不同的检测模型，选择R-FCN模型作为原型做出改进，原因是该模型提出了位置敏感图来解决检测的位置敏感性问题，并且速度明显优于基于候选区域的卷积检测模型；
将测试集数据输入到上述所得到的深度学习模型中，利用改进后的R-FCN模型提取小麦蜘蛛图像的特征，再对提取的特征进行定位检测，得到小麦蜘蛛的识别精度。根据输出测试的结果，保存训练最优化的模型算法。
将收集到的图像转换为单尺度图像和多尺度图像，包括：将所有数据集的每个原始图像裁剪成具有多种尺寸的较小图像(例如150*250,240*400,300*500和600*1000)，其中多尺度的小图像都具有相同的宽高比(3：5)，并由人工进行标注和筛选，避免出现重复和错误，再从训练数据集和测试数据集中得到肉眼可见的850张较小图像和378张较小图像；
所述经过算法改进的R-FCN模型，具体改进包括：
网络结构的优化，为了研究适合小麦蜘蛛这种小目标的特征提取网络，分别采用ZFNet、ZF-Inception Net、AlexNet、ResNet-50、ResNet-101，来进行不同特征提取网络的识别精度和测试时间比较。
表1不同的特征提取网络的识别精度和测试时间比较
Figure BDA0002488338790000081
由表1可知，从识别精度上分析，残差网络的识别性能要优于五层的ZFNet以及AlexNet，其中，在ZF的基础上增加的Inception模块之后的性能反而降低了，且性能和AlexNet差不多。AlexNet中使用的卷积核较大，比如11*11、5*5卷积核，这样会大大的增加计算量，而且，图像中的目标较小，使用较大的卷积核，不一定能获得较好的特征，反而会因为计算量的增加影响模型的性能。另外，本发明已经对数据做了多尺度处理，如果再使用Inception模块，对于性能的提升不是那么明显；从测试一张图像的时间上来看，虽然残差网络的识别精度比ZF的高1％左右，但是所用的测试时间是ZF的一半。因此，为了能够更加实时的了解小麦蜘蛛的数量，本文选择ZF作为特征提取网络。
锚点(anchor)的优化，R-FCN原始的anchor的比例是{1:1,1:2,2:1}，且面积比为{128^2，256^2，512^2}，因为原始的anchor所针对的是ImageNet上的所有目标，因此不适用于本文的田间小麦蜘蛛数据。在进行小麦蜘蛛检测实验时，若只是通过肉眼对数据集中随机挑选数据图像，查看小麦蜘蛛的的长宽比及大小，从而调整anchor的大小和长宽比例值，通过反复实验新设计的anchor的大小和比例，最终确定anchor的大小和比例，此种做法不够具备科学合理性。因此，本部分实验利用聚类算法对所有的数据进行统计分析，根据聚类分析结果来设计anchor的大小和比例。本部分通过k中心点聚类对所有的GT进行分析。将anchor的大小设为{32^2,64^2,128^2,256^2},比例设置为{3:4,1:1,5:4}.这样得到12种的具有不同大小及比例的锚点(anchor)。
表2 K-mean聚类结果
Figure BDA0002488338790000091
从表2可知，通过对图像中小麦蜘蛛的大小和比例做聚类分析，从整体上了解本发明所检测物体的整体的大小和比例情况，根据聚类分析结果对锚点(anchor)进行设定也更具合理性。
超参数的优化，考虑到图像中小麦蜘蛛尺寸较小且背景颜色较单一，基本为绿色，且处理后的小图像中目标较小等因素，在原始R-FCN默认参数基础上做如下改动：
S021：前景与背景样本的阈值：前景样本的阈值设为0.60(默认设置为0.5)，背景样本的阈值设为0～0.60(默认设置为0.1～0.5)；感兴趣区域(Region of Interest,RoI)与前景的重叠度大于0.60被认为前景样本，RoI与前景的重叠度在0～0.60之间被认为背景样本；
S022：BBOX阈值：设定为0.65(默认设置为0.5)，只有感兴趣区域与真实框的重叠度大于0.65，该RoI才能用作BB回归的训练样本；
S023：minibatch大小：即RoI的数量，设定为64(默认设置为128)；
S024：域建议网络(Region Proposal Network，RPN)的正负样本阈值：正样本设定为0.75(默认0.7)；负样本阈值设定为0.4；
S025：将所有实验中经过非极大抑制留下的候选区域数量设置为200(默认设置为300)，其他设置保持默认不变。
使用经过算法改进后的R-FCN模型(基于区域的全卷积网络模型)来对训练集数据进行训练，得到用于检测小麦蜘蛛的深度学习模型，具体检测包括：
步骤S1：利用四层卷积神经网络对小麦蜘蛛图像进行特征提取，获得一系列特征图；
步骤S2：利用域建议网络(RPN)生成一系列感兴趣区域；
步骤S3：在域建议网络(RPN)最后添加一层特殊卷积层对每一个感兴趣区域构建一组位置敏感得分图，每个得分图都保存小麦蜘蛛的空间位置信息；
步骤S4：对每一组位置敏感得分图进行均值池化处理，经过投票得到一组向量，然后送入softmax函数进行分类并输出小麦蜘蛛及背景的概率
通过实验来评估所提出方法的性能。专注于三种不同目标检测算法的识别精度如表3所示：
表3不同目标检测算法的识别精度表
Figure BDA0002488338790000111
可以看出，单尺度数据集上的识别精度要高于多尺度数据集上，这是因为单尺度数据集上数据的差异性较小，所以其识别精度更高，但是泛化能力差，在原图中的识别效果很差，SSD和YOLO3在原图上检测不出小麦蜘蛛；在多尺度上数据集上的测试结果如图5所示(其中：(a)Faster R-CNN(ZF+Inception)；(b)R-FCN(ZF)；(c)YOLO3)，可以看出，本文方法在原图中的识别效果要优于YOLO3，且因为SSD要求测试图像和训练图像尺寸一致，因此，无法对其进行测试。
总体而言，利用数码相机在农田中收集到的农业害虫图像往往不太清楚，且农田中害虫密度低，导致图片中害虫的分辨率较低，使其难以观察和监测。本文对算法进行优化后，一定程度上提高了识别效果。
实施例二：
如图7所示，本实施例以用户拍摄小麦蜘蛛为例，提供了一种改进卷积神经网络的小麦蜘蛛的识别装置，该装置的使用包括：
用户发现虫害以后，启动装置的拍摄界面，使用用户名和密码登陆APP，如果登陆成功，则启动摄像头以最佳的角度和光线拍摄虫害图像，如果登陆失败，则可联系系统管理员更新用户信息或者重新登录，直至成功登陆为止。拍摄到的图像输送到本地的卷积神经网络模型中识别，识别的图像返回显示到装置的显示界面中；同时，本地装置通过4G/5G信号把虫害识别的结果信息实时的上传到虫害数据库中，也通过4G/5G信号接收远程更新系统返回的关于此识别虫害的防治信息以及推荐的产品等信息。另外，拍摄到的图像可以等到WiFi环境的时候再离线上传到远程更新系统的远程存储模块中保存。
本地识别的图像结果以及远程更新系统返回的相关虫害防治信息、推荐广告信息可以实时的发送到本地装置的显示屏上，供用户获取实时的相关信息。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (7)

1.基于改进卷积神经网络的农田微型虫害识别装置，其特征在于，包括：
摄像终端系统，所述摄像终端系统包括终端摄像模块、摄像控制模块、ARM芯片板和数据传输模块；所述摄像终端系统用于通过ARM芯片板上嵌入的软件界面来控制摄像控制模块，从而调用终端摄像模块拍摄田间微型虫害图片，并将虫害图片传送到智能识别系统中；
其中，所述摄像控制模块用于连接终端摄像模块，调用终端摄像模块拍摄田间微型虫害图像后通过数据传输模块上传到数据处理模块；所述摄像控制模块包括调用摄像头子模块、图像识别子模块、图像上传子模块；
智能识别系统，所述智能识别系统包括数据处理模块、识别模块、信息下发模块；所述智能识别系统基于改进卷积神经网络模型的微型虫害检测方法，接收终端摄像模块拍摄的图像并通过数据处理模块进行处理扩展图像数据数量，通过智能识别系统识别拍摄图像中的农业微型虫害，再返回到摄像终端系统的ARM芯片板上嵌入的软件界面以显示虫害的具体种类以及防治信息；
远程更新系统，所述远程更新系统包括远程存储模块、虫害数据库、远程网络训练模块；所述远程更新系统用于实时存储终端摄像模块拍摄的图像；
其中，所述远程存储模块用于存储上传的农田微型虫害图片；所述虫害数据库包括历史的虫害图像和当前上传的虫害图像，以更新远程网络训练模块；
所述远程网络训练模块用户搭建基于改进卷积神经网络的训练模型，用于指导智能识别系统中部署的嵌入式识别模块。
2.根据权利要求1所述的基于改进卷积神经网络的农田微型虫害识别装置，其特征在于，所述数据处理模块对终端摄像模块拍摄的图像进行处理扩展图像数据数量的方法为：
步骤SS01：通过终端摄像模块在农田实际环境中获取的微型虫害图像，将图像分为5组，取其中1组图像作为测试集，其他4组作为训练集；
步骤SS02：将接收到的图像转换为单尺度图像和多尺度图像，使图像中的每个微型虫害都具有4种尺度大小；
步骤SS03：通过数据增强技术来扩展图像数据集：对训练集中的图像进行水平镜像翻转、垂直镜像翻转和添加椒盐噪声。
3.根据权利要求2所述的基于改进卷积神经网络的农田微型虫害识别装置，其特征在于，所述步骤SS02中将接收到的图像转换为单尺度图像和多尺度图像的规则具体为：
将所有数据集的每个原始图像裁剪成具有多种尺寸的图像；尺寸为150*250、240*400、300*500、600*1000，其中，多尺度图像都具有相同的宽高比，宽高比为3：5。
4.根据权利要求1所述的基于改进卷积神经网络的农田微型虫害识别装置，其特征在于，基于改进卷积神经网络模型的微型虫害检测方法为：
步骤S001：选择R-FCN模型作为原型并通过算法进行改进，并使用经过算法改进后的R-FCN模型对训练集数据进行训练，得到用于检测微型虫害的深度学习模型；
步骤S002：将测试集数据输入到步骤S001中得到的深度学习模型中，通过改进后的R-FCN模型提取微型虫害图像的特征，再对提取的特征进行定位检测，得到微型虫害的识别精度；
步骤S003：根据输出的测试识别精度结果，保存训练最优化的模型算法。
5.根据权利要求4所述的基于改进卷积神经网络的农田微型虫害识别装置，其特征在于，所述步骤S001中通过算法对R-FCN模型进行改进的方法为：
步骤S01：锚点的优化：利用聚类算法对所有的数据进行统计分析，根据聚类分析结果来设计锚点的大小和比例；通过k中心点聚类对所有的真实框进行分析，将锚点的大小设为{32^2，64^2，128^2，256^2}，比例设置为{3:4，1:1，5:4}，得到12种的具有不同大小及比例的锚点；
步骤S02：超参数的优化，在原始R-FCN模型默认参数基础上做如下优化：
S021：前景与背景样本的阈值：前景样本的阈值设为0.60，背景样本的阈值设为0～0.60；感兴趣区域与前景的重叠度大于0.60被认为前景样本，感兴趣区域与前景的重叠度在0～0.60之间被认为背景样本；
S022：BBOX阈值：设定为0.65，只有感兴趣区域与真实框的重叠度大于0.65，该感兴趣区域才能用作BB回归的训练样本；
S023：minibatch大小：设定为64；
S024：域建议网络的正负样本阈值：正样本设定为0.75；负样本阈值设定为0.4；
S025：将所有实验中经过非极大抑制留下的候选区域数量设置为200，其他设置保持默认不变。
6.根据权利要求4所述的基于改进卷积神经网络的农田微型虫害识别装置，其特征在于，所述步骤S001中用于检测微型虫害的深度学习模型，具体检测步骤包括：
步骤S1：利用四层卷积神经网络对微型虫害图像进行特征提取，获得一系列特征图；
步骤S2：利用域建议网络生成一系列感兴趣区域；
步骤S3：在域建议网络最后添加一层特殊卷积层对每一个感兴趣区域构建一组位置敏感得分图，每个得分图都保存微型虫害的空间位置信息；
步骤S4：对每一组位置敏感得分图进行均值池化处理，经过投票得到一组向量，然后送入softmax函数进行分类并输出微型虫害及背景的概率。
7.根据权利要求1所述的基于改进卷积神经网络的农田微型虫害识别装置，其特征在于，所述终端摄像模块用于拍摄农田中的微型虫害图像，终端摄像模块采用一个单独的摄像头或嵌入式的摄像头或便携设备的摄像头。
CN202010398156.5A 2020-05-12 2020-05-12 基于改进卷积神经网络的农田微型虫害识别装置 Active CN111611889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010398156.5A CN111611889B (zh) 2020-05-12 2020-05-12 基于改进卷积神经网络的农田微型虫害识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010398156.5A CN111611889B (zh) 2020-05-12 2020-05-12 基于改进卷积神经网络的农田微型虫害识别装置

Publications (2)

Publication Number Publication Date
CN111611889A true CN111611889A (zh) 2020-09-01
CN111611889B CN111611889B (zh) 2023-04-18

Family

ID=72200221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010398156.5A Active CN111611889B (zh) 2020-05-12 2020-05-12 基于改进卷积神经网络的农田微型虫害识别装置

Country Status (1)

Country Link
CN (1) CN111611889B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733614A (zh) * 2020-12-22 2021-04-30 中国科学院合肥物质科学研究院 一种带有相似尺寸强化识别的害虫图像检测方法
CN112949796A (zh) * 2021-03-23 2021-06-11 青岛农业大学 一种基于深度学习的混合式病虫害识别装置及方法
CN113159060A (zh) * 2021-02-23 2021-07-23 华南农业大学 一种农作物虫害检测方法及系统
CN114239756A (zh) * 2022-02-25 2022-03-25 科大天工智能装备技术（天津）有限公司 一种虫害检测方法及系统
CN114240883A (zh) * 2021-12-16 2022-03-25 易构智能科技(广州)有限公司 一种染色体图像处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558787A (zh) * 2018-09-28 2019-04-02 浙江农林大学 一种基于卷积神经网络模型的竹林害虫识别方法
CN110309841A (zh) * 2018-09-28 2019-10-08 浙江农林大学 一种基于深度学习的山核桃常见害虫识别方法
CN110659659A (zh) * 2018-07-19 2020-01-07 清华珠三角研究院 一种智能识别和预警害虫的方法及系统
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659659A (zh) * 2018-07-19 2020-01-07 清华珠三角研究院 一种智能识别和预警害虫的方法及系统
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
CN109558787A (zh) * 2018-09-28 2019-04-02 浙江农林大学 一种基于卷积神经网络模型的竹林害虫识别方法
CN110309841A (zh) * 2018-09-28 2019-10-08 浙江农林大学 一种基于深度学习的山核桃常见害虫识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈天娇等: "基于深度学习的病虫害智能化识别系统", 《中国植保导刊》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733614A (zh) * 2020-12-22 2021-04-30 中国科学院合肥物质科学研究院 一种带有相似尺寸强化识别的害虫图像检测方法
CN112733614B (zh) * 2020-12-22 2022-09-09 中国科学院合肥物质科学研究院 一种带有相似尺寸强化识别的害虫图像检测方法
CN113159060A (zh) * 2021-02-23 2021-07-23 华南农业大学 一种农作物虫害检测方法及系统
CN112949796A (zh) * 2021-03-23 2021-06-11 青岛农业大学 一种基于深度学习的混合式病虫害识别装置及方法
CN114240883A (zh) * 2021-12-16 2022-03-25 易构智能科技(广州)有限公司 一种染色体图像处理方法及系统
CN114240883B (zh) * 2021-12-16 2022-06-07 易构智能科技(广州)有限公司 一种染色体图像处理方法及系统
CN114239756A (zh) * 2022-02-25 2022-03-25 科大天工智能装备技术（天津）有限公司 一种虫害检测方法及系统
CN114239756B (zh) * 2022-02-25 2022-05-17 科大天工智能装备技术（天津）有限公司 一种虫害检测方法及系统

Also Published As

Publication number Publication date
CN111611889B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111611889B (zh) 基于改进卷积神经网络的农田微型虫害识别装置
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110148120B (zh) 一种基于cnn与迁移学习的病害智能识别方法及系统
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN106897673B (zh) 一种基于retinex算法和卷积神经网络的行人再识别方法
CN112686833B (zh) 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置
CN109801265B (zh) 一种基于卷积神经网络的实时输电设备异物检测系统
CN112131927B (zh) 基于妊娠后期姿态转化特性的母猪分娩时间预测系统
CN109919073B (zh) 一种具有光照鲁棒性的行人再识别方法
CN109492665A (zh) 水稻生育期的检测方法、装置及电子设备
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN115457428A (zh) 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置
CN112464766A (zh) 一种农田地头自动识别方法及系统
CN109101926A (zh) 基于卷积神经网络的空中目标检测方法
CN112862849A (zh) 一种基于图像分割和全卷积神经网络的田间稻穗计数方法
CN112001370A (zh) 一种农作物病虫害识别方法及系统
CN111339902A (zh) 一种数显仪表的液晶屏示数识别方法及装置
CN111242026A (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN113987236B (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN113743426A (zh) 一种训练方法、装置、设备以及计算机可读存储介质
CN111260687A (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN111027436A (zh) 一种基于深度学习的东北黑木耳病虫害图像识别系统
Pramudhita et al. Strawberry Plant Diseases Classification Using CNN Based on MobileNetV3-Large and EfficientNet-B0 Architecture
CN113627558A (zh) 鱼类图像识别方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant