CN112270681B - 一种黄板害虫深度检测与计数方法与系统 - Google Patents

一种黄板害虫深度检测与计数方法与系统 Download PDF

Info

Publication number
CN112270681B
CN112270681B CN202011343914.XA CN202011343914A CN112270681B CN 112270681 B CN112270681 B CN 112270681B CN 202011343914 A CN202011343914 A CN 202011343914A CN 112270681 B CN112270681 B CN 112270681B
Authority
CN
China
Prior art keywords
pest
foreground
background
yellow
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011343914.XA
Other languages
English (en)
Other versions
CN112270681A (zh
Inventor
王春桃
郭庆文
肖德琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202011343914.XA priority Critical patent/CN112270681B/zh
Publication of CN112270681A publication Critical patent/CN112270681A/zh
Application granted granted Critical
Publication of CN112270681B publication Critical patent/CN112270681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的黄板害虫深度检测与计数方法，包括：摄像采集黄板图像数据并对图像进行预处理，对图像中害虫进行人工标注；批量处理已标注图像数据，训练前景与背景分类CNN和害虫分类CNN；将待检测计数黄板图像数据作为输入送进优化后的深度检测器，得到一组存在冗余的检测框；利用改进后的非极大值抑制算法进行处理，消除冗余检测框；根据最终检测框统计不同类别害虫的数目，实现对害虫的计数。本发明提供一种黄板害虫深度检测与计数系统，一方面，利用图像显著性分析和链式级联网络结构有效过滤简单负样本，从而降低误检率，并最终提升检测精度；另一方面，本发明改进非极大值抑制算法，采用投票机制防止深度检测器根据片面视野做出武断决策。

Description

一种黄板害虫深度检测与计数方法与系统
技术领域
本发明涉及农业人工智能技术领域，更具体的，本发明涉及一种黄板害虫深度检测与计数方法与系统。
背景技术
防控作物虫害的首要任务是做好农情信息的实时监测，其核心是田间害虫的种类识别与数量估计。现行普遍采用的人工抽样识别计数法费时费力，无法满足农业进阶规模化生产实时监测农情的需求。目标检测算法能让计算机智能地用边界框标注出图像中的害虫并对其进行种类识别，而根据害虫检测结果计算机可进一步实现田间害虫的自动识别与计数，有助于缓解因我国基层测报人员不足引发的问题，对革新农情信息实时监测体系和促进农业设施装备智能化具有重要意义。
目前流行的通用目标检测算法主要用深度学习卷积神经网络(ConvolutionalNeural Network，简称CNN)来进行实现，如R-CNN、OverFeat、YOLO、Faster R-CNN、R-FCN和SSD等。其中R-FCN是Faster R-CNN的微调版本，SSD是YOLO的改进版本，R-FCN借用全卷积神经网络使整个网络的计算可以共享并进而提高检测速度，SSD使用YOLO的方法在多尺度特征映射图网格上检测目标对象。R-FCN和SSD的基本思路与Faster R-CNN和YOLO相似，因此，此处主要描述R-CNN、OverFeat、Faster R-CNN和YOLO，它们的原理如图1所示。R-CNN先用选择性搜索生成目标候选边界框，后用CNN对候选边界框内容进行分类。然而，选择性搜索较为耗时，且容易产生目标碎片，在数据预处理阶段不合理的阈值可能会使R-CNN将某个包含重要目标特征的目标碎片标注为错误类别，从而影响CNN后续学习。OverFeat、Faster R-CNN和R-FCN用滑动窗口遍历整张图片，然后用CNN对滑动窗口内容进行分类并完成目标边界框数值回归。但是，滑动窗口方法容易产生大量简单负样例(不包含害虫的仅由黄板或干扰物组成的窗口图例)，该情形下CNN在训练时可能过度关注简单负样例而无法较好学习复杂负样例的特征知识，同时过量简单负样例容易使CNN在测试阶段进行分类时承受太多负担，最终导致误检率较高。YOLO和SSD将特征图切割k×k个不重叠的网格，接着用CNN识别网格中的内容且预测目标边界框的坐标数值。不幸的是，当一个网格出现多个同类物体或一个网格出现多个异类物体时，YOLO和SSD的检测表现往往欠佳。
鉴于深度学习目标检测算法的出色表现，有研究人员将其应用于农业害虫目标检测任务。现有技术[1]DING W.,TAYLOR G..Automatic moth detection from trap imagesfor pest management[J].Computers and Electronics in Agriculture,2016,123:17-28.基于OverFeat的思想来检测图像中的害虫，然而该方法在处理复杂负样例时可能效果较差。
现有技术[2]LIU Z.,GAO J.,Yang G.,et al.Localization andclassification of paddy field pests using a saliency map and deepconvolutional neural network[J].Scientific Reports,2016,6:20410.和现有技术[3]杨国国,鲍一丹,刘子毅.基于图像显著性分析与卷积神经网络的茶园害虫定位与识别[J].农业工程学报,2017,33(6):156-162.使用图像显著性分析完成对图像害虫的定位，并用CNN识别害虫的种类，具体如图2所示。但其所用图像显著性分析算法运行速度较慢，且所给方案中深度分类器的视角比较单一。田间害虫的类间相似度较大，若阈值选取不合适则图像显著性分析会使深度分类器仅看到害虫身体的某个部位，此时文献[2-3]的方案可能会武断做出错误决策。
现有技术[4]北京邮电大学.一种储粮害虫检测识别方法及装置.中国.CN201810220737.2[P].2018-10-02.、现有技术[5]SHEN Y.,ZHOU H.,LI J.,etal.Detection ofstored-grain insects using deep learning[J].Computers andElectronics in Agriculture,2018:319-325.和现有技术[6]刘治财.基于深度学习的目标检测算法在储粮害虫检测识别中的应用[D].北京邮电大学,2019.利用Faster R-CNN中的RPN网络来定位储粮害虫并生成候选边界框，然后用深度分类器识别害虫的具体种类，但其依旧采用滑动窗口方法，在过滤简单负样例方面仍存在一定改进空间。
现有技术[7]浙江大学.一种基于F-SSD-IV3的作物害虫检测方法.中国.CN201910470899.6[P].2019-09-10.和现有技术[8]PARTEL V.,NUNES L.,STANSLY P.,etal.Automated vision-based system for monitoring Asian citrus psyllid inorchards utilizing artificial intelligence[J].Computers and Electronics inAgriculture,2019,162:328-336.使用YOLO或SSD检测作物害虫，虽然算法速度极快，但是尚未完全解决YOLO和SSD的潜在问题。
发明内容
为克服现有的目标检测算法在处理复杂负样例时效果较差，存在武断决策及简单负样本产生过量从而导致检测精度不高的技术缺陷，本发明提供一种黄板害虫深度检测与计数方法与系统。
为解决上述技术问题，本发明的技术方案如下：
一种黄板害虫深度检测与计数方法，包括以下步骤：
S1：在田间相应位置部署黄板，摄像采集黄板图像数据；
S2：对图像进行预处理，对图像中害虫进行人工标注；
S3：批量处理已标注的图像数据，组成训练数据集；
S4：利用训练数据集，训练前景与背景分类CNN和害虫分类CNN；
S5：将待检测计数黄板图像数据作为输入，依次由图像显著性分析、前景与背景分类CNN、多先验框修正、害虫分类CNN进行处理，得到一组存在冗余的检测框；
S6：将存在冗余的检测框进行合并处理后，利用非极大值抑制算法进行处理，消除冗余检测框；
S7：根据检测框统计不同类别害虫的数目，实现对害虫的计数。
上述方案中，本发明一方面利用图像显著性分析和链式级联网络结构有效避免产生过量简单负样本，使得训练得到的检测器能够更深入地挖掘并学习困难负样本，同时在测试时减轻CNN的分类负担，进而有效降低误检率，最终提升检测精度；另一方面，本发明基于贪心合并策略对非极大值抑制算法进行改进，采用多角度投票机制再度提升深度检测器的检测精度，从而防止深度检测器根据片面视野做出武断决策。
其中，在所述步骤S2中，所述预处理的过程具体为：对图像中害虫进行人工标注，格式为Bgt＝(xmin,ymin,xmax,ymax,cls)，其中xmin、ymin、xmax、ymax是目标害虫边界框的坐标值，cls是目标害虫的类别标签。
其中，所述步骤S3包括以下步骤：
S31：对于黄板图像I，用高斯核平滑图像I得到I'，计算I'的Lab颜色特征平均值得到Iu，计算I'的Lab颜色特征得到Iw，根据Iu和Iw的距离计算得到显著性分数图S；
S32：根据人工预设激活阈值α计算S的0-1掩码图；即若S(i",j")≥α，则掩码图相应位置设置为1，否则设置为0，其中(i",j")表示S第i"行、第j"列对应位置的元素；
S33：使用最大连通图算法得到0-1掩码图相应的边界框，记为边界框Bs；
S34：记由人工标注的边界框为Bgt，对Bs进行二次标注，具体计算式为：
Figure BDA0002799339170000041
其中，Area(·)是边界框面积计算函数，ε为人工预设阈值；即若满足式子条件，则将Bs标为前景类，否则将Bs标为背景类；将(I,Bs,clsfb)和(I,Bgt,clsfb)组成训练数据集，clsfb是Bs的前景类/背景类标签。
在所述步骤S33中，边界框Bs即是由图像显著性得到的边界框，该方式可以有效防止黄板背景生成候选边界框，即简单负样例，使得后续阶段的检测器能够更加深入地学习复杂负样例(与害虫长得比较相似的益虫和中性昆虫)的特征值知识。
其中，在步骤S31中，所采用的高斯核为3×3高斯核。
其中，所述步骤S4具体包括以下步骤：
S41：构建前景与背景分类CNN，将Bs或Bgt对应的原图内容作为输入对前景与背景分类CNN进行训练，当原图内容小于前景与背景分类CNN接收域时使用白色填充，此举目的在于保留目标物的大小信息；当原图内容大于前景与背景分类CNN接收域时进行压缩变换；前景与背景分类CNN的输出为前景/背景，训练时所用的损失函数为交叉熵损失函数，表示为：
Figure BDA0002799339170000042
其中，cfb为真实前景/背景标签，
Figure BDA0002799339170000043
为前景与背景分类CNN网络预测的类别概率值；训练完前景与背景分类CNN，本发明能够利用前景与背景分类CNN进一步有效过滤简单负样例，如姿态、形状、大小等占大多数的益虫或中性昆虫，以便下阶段的害虫分类CNN能够深入挖掘并学习更复杂的负样例(如在训练集中占少数的益虫特例或中性昆虫特例)的特征知识。
S42：训练完前景与背景分类CNN，若前景与背景分类CNN的输出为背景，则丢弃相应的Bs；否则以Bs中心为锚点添加n个先验框Brefine(先验框尺寸由人工预设)，对Bs和Brefine进行再标注，记Bproposal代表Bs或Brefine，具体计算式为：
Figure BDA0002799339170000051
其中，Area(·)是边界框面积计算函数，
Figure BDA0002799339170000052
为人工预设阈值；即若满足式子条件，则将Bs或Brefine标为Bgt对应的害虫种类，否则将Bs或Brefine标为背景类；接着将(I,Bs,clspest)、(I,Brefine,clspest)和(I,Bgt,clspest)组成训练集训练害虫分类CNN，其中clspest是再标注类别标签，具体为：
将Bs、Brefine或Bgt对应的原图内容作为输入，当原图内容小于害虫分类CNN接收域时使用白色填充，此举目的在于保留目标物的大小信息；当原图内容大于害虫分类CNN接收域时进行压缩变换；害虫分类CNN输出为背景/害虫类别，训练时所用的损失函数为交叉熵损失函数，表示为：
Figure BDA0002799339170000053
其中，ci是真实害虫标签，
Figure BDA0002799339170000054
为害虫分类CNN预测的类别概率值；
其中，所述步骤S5具体为：对于待检测计数黄板图像数据I”，其由图像显性分析得到的边界框为B's，将(I”,B's)送入前景与背景分类CNN中，若输出为背景，则丢弃B's，否则以B's中心为锚点添加n个先验框Brefine并将(I”,B's)和(I”,Brefine)送入害虫分类CNN中，得到一组存在冗余的检测框Bdection。
其中，所述步骤S6具体为：基于贪心策略将交并比较高且属于同类别的两个检测框
Figure BDA0002799339170000055
和
Figure BDA0002799339170000056
进行合并得到新检测框
Figure BDA0002799339170000057
同时将
Figure BDA0002799339170000058
和
Figure BDA0002799339170000059
置信度之和赋予合并后的新检测框
Figure BDA00027993391700000510
删除
Figure BDA00027993391700000511
和
Figure BDA00027993391700000512
迭代此过程直至不存在交并比比较高且属于同类别的两个检测框；接着用非极大值抑制算法对合并后的检测框进行处理，消除冗余检测框。
上述方案中，待检测计数的黄板图像数据应用基于步骤S1～S6的原理处理得到。采用显著图分析的目的在于有效过滤简单负样本；采用前景与背景分类CNN的目的在于借用链式级联网络结构进一步过滤简单负样例，减轻害虫分类CNN的分类负担；采用n个先验框Brefine的目的在于让害虫分类CNN从多个角度分辨一只害虫(田间害虫的类间相似度较大，片面视野可能会让CNN做出错误决策)，若害虫分类CNN能够从多数角度都正确分析同一只害虫的种类，则步骤S6的操作能够防止深度检测器从视野武断做出错误决策。
一种黄板害虫深度检测与计数系统，包括摄像机、物联网设备、服务器和处理器，其中：
所述摄像机设置在田间黄板设置的相应位置，与所述物联网设备通信连接，用于定时拍摄黄板图像，并将黄板图像数据发送至物联网设备；
所述物联网设备与所述服务器网络连接，物联网设备将接收到的黄板图像数据上传至服务器进行存储；
所述服务器与所述处理器电性连接，处理器调用服务器中的黄板图像数据，对于黄板害虫进行检测与计数，具体为：
处理器对采集到的黄板图像进行预处理，对图像中害虫进行人工标注；
处理器批量处理已标注的图像数据，组成训练数据集，训练前景与背景分类CNN和害虫分类CNN；
处理器将服务器上待检测计数的黄板图像数据作为输入，依次由图像显著性分析、前景与背景分类CNN、多先验框修正、害虫分类CNN进行处理，得到一组存在冗余的检测框；
处理器对存在冗余的检测框进行合并处理后，利用非极大值抑制算法进行处理，消除冗余检测框；
处理器通过得到的检测框统计不同类别害虫的数目，实现对害虫的计数。
其中，在所述处理器上设置有人机交互界面，通过所述人机交互界面实现对采集到的黄板图像进行预处理，对图像中害虫进行人工标注。
其中，所述处理器包括数据处理模块、前景与背景分类器模块、害虫分类器模块和检测计数模块，其中：
所述数据处理模块用于处理已标注的图像数据，组成训练数据集，用于所述前景与背景分类器模块、害虫分类器模块训练前景与背景分类器、害虫分类器；
所述前景与背景分类器模块用于训练前景与背景分类器；
所述害虫分类器模块用于训练害虫分类器；
所述检测计数模块用于调用图像显著性分析器生成B's、调用训练前景与背景分类器处理B's并结合n个先验框生成B'refine、调用害虫分类器识别B's和B'refine、调用基于合并策略改进的非极大值抑制器处理冗余检测框，对待检测计数的黄板图像数据进行检测与计数，并将结果显示于所述人机交互界面上。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供的一种黄板害虫深度检测与计数方法与系统，一方面能够有效避免产生过量简单负样本，使得深度检测器能够在训练阶段更深入地挖掘并学习困难负样本，并在测试阶段减少分类负担，进而有效降低误检率，并最终提升检测精度；另一方面，本发明基于贪心合并策略对非极大值抑制算法进行改进，采用投票机制再度提升深度检测器的检测精度，从而防止深度检测器根据片面视野做出武断决策。
附图说明
图1为R-CNN、OverFeat、Faster R-CNN和YOLO原理示意图；
图2为现有技术[2-3]害虫检测原理示意图；
图3为本发明所述方法流程示意图；
图4为本发明所述系统连接示意图；
图5为深度害虫检测器可视化结果示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本发明要解决的技术问题在于：(1)以滑动窗口为基础的深度害虫检测算法于过滤简单负样本方面仍存在改进空间；(2)现有基于图像显著性分析的深度害虫检测算法容易使得深度分类器视野较为片面。对此，本发明将二者做有机结合，首先利用图像显著性分析有效过滤简单负样本，接着利用链式级联网络结构再度过滤简单负样本，其次利用以滑动窗口为基础的深度害虫检测算法的先验框技术对图像显著性分析所给目标候选边界框进行修正，然后用深度网络对目标候选边界框进行分类得到一组存在冗余的检测框，最后利用基于贪心合并策略改进后的非极大值抑制策略防止深度检测器根据片面视野做出武断决策并消除冗余检测框。
具体而言，本发明所给方案实施步骤具体如下：
如图3所示，提供了一种黄板害虫深度检测与计数方法，包括以下步骤：
S1：在田间相应位置部署黄板，摄像采集黄板图像数据；
S2：对图像进行预处理，对图像中害虫进行人工标注；
S3：批量处理已标注的图像数据，组成训练数据集；
S4：利用训练数据集，训练前景与背景分类CNN和害虫分类CNN；
S5：将待检测计数黄板图像数据作为输入，依次由图像显著性分析、前景与背景分类CNN、多先验框修正、害虫分类CNN进行处理，得到一组存在冗余的检测框；
S6：将存在冗余的检测框进行合并处理后，利用非极大值抑制算法进行处理，消除冗余检测框；
S7：根据检测框统计不同类别害虫的数目，实现对害虫的计数。
在具体实施过程中，本发明一方面能够有效避免产生过量简单负样本，使得深度检测器在训练阶段能够更深入地挖掘并学习困难负样本，并在测试阶段减轻分类负担，进而有效降低误检率，并最终提升检测精度；另一方面，本发明基于贪心合并策略对非极大值抑制算法进行改进，采用投票机制再度提升深度检测器的检测精度，从而防止深度检测器根据片面视野做出武断决策。
更具体的，在所述步骤S2中，所述预处理的过程具体为：对图像中害虫进行人工标注，格式为Bgt＝(xmin,ymin,xmax,ymax,cls)，其中xmin、ymin、xmax、ymax是目标害虫边界框的坐标值，cls是目标害虫的类别标签。
更具体的，所述步骤S3包括以下步骤：
S31：对于黄板图像I，用高斯核平滑图像I得到I'，计算I'的Lab颜色特征平均值得到Iu，计算I'的Lab颜色特征得到Iw，根据Iu和Iw的距离计算得到显著性分数图S；
S32：根据人工预设激活阈值α计算S的0-1掩码图；即若S(i",j")≥α，则掩码图相应位置设置为1，否则设置为0，其中(i",j")表示S第i"行、第j"列对应位置的元素；
S33：使用最大连通图算法得到0-1掩码图相应的边界框，记为边界框Bs；
S34：记由人工标注的边界框为Bgt，对Bs进行二次标注，具体计算式为：
Figure BDA0002799339170000081
其中，Area(·)是边界框面积计算函数，ε为人工预设阈值；即若满足式子条件，则将Bs标为前景类，否则将Bs标为背景类；将(I,Bs,clsfb)和(I,Bgt,clsfb)组成训练数据集，clsfb是Bs的前景类/背景类标签。
在所述步骤S33中，边界框Bs即是由图像显著性得到的边界框，该方式可以有效防止黄板背景生成候选边界框，即简单负样例，使得后续阶段的CNN能够更加深入地学习复杂负样例(与害虫长得比较相似的益虫和中性昆虫)的特征值知识并减轻分类负担。
更具体的，在步骤S31中，所采用的高斯核为3×3高斯核。
更具体的，所述步骤S4具体包括以下步骤：
S41：构建前景与背景分类CNN，将Bs或Bgt对应的原图内容作为输入对前景与背景分类CNN进行训练，当原图内容小于前景与背景分类CNN接收域时使用白色填充，此举目的在于保留目标物的大小信息；当原图内容大于前景与背景分类CNN接收域时进行压缩变换；前景与背景分类CNN的输出为前景/背景，训练时所用的损失函数为交叉熵损失函数，表示为：
Figure BDA0002799339170000091
其中，cfb为真实前景/背景标签，
Figure BDA0002799339170000092
为前景与背景分类CNN网络预测的类别概率值；训练完前景与背景分类CNN，本发明能够用其构建链式级联网络进一步过滤简单负样例，如姿态、形状、大小等占大多数的益虫或中性昆虫，以便下阶段的害虫分类CNN能够更加深入地挖掘并学习更复杂的负样例(如在训练集中占少数的益虫特例或中性昆虫特例)的特征知识并减轻害虫分类CNN的分类负担。
S42：训练完前景与背景分类CNN，若前景与背景分类CNN的输出为背景，则丢弃相应的Bs；否则以Bs中心为锚点添加n个先验框Brefine(先验框长度由人工预设)，对Bs和Brefine进行再标注，记Bproposal代表Bs或Brefine，具体计算式为：
Figure BDA0002799339170000093
其中，Area(·)是边界框面积计算函数，
Figure BDA0002799339170000094
为人工预设阈值；即若满足式子条件，则将Bs或Brefine标为Bgt对应的害虫种类，否则将Bs或Brefine标为背景类；接着将(I,Bs,clspest)、(I,Brefine,clspest)和(I,Bgt,clspest)组成训练集训练害虫分类CNN，其中clspest是再标注类别标签，具体为：
将Bs、Brefine或Bgt对应的原图内容作为输入，当原图内容小于害虫分类CNN接收域时使用白色填充，此举目的在于保留目标物的大小信息；当原图内容大于害虫分类CNN接收域时进行压缩变换；害虫分类CNN输出为背景/害虫类别，训练时所用的损失函数为交叉熵损失函数，表示为：
Figure BDA0002799339170000101
其中，ci是真实害虫标签，
Figure BDA0002799339170000102
为害虫分类CNN预测的类别概率值；
更具体的，所述步骤S5具体为：对于待检测计数黄板图像数据I”，其由图像显性分析得到的边界框为B's，将(I”,B's)送入前景与背景分类CNN中，若输出为背景，则丢弃B's，否则以B's中心为锚点添加n个先验框Brefine并将(I”,Brefine)和(I”,B's)送入害虫分类CNN中，得到一组存在冗余的检测框Bdection。
更具体的，所述步骤S6具体为：将交并比较高且属于同类别的两个检测框
Figure BDA0002799339170000103
和
Figure BDA0002799339170000104
进行合并得到新检测框
Figure BDA0002799339170000105
同时将
Figure BDA0002799339170000106
和
Figure BDA0002799339170000107
置信度之和赋予合并后的新检测框
Figure BDA0002799339170000108
删除
Figure BDA0002799339170000109
和
Figure BDA00027993391700001010
迭代此过程直至不存在交并比比较高且属于同类别的两个检测框；接着采用非极大值抑制算法对合并后的检测框进行处理，消除冗余检测框。
在具体实施过程中，待检测计数的黄板图像数据应用基于步骤S1～S6的原理处理得到。采用显著图分析的目的在于有效过滤简单负样本；采用前景与背景分类CNN的目的在于借用链式级联网络结构进一步过滤简单负样例，减轻害虫分类CNN的分类负担；采用n个先验框Brefine的目的在于让害虫分类CNN从多个角度分辨一只害虫(田间害虫的类间相似度较大，片面视野可能会让CNN做出错误决策)，若害虫分类CNN能够从多数角度都正确分析同一只害虫的种类，则步骤S6的操作能够防止深度检测器从视野武断做出错误决策。
实施例2
更具体的，在实施例1的基础上，如图4所示，提供一种黄板害虫深度检测与计数系统，包括摄像机、物联网设备、服务器和处理器，其中：
所述摄像机设置在田间黄板设置的相应位置，与所述物联网设备通信连接，用于定时拍摄黄板图像，并将黄板图像数据发送至物联网设备；
所述物联网设备与所述服务器网络连接，物联网设备将接收到的黄板图像数据上传至服务器进行存储；
所述服务器与所述处理器电性连接，处理器调用服务器中的黄板图像数据，对于黄板害虫进行检测与计数，具体为：
处理器对采集到的黄板图像进行预处理，对图像中害虫进行人工标注；
处理器批量处理已标注的图像数据，组成训练数据集，训练前景与背景分类CNN和害虫分类CNN；
处理器将服务器上待检测计数的黄板图像数据作为输入，依次由图像显著性分析、前景与背景分类CNN、多先验框修正、害虫分类CNN进行处理，得到一组存在冗余的检测框；
处理器对存在冗余的检测框进行合并处理后，利用非极大值抑制算法进行处理，消除冗余检测框；
处理器通过得到的检测框统计不同类别害虫的数目，实现对害虫的计数。
更具体的，在所述处理器上设置有人机交互界面，通过所述人机交互界面实现对采集到的黄板图像进行预处理，对图像中害虫进行人工标注。
更具体的，所述处理器包括数据处理模块、前景与背景分类器模块、害虫分类器模块和检测计数模块，其中：
所述数据处理模块用于处理已标注的图像数据，组成训练数据集，用于所述前景与背景分类器模块、害虫分类器模块训练前景与背景分类器、害虫分类器；
所述前景与背景分类器模块用于训练前景与背景分类器；
所述害虫分类器模块用于训练害虫分类器；
所述检测计数模块用于调用图像显著性分析器生成B's、调用训练前景与背景分类器处理B's并结合n个先验框生成B'refine、调用害虫分类器识别B's和B'refine、调用基于合并策略改进的非极大值抑制器处理冗余检测框，对待检测计数的黄板图像数据进行检测与计数，并将结果显示于所述人机交互界面上。
实施例3
更具体的，此处通过具体实验进一步说明本发明所给方案的可行性及有效性，具体的：
表1人工标注图像数据集统计结果表
Figure BDA0002799339170000111
本发明在广东省农业大数据工程技术研发中心提供的黄板数据集上展开相关实验，数据集统计信息如表1所示。
当采用轻型结构CNN(第一层卷积核为7×7大小、滑动步长为2×2，共40个卷积核；第二层池化层为2×2大小；第三层卷积核为5×5大小，滑动步长为2×2，共60个卷积核；第四层池化层为2×2大小；第五层卷积核为3×3大小，滑动步长为2×2，共120个卷积核；第六层池化层为2×2大小；第七层全连接层共100个神经元；第八层全连接层共50个神经元；末尾输出3个类别)作为骨干网络时，R-CNN、OverFeat、YOLO、现有技术[2-3]的方案以及本发明所给方案实验结果如表2所示：
表2以轻型结构CNN为骨干网络的实验结果表
Figure BDA0002799339170000121
由上表可知，对比R-CNN、OverFeat、YOLO和现有技术[2-3]的方案，本发明所给方案具有最低误检率，同时具有较高检测率，其F1值最高。
当采用VGG-16作为骨干网络时，SSD、R-FCN、FasterR-CNN和本发明所给方案实验结果如下表：
表3以VGG-16为骨干网络的实验结果
Figure BDA0002799339170000122
由上表可知，对比SSD、R-FCN和FasterR-CNN，本发明所给方案具有最低误检率，同时具有较高检测率，其F1值最高。SSD、R-FCN、FasterR-CNN、本发明方案和人工标注的可视化结果如图5所示。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.黄板害虫深度检测与计数方法，其特征在于，包括以下步骤：
S1：在田间相应位置部署黄板，摄像采集黄板图像数据；
S2：对图像进行预处理，对图像中害虫进行人工标注；具体的步骤包括：对图像中害虫进行人工标注，格式为Bgt＝(xmin,ymin,xmax,ymax,cls)，其中xmin、ymin、xmax、ymax是目标害虫边界框的坐标值，cls是目标害虫的类别标签；
S3：批量处理已标注的图像数据，组成训练数据集；具体包括以下步骤：
S31：对于黄板图像I，用高斯核平滑图像I得到I'，计算I'的Lab颜色特征平均值得到Iu，计算I'的Lab颜色特征得到Iw，根据Iu和Iw的距离计算得到显著性分数图S；
S32：根据人工预设激活阈值α计算S的0-1掩码图；即若S(i",j")≥α，则掩码图相应位置设置为1，否则设置为0，其中(i",j")表示S第i"行、第j"列对应位置的元素；
S33：使用最大连通图算法得到0-1掩码图相应的边界框，记为边界框Bs；
S34：记由人工标注的边界框为Bgt，对Bs进行二次标注，具体计算式为：
Figure FDA0003844986090000011
其中，Area(·)是边界框面积计算函数，ε为人工预设阈值；即若满足式子条件，则将Bs标为前景类，否则将Bs标为背景类；将(I,Bs,clsfb)和(I,Bgt,clsfb)组成训练数据集，clsfb是Bs的前景类/背景类标签；
S4：利用训练数据集，训练前景与背景分类CNN和害虫分类CNN；
S5：将待检测计数黄板图像数据作为输入，依次由图像显著性分析、前景与背景分类CNN、多先验框修正、害虫分类CNN进行处理，得到一组存在冗余的检测框；
S6：将存在冗余的检测框进行合并处理后，利用非极大值抑制算法进行处理，消除冗余检测框；具体的步骤包括：基于贪心策略将交并比较高且属于同类别的两个检测框
Figure FDA0003844986090000012
和
Figure FDA0003844986090000013
进行合并得到新检测框
Figure FDA0003844986090000014
同时将
Figure FDA0003844986090000015
和
Figure FDA0003844986090000016
置信度之和赋予合并后的新检测框
Figure FDA0003844986090000017
删除
Figure FDA0003844986090000018
和
Figure FDA0003844986090000019
迭代此过程直至不存在交并比比较高且属于同类别的两个检测框；接着采用非极大值抑制算法对合并后的检测框进行处理，消除冗余检测框；
S7：根据检测框统计不同类别害虫的数目，实现对害虫的计数。
2.根据权利要求1所述的黄板害虫深度检测与计数方法，其特征在于，在步骤S31中，所采用的高斯核为3×3高斯核。
3.根据权利要求1所述的一种黄板害虫深度检测与计数方法，其特征在于，所述步骤S4具体包括以下步骤：
S41：构建前景与背景分类CNN，将Bs或Bgt对应的原图内容作为输入对前景与背景分类CNN进行训练，当原图内容小于前景与背景分类CNN接收域时使用白色填充，当原图内容大于前景与背景分类CNN接收域时进行压缩变换；前景与背景分类CNN的输出为前景/背景，训练时所用的损失函数为交叉熵损失函数，表示为：
Figure FDA0003844986090000021
其中，cfb为真实前景/背景标签，
Figure FDA0003844986090000022
为前景与背景分类CNN网络预测的类别概率值；
S42：训练完前景与背景分类CNN，若前景与背景分类CNN的输出为背景，则丢弃相应的Bs；否则以Bs中心为锚点添加n个先验框Brefine，对Bs和Brefine进行再标注，记Bproposal代表Bs或Brefine，具体计算式为：
Figure FDA0003844986090000023
其中，Area(·)是边界框面积计算函数，
Figure FDA0003844986090000024
为人工预设阈值；即若满足式子条件，则将Bs或Brefine标为Bgt对应的害虫种类，否则将Bs或Brefine标为背景类；接着将(I,Bs,clspest)、(I,Brefine,clspest)和(I,Bgt,clspest)组成训练集训练害虫分类CNN，其中clspest是再标注类别标签，具体为：
将Bs、Brefine或Bgt对应的原图内容作为输入，当原图内容小于害虫分类CNN接收域时使用白色填充，当原图内容大于害虫分类CNN接收域时进行压缩变换；害虫分类CNN输出为背景/害虫类别，训练时所用的损失函数为交叉熵损失函数，表示为：
Figure FDA0003844986090000025
其中，ci是真实害虫标签，
Figure FDA0003844986090000026
为害虫分类CNN预测的类别概率值；
4.根据权利要求3所述的一种黄板害虫深度检测与计数方法，其特征在于，所述步骤S5具体为：对于待检测计数黄板图像数据I”，其由图像显性分析得到的边界框为Bs'，将(I”,Bs')送入前景与背景分类CNN中，若输出为背景，则丢弃Bs'，否则以Bs'中心为锚点添加n个先验框Brefine并将(I”,Bs)和(I”,Brefine)送入害虫分类CNN中，得到一组存在冗余的检测框Bdection。
5.黄板害虫深度检测与计数系统，应用于如权利要求1～4任一项所述的黄板害虫深度检测与计数方法，其特征在于，包括摄像机、物联网设备、服务器和处理器，其中：
所述摄像机设置在田间黄板设置的相应位置，与所述物联网设备通信连接，用于定时拍摄黄板图像，并将黄板图像数据发送至物联网设备；
所述物联网设备与所述服务器网络连接，物联网设备将接收到的黄板图像数据上传至服务器进行存储；
所述服务器与所述处理器电性连接，处理器调用服务器中的黄板图像数据，对于黄板害虫进行检测与计数，具体为：
处理器对采集到的黄板图像进行预处理，对图像中害虫进行人工标注；
处理器批量处理已标注的图像数据，组成训练数据集，训练前景与背景分类CNN和害虫分类CNN；
处理器将服务器上待检测计数的黄板图像数据作为输入，依次由图像显著性分析、前景与背景分类CNN、多先验框修正、害虫分类CNN进行处理，得到一组存在冗余的检测框；
处理器对存在冗余的检测框进行合并处理后，利用非极大值抑制算法进行处理，消除冗余检测框；
处理器通过得到的检测框统计不同类别害虫的数目，实现对害虫的计数。
6.根据权利要求5所述的一种黄板害虫深度检测与计数系统，其特征在于，在所述处理器上设置有人机交互界面，通过所述人机交互界面实现对采集到的黄板图像进行预处理，对图像中害虫进行人工标注。
7.根据权利要求6所述的一种黄板害虫深度检测与计数系统，其特征在于，所述处理器包括数据处理模块、前景与背景分类器模块、害虫分类器模块和检测计数模块，其中：
所述数据处理模块用于处理已标注的图像数据，组成训练数据集，用于所述前景与背景分类器模块、害虫分类器模块分别训练前景与背景分类器、害虫分类器；
所述前景与背景分类器模块用于训练前景与背景分类器；
所述害虫分类器模块用于训练害虫分类器；
所述检测计数模块用于调用图像显著性分析器生成Bs'、调用训练前景与背景分类器处理Bs'并结合n个先验框生成Br'efine、调用害虫分类器识别Bs'和Br'efine、调用基于合并策略改进的非极大值抑制器处理冗余检测框，对待检测计数的黄板图像数据进行检测与计数，并将结果显示于所述人机交互界面上。
CN202011343914.XA 2020-11-26 2020-11-26 一种黄板害虫深度检测与计数方法与系统 Active CN112270681B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011343914.XA CN112270681B (zh) 2020-11-26 2020-11-26 一种黄板害虫深度检测与计数方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011343914.XA CN112270681B (zh) 2020-11-26 2020-11-26 一种黄板害虫深度检测与计数方法与系统

Publications (2)

Publication Number Publication Date
CN112270681A CN112270681A (zh) 2021-01-26
CN112270681B true CN112270681B (zh) 2022-11-15

Family

ID=74340815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011343914.XA Active CN112270681B (zh) 2020-11-26 2020-11-26 一种黄板害虫深度检测与计数方法与系统

Country Status (1)

Country Link
CN (1) CN112270681B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861767A (zh) * 2021-02-26 2021-05-28 北京农业信息技术研究中心 一种粘虫板图像上小体积害虫检测方法及系统
CN113191229B (zh) * 2021-04-20 2023-09-05 华南农业大学 一种害虫智能视觉检测方法
CN115019175B (zh) * 2022-06-27 2024-06-18 华南农业大学 一种基于迁移元学习的害虫识别方法
CN115413634B (zh) * 2022-10-08 2024-05-14 广东省农业科学院设施农业研究所 一种用于温室大棚的灭虫装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850836A (zh) * 2015-05-15 2015-08-19 浙江大学 基于深度卷积神经网络的害虫图像自动识别方法
CN107578089A (zh) * 2017-09-13 2018-01-12 中国水稻研究所 一种农作物灯诱测报害虫的自动识别与计数方法
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3963476A1 (en) * 2019-05-03 2022-03-09 Verily Life Sciences LLC Predictive classification of insects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850836A (zh) * 2015-05-15 2015-08-19 浙江大学 基于深度卷积神经网络的害虫图像自动识别方法
CN107578089A (zh) * 2017-09-13 2018-01-12 中国水稻研究所 一种农作物灯诱测报害虫的自动识别与计数方法
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于图像显著性分析与卷积神经网络的茶园害虫定位与识别;杨国国 等;《农业工程学报》;20170331;第33卷(第6期);156-161 *
基于改进Faster-RCNN模型的粘虫板图像昆虫识别与计数;张银松 等;《中国农业大学学报》;20191231;第24卷(第5期);115-122 *

Also Published As

Publication number Publication date
CN112270681A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN112270681B (zh) 一种黄板害虫深度检测与计数方法与系统
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
CN107316307B (zh) 一种基于深度卷积神经网络的中医舌图像自动分割方法
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN110717903A (zh) 一种利用计算机视觉技术进行农作物病害检测的方法
CN109684906B (zh) 基于深度学习的检测红脂大小蠹的方法
WO2019080203A1 (zh) 一种机器人的手势识别方法、系统及机器人
CN110046631A (zh) 用于自动推断时空图像的变化的系统和方法
CN107145889A (zh) 基于具有RoI池化的双CNN网络的目标识别方法
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN109472226B (zh) 一种基于深度学习的睡觉行为检测方法
CN104680193B (zh) 基于快速相似性网络融合算法的在线目标分类方法与系统
CN112949704B (zh) 一种基于图像分析的烟叶成熟度状态识别方法及装置
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN110533100A (zh) 一种基于机器学习进行cme检测和跟踪的方法
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN114359199A (zh) 一种基于深度学习的鱼类计数方法、装置、设备和介质
CN112651381A (zh) 基于卷积神经网络的视频图像中家畜识别方法及装置
CN115719475A (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN113378831B (zh) 一种小鼠胚胎器官识别与评分方法与系统
CN112084913B (zh) 一种端到端的人体检测与属性识别方法
CN110363240B (zh) 一种医学影像分类方法与系统
CN117253192A (zh) 用于桑蚕养殖的智能系统及方法
CN114581769A (zh) 一种基于无监督聚类的在建房屋识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant