CN112733614A - 一种带有相似尺寸强化识别的害虫图像检测方法 - Google Patents

一种带有相似尺寸强化识别的害虫图像检测方法 Download PDF

Info

Publication number
CN112733614A
CN112733614A CN202011526712.9A CN202011526712A CN112733614A CN 112733614 A CN112733614 A CN 112733614A CN 202011526712 A CN202011526712 A CN 202011526712A CN 112733614 A CN112733614 A CN 112733614A
Authority
CN
China
Prior art keywords
pest
network
pest image
feature
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011526712.9A
Other languages
English (en)
Other versions
CN112733614B (zh
Inventor
王儒敬
滕越
谢成军
李�瑞
焦林
黄子良
刘康
董士风
刘海云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202011526712.9A priority Critical patent/CN112733614B/zh
Publication of CN112733614A publication Critical patent/CN112733614A/zh
Application granted granted Critical
Publication of CN112733614B publication Critical patent/CN112733614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种带有相似尺寸强化识别的害虫图像检测方法，与现有技术相比解决了难以针对植保图像中相似尺寸害虫进行检测的缺陷。本发明包括以下步骤：获取害虫图像数据集并进行预处理；构建害虫图像检测网络；害虫图像检测网络的训练；待检测害虫图像的获取；害虫图像检测结果的获得。本发明通过自学习的权重和加权注意力特征金字塔，使卷积神经网络能够重点关注数据集中大部分害虫图像尺寸所对应的特征层，提高了卷积神经网络的特征表达能力，以此应对相似尺寸的害虫误别问题；利用多尺度无锚区域建议网络，让后续的分类回归网络获得更好的候选区域，实现了相似尺寸害虫的强化识别，由此提高了害虫识别与检测的准确率。

Description

一种带有相似尺寸强化识别的害虫图像检测方法
技术领域
本发明涉及图像识别技术领域，具体来说是一种带有相似尺寸强化识别的害虫图像检测方法。
背景技术
随着深度学习的发展，基于卷积神经网络的图像识别与检测方法成为了广大学者的研究热点，在人脸识别、目标检测领域被广泛应用，并取得了较好的效果。然而，由于小尺寸物体在深层卷积神经网络中特征容易消失以及多尺度目标检测准确率有待提升的问题，基于深度学习理论的害虫图像自动检测与识别的方法呈现出识别效果欠佳、检测精度低的问题。
已有的解决小尺寸目标检测和多尺度问题的方法主要是通过特征金字塔提取网络不同层次的特征，然后使用区域建议网络得到候选框，最后精修候选框得到最终的检测结果。但是在实际应用中发现，在田间通过植保采集杆采集的害虫图像，并不是只有一种害虫的植保图像，即存在多类不同尺寸的害虫集中在同一植保图像中。这些害虫在图像中表现出相似的尺寸分布、多类别难以区分的特点，致使害虫检测率低、鲁棒性差。
若使用现有技术中的特征金字塔将低层和高层特征图单纯叠加会使害虫局部特征混乱且缺乏针对性。虽有部分技术提出，将已有的区域建议网络以预测框和地面真值框的交并比作为正样本和负样本的选择标准，但是在害虫图像中，由于害虫图像大部分为小目标，交并比不能带来高质量的正负样本，并且不同交并比阈值的选择对于网络的结果也有很大影响，这大大降低了网络的自适应性。
因此，如何针对同一植保图像上的多种相似尺寸害虫进行检测已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中难以针对植保图像中相似尺寸害虫进行检测的缺陷，提供一种带有相似尺寸强化识别的害虫图像检测方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种带有相似尺寸强化识别的害虫图像检测方法，包括以下步骤：
获取害虫图像数据集并进行预处理：获取害虫图像数据集，并对害虫图像数据集的图像进行归一化处理；
构建害虫图像检测网络：基于自学习权重的加权注意力特征金字塔网络、多尺度无锚建议网络及害虫精修网络构建害虫图像检测网络；
害虫图像检测网络的训练：利用归一化处理后的害虫图像数据集对害虫图像检测网络进行训练；
待检测害虫图像的获取：获取待检测的害虫图像并进行归一化处理；
害虫图像检测结果的获得：将归一化处理后待检测的害虫图像输入害虫图像检测网络；将待检测害虫图像输入训练后的害虫图像检测网络第一部分，得到加权注意力特征图；将加权注意力特征图作为害虫图像检测网络第二部分多尺度无锚害虫建议网络的输入，得到多尺度害虫候选区域；将多尺度害虫候选区域送入害虫检测网络第三部分精修网络，再利用非极大抑制去重后，得到害虫图像检测结果。
所述构建害虫图像检测网络包括以下步骤：
设定害虫图像检测网络的第一部分：构建加权注意力特征金字塔网络，将其设定为害虫图像检测网络的第一部分；
设定害虫图像检测网络的第二部分：构建多尺度无锚区域建议网络，将其设定为害虫图像检测网络的第二部分；
设定害虫图像检测网络的第三部分：构建害虫精修网络，将其设定为害虫图像检测网络的第三部分。
所述设定害虫图像检测网络的第一部分包括以下步骤：
设定将害虫图像数据集的图像输入卷积神经网络进行处理，得到害虫图像的特征图；
设定将害虫图像的特征图输入特征金字塔网络，从中抽取不同尺度大小的多尺寸害虫特征图；
设定为每个特征金字塔网络中的多尺寸害虫特征图Fi设定一个初始化值为“1”的可学习权重参数Wi，选取特征金字塔中第三层特征图的尺寸为标准尺寸，将上层特征图下采样、下层特征图上采样到标准尺寸，将权重系数与特征图相乘取平均得到归一化特征图；
设定将归一化特征图送入注意力机制学习特征图像素点间的相互影响；
设定将注意力机制的结果与原始特征图相加得到加权注意力特征图。
所述设定害虫图像检测网络的第二部分为包括以下步骤：
设定每层特征图能够产生候选区域的大小范围，为特征金字塔的5层特征图分别设置允许产生候选区域尺寸的范围，从C1到C5分别为0～64，64～128， 128～256，256～512，512～∞；
设定将特征金字塔的每一层进行两个并联的卷积运算，每个卷积运算包含两个3x3卷积核，两个并联的卷积运算输入和输出的通道数均为256，卷积运算步长均为1，填充均为1，；
设定将第一个卷积运算结果进行两个并联的1x1卷积核运算分别得到每个真实标注框内像素点的前、背景分数和像素点与标注框中心点的距离值；
设定将第二个运算结果进行一个1x1卷积核运算得到像素点所对应的预测框的长和宽，该预测得到了图像内每个点所对应的预测框的四维向量 (x,y,w,h)；
设定将像素点与标注框中心点的距离值，即卷积层结果按照公式(1)做变换后，与前、背景卷积层相应位置的结果相乘，选取最终前、背景分数大于 0.7的点作为预测结果形成多尺度害虫候选区域，输出结果包括点的前、背景分数和预测框位置向量(x,y,w,h)；
Figure RE-GDA0002969975010000031
其中：xl,yl,wl,hl为地面真值框的位置坐标，xl,yl为中心点坐标，wl,hl为宽和高，x,y为预测框中心点坐标，d(x,y,xl,yl)为预测框中心点和地面真值框中心点的欧氏距离。
所述设定害虫图像检测网络的第三部分包括以下步骤：
设定将多尺度害虫候选区域经过RoiPolling得到特征向量；
设定将特征向量进行两个全连层的运算分别得到候选框类别数和位置向量；
设定将精修网络分类回归结果经过非极大抑制算法，从而得到最终的害虫图像检测结果。
所述害虫图像检测网络的训练包括以下步骤：
随机初始化所有网络权重，得到原始特征金字塔；
将害虫图像数据集的图像输入卷积神经网络进行处理，得到害虫图像的特征图；利用卷积网络不同层的特征得到特征金字塔；
将特征金字塔的所有层C1～C5作为输入得到加权注意力特征金字塔，其包括以下步骤：
初始化权重系数Wi(i∈1,2,3,4,5)为1，将特征层C1、C2下采样至C3的尺寸，将特征层C4、C5上采样至C3的尺寸；
将特征金字塔的每一层Ci(i∈1,2,3,4,5)乘以相应的权重系数Wi(i∈ 1,2,3,4,5)，取平均得到求和特征层；在反向传播阶段，根据已有的loss函数对于Wi(i∈1,2,3,4,5)的偏导数来优化Wi(i∈1,2,3,4,5)；
将特征层送入注意力机制计算像素点之间相互关系；
将注意力机制的输出通过上采样和下采样恢复到原始特征层的尺寸，并与原始特征层相加得到加权注意力特征图；
多尺度区域候选框的生成，将每一层加权注意力特征图作为多尺度无锚区域建议网络的输入，得到多尺度害虫候选区域，主要包括：
为每个特征层Ci(i∈1,2,3,4,5)分配相应的候选框尺寸范围，C1～C5的候选框尺寸范围分别为0～64，64～128，128～256，256～512，512～∞；
将每层特征层送入多尺度无锚区域候选网络，得到三个特征图，分别是前、背景分数特征图，预测点与中心点距离特征图，预测框位置向量特征图；
计算预测点与中心点距离衰减特征图的回归目标，其中，每个像素点位置的数值代表该像素点到最近地面真值框欧氏距离的函数，并加入到总损失函数中进行训练；
将预测点与中心点距离特征图和前、背景分数特征图对应位置相乘，得到中心位置加权的前、背景分数，并与预测框位置向量特征图一同作为多尺度区域建议网络的输出；
根据多尺度区域建议网络的输出，利用精修网络得到最终害虫图像检测结果。
有益效果
本发明的一种带有相似尺寸强化识别的害虫图像检测方法，与现有技术相比通过自学习的权重和加权注意力特征金字塔，使卷积神经网络能够重点关注数据集中大部分害虫图像尺寸所对应的特征层，提高了卷积神经网络的特征表达能力，以此应对相似尺寸的害虫误别问题；利用多尺度无锚区域建议网络，让后续的分类回归网络获得更好的候选区域，实现了相似尺寸害虫的强化识别，由此提高了害虫识别与检测的准确率。
附图说明
图1为本发明的方法顺序图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种带有相似尺寸强化识别的害虫图像检测方法，包括以下步骤：
第一步，获取害虫图像数据集并进行预处理：获取害虫图像数据集，并对害虫图像数据集的图像进行归一化处理。
第二步，构建害虫图像检测网络：基于自学习权重的加权注意力特征金字塔网络、多尺度无锚区域建议网络及害虫精修网络构建害虫图像检测网络。
针对于同一张植保图像中存在多个尺寸相似的害虫，在此将自学习权重的加权注意力特征金字塔网络、多尺度无锚建议网络及害虫精修网络三个网络结合在一起共同组成害虫图像检测网络并共同训练，使得三个网络互相融合。
通过自学习权重的加权注意力特征金字塔网络获得基于数据集目标尺寸分布的特征增强表示，利用自学习权重来主动强化针对数据集目标尺寸分布最适合识别的特征层信息；通过多尺度无锚建议网络提取高质量的建议区域，以往的区域建议网络通过交并比来定义正负样本，针对害虫尺度大多数为小尺寸的情况，交并比不能筛选出高质量的正负样本，同时，原始的区域建议网络采用锚点框机制，人为定义的锚点框不能适应千变万化的害虫样本，例如黏虫和小麦蜘蛛的长宽比就存在明显差异，此外，基于交并比的正负样本选择需要人为设定置信度分数，不同置信度分数导致网络检测结果明显不同，本专利所涉及的多尺度无锚区域建议网络通过回归预测框和真实框的距离限制了分类分数，通过无锚预测框架解决了认为设定的锚点框难以泛化的问题；通过精修网络，在高质量的区域建议网络的基础上更进一步的提升效果，最终三个网络联合训练及检测，从而获得了高质量的检测结果。
其具体步骤如下：
(1)设定害虫图像检测网络的第一部分：构建加权注意力特征金字塔网络，将其设定为害虫图像检测网络的第一部分，特征金字塔网络可以为FPN 网络。
本发明所设计的加权注意力特征金字塔有良好的实际应用价值。对于目标检测、分类、分割等常见的计算机视觉任务，在现有技术中，为了获得良好的多尺度结果，通常会采用特征金字塔结构，但是对于不同数据集，其对象的尺寸均值和方差是不同的，在特征金字塔中所反映的权值是不同的。传统的特征金字塔只是使用自上而下和横向连接，并没有特征选择的思想。本发明提出的加权注意力特征金字塔通过每层特征金字塔的权值自适应的学习检测任务更需要从哪个特征层中提取特征，此外注意力机制的加入也能够学习像素点与像素点之间的统计关系，这很大程度的优化了已有特征金字塔网络的不足。
在此，设定害虫图像检测网络的第一部分具体设定为通过卷积神经网络提取害虫特征，利用特征金字塔网络抽取多尺度特征，将自学习权重乘以特征金字塔的每一层得到合并特征，利用注意力机制学习每层特征的关注区域，将加权特征强化注意力图与原始特征金字塔合并得到加权注意力特征金字塔；其包括以下步骤：
A1)设定将害虫图像数据集的图像输入卷积神经网络进行处理，得到害虫图像的特征图；
A2)设定将害虫图像的特征图输入特征金字塔网络，从中抽取不同尺度大小的多尺寸害虫特征图；
A3)设定为每个特征金字塔网络中的多尺寸害虫特征图Fi设定一个初始化值为“1”的可学习权重参数Wi，选取特征金字塔中第三层特征图的尺寸为标准尺寸，将上层特征图下采样、下层特征图上采样得到标准尺寸，将权重系数与特征图相乘取平均得到归一化特征图；
A4)设定将归一化特征图送入注意力机制学习特征图像素点间的相互影响；
A5)设定将注意力机制的结果与原始特征图相加得到加权注意力特征图。
(2)设定害虫图像检测网络的第二部分：构建多尺度无锚区域建议网络，将其设定为害虫图像检测网络的第二部分，卷积神经网络可以为Resnet网络。
多尺度区域建议网络也对于识别准确率和检测精度起到了关键性的作用。与以往的区域建议网络通过交并比来定义正负样本不同，本文所发明的多尺度区域建议网络通过卷积的形式学习每个像素点的前景和背景分数，通过并行的卷积核学习每个像素点到真实标签中心点的距离的函数，从而抑制大量背景像素点对于区域建议网络的影响。特别是在害虫检测这种小尺寸的检测任务上，本文的方法由于杜绝了交并比在小尺寸正负样本选择上的不足，以及锚点框机制在区域建议网络上泛化能力的不足，大大提升了识别准确率和检测精度。
由于害虫图像检测任务实质上是小尺寸检测任务，而对于小尺寸检测任务，交并比不能很好地区分正负样本，相比之下中心点距离对于正负样本的限定相对合适，同时由于害虫大小普遍一致，基于锚点的方法不能提供更加精确地候选区域，因此本发明提出多尺度无锚区域建议网络能够得到更加高质量的区域建议，从而提升检测准确性。
设定害虫图像检测网络的第二部分为设定每层特征图能够产生候选区域的大小范围，将特征金字塔的每一层进行并联的卷积运算，每个卷积运算包含两个串联的3x3卷积运算，将第一个卷积运算结果进行两个并联的1x1卷积核运算分别得到每个标注框内像素点前、背景分数和像素点与标注框中心点距离的函数值，将第二个运算结果进行一个1x1卷积核运算得到像素点所对应的预测框的长和宽；将预测结果中预测点到地面真值框中心点的距离与、背景分类分数相乘，选取最终分数大于0.7的点所对应的预测结果，形成多尺度害虫候选区域。其具体步骤如下：
B1)设定每层特征图能够产生候选区域的大小范围，为特征金字塔的5层特征图分别设置允许产生候选区域尺寸的范围，从C1到C5分别为0～64，64～128， 128～256，256～512，512～∞；
B2)设定将特征金字塔的每一层进行并联的两个卷积核运算，每个卷积运算包含两个串联的3x3卷积运算，该层输入和输出的通道数均为256，卷积运算步长均为1，填充均为1，不改变加权注意力特征图尺寸，对加权注意力特征图进行卷积运算；
B3)设定将第一个串联运算结果进行两个并联的1x1卷积核运算分别得到每个真实标注框内像素点的前、背景分数和像素点与标注框中心点的距离值；
B4)设定将第二个运算结果进行一个1x1卷积核运算得到像素点所对应的预测框的长和宽，该预测得到了图像内每个点所对应的预测框的四维向量 (x,y,w,h)；
B5)设定将像素点与标注框中心点的距离值，即卷积层结果按照公式(1) 做变换后，与前、背景卷积层相应位置的结果相乘，选取最终前、背景分数大于0.7的点作为预测结果形成多尺度害虫候选区域，输出结果包括点的前、背景分数和预测框位置向量(x,y,w,h)；
Figure RE-GDA0002969975010000081
其中：xl,yl,wl,hl为地面真值框的位置坐标，xl,yl为中心点坐标，wl,hl为宽和高，x,y为预测框中心点坐标，d(x,y,xl,yl)为预测框中心点和地面真值框中心点的欧氏距离。
(3)设定害虫图像检测网络的第三部分：构建害虫精修网络，将其设定为害虫图像检测网络的第三部分，精修网络可以为R-CNN网络。其具体步骤如下：
C1)设定将多尺度害虫候选区域经过RoiPolling得到特征向量；
C2)设定将特征向量进行两个全连层的运算分别得到候选框类别数和位置向量；
C3)设定将精修网络分类回归结果经过非极大抑制算法，从而得到最终的害虫图像检测结果。
第三步，害虫图像检测网络的训练：利用归一化处理后的害虫图像数据集对害虫图像检测网络进行训练。
(1)随机初始化所有网络权重，得到原始特征金字塔；
(2)将害虫图像数据集的图像输入卷积神经网络进行处理，得到害虫图像的特征图；利用卷积网络不同层的特征得到特征金字塔；
(3)将特征金字塔的所有层C1～C5作为输入得到加权注意力特征金字塔，其包括以下步骤：
D1)初始化权重系数Wi(i∈1,2,3,4,5)为1，将特征层C1、C2下采样至C3的尺寸，将特征层C4、C5上采样至C3的尺寸；
D2)将特征金字塔的每一层Ci(i∈1,2,3,4,5)乘以相应的权重系数 Wi(i∈1,2,3,4,5)，取平均得到求和特征层；在反向传播阶段，不用针对 Wi(i∈1,2,3,4,5)添加特定的loss函数，根据已有的loss函数对于Wi(i∈ 1,2,3,4,5)的偏导数来优化Wi(i∈1,2,3,4,5)。
D3)将特征层送入注意力机制计算像素点之间相互关系；
D4)将注意力机制的输出通过上采样和下采样恢复到原始特征层的尺寸，并与原始特征层相加得到加权注意力特征图；
(4)多尺度区域候选框的生成，将每一层加权注意力特征图作为多尺度无锚区域建议网络的输入，得到多尺度害虫候选区域，主要包括：
E1)为每个特征层Ci(i∈1,2,3,4,5)分配相应的候选框尺寸范围，C1～C5的候选框尺寸范围分别为0～64，64～128，128～256，256～512，512～∞；
E2)将每层特征层送入多尺度无锚区域候选网络，得到三个特征图，分别是前、背景分数特征图，预测点与中心点距离特征图，预测框位置向量特征图；
E3)计算预测点与中心点距离特征图的回归目标，其中，每个像素点位置的数值代表该像素点到最近地面真值框欧氏距离的函数(函数形式见公式1)，并加入到总损失函数中进行训练；
E4)将预测点与中心点距离特征图和前、背景分数特征图对应位置相乘，得到中心位置加权的前、背景分数，并与预测框位置向量特征图一同作为多尺度区域建议网络的输出；
(5)根据多尺度区域建议网络的输出，利用精修网络得到最终害虫图像检测结果。
第四步，待检测害虫图像的获取：获取待检测的害虫图像并进行归一化处理。
第五步，害虫图像检测结果的获得：将归一化处理后待检测的害虫图像输入害虫图像检测网络；将待检测害虫图像输入训练后的害虫图像检测网络第一部分，得到加权注意力特征图；将加权注意力特征图作为害虫图像检测网络第二部分多尺度无锚害虫建议网络的输入，得到多尺度害虫候选区域；将多尺度害虫候选区域送入害虫检测网络第三部分精修网络，再利用非极大抑制去重后，得到害虫图像检测结果。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.一种带有相似尺寸强化识别的害虫图像检测方法，其特征在于，包括以下步骤：
11)获取害虫图像数据集并进行预处理：获取害虫图像数据集，并对害虫图像数据集的图像进行归一化处理；
12)构建害虫图像检测网络：基于自学习权重的加权注意力特征金字塔网络、多尺度无锚建议网络及害虫精修网络构建害虫图像检测网络；
13)害虫图像检测网络的训练：利用归一化处理后的害虫图像数据集对害虫图像检测网络进行训练；
14)待检测害虫图像的获取：获取待检测的害虫图像并进行归一化处理；
15)害虫图像检测结果的获得：将归一化处理后待检测的害虫图像输入害虫图像检测网络；将待检测害虫图像输入训练后的害虫图像检测网络第一部分，得到加权注意力特征图；将加权注意力特征图作为害虫图像检测网络第二部分多尺度无锚害虫建议网络的输入，得到多尺度害虫候选区域；将多尺度害虫候选区域送入害虫检测网络第三部分精修网络，再利用非极大抑制去重后，得到害虫图像检测结果。
2.根据权利要求1所述的一种带有相似尺寸强化识别的害虫图像检测方法，其特征在于，所述构建害虫图像检测网络包括以下步骤：
21)设定害虫图像检测网络的第一部分：构建加权注意力特征金字塔网络，将其设定为害虫图像检测网络的第一部分；
22)设定害虫图像检测网络的第二部分：构建多尺度无锚区域建议网络，将其设定为害虫图像检测网络的第二部分；
23)设定害虫图像检测网络的第三部分：构建害虫精修网络，将其设定为害虫图像检测网络的第三部分。
3.根据权利要求2所述的一种带有相似尺寸强化识别的害虫图像检测方法，其特征在于，所述设定害虫图像检测网络的第一部分包括以下步骤：
31)设定将害虫图像数据集的图像输入卷积神经网络进行处理，得到害虫图像的特征图；
32)设定将害虫图像的特征图输入特征金字塔网络，从中抽取不同尺度大小的多尺寸害虫特征图；
33)设定为每个特征金字塔网络中的多尺寸害虫特征图Fi设定一个初始化值为“1”的可学习权重参数Wi，选取特征金字塔中第三层特征图的尺寸为标准尺寸，将上层特征图下采样、下层特征图上采样到标准尺寸，将权重系数与特征图相乘取平均得到归一化特征图；
34)设定将归一化特征图送入注意力机制学习特征图像素点间的相互影响；
35)设定将注意力机制的结果与原始特征图相加得到加权注意力特征图。
4.根据权利要求2所述的一种带有相似尺寸强化识别的害虫图像检测方法，其特征在于，所述设定害虫图像检测网络的第二部分为包括以下步骤：
41)设定每层特征图能够产生候选区域的大小范围，为特征金字塔的5层特征图分别设置允许产生候选区域尺寸的范围，从C1到C5分别为0～64，64～128，128～256，256～512，512～∞；
42)设定将特征金字塔的每一层进行两个并联的卷积运算，每个卷积运算包含两个3x3卷积核，两个并联的卷积运算输入和输出的通道数均为256，卷积运算步长均为1，填充均为1，；
43)设定将第一个卷积运算结果进行两个并联的1x1卷积核运算分别得到每个真实标注框内像素点的前、背景分数和像素点与标注框中心点的距离值；
44)设定将第二个运算结果进行一个1x1卷积核运算得到像素点所对应的预测框的长和宽，该预测得到了图像内每个点所对应的预测框的四维向量(x,y,w,h)；
45)设定将像素点与标注框中心点的距离值，即卷积层结果按照公式(1)做变换后，与前、背景卷积层相应位置的结果相乘，选取最终前、背景分数大于0.7的点作为预测结果形成多尺度害虫候选区域，输出结果包括点的前、背景分数和预测框位置向量(x,y,w,h)；
Figure RE-FDA0002969975000000021
其中：xl,yl,wl,hl为地面真值框的位置坐标，xl,yl为中心点坐标，wl,hl为宽和高，x,y为预测框中心点坐标，d(x,y,xl,yl)为预测框中心点和地面真值框中心点的欧氏距离。
5.根据权利要求2所述的一种带有相似尺寸强化识别的害虫图像检测方法，其特征在于，所述设定害虫图像检测网络的第三部分包括以下步骤：
51)设定将多尺度害虫候选区域经过RoiPolling得到特征向量；
52)设定将特征向量进行两个全连层的运算分别得到候选框类别数和位置向量；
53)设定将精修网络分类回归结果经过非极大抑制算法，从而得到最终的害虫图像检测结果。
6.根据权利要求1所述的一种带有相似尺寸强化识别的害虫图像检测方法，其特征在于，所述害虫图像检测网络的训练包括以下步骤：
61)随机初始化所有网络权重，得到原始特征金字塔；
62)将害虫图像数据集的图像输入卷积神经网络进行处理，得到害虫图像的特征图；利用卷积网络不同层的特征得到特征金字塔；
63)将特征金字塔的所有层C1～C5作为输入得到加权注意力特征金字塔，其包括以下步骤：
631)初始化权重系数Wi(i∈1,2,3,4,5)为1，将特征层C1、C2下采样至C3的尺寸，将特征层C4、C5上采样至C3的尺寸；
632)将特征金字塔的每一层Ci(i∈1,2,3,4,5)乘以相应的权重系数Wi(i∈1,2,3,4,5)，取平均得到求和特征层；在反向传播阶段，根据已有的loss函数对于Wi(i∈1,2,3,4,5)的偏导数来优化Wi(i∈1,2,3,4,5)；
633)将特征层送入注意力机制计算像素点之间相互关系；
634)将注意力机制的输出通过上采样和下采样恢复到原始特征层的尺寸，并与原始特征层相加得到加权注意力特征图；
64)多尺度区域候选框的生成，将每一层加权注意力特征图作为多尺度无锚区域建议网络的输入，得到多尺度害虫候选区域，主要包括：
641)为每个特征层Ci(i∈1,2,3,4,5)分配相应的候选框尺寸范围，C1～C5的候选框尺寸范围分别为0～64，64～128，128～256，256～512，512～∞；
642)将每层特征层送入多尺度无锚区域候选网络，得到三个特征图，分别是前、背景分数特征图，预测点与中心点距离特征图，预测框位置向量特征图；
643)计算预测点与中心点距离衰减特征图的回归目标，其中，每个像素点位置的数值代表该像素点到最近地面真值框欧氏距离的函数，并加入到总损失函数中进行训练；
644)将预测点与中心点距离特征图和前、背景分数特征图对应位置相乘，得到中心位置加权的前、背景分数，并与预测框位置向量特征图一同作为多尺度区域建议网络的输出；
65)根据多尺度区域建议网络的输出，利用精修网络得到最终害虫图像检测结果。
CN202011526712.9A 2020-12-22 2020-12-22 一种带有相似尺寸强化识别的害虫图像检测方法 Active CN112733614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011526712.9A CN112733614B (zh) 2020-12-22 2020-12-22 一种带有相似尺寸强化识别的害虫图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011526712.9A CN112733614B (zh) 2020-12-22 2020-12-22 一种带有相似尺寸强化识别的害虫图像检测方法

Publications (2)

Publication Number Publication Date
CN112733614A true CN112733614A (zh) 2021-04-30
CN112733614B CN112733614B (zh) 2022-09-09

Family

ID=75605670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011526712.9A Active CN112733614B (zh) 2020-12-22 2020-12-22 一种带有相似尺寸强化识别的害虫图像检测方法

Country Status (1)

Country Link
CN (1) CN112733614B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469193A (zh) * 2021-06-16 2021-10-01 中国科学院合肥物质科学研究院 一种基于加法乘法混合卷积的低功耗害虫图像识别方法
CN113487576A (zh) * 2021-07-14 2021-10-08 中国科学院合肥物质科学研究院 一种基于通道注意力机制的虫害图像检测方法
CN113538390A (zh) * 2021-07-23 2021-10-22 仲恺农业工程学院 一种柚子病虫害的快速识别方法
CN114239756A (zh) * 2022-02-25 2022-03-25 科大天工智能装备技术（天津）有限公司 一种虫害检测方法及系统
CN116883741A (zh) * 2023-07-12 2023-10-13 北京市农林科学院 一种基于金字塔注意力机制的小样本虫害检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
US20200117897A1 (en) * 2018-10-15 2020-04-16 Walt Froloff Adaptive Artificial Intelligence Training Data Acquisition and Plant Monitoring System
CN111476238A (zh) * 2020-04-29 2020-07-31 中国科学院合肥物质科学研究院 一种基于区域尺度感知技术的害虫图像检测方法
CN111611889A (zh) * 2020-05-12 2020-09-01 安徽大学 基于改进卷积神经网络的农田微型虫害识别装置
CN111814889A (zh) * 2020-07-14 2020-10-23 大连理工大学人工智能大连研究院 一种使用无锚框模块和增强分类器的单阶段目标检测方法
US20200357143A1 (en) * 2019-05-09 2020-11-12 Sri International Semantically-aware image-based visual localization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
US20200117897A1 (en) * 2018-10-15 2020-04-16 Walt Froloff Adaptive Artificial Intelligence Training Data Acquisition and Plant Monitoring System
US20200357143A1 (en) * 2019-05-09 2020-11-12 Sri International Semantically-aware image-based visual localization
CN111476238A (zh) * 2020-04-29 2020-07-31 中国科学院合肥物质科学研究院 一种基于区域尺度感知技术的害虫图像检测方法
CN111611889A (zh) * 2020-05-12 2020-09-01 安徽大学 基于改进卷积神经网络的农田微型虫害识别装置
CN111814889A (zh) * 2020-07-14 2020-10-23 大连理工大学人工智能大连研究院 一种使用无锚框模块和增强分类器的单阶段目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIN JIAO 等: "AF-RCNN: An anchor-free convolutional neural network for multi-categories agricultural pest detection", 《ELSEVIER》 *
庞立新等: "一种基于注意力机制RetinaNet的小目标检测方法", 《制导与引信》 *
陈峰等: "基于机器视觉和卷积神经网络的东北寒地玉米害虫识别方法", 《江苏农业科学》 *
魏杨等: "基于区域卷积神经网络的农业害虫检测方法", 《计算机科学》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469193A (zh) * 2021-06-16 2021-10-01 中国科学院合肥物质科学研究院 一种基于加法乘法混合卷积的低功耗害虫图像识别方法
CN113469193B (zh) * 2021-06-16 2023-08-22 中国科学院合肥物质科学研究院 一种基于加法乘法混合卷积的低功耗害虫图像识别方法
CN113487576A (zh) * 2021-07-14 2021-10-08 中国科学院合肥物质科学研究院 一种基于通道注意力机制的虫害图像检测方法
CN113487576B (zh) * 2021-07-14 2023-08-22 中国科学院合肥物质科学研究院 一种基于通道注意力机制的虫害图像检测方法
CN113538390A (zh) * 2021-07-23 2021-10-22 仲恺农业工程学院 一种柚子病虫害的快速识别方法
CN113538390B (zh) * 2021-07-23 2023-05-09 仲恺农业工程学院 一种柚子病虫害的快速识别方法
CN114239756A (zh) * 2022-02-25 2022-03-25 科大天工智能装备技术（天津）有限公司 一种虫害检测方法及系统
CN114239756B (zh) * 2022-02-25 2022-05-17 科大天工智能装备技术（天津）有限公司 一种虫害检测方法及系统
CN116883741A (zh) * 2023-07-12 2023-10-13 北京市农林科学院 一种基于金字塔注意力机制的小样本虫害检测方法

Also Published As

Publication number Publication date
CN112733614B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN109614985B (zh) 一种基于密集连接特征金字塔网络的目标检测方法
CN112733614B (zh) 一种带有相似尺寸强化识别的害虫图像检测方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109766830B (zh) 一种基于人工智能图像处理的舰船目标识别系统及方法
CN108304873B (zh) 基于高分辨率光学卫星遥感影像的目标检测方法及其系统
CN109977918B (zh) 一种基于无监督域适应的目标检测定位优化方法
CN110136154B (zh) 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
WO2019144575A1 (zh) 一种快速行人检测方法及装置
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN111783523B (zh) 一种遥感影像旋转目标检测方法
CN111583263A (zh) 一种基于联合动态图卷积的点云分割方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN113705371B (zh) 一种水上视觉场景分割方法及装置
CN108596195B (zh) 一种基于稀疏编码特征提取的场景识别方法
CN111611972B (zh) 基于多视图多任务集成学习的作物叶片种类识别方法
CN111986125A (zh) 一种用于多目标任务实例分割的方法
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN113408594A (zh) 一种基于注意力网络尺度特征融合的遥感场景分类方法
CN109872331A (zh) 一种基于深度学习的遥感图像数据自动识别分类方法
CN115661777A (zh) 一种联合语义的雾天道路目标检测算法
CN115393635A (zh) 一种基于超像素分割以及数据增强的红外小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant