CN112818982A - 基于深度特征自相关性激活的农业害虫图像检测方法 - Google Patents

基于深度特征自相关性激活的农业害虫图像检测方法 Download PDF

Info

Publication number
CN112818982A
CN112818982A CN202110066162.5A CN202110066162A CN112818982A CN 112818982 A CN112818982 A CN 112818982A CN 202110066162 A CN202110066162 A CN 202110066162A CN 112818982 A CN112818982 A CN 112818982A
Authority
CN
China
Prior art keywords
pest
network
feature
depth
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110066162.5A
Other languages
English (en)
Other versions
CN112818982B (zh
Inventor
王儒敬
陈天娇
谢成军
张洁
杜健铭
李�瑞
陈红波
胡海瀛
刘海云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202110066162.5A priority Critical patent/CN112818982B/zh
Publication of CN112818982A publication Critical patent/CN112818982A/zh
Application granted granted Critical
Publication of CN112818982B publication Critical patent/CN112818982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及基于深度特征自相关性激活的农业害虫图像检测方法，与现有技术相比解决了害虫图像的检测精度低的缺陷。本发明包括以下步骤：害虫图像的获取；害虫问题检测网络的构建；害虫问题检测网络的训练；待检测害虫图像的获取；害虫问题的检测。本发明利用深度学习自主学习到的上百维的不同类型的深度特征之间的相关性，基于这些特征之间的关系进一步优化和增强，以利于多类复杂害虫的检测，增加了害虫图像的检测精度。

Description

基于深度特征自相关性激活的农业害虫图像检测方法
技术领域
本发明涉及农业害虫识别技术领域，具体来说是基于深度特征自相关性激活的农业害虫图像检测方法。
背景技术
对于农作物害虫测报任务，我国传统的方法大多是基于人工调查，准确率取决于调查专家的专业水平。近年来大量国内外研究学者基于数字图像处理与模式识别技术在害虫识别与检测领域做了许多工作，根据研究时间的先后主要分为基于传统机器学习的害虫识别与检测方法和基于深度学习的害虫识别与检测方法。
但是在实际应用中，害虫图像种类繁多，其呈现的特征类型也差异较大，比如颜色、形状、尺寸，在多类害虫图像或同一图像中存在多类害虫时，检测效果较差、错误率较高。深度学习可以根据检测的目的设定损失函数，让模型自主学习到上百维度的深度特征，但是这些大量不同类型的特征之间有没有相关性和冗余性，如何利用这些特征之间的关系进一步优化和增强，以利于多类复杂害虫的检测。因此，如何提高农业害虫图像的检测精度已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中害虫图像的检测精度低的缺陷，提供一种基于深度特征自相关性激活的农业害虫图像检测方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于深度特征自相关性激活的农业害虫图像检测方法，包括以下步骤：
害虫图像的获取：获取农业害虫图像，形成害虫图像数据集；
害虫问题检测网络的构建：构建害虫问题检测网络，其中害虫问题检测网络包括整体特征提取网络和有效目标害虫检测网络；
害虫问题检测网络的训练：将害虫图像数据集输入害虫问题检测网络，对整体特征提取网络和有效目标害虫检测网络进行交互训练；
待检测害虫图像的获取：获取待检测的害虫图像；
害虫问题的检测：将待检测的害虫图像输入训练后的害虫问题检测网络，分类出害虫类型。
所述害虫问题检测网络的构建包括以下步骤：
构建害虫问题检测网络包括整体特征提取网络和有效目标害虫检测网络；其中，整体特征提取网络用于自动学习整张害虫图像的特征，该特征由基础网络提取，输入是害虫图像，输出是基于整张图像得到的整体特征图；有效目标害虫检测网络从整体特征图中针对性的寻找存在的害虫目标特征，找到对应害虫目标的区域；
设定整体特征提取网络；
设定有效目标害虫检测网络。
所述害虫问题检测网络的训练包括以下步骤：
将害虫图像数据集输入整体特征提取网络，通过基础网络输出整体特征图，整体特征图再输入特征融合网络，输出适合检测的整体特征图；
将适合检测的整体特征图输入有效目标害虫检测网络，通过害虫区域初步定位网络输出有效目标特征图；
将有效目标特征图输入深度特征自相关激活网络进行训练；
将深度特征自相关激活网络的输出送入害虫分类定位网络，定位出害虫特征以及给出对应的类别概率向量。
所述设定整体特征提取网络包括以下步骤：
设定整体特征提取网络包括基础网络和特征融合网络；
设定基础网络使用迁移学习以ImageNet数据集上的预训练权重作为基础网络的参数初始值，由卷积层、非线性激活层、池化层叠加构成；
设定特征融合网络为带有侧向跳跃连接的网络结构，基础网络不同层级的输出经过多次上采样并和当层级特征图融合，取融合后特征图作为整体特征图F；特征融合网络建立侧向连接的层次结构，将高层级特征中的语义信息自上而下传到低层特征上，层级间特征融合结构与基础网络相结合，作为基础网络的优化机制，获得适合检测的整体特征图。
所述设定有效目标害虫检测网络包括以下步骤：
设定有效目标害虫检测网络包括害虫区域初步定位网络、深度特征自相关激活网络和害虫分类定位网络；
设定害虫区域初步定位网络为区域建议生成网络，用来在整体特征图上产生多个初步害虫感兴趣区域，基于完全卷积的方式高效实现，并使用感兴趣区域均值采样降维到固定大小的有效目标特征图；
害虫区域初步定位网络以整体特征提取网络产生的整体特征图F作为输入,输出是害虫目标对应的有效目标特征图Flocal＝(F1,F2,...Fk',...,FN'),N'为自定义寻找的初步害虫数量；其卷积层首先使用一个有512个通道和3x3卷积核大小的卷积层，然后使用1x1卷积核的并行卷积层，其通道数量取决于利用每个整体特征图上的点寻找的目标区域数量；
设定深度特征自相关激活网络：利用不同类型特征的敏感性建立图像上相关性大的深度特征之间的联系，关系不敏感的深度特征之间赋予较低权重，关系敏感的深度特征之间赋予较大权重，深度特征自相关激活网络输入的是害虫目标对应的有效目标特征图Fk'，输出的是深度特征自相关激活特征图；
设定害虫分类定位网络：通过两个全连接层产生两个分支即定位层和分类层，定位出害虫特征以及给出对应的类别概率向量。
所述将有效目标特征图输入深度特征自相关激活网络进行训练包括以下步骤：
对害虫目标对应的局部特征图中的Fk'先进行s*s区域划分并取均值得到Fk∈s*s*C，Fk具有C个不同特征，每个深度特征图大小为s*s,将三维局部特征图Fk以g形式转换成对应特征的矩阵形式，
Figure BDA0002904221430000041
其中
Figure BDA0002904221430000042
表示第q个特征的向量，
Figure BDA0002904221430000043
表示第q个特征在第i个空间位置点的特征值；
将三维局部特征图Fk∈s*s*C以f形式转换成对应特征的矩阵形式，
Figure BDA0002904221430000044
其中
Figure BDA0002904221430000045
表示第m个特征的向量，
Figure BDA0002904221430000046
其中
Figure BDA0002904221430000047
表示第m个特征在第i个空间位置点的特征值；
将二维特征图Fg与二维特征图Ff中每个元素用类似矩阵乘法的元素选择操作规则计算元素间的相关系数得到每个特征与其他深度特征之间的关系，
Figure BDA0002904221430000048
表示第q个深度特征和第m个深度特征的相关系数，
Figure BDA0002904221430000049
获取权重矩阵W，对关系矩阵使用激活函数softmax使得特征之间的相关性变得稀疏且归类到[0,1]之间，wqm表示第q个深度特征和第m个深度特征的权重，
Figure BDA0002904221430000051
获取深度特征自相关激活后的特征图，使用权重矩阵与原像素点相乘，即深度特征自相关激活后的特征图里每一个深度特征是局部特征图Fk∈s*s*C所有深度特征的重新组合，且权重是当前深度特征和所有深度特征的相关系数；
Figure BDA0002904221430000052
其中
Figure BDA0002904221430000053
表示第q个特征的自相关激活特征向量,是所有特征的组合，并且权重是第q个特征和所有特征的相关系数；
将矩阵
Figure BDA0002904221430000054
按照像素点空间位置和特征维度排列成三维特征图，即获取最终的深度特征自相关激活后的特征图；
深度特征得到自相关激活之后加到原特征图Fk∈s*s*C上获取最终的特征图。
有益效果
本发明的基于深度特征自相关性激活的农业害虫图像检测方法，与现有技术相比利用深度学习自主学习到的上百维的不同类型的深度特征之间的相关性，基于这些特征之间的关系进一步优化和增强，以利于多类复杂害虫的检测，增加了害虫图像的检测精度。
附图说明
图1为本发明的方法顺序图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种基于深度特征自相关性激活的农业害虫图像检测方法，包括以下步骤：
第一步，害虫图像的获取：获取农业害虫图像，形成害虫图像数据集。
第二步，害虫问题检测网络的构建：构建害虫问题检测网络，其中害虫问题检测网络包括整体特征提取网络和有效目标害虫检测网络。深度学习自主学习到的上百维的不同类型的深度特征，害虫问题检测网络可以学习到这些大量深度特征之间的相关性和互斥性，进一步进行特征增强，以利于多类复杂害虫的检测。构建害虫问题检测网络的具体步骤如下：
(1)构建害虫问题检测网络包括整体特征提取网络和有效目标害虫检测网络。
其中，整体特征提取网络用于自动学习整张害虫图像的特征，该特征由基础网络提取，输入是害虫图像，输出是基于整张图像得到的整体特征图；有效目标害虫检测网络从整体特征图中针对性地寻找存在的害虫目标特征，找到对应害虫目标的区域。整体特征图用于有效目标病害检测网络整体针对性的寻找可能存在的病害目标特征。
(2)设定整体特征提取网络，其中整体特征提取网络包括基础网络和特征融合网络。
A1)设定基础网络使用迁移学习以ImageNet数据集上的预训练权重作为基础网络的参数初始值，基础网络是一种大型的卷积神经网络的组合，由卷积层、非线性激活层、池化层叠加构成。
A2)设定特征融合网络为带有侧向跳跃连接的网络结构，基础网络不同层级的输出经过多次上采样并和当层级特征图融合，取融合后特征图作为整体特征图F；特征融合网络建立侧向连接的层次结构，将高层级特征中的语义信息自上而下传到低层特征上，层级间特征融合结构与基础网络相结合，作为基础网络的优化机制，获得适合检测的整体特征图。
(3)设定有效目标害虫检测网络。
B1)设定有效目标害虫检测网络包括害虫区域初步定位网络、深度特征自相关激活网络和害虫分类定位网络。
在此设定病害区域初步定位网络为区域建议生成网络，用来在整体特征图上产生多个初步病害感兴趣区域，使用完全卷积的方式高效实现，以为了后续全连接的病害分类定位网络使用，并使用感兴趣区域均值采样降维到固定大小的有效目标特征图。
通过深度特征自相关激活网络，可以很好地获取当前特征和其他所有特征之间的相互关系，利用不同类型特征的敏感性建立图像上相关性大的特征之间的联系，关系不敏感的特征之间赋予较低权重，关系敏感的特征之间赋予较大权重。
整体特征提取网络的卷积等一系列操作只是在所有特征上进行参数权重的学习，没有考虑特征之间的相互关系。比如点特征、线特征、角特征、边缘特征等不同类型的特征，这些不同类型的特征之间有没有互相关系需要探讨，深度特征自相关激活网络可以建立图像上两个有一定敏感关系的特征间的联系。由于深度学习不同卷积核学习的是不同类型的特征，不同的卷积核代表不同的滤波器，卷积后会得到不同的通道类型输出数据。
B2)设定害虫区域初步定位网络为区域建议生成网络，用来在整体特征图上产生多个初步害虫感兴趣区域，基于完全卷积的方式高效实现，并使用感兴趣区域均值采样降维到固定大小的有效目标特征图；
害虫区域初步定位网络以整体特征提取网络产生的整体特征图F作为输入,输出是害虫目标对应的有效目标特征图Flocal＝(F1,F2,...Fk',...,FN'),N'为自定义寻找的初步害虫数量；其卷积层首先使用一个有512个通道和3x3卷积核大小的卷积层，然后使用1x1卷积核的并行卷积层，其通道数量取决于利用每个整体特征图上的点寻找的目标区域数量；
B3)设定深度特征自相关激活网络：利用不同类型特征的敏感性建立图像上相关性大的深度特征之间的联系，关系不敏感的深度特征之间赋予较低权重，关系敏感的深度特征之间赋予较大权重，深度特征自相关激活网络输入的是害虫目标对应的有效目标特征图Fk'，输出的是深度特征自相关激活特征图；
B4)设定害虫分类定位网络：通过两个全连接层产生两个分支即定位层和分类层，定位出害虫特征以及给出对应的类别概率向量。
第三步，害虫问题检测网络的训练：将害虫图像数据集输入害虫问题检测网络，对整体特征提取网络和有效目标害虫检测网络进行交互训练。其具体步骤如下：
(1)将害虫图像数据集输入整体特征提取网络，通过基础网络输出整体特征图，整体特征图再输入特征融合网络，输出适合检测的整体特征图。
(2)将适合检测的整体特征图输入有效目标害虫检测网络，通过害虫区域初步定位网络输出有效目标特征图。
(3)将有效目标特征图输入深度特征自相关激活网络进行训练。有效目标特征数量庞大，深度特征自相关激活网络可以通过特征间的相关性利用重新组合的方式强化不同类型的特征。
C1)对害虫目标对应的局部特征图中的Fk'先进行s*s区域划分并取均值得到Fk∈s*s*C，Fk具有C个不同特征，每个深度特征图大小为s*s,将三维局部特征图Fk以g形式转换成对应特征的矩阵形式，
Figure BDA0002904221430000091
其中
Figure BDA0002904221430000092
表示第q个特征的向量，
Figure BDA0002904221430000093
表示第q个特征在第i个空间位置点的特征值；
C2)将三维局部特征图Fk∈s*s*C以f形式转换成对应特征的矩阵形式，
Figure BDA0002904221430000094
其中
Figure BDA0002904221430000095
表示第m个特征的向量，
Figure BDA0002904221430000096
其中
Figure BDA0002904221430000097
表示第m个特征在第i个空间位置点的特征值；
C3)将二维特征图Fg与二维特征图Ff中每个元素用类似矩阵乘法的元素选择操作规则计算元素间的相关系数得到每个特征与其他深度特征之间的关系，
Figure BDA0002904221430000098
表示第q个深度特征和第m个深度特征的相关系数，
Figure BDA0002904221430000099
C4)获取权重矩阵W，对关系矩阵使用激活函数softmax使得特征之间的相关性变得稀疏且归类到[0,1]之间，wqm表示第q个深度特征和第m个深度特征的权重，
Figure BDA0002904221430000101
C5)获取深度特征自相关激活后的特征图，使用权重矩阵与原像素点相乘，即深度特征自相关激活后的特征图里每一个深度特征是局部特征图Fk∈s*s*C所有深度特征的重新组合，且权重是当前深度特征和所有深度特征的相关系数；
Figure BDA0002904221430000102
其中
Figure BDA0002904221430000103
表示第q个特征的自相关激活特征向量,是所有特征的组合，并且权重是第q个特征和所有特征的相关系数；
将矩阵
Figure BDA0002904221430000104
按照像素点空间位置和特征维度排列成三维特征图，即获取最终的深度特征自相关激活后的特征图；
C6)深度特征得到自相关激活之后加到原特征图Fk∈s*s*C上获取最终的特征图，用于最终的害虫分类和检测。
(4)将深度特征自相关激活网络的输出送入害虫分类定位网络，定位出害虫特征以及给出对应的类别概率向量。
第四步，待检测害虫图像的获取：获取待检测的害虫图像。
第五步，害虫问题的检测：将待检测的害虫图像输入训练后的害虫问题检测网络，分类出害虫类型。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.一种基于深度特征自相关性激活的农业害虫图像检测方法，其特征在于，包括以下步骤：
11)害虫图像的获取：获取农业害虫图像，形成害虫图像数据集；
12)害虫问题检测网络的构建：构建害虫问题检测网络，其中害虫问题检测网络包括整体特征提取网络和有效目标害虫检测网络；
13)害虫问题检测网络的训练：将害虫图像数据集输入害虫问题检测网络，对整体特征提取网络和有效目标害虫检测网络进行交互训练；
14)待检测害虫图像的获取：获取待检测的害虫图像；
15)害虫问题的检测：将待检测的害虫图像输入训练后的害虫问题检测网络，分类出害虫类型。
2.根据权利要求1所述的基于深度特征自相关性激活的农业害虫图像检测方法，其特征在于，所述害虫问题检测网络的构建包括以下步骤：
21)构建害虫问题检测网络包括整体特征提取网络和有效目标害虫检测网络；其中，整体特征提取网络用于自动学习整张害虫图像的特征，该特征由基础网络提取，输入是害虫图像，输出是基于整张图像得到的整体特征图；有效目标害虫检测网络从整体特征图中针对性的寻找存在的害虫目标特征，找到对应害虫目标的区域；
22)设定整体特征提取网络；
23)设定有效目标害虫检测网络。
3.根据权利要求1所述的基于深度特征自相关性激活的农业害虫图像检测方法，其特征在于，所述害虫问题检测网络的训练包括以下步骤：
31)将害虫图像数据集输入整体特征提取网络，通过基础网络输出整体特征图，整体特征图再输入特征融合网络，输出适合检测的整体特征图；
32)将适合检测的整体特征图输入有效目标害虫检测网络，通过害虫区域初步定位网络输出有效目标特征图；
33)将有效目标特征图输入深度特征自相关激活网络进行训练；
34)将深度特征自相关激活网络的输出送入害虫分类定位网络，定位出害虫特征以及给出对应的类别概率向量。
4.根据权利要求2所述的基于深度特征自相关性激活的农业害虫图像检测方法，其特征在于，所述设定整体特征提取网络包括以下步骤：
41)设定整体特征提取网络包括基础网络和特征融合网络；
42)设定基础网络使用迁移学习以ImageNet数据集上的预训练权重作为基础网络的参数初始值，由卷积层、非线性激活层、池化层叠加构成；
43)设定特征融合网络为带有侧向跳跃连接的网络结构，基础网络不同层级的输出经过多次上采样并和当层级特征图融合，取融合后特征图作为整体特征图F；特征融合网络建立侧向连接的层次结构，将高层级特征中的语义信息自上而下传到低层特征上，层级间特征融合结构与基础网络相结合，作为基础网络的优化机制，获得适合检测的整体特征图。
5.根据权利要求2所述的基于深度特征自相关性激活的农业害虫图像检测方法，其特征在于，所述设定有效目标害虫检测网络包括以下步骤：
51)设定有效目标害虫检测网络包括害虫区域初步定位网络、深度特征自相关激活网络和害虫分类定位网络；
52)设定害虫区域初步定位网络为区域建议生成网络，用来在整体特征图上产生多个初步害虫感兴趣区域，基于完全卷积的方式高效实现，并使用感兴趣区域均值采样降维到固定大小的有效目标特征图；
害虫区域初步定位网络以整体特征提取网络产生的整体特征图F作为输入,输出是害虫目标对应的有效目标特征图Flocal＝(F1,F2,...Fk',...,FN'),N'为自定义寻找的初步害虫数量；其卷积层首先使用一个有512个通道和3x3卷积核大小的卷积层，然后使用1x1卷积核的并行卷积层，其通道数量取决于利用每个整体特征图上的点寻找的目标区域数量；
53)设定深度特征自相关激活网络：利用不同类型特征的敏感性建立图像上相关性大的深度特征之间的联系，关系不敏感的深度特征之间赋予较低权重，关系敏感的深度特征之间赋予较大权重，深度特征自相关激活网络输入的是害虫目标对应的有效目标特征图Fk'，输出的是深度特征自相关激活特征图；
54)设定害虫分类定位网络：通过两个全连接层产生两个分支即定位层和分类层，定位出害虫特征以及给出对应的类别概率向量。
6.根据权利要求3所述的基于深度特征自相关性激活的农业害虫图像检测方法，其特征在于，所述将有效目标特征图输入深度特征自相关激活网络进行训练包括以下步骤：
61)对害虫目标对应的局部特征图中的Fk'先进行s*s区域划分并取均值得到Fk∈s*s*C，Fk具有C个不同特征，每个深度特征图大小为s*s,将三维局部特征图Fk以g形式转换成对应特征的矩阵形式，
Figure FDA0002904221420000031
其中
Figure FDA0002904221420000032
Figure FDA0002904221420000033
表示第q个特征的向量，
Figure FDA0002904221420000034
表示第q个特征在第i个空间位置点的特征值；
62)将三维局部特征图Fk∈s*s*C以f形式转换成对应特征的矩阵形式，
Figure FDA0002904221420000035
其中
Figure FDA0002904221420000036
表示第m个特征的向量，
Figure FDA0002904221420000037
其中
Figure FDA0002904221420000038
表示第m个特征在第i个空间位置点的特征值；
63)将二维特征图Fg与二维特征图Ff中每个元素用类似矩阵乘法的元素选择操作规则计算元素间的相关系数得到每个特征与其他深度特征之间的关系，
Figure FDA0002904221420000039
表示第q个深度特征和第m个深度特征的相关系数，
Figure FDA00029042214200000310
64)获取权重矩阵W，对关系矩阵使用激活函数softmax使得特征之间的相关性变得稀疏且归类到[0,1]之间，wqm表示第q个深度特征和第m个深度特征的权重，
Figure FDA0002904221420000041
65)获取深度特征自相关激活后的特征图，使用权重矩阵与原像素点相乘，即深度特征自相关激活后的特征图里每一个深度特征是局部特征图Fk∈s*s*C所有深度特征的重新组合，且权重是当前深度特征和所有深度特征的相关系数；
Figure FDA0002904221420000042
其中
Figure FDA0002904221420000043
表示第q个特征的自相关激活特征向量,是所有特征的组合，并且权重是第q个特征和所有特征的相关系数；
将矩阵
Figure FDA0002904221420000044
按照像素点空间位置和特征维度排列成三维特征图，即获取最终的深度特征自相关激活后的特征图；
66)深度特征得到自相关激活之后加到原特征图Fk∈s*s*C上获取最终的特征图。
CN202110066162.5A 2021-01-19 2021-01-19 基于深度特征自相关性激活的农业害虫图像检测方法 Active CN112818982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110066162.5A CN112818982B (zh) 2021-01-19 2021-01-19 基于深度特征自相关性激活的农业害虫图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110066162.5A CN112818982B (zh) 2021-01-19 2021-01-19 基于深度特征自相关性激活的农业害虫图像检测方法

Publications (2)

Publication Number Publication Date
CN112818982A true CN112818982A (zh) 2021-05-18
CN112818982B CN112818982B (zh) 2022-09-09

Family

ID=75870003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110066162.5A Active CN112818982B (zh) 2021-01-19 2021-01-19 基于深度特征自相关性激活的农业害虫图像检测方法

Country Status (1)

Country Link
CN (1) CN112818982B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332461A (zh) * 2021-12-29 2022-04-12 江苏业派生物科技有限公司 智慧农业用虫害远程检测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228475A1 (en) * 2016-02-05 2017-08-10 The Climate Corporation Modeling trends in crop yields
CN110427892A (zh) * 2019-08-06 2019-11-08 河海大学常州校区 基于深浅层自相关融合的cnn人脸表情特征点定位方法
CN111178120A (zh) * 2018-12-25 2020-05-19 中国科学院合肥物质科学研究院 一种基于作物识别级联技术的害虫图像检测方法
CN111340019A (zh) * 2019-11-29 2020-06-26 浙江农林大学 基于Faster R-CNN的粮仓害虫检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228475A1 (en) * 2016-02-05 2017-08-10 The Climate Corporation Modeling trends in crop yields
CN111178120A (zh) * 2018-12-25 2020-05-19 中国科学院合肥物质科学研究院 一种基于作物识别级联技术的害虫图像检测方法
CN110427892A (zh) * 2019-08-06 2019-11-08 河海大学常州校区 基于深浅层自相关融合的cnn人脸表情特征点定位方法
CN111340019A (zh) * 2019-11-29 2020-06-26 浙江农林大学 基于Faster R-CNN的粮仓害虫检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PETR D ET AL: "《Pattern Recognition Neural Network as a Tool for Pest Birds Detection》", 《IEEE》 *
曾鸿: "《基于深度学习的油菜典型害虫快速检测研究》", 《中国优秀硕士学位论文全文数据库 农业科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332461A (zh) * 2021-12-29 2022-04-12 江苏业派生物科技有限公司 智慧农业用虫害远程检测系统及方法

Also Published As

Publication number Publication date
CN112818982B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN111489358B (zh) 一种基于深度学习的三维点云语义分割方法
CN110956185B (zh) 一种图像显著目标的检测方法
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN111612051B (zh) 一种基于图卷积神经网络的弱监督目标检测方法
CN104866810A (zh) 一种深度卷积神经网络的人脸识别方法
CN113657450B (zh) 基于注意机制的陆战场图像-文本跨模态检索方法及其系统
CN108052966A (zh) 基于卷积神经网络的遥感图像场景自动提取和分类方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
Xiong et al. MSN: Modality separation networks for RGB-D scene recognition
CN111984817A (zh) 一种基于自注意力机制加权的细粒度图像检索方法
CN113128424A (zh) 基于注意力机制的图卷积神经网络动作识别方法
CN116150747A (zh) 基于cnn和sltm的入侵检测方法及装置
CN115457332A (zh) 基于图卷积神经网络和类激活映射的图像多标签分类方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN112364747A (zh) 一种有限样本下的目标检测方法
CN110569761B (zh) 一种基于对抗学习的手绘草图检索遥感图像的方法
CN113032613B (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法
CN112818982B (zh) 基于深度特征自相关性激活的农业害虫图像检测方法
CN114329031A (zh) 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法
CN116543269B (zh) 基于自监督的跨域小样本细粒度图像识别方法及其模型
CN116630700A (zh) 基于引入通道-空间注意力机制的遥感图像分类方法
CN113032612B (zh) 一种多目标图像检索模型的构建方法及检索方法和装置
CN115329821A (zh) 一种基于配对编码网络和对比学习的舰船噪声识别方法
CN114998702A (zh) 基于BlendMask的实体识别、知识图谱生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant