CN114565048A - 基于自适应特征融合金字塔网络的三阶段害虫图像识别方法 - Google Patents
基于自适应特征融合金字塔网络的三阶段害虫图像识别方法 Download PDFInfo
- Publication number
- CN114565048A CN114565048A CN202210201018.2A CN202210201018A CN114565048A CN 114565048 A CN114565048 A CN 114565048A CN 202210201018 A CN202210201018 A CN 202210201018A CN 114565048 A CN114565048 A CN 114565048A
- Authority
- CN
- China
- Prior art keywords
- pest
- network
- layer
- stage
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 285
- 230000004927 fusion Effects 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003044 adaptive effect Effects 0.000 title claims description 11
- 238000001514 detection method Methods 0.000 claims abstract description 94
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 210000005036 nerve Anatomy 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 15
- 238000010801 machine learning Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于自适应特征融合金字塔网络的三阶段害虫图像识别方法，包括：获取害虫图像数据集；构建自适应特征融合金字塔网络，将害虫原图像输入，输出害虫特征图；构建三阶段害虫图像目标定位识别网络；自适应特征融合金字塔网络与三阶段害虫图像目标定位识别网络组成害虫图像识别模型，将训练集输入害虫图像识别模型，将测试集输入训练好的害虫图像识别模型中，输出害虫图像检测的结果。本发明加强对害虫图像特征提取能力，获得更高质量更准确的预测框，最后构建三阶段害虫图像目标定位识别网络，加强了对害虫目标检测的精度；本方法可以运用到复杂的、相似度高的农业害虫检测工作中。
Description
技术领域
本发明涉及害虫图像检测技术领域，尤其是一种基于自适应特征融合金字塔网络的三阶段害虫图像识别方法。
背景技术
传统农业害虫识别主要是依靠农技人员“眼观手查”完成，但是人工方法害虫检测方法效率低，容易受农技人员的主观经验的影响误判，因此不利于农业害虫的及时、有效防控。随着计算机视觉技术的发展，许多研究人员采用机器学习算法对农业害虫图像进行识别，取得了较好地识别效果。但是面对复杂的农田环境、不同类别的害虫相似度高，因此传统的基于机器学习的方法，在对害虫目标的特征提取困难，导致识别精度低。
因此，如何高效地对复杂背景下的害虫图像特征进行提取，并区分相似度高的不同类别害虫，以提升害虫图像识别精度，为农业害虫提供及时、有效的防控建议具有重要意义的。
发明内容
本发明的目的在于提供一种不仅能够加快对多种类、小尺度害虫图像识别的速度与准确度，而且能够运用到复杂的、相似度高的农业害虫检测工作中的基于自适应特征融合金字塔网络的三阶段害虫图像识别方法。
为实现上述目的，本发明采用了以下技术方案：一种基于自适应特征融合金字塔网络的三阶段害虫图像识别方法，该方法包括下列顺序的步骤：
(1)获取害虫图像数据集，害虫图像数据集是害虫原图像的集合，将害虫图像数据集按7：3的比例划分成训练集与测试集；
(2)构建自适应特征融合金字塔网络，将害虫原图像输入自适应特征融合金字塔网络，自适应特征融合金字塔网络输出害虫融合特征图；
(3)构建三阶段害虫图像目标定位识别网络；
(4)自适应特征融合金字塔网络与三阶段害虫图像目标定位识别网络组成害虫图像识别模型，将训练集输入害虫图像识别模型，对害虫图像识别模型进行训练，将测试集输入训练好的害虫图像识别模型中，害虫图像识别模型输出害虫图像检测的结果。
所述步骤(2)具体包括以下步骤：
(2a)自适应特征融合金字塔网络由害虫特征提取层和自适应特征融合层构成，其中，害虫特征提取层包括深度残差网络和一个1×1×256的卷积；自适应特征融合层包括卷积神经网络和一个softmax归一化指数函数；
(2b)害虫特征提取层进行害虫特征提取：将害虫原图像输入害虫特征提取层以获得害虫特征图，害虫特征提取层对害虫原图像提取特征时采用深度残差网络作为骨干网络，首先进行通道变换：对来自深度残差网络提取的不同层级的害虫特征图，采用卷积核大小为1×1×256的卷积操作；其次采用特征图尺度变换：将第l层的害虫特征图进行上采样或者下采样变换到第k层害虫特征图尺度的大小，得到害虫特征图Xkl；
(2c)自适应特征融合层对获得的害虫特征图进行自适应特征融合，输出所需的害虫融合特征图，自适应特征融合的公式为：
其中，
表示输出害虫特征图,Yl位置i处的特征向量；
表示从第k层到第l层做尺度变化后的害虫特征图上第i位置处的特征向量；
和
是可学习权重，通过卷积神经网络的学习获取；
和
的值在0至1之间，且
使用softmax归一化指数函数计算可学习权重
和
计算公式为：
其中，
是用于控制可学习权重
的参数，
是用于控制可学习权重
的参数，
是用于控制可学习权重
的参数。
所述步骤(3)具体包括以下步骤：
(3a)构建一阶段的害虫区域推荐网络和自适应锚框生成网络，将害虫融合特征图分别输入害虫区域推荐网络和自适应锚框生成网络中，害虫区域推荐网络和自适应锚框生成网络是并列的，害虫区域推荐网络输出预测信息，自适应锚框生成网络输出锚框，将预测信息和锚框结合得到预测框；
(3b)构建两阶段的害虫目标检测网络,将预测框输入害虫目标检测网络，害虫目标检测网络输出质量较高的预测框；
(3c)两阶段的害虫目标检测网络，以及一阶段的害虫区域推荐和自适应锚框生成网络共同构成三阶段害虫图像目标定位识别网络。
所述步骤(3a)具体包括以下步骤：
(3a1)构建一阶段的害虫区域推荐网络：害虫区域推荐网络由害虫分类层和害虫位置回归层组成；首先对害虫融合特征图采用3×3×512卷积操作得到512维的害虫特征向量；所述害虫分类层由1×1×2的卷积层构成，输出神经元个数为2，2表示前景和背景；害虫位置回归层由1×1×4的卷积层构成，输出神经神经元个数为4，4表示害虫目标的位置信息；将512维的害虫特征向量分别输入到害虫分类层和害虫位置回归层中，害虫分类层和害虫位置回归层是并列的，害虫分类层输出害虫的目标分类信息，害虫位置回归层输出害虫位置回归参数，害虫的目标分类信息与害虫位置回归参数共同构成预测信息；
(3a2)构建一阶段的自适应的锚框生成网络：自适应的锚框生成网络由锚框位置预测层和锚框形状预测层组成，其中，锚框位置预测层由一个1×1的卷积和一个sigmoid激活函数组成；锚框形状预测层由两个1×1的卷积组成，且两个1×1的卷积是并列的；锚框位置预测层首先通过1×1的卷积将害虫融合特征图压缩到单通道，然后通过sigmoid激活函数对每个像素进行分类以预测害虫融合特征图中锚框的中心点，输出害虫融合特征图中存在的锚框中心；而锚框形状预测层将害虫融合特征图通过两次1×1的卷积输出害虫融合特征图预测的dw和dh，dw和dh是预测的锚框宽与高，最后通过公式(3)对输出结果进行变化，将近似[0,1000]映射到了[-1,1]，输出预测最佳的锚框的宽w和高h；
其中，σ为缩放因子取为8，s为害虫融合特征图下采样步长；
设置损失函数为：
L＝λLshape+Lreg (4)
其中，λ为平衡系数，Lreg为锚框位置预测层的损失，Lshape为锚框形状预测层损失；
Lreg的计算公式如下：
Lreg(R,i)＝-logRi (5)
其中，R是预测的特征图概率分布，R＝R0,...,Rn，n表示锚框类别，i是真实锚框中心位置；
Lshape的计算公式为：
其中，wg和hg是真实框的宽和高；
smoothL1的计算公式为:
其中，x表示输入位置的误差值。
所述步骤(3b)具体包括以下步骤：
(3b1)两阶段的害虫目标检测网络由第一检测模块和第二检测模块组成，所述第一检测模块和第二检测模块的网络结构相同，第一检测模块和第二检测模块均由分类网络和回归网络组成，分类网络和回归网络是并列的，其中，分类网络由1×1×2C卷积层构成，C表示分类的类别数，分类网络输出害虫分类的类别及对应的分类置信度；回归网络是由1×1×4C卷积层构成，回归网络输出害虫目标的边界框的位置坐标；
(3b2)训练集中的训练样本的选择：首先，计算预测框与真实标注框做交并比IoU；通过公式(8)判断正、负样本：
其中，g表示真实样本框，a表示预测框；y表示样本的正负性值；
如果IoU值大于设定阈值u0，则该预测框为正样本，标注为“1”，否则为负样本，标注“0”；
两阶段的害虫目标检测网络中，第一检测模块的阈值为u1，第二检测模块的阈值为u2，u2大于u1；在训练两阶段的害虫目标检测网络时，先采用阈值u1选择正、负训练样本，训练第一检测模块；然后将第一检测模块的输出作为输入，利用阈值u2选择正、负训练样本，训练第二检测模块；阈值u1设置为0.5，阈值u2设置为0.7；
(3b3)两阶段的害虫目标检测网络损失函数为：
其中，分类损失Lcls(p,u)的计算公式如下：
Lcls(p,u)＝-logpu (10)
回归损失Lloc(tu,v)的计算公式如下：
其中，p是分类器预测的归一化概率分布，p＝p0,...,pk，k表示害虫种类，u为害虫真实类别标签，tu表示边界框回归网络预测的对应害虫真实类别的回归参数，表示为
v表示害虫真实边界框回归参数，表示为(vx,vy,vw,vh)；
为平衡系数，以平衡分类损失与回归损失；[u≥1]表示只有正样本参与回归损失的计算；
首先由公式(9)计算出第一检测模块的损失函数Ls1与第二检测模块的损失函数Ls2,根据公式(12)得到两阶段的害虫目标检测网络的总损失函数LD：
LD＝Ls1+τ*Ls2(12)
其中，Ls1和Ls2分别表示第一检测器和第二检测器的损失函数，τ为超参数，设置为1以此用来平衡两个检测器的损失值，表示训练时第一检测模块和第二检测模块之间没有偏向性。
由上述技术方案可知，本发明的有益效果为：第一，本发明通过构建自适应特征融合金字塔网络加强对害虫图像特征提取能力，通过两阶段的害虫目标检测网络获得更高质量更准确的预测框，最后构建三阶段害虫图像目标定位识别网络，加强了对害虫目标检测的精度；第二，本方法相比现在流行的害虫识别检测方法也有明显提升，这充分说明本方法可以运用到复杂的、相似度高的农业害虫检测工作中。
附图说明
图1为本发明的方法流程图。
具体实施方式
如图1所示，一种基于自适应特征融合金字塔网络的三阶段害虫图像识别方法，该方法包括下列顺序的步骤：
(1)获取害虫图像数据集，害虫图像数据集是害虫原图像的集合，将害虫图像数据集按7：3的比例划分成训练集与测试集；
(2)构建自适应特征融合金字塔网络，将害虫原图像输入自适应特征融合金字塔网络，自适应特征融合金字塔网络输出害虫融合特征图；
(3)构建三阶段害虫图像目标定位识别网络；
(4)自适应特征融合金字塔网络与三阶段害虫图像目标定位识别网络组成害虫图像识别模型，将训练集输入害虫图像识别模型，对害虫图像识别模型进行训练，将测试集输入训练好的害虫图像识别模型中，害虫图像识别模型输出害虫图像检测的结果。
所述步骤(2)具体包括以下步骤：
(2a)自适应特征融合金字塔网络由害虫特征提取层和自适应特征融合层构成，其中，害虫特征提取层包括深度残差网络和一个1×1×256的卷积；自适应特征融合层包括卷积神经网络和一个softmax归一化指数函数；
(2b)害虫特征提取层进行害虫特征提取：将害虫原图像输入害虫特征提取层以获得害虫特征图，害虫特征提取层对害虫原图像提取特征时采用深度残差网络作为骨干网络，首先进行通道变换：对来自深度残差网络提取的不同层级的害虫特征图，采用卷积核大小为1×1×256的卷积操作；其次采用特征图尺度变换：将第l层的害虫特征图进行上采样或者下采样变换到第k层害虫特征图尺度的大小，得到害虫特征图Xkl；
(2c)自适应特征融合层对获得的害虫特征图进行自适应特征融合，输出所需的害虫融合特征图，自适应特征融合的公式为：
其中，
表示输出害虫特征图,Yl位置i处的特征向量；
表示从第k层到第l层做尺度变化后的害虫特征图上第i位置处的特征向量；
和
是可学习权重，通过卷积神经网络的学习获取；
和
的值在0至1之间，且
使用softmax归一化指数函数计算可学习权重
和
计算公式为：
其中，
是用于控制可学习权重
的参数，
是用于控制可学习权重
的参数，
是用于控制可学习权重
的参数。
所述步骤(3)具体包括以下步骤：
(3a)构建一阶段的害虫区域推荐网络和自适应锚框生成网络，将害虫融合特征图分别输入害虫区域推荐网络和自适应锚框生成网络中，害虫区域推荐网络和自适应锚框生成网络是并列的，害虫区域推荐网络输出预测信息，自适应锚框生成网络输出锚框，将预测信息和锚框结合得到预测框；
(3b)构建两阶段的害虫目标检测网络,将预测框输入害虫目标检测网络，害虫目标检测网络输出质量较高的预测框；
(3c)两阶段的害虫目标检测网络，以及一阶段的害虫区域推荐和自适应锚框生成网络共同构成三阶段害虫图像目标定位识别网络。
所述步骤(3a)具体包括以下步骤：
(3a1)构建一阶段的害虫区域推荐网络：害虫区域推荐网络由害虫分类层和害虫位置回归层组成；首先对害虫融合特征图采用3×3×512卷积操作得到512维的害虫特征向量；所述害虫分类层由1×1×2的卷积层构成，输出神经元个数为2，2表示前景和背景；害虫位置回归层由1×1×4的卷积层构成，输出神经神经元个数为4，4表示害虫目标的位置信息；将512维的害虫特征向量分别输入到害虫分类层和害虫位置回归层中，害虫分类层和害虫位置回归层是并列的，害虫分类层输出害虫的目标分类信息，害虫位置回归层输出害虫位置回归参数，害虫的目标分类信息与害虫位置回归参数共同构成预测信息；
(3a2)构建一阶段的自适应的锚框生成网络：自适应的锚框生成网络由锚框位置预测层和锚框形状预测层组成，其中，锚框位置预测层由一个1×1的卷积和一个sigmoid激活函数组成；锚框形状预测层由两个1×1的卷积组成，且两个1×1的卷积是并列的；锚框位置预测层首先通过1×1的卷积将害虫融合特征图压缩到单通道，然后通过sigmoid激活函数对每个像素进行分类以预测害虫融合特征图中锚框的中心点，输出害虫融合特征图中存在的锚框中心；而锚框形状预测层将害虫融合特征图通过两次1×1的卷积输出害虫融合特征图预测的dw和dh，dw和dh是预测的锚框宽与高，最后通过公式(3)对输出结果进行变化，将近似[0,1000]映射到了[-1,1]，输出预测最佳的锚框的宽w和高h；
其中，σ为缩放因子取为8，s为害虫融合特征图下采样步长；
设置损失函数为：
L＝λLshape+Lreg (4)
其中，λ为平衡系数，Lreg为锚框位置预测层的损失，Lshape为锚框形状预测层损失；
Lreg的计算公式如下：
Lreg(R,i)＝-logRi (5)
其中，R是预测的特征图概率分布，R＝R0,...,Rn，n表示锚框类别，i是真实锚框中心位置；
Lshape的计算公式为：
其中，wg和hg是真实框的宽和高；
smoothL1的计算公式为:
其中，x表示输入位置的误差值。
所述步骤(3b)具体包括以下步骤：
(3b1)两阶段的害虫目标检测网络由第一检测模块和第二检测模块组成，所述第一检测模块和第二检测模块的网络结构相同，第一检测模块和第二检测模块均由分类网络和回归网络组成，分类网络和回归网络是并列的，其中，分类网络由1×1×2C卷积层构成，C表示分类的类别数，分类网络输出害虫分类的类别及对应的分类置信度；回归网络是由1×1×4C卷积层构成，回归网络输出害虫目标的边界框的位置坐标；
(3b2)训练集中的训练样本的选择：首先，计算预测框与真实标注框做交并比IoU；通过公式(8)判断正、负样本：
其中，g表示真实样本框，a表示预测框；y表示样本的正负性值；
如果IoU值大于设定阈值u0，则该预测框为正样本，标注为“1”，否则为负样本，标注“0”；
由于IoU阈值决定了检测器性能，当设置过大的时候，正样本质量会提升，但正样本的数量会减少，不利于检测器的训练。而当阈值设置过小，正样本的数量会提升，但许多的假正样本参与训练，降低检测器性能。因此为提升检测质量，在两阶段的害虫目标检测网络中，第一检测模块的阈值为u1，第二检测模块的阈值为u2，u2大于u1；在训练两阶段的害虫目标检测网络时，先采用阈值u1选择正、负训练样本，训练第一检测模块；然后将第一检测模块的输出作为输入，利用阈值u2选择正、负训练样本，训练第二检测模块；阈值u1设置为0.5，阈值u2设置为0.7；
(3b3)两阶段的害虫目标检测网络损失函数为：
其中，分类损失Lcls(p,u)的计算公式如下：
Lcls(p,u)＝-logpu (10)
回归损失Lloc(tu,v)的计算公式如下：
其中，p是分类器预测的归一化概率分布，p＝p0,...,pk，k表示害虫种类，u为害虫真实类别标签，tu表示边界框回归网络预测的对应害虫真实类别的回归参数，表示为
v表示害虫真实边界框回归参数，表示为(vx,vy,vw,vh)；
为平衡系数，以平衡分类损失与回归损失；[u≥1]表示只有正样本参与回归损失的计算；
首先由公式(9)计算出第一检测模块的损失函数Ls1与第二检测模块的损失函数Ls2,根据公式(12)得到两阶段的害虫目标检测网络的总损失函数LD：
LD＝Ls1+τ*Ls2 (12)
其中，Ls1和Ls2分别表示第一检测器和第二检测器的损失函数，τ为超参数，设置为1以此用来平衡两个检测器的损失值，表示训练时第一检测模块和第二检测模块之间没有偏向性。
表1为本方法与目前最先进的目标检测方法的实验对比结果。
如表1所示，展示了本方法与其他目标检测方法对比实验结果，可以看出，本方法在从各个评价指标来看都比其他方法的检测精度高。比如本方法可达到51.0％AP[0.5:0.95]，与SSD，RetinaNet，FPN，Dynamic RCNN和Cascade RCNN相比，分别提升了6.8％，9.8％，5.1％，5.1％和4.6％，说明了本方法能够有效解决复杂背景下，类别相似的农业害虫识别和检测的问题。
综上所述，本发明通过构建自适应特征融合金字塔网络加强对害虫图像特征提取能力，通过两阶段的害虫目标检测网络获得更高质量更准确的预测框，最后构建三阶段害虫图像目标定位识别网络，加强了对害虫目标检测的精度；本方法相比现在流行的害虫识别检测方法也有明显提升，这充分说明本方法可以运用到复杂的、相似度高的农业害虫检测工作中。
Claims (5)
1.一种基于自适应特征融合金字塔网络的三阶段害虫图像识别方法，其特征在于：该方法包括下列顺序的步骤：
(1)获取害虫图像数据集，害虫图像数据集是害虫原图像的集合，将害虫图像数据集按7∶3的比例划分成训练集与测试集；
(2)构建自适应特征融合金字塔网络，将害虫原图像输入自适应特征融合金字塔网络，自适应特征融合金字塔网络输出害虫融合特征图；
(3)构建三阶段害虫图像目标定位识别网络；
(4)自适应特征融合金字塔网络与三阶段害虫图像目标定位识别网络组成害虫图像识别模型，将训练集输入害虫图像识别模型，对害虫图像识别模型进行训练，将测试集输入训练好的害虫图像识别模型中，害虫图像识别模型输出害虫图像检测的结果。
2.根据权利要求1所述的基于自适应特征融合金字塔网络的三阶段害虫图像识别方法，其特征在于：所述步骤(2)具体包括以下步骤：
(2a)自适应特征融合金字塔网络由害虫特征提取层和自适应特征融合层构成，其中，害虫特征提取层包括深度残差网络和一个1×1×256的卷积；自适应特征融合层包括卷积神经网络和一个softmax归一化指数函数；
(2b)害虫特征提取层进行害虫特征提取：将害虫原图像输入害虫特征提取层以获得害虫特征图，害虫特征提取层对害虫原图像提取特征时采用深度残差网络作为骨干网络，首先进行通道变换：对来自深度残差网络提取的不同层级的害虫特征图，采用卷积核大小为1×1×256的卷积操作；其次采用特征图尺度变换：将第l层的害虫特征图进行上采样或者下采样变换到第k层害虫特征图尺度的大小，得到害虫特征图Xkl；
(2c)自适应特征融合层对获得的害虫特征图进行自适应特征融合，输出所需的害虫融合特征图，自适应特征融合的公式为：
其中，
表示输出害虫特征图,Yl位置i处的特征向量；
表示从第k层到第l层做尺度变化后的害虫特征图上第i位置处的特征向量；
和
是可学习权重，通过卷积神经网络的学习获取；
和
的值在0至1之间，且
使用softmax归一化指数函数计算可学习权重
和
计算公式为：
其中，
是用于控制可学习权重
的参数，
是用于控制可学习权重
的参数，
是用于控制可学习权重
的参数。
3.根据权利要求1所述的基于自适应特征融合金字塔网络的三阶段害虫图像识别方法，其特征在于：所述步骤(3)具体包括以下步骤：
(3a)构建一阶段的害虫区域推荐网络和自适应锚框生成网络，将害虫融合特征图分别输入害虫区域推荐网络和自适应锚框生成网络中，害虫区域推荐网络和自适应锚框生成网络是并列的，害虫区域推荐网络输出预测信息，自适应锚框生成网络输出锚框，将预测信息和锚框结合得到预测框；
(3b)构建两阶段的害虫目标检测网络,将预测框输入害虫目标检测网络，害虫目标检测网络输出质量较高的预测框；
(3c)两阶段的害虫目标检测网络，以及一阶段的害虫区域推荐和自适应锚框生成网络共同构成三阶段害虫图像目标定位识别网络。
4.根据权利要求3所述的基于自适应特征融合金字塔网络的三阶段害虫图像识别方法，其特征在于：所述步骤(3a)具体包括以下步骤：
(3a1)构建一阶段的害虫区域推荐网络：害虫区域推荐网络由害虫分类层和害虫位置回归层组成；首先对害虫融合特征图采用3×3×512卷积操作得到512维的害虫特征向量；所述害虫分类层由1×1×2的卷积层构成，输出神经元个数为2，2表示前景和背景；害虫位置回归层由1×1×4的卷积层构成，输出神经神经元个数为4，4表示害虫目标的位置信息；将512维的害虫特征向量分别输入到害虫分类层和害虫位置回归层中，害虫分类层和害虫位置回归层是并列的，害虫分类层输出害虫的目标分类信息，害虫位置回归层输出害虫位置回归参数，害虫的目标分类信息与害虫位置回归参数共同构成预测信息；
(3a2)构建一阶段的自适应的锚框生成网络：自适应的锚框生成网络由锚框位置预测层和锚框形状预测层组成，其中，锚框位置预测层由一个1×1的卷积和一个sigmoid激活函数组成；锚框形状预测层由两个1×1的卷积组成，且两个1×1的卷积是并列的；锚框位置预测层首先通过1×1的卷积将害虫融合特征图压缩到单通道，然后通过sigmoid激活函数对每个像素进行分类以预测害虫融合特征图中锚框的中心点，输出害虫融合特征图中存在的锚框中心；而锚框形状预测层将害虫融合特征图通过两次1×1的卷积输出害虫融合特征图预测的dw和dh，dw和dh是预测的锚框宽与高，最后通过公式(3)对输出结果进行变化，将近似[0，1000]映射到了[-1，1]，输出预测最佳的锚框的宽w和高h；
其中，σ为缩放因子取为8，s为害虫融合特征图下采样步长；
设置损失函数为：
L＝λLshape+Lreg (4)
其中，λ为平衡系数，Lreg为锚框位置预测层的损失，Lshape为锚框形状预测层损失；
Lreg的计算公式如下：
Lreg(R，i)＝-logRi (5)
其中，R是预测的特征图概率分布，R＝R0，...，Rn，n表示锚框类别，i是真实锚框中心位置；
Lshape的计算公式为：
其中，wg和hg是真实框的宽和高；
smoothL1的计算公式为：
其中，x表示输入位置的误差值。
5.根据权利要求1所述的基于自适应特征融合金字塔网络的三阶段害虫图像识别方法，其特征在于：所述步骤(3b)具体包括以下步骤：
(3b1)两阶段的害虫目标检测网络由第一检测模块和第二检测模块组成，所述第一检测模块和第二检测模块的网络结构相同，第一检测模块和第二检测模块均由分类网络和回归网络组成，分类网络和回归网络是并列的，其中，分类网络由1×1×2C卷积层构成，C表示分类的类别数，分类网络输出害虫分类的类别及对应的分类置信度；回归网络是由1×1×4C卷积层构成，回归网络输出害虫目标的边界框的位置坐标；
(3b2)训练集中的训练样本的选择：首先，计算预测框与真实标注框做交并比IoU；通过公式(8)判断正、负样本：
其中，g表示真实样本框，a表示预测框；y表示样本的正负性值；
如果IoU值大于设定阈值u0，则该预测框为正样本，标注为“1”，否则为负样本，标注“0”；
两阶段的害虫目标检测网络中，第一检测模块的阈值为u1，第二检测模块的阈值为u2，u2大于u1；在训练两阶段的害虫目标检测网络时，先采用阈值u1选择正、负训练样本，训练第一检测模块；然后将第一检测模块的输出作为输入，利用阈值u2选择正、负训练样本，训练第二检测模块；阈值u1设置为0.5，阈值u2设置为0.7；
(3b3)两阶段的害虫目标检测网络损失函数为：
其中，分类损失Lcls(p，u)的计算公式如下：
Lcls(p，u)＝-logpu (10)
回归损失Lloc(tu，v)的计算公式如下：
其中，p是分类器预测的归一化概率分布，p＝p0，...，pk，k表示害虫种类，u为害虫真实类别标签，tu表示边界框回归网络预测的对应害虫真实类别的回归参数，表示为
v表示害虫真实边界框回归参数，表示为(vx,vy,vw,vh)；
为平衡系数，以平衡分类损失与回归损失；[u≥1]表示只有正样本参与回归损失的计算；
首先由公式(9)计算出第一检测模块的损失函数Ls1与第二检测模块的损失函数Ls2,根据公式(12)得到两阶段的害虫目标检测网络的总损失函数LD：
LD＝Ls1+τ*Ls2 (12)
其中，Ls1和Ls2分别表示第一检测器和第二检测器的损失函数，τ为超参数，设置为1以此用来平衡两个检测器的损失值，表示训练时第一检测模块和第二检测模块之间没有偏向性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210201018.2A CN114565048A (zh) | 2022-03-02 | 2022-03-02 | 基于自适应特征融合金字塔网络的三阶段害虫图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210201018.2A CN114565048A (zh) | 2022-03-02 | 2022-03-02 | 基于自适应特征融合金字塔网络的三阶段害虫图像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114565048A true CN114565048A (zh) | 2022-05-31 |
Family
ID=81717538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210201018.2A Pending CN114565048A (zh) | 2022-03-02 | 2022-03-02 | 基于自适应特征融合金字塔网络的三阶段害虫图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114565048A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114743023A (zh) * | 2022-06-14 | 2022-07-12 | 安徽大学 | 一种基于RetinaNet模型的麦蜘蛛图像检测方法 |
| CN115115887A (zh) * | 2022-07-07 | 2022-09-27 | 中国科学院合肥物质科学研究院 | 基于TSD-Faster RCNN的农作物害虫检测方法及其网络 |
| CN115311533A (zh) * | 2022-08-12 | 2022-11-08 | 哈尔滨市科佳通用机电股份有限公司 | 车门滑动轨道折断故障检测方法 |
| CN115638816A (zh) * | 2022-09-13 | 2023-01-24 | 郑州大轩电子科技有限公司 | 一种智慧农业信息监测系统 |
| CN115908459A (zh) * | 2023-03-10 | 2023-04-04 | 中科慧远视觉技术(北京)有限公司 | 一种图像分割方法、装置、计算机设备和可读存储介质 |
| CN118154998A (zh) * | 2024-05-10 | 2024-06-07 | 新立讯科技集团股份有限公司 | 实现精细化图像分类的虫草智能识别方法及装置 |
| CN118537543A (zh) * | 2024-07-22 | 2024-08-23 | 杭州未来已来科技有限公司 | 一种基于yolo的图像信息目标检测方法及系统 |
| CN118629038A (zh) * | 2024-06-20 | 2024-09-10 | 深圳市梓健生物科技有限公司 | 一种用于妇科微生物荧光图像的识别模型训练方法 |
-
2022
- 2022-03-02 CN CN202210201018.2A patent/CN114565048A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114743023A (zh) * | 2022-06-14 | 2022-07-12 | 安徽大学 | 一种基于RetinaNet模型的麦蜘蛛图像检测方法 |
| CN115115887A (zh) * | 2022-07-07 | 2022-09-27 | 中国科学院合肥物质科学研究院 | 基于TSD-Faster RCNN的农作物害虫检测方法及其网络 |
| CN115115887B (zh) * | 2022-07-07 | 2023-09-12 | 中国科学院合肥物质科学研究院 | 基于TSD-Faster RCNN的农作物害虫检测方法及其网络 |
| CN115311533A (zh) * | 2022-08-12 | 2022-11-08 | 哈尔滨市科佳通用机电股份有限公司 | 车门滑动轨道折断故障检测方法 |
| CN115638816A (zh) * | 2022-09-13 | 2023-01-24 | 郑州大轩电子科技有限公司 | 一种智慧农业信息监测系统 |
| CN115908459A (zh) * | 2023-03-10 | 2023-04-04 | 中科慧远视觉技术(北京)有限公司 | 一种图像分割方法、装置、计算机设备和可读存储介质 |
| CN115908459B (zh) * | 2023-03-10 | 2023-05-05 | 中科慧远视觉技术(北京)有限公司 | 一种图像分割方法、装置、计算机设备和可读存储介质 |
| CN118154998A (zh) * | 2024-05-10 | 2024-06-07 | 新立讯科技集团股份有限公司 | 实现精细化图像分类的虫草智能识别方法及装置 |
| CN118629038A (zh) * | 2024-06-20 | 2024-09-10 | 深圳市梓健生物科技有限公司 | 一种用于妇科微生物荧光图像的识别模型训练方法 |
| CN118537543A (zh) * | 2024-07-22 | 2024-08-23 | 杭州未来已来科技有限公司 | 一种基于yolo的图像信息目标检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114565048A (zh) | 基于自适应特征融合金字塔网络的三阶段害虫图像识别方法 | |
| CN111126472B (zh) | 一种基于ssd改进的目标检测方法 | |
| CN111553193B (zh) | 一种基于轻量级深层神经网络的视觉slam闭环检测方法 | |
| CN108564097B (zh) | 一种基于深度卷积神经网络的多尺度目标检测方法 | |
| CN107229904B (zh) | 一种基于深度学习的目标检测与识别方法 | |
| CN109190442B (zh) | 一种基于深度级联卷积神经网络的快速人脸检测方法 | |
| CN108830285B (zh) | 一种基于Faster-RCNN的加强学习的目标检测方法 | |
| CN111783772A (zh) | 一种基于RP-ResNet网络的抓取检测方法 | |
| CN110321830B (zh) | 一种基于神经网络的中文字符串图片ocr识别方法 | |
| CN109325547A (zh) | 非机动车图像多标签分类方法、系统、设备及存储介质 | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN111680706A (zh) | 一种基于编码和解码结构的双通道输出轮廓检测方法 | |
| CN112464911A (zh) | 基于改进YOLOv3-tiny的交通标志检测与识别方法 | |
| CN112541532B (zh) | 基于密集连接结构的目标检测方法 | |
| CN112364931A (zh) | 基于元特征和权重调整的少样本目标检测方法及网络模型 | |
| CN112784756B (zh) | 人体识别跟踪方法 | |
| CN112818893A (zh) | 一种面向移动终端的轻量化开集地标识别方法 | |
| CN112364974B (zh) | 一种基于激活函数改进的YOLOv3算法 | |
| CN112308825A (zh) | 一种基于SqueezeNet的农作物叶片病害识别方法 | |
| CN113420173A (zh) | 基于四元组深度学习的少数民族服饰图像检索方法 | |
| CN115409797A (zh) | 一种基于改进深度学习算法的pcb缺陷图像检测方法 | |
| CN109871792A (zh) | 行人检测方法和装置 | |
| CN116912796A (zh) | 一种基于新型动态级联YOLOv8的自动驾驶目标识别方法及装置 | |
| CN116310386A (zh) | 基于浅层自适应增强上下文的CenterNet小目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |