CN113159182B - 一种基于密集区域再细化技术的农业微小害虫图像检测方法 - Google Patents

一种基于密集区域再细化技术的农业微小害虫图像检测方法 Download PDF

Info

Publication number
CN113159182B
CN113159182B CN202110440745.XA CN202110440745A CN113159182B CN 113159182 B CN113159182 B CN 113159182B CN 202110440745 A CN202110440745 A CN 202110440745A CN 113159182 B CN113159182 B CN 113159182B
Authority
CN
China
Prior art keywords
pest
network
dense
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110440745.XA
Other languages
English (en)
Other versions
CN113159182A (zh
Inventor
杜健铭
王儒敬
陈天娇
谢成军
张洁
李�瑞
陈红波
胡海瀛
刘海云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202110440745.XA priority Critical patent/CN113159182B/zh
Publication of CN113159182A publication Critical patent/CN113159182A/zh
Application granted granted Critical
Publication of CN113159182B publication Critical patent/CN113159182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Catching Or Destruction (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于密集区域再细化技术的农业微小害虫图像检测方法，与现有技术相比解决了密集区域检测范围较大导致微小害虫检测精度差的缺陷。本发明包括以下步骤：训练图像的获取；害虫密集区域检测网络的构建；害虫密集区域检测网络的训练；害虫密集区域检测网络的再训练；害虫目标识别定位网络的构建与训练；待检测害虫图像的获取；害虫图像检测结果的获得。本发明通过害虫密集区域检测网络直接从整体图片特征图中提取密集区域信息，大量减少运算负担；同时通过害虫密集区域检测网络的再训练，有效利用相对较少的害虫图片中的密集区域信息，提高密集区域检测网络密度得分预测准确度。

Description

一种基于密集区域再细化技术的农业微小害虫图像检测方法
技术领域
本发明涉及农业图像识别技术领域，具体来说是一种基于密集区域再细化技术的农业微小害虫图像检测方法。
背景技术
传统的农业害虫测报方法大多数是基于人工田间调查进行识别与估算数量，识别准确率受到调查人员专业知识影响，数量估计受到调查人员主观判断影响，因此测报结果存在较大差异。近年来基于机器视觉与图像处理技术的害虫识别与检测算法被大量应用到农业害虫的识别与检测工作中，极大的减少了田间调查的人力成本，提高了识别计数的准确率。
在实际应用中发现，虽然现有目标检测算法针对体积较大、辨识度较高的害虫检测表现很好，但是针对一些害虫体积微小，聚集密度较大的害虫，例如小麦蚜虫等，则会出现大量检测遗漏与检测精度差等问题。这是由于田间蚜虫目标体积极小且分布在较小的密集区域中，而针对整个图像的全局目标检测算法的检测分辨能力较低，难以分辨微小的目标。如果直接提高全局目标检测算法的检测分辨能力则会极大的增加算法的计算负担，占用大量计算资源，无法达到实际应用要求。那么如何能够更精确寻找微小目标分布密集的区域，有针对性地提高这些区域的检测分辨率，以此提高整体检测精度已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中密集区域检测范围较大导致微小害虫检测精度差的缺陷，提供一种基于密集区域再细化技术的农业微小害虫图像检测方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于密集区域再细化技术的农业微小害虫图像检测方法，包括以下步骤：
训练图像的获取：获取带有人工标记的农业微小害虫图像，形成害虫图像数据集；
害虫密集区域检测网络的构建：构建害虫密集区域检测网络，其中害虫密集区域检测网络包括整体特征提取网络与密集区域建议网络；整体特征提取网络用于提取整张图像中害虫的特征图，该网络输入为农业微小害虫图像，输出为基于该害虫图像提取的整体特征图；密集区域建议网络根据整体深度特征图预测害虫密集区域以及密集程度，该网络输入为整体特征图，输出为密集区域以及每个区域对应的密度得分；
害虫密集区域检测网络的训练：利用害虫图像数据集对害虫密集区域检测网络进行训练；
害虫密集区域检测网络的再训练：利用合成密集区域生成方法生成额外的包含密集目标的图片，利用此图片对害虫密集区域检测网络进行再训练，得到细化的密集区域检测网络；将害虫图像输入再训练的害虫密集区域检测网络，得到细化后的密集区域；
害虫目标识别定位网络的构建与训练；
待检测害虫图像的获取：获取待检测的农业微小害虫图像；
害虫图像检测结果的获得：将待检测的农业微小害虫图像输入再训练后的害虫密集区域检测网络，得到细化后的局部区域微小害虫目标区域，再将细化后的局部区域微小害虫目标区域输入训练后的害虫目标识别定位网络，定位出图像中的微小害虫目标位置。
所述害虫密集区域检测网络的构建包括以下步骤：
设定整体特征提取网络：整体特征提取网络包括骨干网络和特征融合网络；骨干网络由叠加的多层卷积神经网络层、池化层与激活函数层构成，用于提取图片中的基础特征，输出多层特征图；特征融合网络通过侧向连接骨干网络输出的多层特征图，将各层特征图进行融合，输出兼顾不同层次语义特征的整体特征图；其中，骨干网络为ResNet50网络，特征融合网络为FPN特征金字塔网络；
设定密集区域建议网络：设定密集区域建议网络的输入为整体特征提取网络输出的整体特征图，输出为整体特征图上以每个锚点为中心的选取区域的密度得分；
密集区域建议网络首先使用一个拥有512个通道的卷积核大小为3×3的卷积层，之后使用线性整流函数ReLu作为卷积层激活函数，再使用一个卷积核大小为1×1的卷积层，由区域形状数量S与区域放大比例数量R的乘积决定该卷积层的通道数S×R。
所述害虫密集区域检测网络的训练包括以下步骤：
将带有人工标注的害虫图像数据集输入整体特征提取网络，通过骨干网络提取图像基础特征图，之后基础特征图通过特征融合网络，输出多层语义互相融合之后的整体特征图；
将整体特征图输入密集区域建议网络，
设定一个在特征图上滑动的锚点A，滑动单次步长设定为k，以该锚点为中心，共有S种形状的区域选择框，每种选择框拥有R种放大比例，当锚点滑动至第i个位置，当前第s种形状在第r个放大比例下的选取框包含的人工标记的目标数量为
Figure BDA0003034976100000031
当前区域选取框面积为
Figure BDA0003034976100000032
使用如下公式表示当前选取框中的目标密度得分：
Figure BDA0003034976100000033
其中O为偏差补偿系数，以保证目标密度得分为正数，在应用中取O＝10，且设定目标密度得分的最大值dmax＝4，最小值dmin＝1；
设定当前选取框的目标密度得分
Figure BDA0003034976100000034
为真实密度得分，设定网络根据整体特征图通过卷积层输出的得分
Figure BDA0003034976100000035
为当前选取框的目标密度预测得分；使用如下公式表示当前图像产生的用于密集区域检测网络反向传播训练的损失函数：
Figure BDA0003034976100000036
其中I为图像中锚点位置个数，
Figure BDA0003034976100000037
为每个选取框的损失函数，由光滑L1范数SmoothL1计算而得：
Figure BDA0003034976100000041
最终经过训练得害虫密集区域检测网络将对每一张图像输出一系列候选区域
Figure BDA0003034976100000042
与其对应的预测密度得分
Figure BDA0003034976100000043
具有高密度得分的候选区域即为密集区域。
所述害虫密集区域检测网络的再训练包括以下步骤：
使用合成密集区域生成方法生成仅包含密集区域信息的非拟真图片；合成密集区域生成方法步骤如下：
使用大小形状不一的深色实心椭圆点作为粘贴素材；
使用绿色纯色图作为粘贴背景；
设定目标密度得分，根据区域密度得分的逆运算获得目标数量N与区域尺寸L的关系，根据该关系制作M×M的网格，用于粘贴素材的摆放；
随机在背景图上寻找点，作为粘贴中心；
随机从粘贴素材中选取个体摆放在制作的网格中，粘贴在粘贴中心周围；
将粘贴素材进行标注，类别为“fake”；
使用生成的包含密集区域信息的非拟真图片对害虫密集区域检测网络进行再训练，其包括网络对目标分辨能力的再训练与得分预测能力的再训练；
将生成的包含密集区域信息非拟真图片输入害虫密集区域检测网络，通过获得新类别的目标特征图，增加对新分类目标的分辨能力，完成密集区域检测网络对目标分辨能力的再训练；
通过非拟真图片进行新类别的密集区域得分预测的额外训练，等同于对全体类别密集区域得分预测的额外训练，由此完成对密集区域检测网络的得分预测能力的再训练；
将害虫图像输入再训练后的害虫密集区域检测网络，得到细化后密集区域。
所述害虫目标识别定位网络的构建与训练包括以下步骤：
构建害虫目标识别定位网络用于细化后密集区域中的害虫目标的识别与定位，其中害虫目标识别定位网络包括害虫特征提取网络和害虫定位网络；害虫特征提取网络用于提取局部区域的害虫特征图，输入为由害虫密集区域检测网络所输出细化后密集区域，输出为基于该密集区域提取的害虫特征图；害虫定位网络用于自动学习害虫特征图并进行害虫定位，输入为获得的局部区域的害虫特征图，输出为该密集区域的害虫种类识别与定位结果；
利用害虫图片局部区域对局部害虫目标检测网络进行训练。
有益效果
本发明的一种基于密集区域再细化技术的农业微小害虫图像检测方法，与现有技术相比通过害虫密集区域检测网络直接从整体图片特征图中提取密集区域信息，大量减少运算负担；同时通过害虫密集区域检测网络的再训练，有效利用相对较少的害虫图片中的密集区域信息，提高密集区域检测网络密度得分预测准确度，从而有效提升了局部检测的精度，实现农业微小害虫图像的检测识别。
附图说明
图1为本发明的方法顺序图；
图2为害虫密集区域检测网络生成初始密集区域效果展示图；
图3a、图3b、图3c、图3d均为本发明所述方法与传统方法的检测效果对比图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种基于密集区域再细化技术的农业微小害虫图像检测方法，包括以下步骤：
第一步，训练图像的获取：获取带有人工标记的农业微小害虫图像，形成害虫图像数据集。
第二步，害虫密集区域检测网络的构建。构建害虫密集区域检测网络，其中害虫密集区域检测网络包括整体特征提取网络与密集区域建议网络；整体特征提取网络用于提取整张图像中害虫的特征图，该网络输入为农业微小害虫图像，输出为基于该害虫图像提取的整体特征图；密集区域建议网络根据整体深度特征图预测害虫密集区域以及密集程度，该网络输入为整体特征图，输出为密集区域以及每个区域对应的密度得分。
害虫密集区域检测网络通过对害虫图片中的害虫密集分布区域进行定位，将该密集区域输出给后续局部害虫目标识别与定位网络进行单独检测。在此过程中增加局部区域微小害虫目标分辨率，降低害虫目标识别与定位网络对微小害虫识别定位难度，最终提高识别定位网络对微小害虫目标的识别定位检测表现。其难度在于整体特征图中的密集区域目标的准确分辨以及区域密度得分的正确预测。在训练不充分时，网络会出现密集区域框选不准确且区域密度得分与实际严重不符的问题。
害虫密集区域检测网络的构建的具体步骤如下：
(1)设定整体特征提取网络：整体特征提取网络包括骨干网络和特征融合网络；骨干网络由叠加的多层卷积神经网络层、池化层与激活函数层构成，用于提取图片中的基础特征，输出多层特征图；特征融合网络通过侧向连接骨干网络输出的多层特征图，将各层特征图进行融合，输出兼顾不同层次语义特征的整体特征图；其中，骨干网络为ResNet50网络，特征融合网络为FPN特征金字塔网络；
(2)设定密集区域建议网络：设定密集区域建议网络的输入为整体特征提取网络输出的整体特征图，输出为整体特征图上以每个锚点为中心的选取区域的密度得分；
密集区域建议网络首先使用一个拥有512个通道的卷积核大小为3×3的卷积层，之后使用线性整流函数ReLu作为卷积层激活函数，再使用一个卷积核大小为1×1的卷积层，由区域形状数量S与区域放大比例数量R的乘积决定该卷积层的通道数S×R。
第三步，害虫密集区域检测网络的训练：利用害虫图像数据集对害虫密集区域检测网络进行训练，得到初始的密集区域检测网络。
害虫密集区域检测网络中的密集区域建议网络根据选取框中的目标密度得分作为该网络训练的依据。当前其他现有技术主要以初步检测获得整体图像的初步目标检测结果，再根据该结果通过聚类或热力图等方法对图中密集区域进行选取。相较于其他现有技术，该方法对于区域的密集程度的判断更为直接准确，且密度得分兼顾选取区域中目标数量与区域尺寸，计算负担少。其技术难点在于目标密度得分包含信息复杂，为了获得准确的密度得分预测结果，需要大量密度区域信息作为训练样本。
害虫密集区域检测网络的训练的具体步骤：
(1)将带有人工标注的害虫图像数据集输入整体特征提取网络，通过骨干网络提取图像基础特征图，之后基础特征图通过特征融合网络，输出多层语义互相融合之后的整体特征图。
(2)将整体特征图输入密集区域建议网络，
设定一个在特征图上滑动的锚点A，滑动单次步长设定为k，以该锚点为中心，共有S种形状的区域选择框，每种选择框拥有R种放大比例，当锚点滑动至第i个位置，当前第s种形状在第r个放大比例下的选取框包含的人工标记的目标数量为
Figure BDA0003034976100000071
当前区域选取框面积为
Figure BDA0003034976100000072
使用如下公式表示当前选取框中的目标密度得分：
Figure BDA0003034976100000073
其中O为偏差补偿系数，以保证目标密度得分为正数，在应用中取O＝10，且设定目标密度得分的最大值dmax＝4，最小值dmin＝1；
设定当前选取框的目标密度得分
Figure BDA0003034976100000074
为真实密度得分，设定网络根据整体特征图通过卷积层输出的得分
Figure BDA0003034976100000075
为当前选取框的目标密度预测得分；使用如下公式表示当前图像产生的用于密集区域检测网络反向传播训练的损失函数：
Figure BDA0003034976100000076
其中I为图像中锚点位置个数，
Figure BDA0003034976100000077
为每个选取框的损失函数，由光滑L1范数SmoothL1计算而得：
Figure BDA0003034976100000081
最终经过训练得害虫密集区域检测网络将对每一张图像输出一系列候选区域
Figure BDA0003034976100000082
与其对应的预测密度得分
Figure BDA0003034976100000083
具有较高密度得分的候选区域即为密集区域。
第四步，害虫密集区域检测网络的再训练。利用合成密集区域生成方法生成额外的包含密集目标的图片，利用此图片对害虫密集区域检测网络进行再训练；将害虫图像输入再训练后的害虫密集区域检测网络，得到细化后密集区域。
为了有效利用相对较少的害虫图片中的密集区域信息，并提高密集区域检测网络密度得分预测准确度，在此提出了一个针对害虫密集区域检测网络的图像生成方法，输出拟真的图片与非拟真的图片。与其他追求生成图片与真实图片“真假难辨”的一般图片生成算法不同，该方法更注重目标的聚集分布的生成。此方法极大简化操作难度，同时图片专注于密集区域信息，使密集区域检测网络对于密集区域的得分预测更加准确；也忽略目标几何与形态学特征，并使用深色点与绿色背景，提高该方法的泛用性，在未来其他非预见场景应用时，可以通过绿幕技术进行快速的迁移使用。
因此，为了使害虫密集区域检测网络得到充分训练，充分利用真实数据的密集区域信息，在此将外部生成的包含密集区域信息的图片加入到训练集中，提供额外的网络训练。
害虫密集区域检测网络的再训练的步骤如下：
(1)使用合成密集区域生成方法生成仅包含密集区域信息的非拟真图片；合成密集区域生成方法步骤如下：
A1)使用大小形状不一的深色实心椭圆点作为粘贴素材；
A2)使用绿色纯色图作为粘贴背景；
A3)设定目标密度得分，根据区域密度得分的逆运算获得目标数量N与区域尺寸L的关系，根据该关系制作M×M的网格，用于粘贴素材的摆放；
A4)随机在背景图上寻找点，作为粘贴中心；
A5)随机从粘贴素材中选取个体摆放在制作的网格中，粘贴在粘贴中心周围；
A6)将粘贴素材进行标注，类别为“fake”；
(2)使用生成的包含密集区域信息的非拟真图片对害虫密集区域检测网络进行再训练，其包括网络对目标分辨能力的再训练与得分预测能力的再训练；
B1)将生成的包含密集区域信息非拟真图片输入害虫密集区域检测网络，通过获得新类别的目标特征图，增加对新分类目标的分辨能力，完成密集区域检测网络对目标分辨能力的再训练；
B2)通过非拟真图片进行新类别的密集区域得分预测的额外训练，密集区域检测网络对于密集区域得分预测能力是针对全体类别，因此该网络通过非拟真图片进行新类别的密集区域得分预测的额外训练，等同于对全体类别密集区域得分预测的额外训练，由此完成对密集区域检测网络的得分预测能力的再训练。
(3)将害虫图像输入再训练后的害虫密集区域检测网络，得到细化后密集区域。
当密集区域检测网络的训练阶段中获得密集区域信息不足时，会出现严重的密集区域预测密度得分不准的问题，表现为对于稀疏的区域预测得分偏高，如图2所示，可见，虽然密集区域检测网络已经具备发现密集区域的能力，但是其在框体较大时的预测得分没有明显减少，这表示该网络的密度得分预测能力没有得到充分训练。
根据密集区域检测网络预测某一区域中目标的密度程度的功能，认为该网络拥有两种能力，第一为从背景中分辨出目标的能力，第二为根据当前区域尺寸预测这些目标的密度的能力。则密集区域检测网络的整体能力可表示为：
Figure BDA0003034976100000091
其中
Figure BDA0003034976100000092
为分辨目标的能力，
Figure BDA0003034976100000093
为预测密度的能力，K为需检测的目标的类别集合。
在此，我们使用了不属于K的害虫种类
Figure BDA0003034976100000104
因此我们得到了新的需检测目标的类别集合：
Figure BDA0003034976100000101
Figure BDA0003034976100000102
针对新的集合的预测能力会因此额外训练得到提升，而由于kfake与其他类别的真实害虫目标极度不相似且不存在于真实世界中，因此
Figure BDA0003034976100000103
中对于原始集合K的分辨能力几乎不会受到影响，因此可以取得得分预测能力提升且不会影响到原网络对于真实目标的分辨判断能力。
第五步，害虫目标识别定位网络的构建与训练。经过上述步骤后，可以获得细化后密集区域，使得密集区域更精确，从而提高检测精度。为了实现检测识别功能，在此利用现有目标检测算法技术进行害虫目标识别定位网络的构建和训练。构建害虫目标识别定位网络用于细化后密集区域中的害虫目标的识别与定位，其中害虫目标识别定位网络包括害虫特征提取网络和害虫定位网络；害虫特征提取网络用于提取局部区域的害虫特征图，输入为由害虫密集区域检测网络所输出细化后密集区域，输出为基于该密集区域提取的害虫特征图；害虫定位网络用于自动学习害虫特征图并进行害虫定位，输入为获得的局部区域的害虫特征图，输出为该密集区域的害虫种类识别与定位结果；利用害虫图片局部区域对局部害虫目标检测网络进行训练。
害虫特征提取网络包括骨干网络与特征融合网络，骨干网络使用ResNet101网络，特征融合网络使用FPN特征金字塔网络；可以使用但不限于ResNet50、ResNeXt101作为骨干网络；害虫定位网络使用Cascade-RCNN作为害虫目标检测网络；可以使用但不限于Faster-RCNN、FCOS、CenterNet、CornerNet作为害虫目标检测网络。
第六步，待检测害虫图像的获取：获取待检测的农业微小害虫图像。
第七步，害虫图像检测结果的获得：将待检测的农业微小害虫图像输入再训练后的害虫密集区域检测网络，得到细化后的局部微小害虫目标区域，再将细化后的局部微小害虫目标区域输入训练后的害虫目标识别定位网络，定位出图像中的微小害虫目标位置。
如图3a、图3b、图3c、图3d所示，在图3a、图3b、图3c、图3d各自图中，左图为区域范围图，右上的局部区域放大图为利用本发明方法所检测出的微小害虫，右下的局部区域放大图为利用传统方法所检测出的微小害虫，可以明显看出本发明所述方法减少了微小害虫检测遗漏并提高了定位精度。
表1本发明所述方法与现有技术方法检测精度对比表
方法 AP AP50 AP75
FCOS 22.0 61.9 8.7
RetinaNet 17.5 51.3 6.5
FasterRCNN 23.6 63.2 10.8
DMNet 24.5 64.6 12.0
本发明所述方法 27.0 68.6 8.6
由表1可知，本发明所述方法与其他现有技术方法在微小害虫数据集上的检测结果，使用行业熟知的检测精度评价方法AP、AP50、AP75，从表1中可知本专利所述方法的检测精度领先于现有技术方法。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (4)

1.一种基于密集区域再细化技术的农业微小害虫图像检测方法，其特征在于，包括以下步骤：
11)训练图像的获取：获取带有人工标记的农业微小害虫图像，形成害虫图像数据集；
12)害虫密集区域检测网络的构建：构建害虫密集区域检测网络，其中害虫密集区域检测网络包括整体特征提取网络与密集区域建议网络；整体特征提取网络用于提取整张图像中害虫的特征图，该网络输入为农业微小害虫图像，输出为基于该害虫图像提取的整体特征图；密集区域建议网络根据整体特征图预测害虫密集区域以及密集程度，该网络输入为整体特征图，输出为密集区域以及每个区域对应的密度得分；
13)害虫密集区域检测网络的训练：利用害虫图像数据集对害虫密集区域检测网络进行训练；
14)害虫密集区域检测网络的再训练：利用合成密集区域生成方法生成额外的包含密集目标的图片，利用此图片对害虫密集区域检测网络进行再训练，得到细化的密集区域检测网络；将害虫图像输入再训练的害虫密集区域检测网络，得到细化后的密集区域；
所述害虫密集区域检测网络的再训练包括以下步骤：
141)使用合成密集区域生成方法生成仅包含密集区域信息的非拟真图片；合成密集区域生成方法步骤如下：
1411)使用大小形状不一的深色实心椭圆点作为粘贴素材；
1412)使用绿色纯色图作为粘贴背景；
1413)设定目标密度得分，根据区域密度得分的逆运算获得目标数量N与区域尺寸L的关系，根据该关系制作M×M的网格，用于粘贴素材的摆放；
1414)随机在背景图上寻找点，作为粘贴中心；
1415)随机从粘贴素材中选取个体摆放在制作的网格中，粘贴在粘贴中心周围；
1416)将粘贴素材进行标注，类别为“fake”；
142)使用生成的包含密集区域信息的非拟真图片对害虫密集区域检测网络进行再训练，其包括网络对目标分辨能力的再训练与得分预测能力的再训练；
1421)将生成的包含密集区域信息非拟真图片输入害虫密集区域检测网络，通过获得新类别的目标特征图，增加对新分类目标的分辨能力，完成密集区域检测网络对目标分辨能力的再训练；
1422)通过非拟真图片进行新类别的密集区域得分预测的额外训练，等同于对全体类别密集区域得分预测的额外训练，由此完成对密集区域检测网络的得分预测能力的再训练；
143)将害虫图像输入再训练后的害虫密集区域检测网络，得到细化后密集区域；
15)害虫目标识别定位网络的构建与训练；
16)待检测害虫图像的获取：获取待检测的农业微小害虫图像；
17)害虫图像检测结果的获得：将待检测的农业微小害虫图像输入再训练后的害虫密集区域检测网络，得到细化后的局部区域微小害虫目标区域，再将细化后的局部区域微小害虫目标区域输入训练后的害虫目标识别定位网络，定位出图像中的微小害虫目标位置。
2.根据权利要求1所述的一种基于密集区域再细化技术的农业微小害虫图像检测方法，其特征在于，所述害虫密集区域检测网络的构建包括以下步骤：
21)设定整体特征提取网络：整体特征提取网络包括骨干网络和特征融合网络；骨干网络由叠加的多层卷积神经网络层、池化层与激活函数层构成，用于提取图片中的基础特征，输出多层特征图；特征融合网络通过侧向连接骨干网络输出的多层特征图，将各层特征图进行融合，输出兼顾不同层次语义特征的整体特征图；其中，骨干网络为ResNet50网络，特征融合网络为FPN特征金字塔网络；
22)设定密集区域建议网络：设定密集区域建议网络的输入为整体特征提取网络输出的整体特征图，输出为整体特征图上以每个锚点为中心的选取区域的密度得分；
密集区域建议网络首先使用一个拥有512个通道的卷积核大小为3×3的卷积层，之后使用线性整流函数ReLu作为卷积层激活函数，再使用一个卷积核大小为1×1的卷积层，由区域形状数量S与区域放大比例数量R的乘积决定该卷积层的通道数S×R。
3.根据权利要求1所述的一种基于密集区域再细化技术的农业微小害虫图像检测方法，其特征在于，所述害虫密集区域检测网络的训练包括以下步骤：
31)将带有人工标注的害虫图像数据集输入整体特征提取网络，通过骨干网络提取图像基础特征图，之后基础特征图通过特征融合网络，输出多层语义互相融合之后的整体特征图；
32)将整体特征图输入密集区域建议网络，
设定一个在特征图上滑动的锚点A，滑动单次步长设定为k，以该锚点为中心，共有S种形状的区域选择框，每种选择框拥有R种放大比例，当锚点滑动至第i个位置，当前第s种形状在第r个放大比例下的选取框包含的人工标记的目标数量为
Figure FDA0003777365060000031
当前区域选取框面积为
Figure FDA0003777365060000032
使用如下公式表示当前选取框中的目标密度得分：
Figure FDA0003777365060000033
其中O为偏差补偿系数，以保证目标密度得分为正数，在应用中取O＝10，且设定目标密度得分的最大值dmax＝4，最小值dmin＝1；
设定当前选取框的目标密度得分
Figure FDA0003777365060000034
为真实密度得分，设定网络根据整体特征图通过卷积层输出的得分
Figure FDA0003777365060000041
为当前选取框的目标密度预测得分；使用如下公式表示当前图像产生的用于密集区域检测网络反向传播训练的损失函数：
Figure FDA0003777365060000042
其中I为图像中锚点位置个数，
Figure FDA0003777365060000043
为每个选取框的损失函数，由光滑L1范数SmoothL1计算而得：
Figure FDA0003777365060000044
最终经过训练的害虫密集区域检测网络将对每一张图像输出一系列候选区域
Figure FDA0003777365060000045
与其对应的预测密度得分
Figure FDA0003777365060000046
具有高密度得分的候选区域即为密集区域。
4.根据权利要求1所述的一种基于密集区域再细化技术的农业微小害虫图像检测方法，其特征在于，所述害虫目标识别定位网络的构建与训练包括以下步骤：
41)构建害虫目标识别定位网络用于细化后密集区域中的害虫目标的识别与定位，其中害虫目标识别定位网络包括害虫特征提取网络和害虫定位网络；害虫特征提取网络用于提取局部区域的害虫特征图，输入为由害虫密集区域检测网络所输出细化后密集区域，输出为基于该密集区域提取的害虫特征图；害虫定位网络用于自动学习害虫特征图并进行害虫定位，输入为获得的局部区域的害虫特征图，输出为该密集区域的害虫种类识别与定位结果；
42)利用害虫图片局部区域对害虫目标识别定位网络进行训练。
CN202110440745.XA 2021-04-23 2021-04-23 一种基于密集区域再细化技术的农业微小害虫图像检测方法 Active CN113159182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110440745.XA CN113159182B (zh) 2021-04-23 2021-04-23 一种基于密集区域再细化技术的农业微小害虫图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110440745.XA CN113159182B (zh) 2021-04-23 2021-04-23 一种基于密集区域再细化技术的农业微小害虫图像检测方法

Publications (2)

Publication Number Publication Date
CN113159182A CN113159182A (zh) 2021-07-23
CN113159182B true CN113159182B (zh) 2022-09-09

Family

ID=76870090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110440745.XA Active CN113159182B (zh) 2021-04-23 2021-04-23 一种基于密集区域再细化技术的农业微小害虫图像检测方法

Country Status (1)

Country Link
CN (1) CN113159182B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626134A (zh) * 2020-04-28 2020-09-04 上海交通大学 一种基于隐密度分布的密集人群计数方法、系统及终端
CN111832489A (zh) * 2020-07-15 2020-10-27 中国电子科技集团公司第三十八研究所 一种基于目标检测的地铁人群密度估计方法及系统
CN111931581A (zh) * 2020-07-10 2020-11-13 威海精讯畅通电子科技有限公司 一种基于卷积神经网络农业害虫识别方法、终端及可读存储介质
CN112488244A (zh) * 2020-12-22 2021-03-12 中国科学院合肥物质科学研究院 一种利用热力图进行点标注方式的密集分布小目标害虫自动计数方法
CN112686139A (zh) * 2020-12-29 2021-04-20 西安电子科技大学 基于跨阶段局部多尺度密集连接的遥感图像目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10534960B2 (en) * 2016-04-01 2020-01-14 California Institute Of Technology System and method for locating and performing fine grained classification from multi-view image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626134A (zh) * 2020-04-28 2020-09-04 上海交通大学 一种基于隐密度分布的密集人群计数方法、系统及终端
CN111931581A (zh) * 2020-07-10 2020-11-13 威海精讯畅通电子科技有限公司 一种基于卷积神经网络农业害虫识别方法、终端及可读存储介质
CN111832489A (zh) * 2020-07-15 2020-10-27 中国电子科技集团公司第三十八研究所 一种基于目标检测的地铁人群密度估计方法及系统
CN112488244A (zh) * 2020-12-22 2021-03-12 中国科学院合肥物质科学研究院 一种利用热力图进行点标注方式的密集分布小目标害虫自动计数方法
CN112686139A (zh) * 2020-12-29 2021-04-20 西安电子科技大学 基于跨阶段局部多尺度密集连接的遥感图像目标检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A coarse-to-fine network for aphid recognition and detection in the field;Li, R;《BIOSYSTEMS ENGINEERING》;20191130;全文 *
Density Map Guided Object Detection in Aerial Images;Changlin Li 等;《 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)》;20200828;全文 *
一种基于聚类特征的Faster R-CNN粮仓害虫检测方法;张诗雨等;《中国粮油学报》;20200401(第04期);全文 *
基于区域卷积神经网络的农业害虫检测方法;魏杨等;《计算机科学》;20181115;全文 *
基于改进Faster-RCNN模型的粘虫板图像昆虫识别与计数;张银松等;《中国农业大学学报》;20190515(第05期);全文 *
基于深度学习的病虫害智能化识别系统;陈天娇 等;《中国植保导刊》;20190430;全文 *

Also Published As

Publication number Publication date
CN113159182A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN110866079B (zh) 一种智慧景区实景语义地图的生成与辅助定位方法
CN110246141B (zh) 一种基于联合角点池化的复杂交通场景下车辆图像分割方法
CN110287826B (zh) 一种基于注意力机制的视频目标检测方法
CN111783590A (zh) 一种基于度量学习的多类别小目标检测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
JP2017004480A (ja) 顕著性情報取得装置及び顕著性情報取得方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN110210534B (zh) 基于多包融合的高分遥感图像场景多标签分类方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
CN114510594A (zh) 一种基于自注意力机制的传统纹样子图检索方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN112287906A (zh) 一种基于深度特征融合的模板匹配跟踪方法及系统
CN111968124A (zh) 基于半监督语义分割的肩部肌骨超声结构分割方法
CN109461115A (zh) 一种基于深度卷积网络的自动图像配准方法
CN115147644A (zh) 图像描述模型的训练和描述方法、系统、设备及存储介质
CN110688512A (zh) 基于ptgan区域差距与深度神经网络的行人图像搜索算法
CN111797704B (zh) 一种基于相关物体感知的动作识别方法
CN112132839B (zh) 一种基于深度卷积级联网络的多尺度快速人脸分割方法
CN114860974A (zh) 一种遥感影像检索定位方法
CN113159182B (zh) 一种基于密集区域再细化技术的农业微小害虫图像检测方法
CN114972434B (zh) 一种级联检测和匹配的端到端多目标跟踪系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant