CN113449806A - 基于层次结构的二阶段林业害虫识别与检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于层次结构的二阶段林业害虫识别与检测系统，包括数据预处理模块，用于对已标注好的林业害虫图像数据集进行预处理，得到用于训练害虫检测阶段的目标检测模型的第一数据集和用于训练害虫分类阶段的分类模型的第二数据集；模型训练模块，用于利用第一数据集对害虫检测阶段的目标检测模型进行训练，并利用第二数据集对害虫分类阶段的分类模型进行训练；图像预测模块，用于利用训练好的目标检测模型对测试图像进行目标检测，将昆虫部分从测试图像中提取以得到新图像，并利用训练好的分类模型对新图像进行物种分类。本发明基于层次结构的二阶段林业害虫识别与检测系统可行性高，可以大幅提升对害虫的识别准确率且具有扩展性。

Description

基于层次结构的二阶段林业害虫识别与检测系统及方法

技术领域

本发明涉及林业害虫识别与检测技术领域，特别涉及一种基于层次结构的二阶段林业害虫识别与检测系统及方法。

背景技术

林业害虫灾害就如同不冒烟的森林火灾，具有持续与隐蔽等特点，通常被人们所忽视，且会给林业的发展带来巨大的经济损失。同时随着各地经济的发展与植树造林等项目的大力实施，林业材料及其制品的引进不断增加，各地区之间的交流也逐渐频繁，但林业害虫的传播与蔓延也都逐步加快，危害也日益严重，已成为当前林业发展的大敌。

林业害虫识别与检测是林业虫害防治工作中的一个重要环节，及时发现虫害并通过物理、化学或生物等方式进行防治，能够大幅降低虫害带来的损失。因此及时、准确的林业害虫识别与检测系统可帮助提高林业作物的产量与质量。随着计算机视觉技术的发展，林业害虫图像识别与检测算法也得到了广泛的研究。现阶段林业害虫识别与检测主要由传统的机器学习技术和深度学习技术两个部分组成。传统的机器学习主要通过对图像进行特征提取，再使用SVM(support vector machine)等分类器对图像进行分类，如张怡在分形理论的基础上，提取林业害虫的几何形状特征和纹理特征，利用SVM方法进行分类，构建了一个基于分形理论的林业害虫识别与分类系统，具有一定的成果。但当图像较为复杂且类别较多时，准确率会有所下降。深度学习技术主要使用人工神经网络，利用多层网络架构将输入的图像与输出之间建立联系，如候瑞环等提出一种基于YOLOv4-TIA(You Only LookOnce version 4-Triplet Attention)的林业害虫实时检测方法来进行林业昆虫图像检测，结果也表明该类方法效果良好。

林业害虫识别系统虽然得到广泛的研究，并取得了不错的应用成果，但通常因识别的图像中背景部分占比较大，导致识别准确率较低，同时难以准确识别一张图中有多种害虫的情况，且随着昆虫类别的增多，识别准确率也会大幅下降。

发明内容

本发明要解决的技术问题是提供一种可行性高、识别准确率高且具有扩展性的基于层次结构的二阶段林业害虫识别与检测系统。

为了解决上述问题，本发明提供了基于层次结构的二阶段林业害虫识别与检测系统，其包括：

数据预处理模块，用于对已标注好的林业害虫图像数据集进行预处理，得到用于训练害虫检测阶段的目标检测模型的第一数据集和用于训练害虫分类阶段的分类模型的第二数据集；

模型训练模块，用于利用第一数据集对害虫检测阶段的目标检测模型进行训练，并利用第二数据集对害虫分类阶段的分类模型进行训练；

图像预测模块，用于利用训练好的目标检测模型对测试图像进行目标检测，将昆虫部分从测试图像中提取以得到新图像，并利用训练好的分类模型对新图像进行物种分类。

作为本发明的进一步改进，所述已标注好的林业害虫图像数据集为：

其中，N为数据集D_Y中图像的数量，X_i为训练集中第i张图像，大小为h×w，h为图像纵向排列的像素个数，w为图像横向排列的像素个数，L_i是第i张图像中的昆虫坐标与类别信息，大小为p×5，p＞0为图中昆虫的个数，五列数据中，第一列表示该昆虫所属的科类别，取值为0至科类别总数减1，后面四列分别表示昆虫所在的x轴中央位置、y轴中央位置、宽度与长度，这四列是对于图像分辨率大小归一化后0到1之间的数，左上角坐标为(0，0)，右下角坐标为(1，1)。

作为本发明的进一步改进，所述对已标注好的林业害虫图像数据集进行预处理，包括：

利用数据集D_Y中的原图像X_i与对应的标签L_i，通过昆虫位置坐标信息，将p个昆虫从原图中提取，整合得到共M张分为J个子集的数据集：

其中，J代表生物科的分类总数，训练使用的子数据集

表示每个生物科的数据集，其中x_i为所提取出的昆虫图像，大小为m×n，y_i是该图像的标签，即该昆虫的物种名，k_j是训练子集

含有的样本个数，且

将数据集D_y中原始图像X_i从h×w大小的图像转化为640×640×3的RGB图像，记为X′_i；将D_D各个子集

下的图像x_i从大小m×n的图像转化为224×224×3的RGB图像，记为x′_i，另

得到处理好的训练集

用于训练害虫检测阶段的目标检测模型，训练集

用于分别训练害虫分类阶段中对应的J个分类模型。

作为本发明的进一步改进，所述利用第一数据集对害虫检测阶段的目标检测模型进行训练，包括：

所述目标检测模型分为Input、Backbone、Neck、Prediction共4个部分；

Input部分使用Mosaic数据增强，对输入的图像进行拼接；之后进行锚框计算，在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再反向更新，迭代网络参数；同时通过自适应图像缩放将原始图像统一缩放到一个标准尺寸，再送入检测网络中；

Backbone部分作为主干网络，使用Focus结构与CSP结构，利用32个卷积核对图像进行切片操作，提取出输入样本中的主要信息，以供后续使用；

Neck部分采用FPN+PAN的结构，同时使用Backbone部分提取到的信息，借鉴CSPNet设计的CSP2结构，加强网络特征融合的能力；

Prediction部分用于做出预测，并计算损失值。

作为本发明的进一步改进，所述利用第二数据集对害虫分类阶段的分类模型进行训练，包括：

所述分类模型包括多个稠密块和过渡层，过渡层设于相邻两稠密块之间，每个稠密块内部都包含神经元，神经元个数根据网络任务不同而不同，再通过几层卷积和池化。

作为本发明的进一步改进，所述稠密块中加入了瓶颈层，包括一个1×1卷积核与一个3×3卷积核；所述过渡层包括一个BN层、一个1×1的卷积层以及一个2×2的池化层，通过卷积层与池化层来改变特征图的大小。

作为本发明的进一步改进，所述利用训练好的目标检测模型对测试图像进行目标检测，包括：

将测试图像T转为大小为640×640×3的RGB图像数据输入到训练好的目标检测模型中进行目标检测，得到图像T中零个或多个包含昆虫位置坐标与所属生物科类别的标签：

L_r＝{(T，l₁)，(T，l₂)，...}

其中，l_i是一个p′×6的矩阵，p′≥0是从图像T中检测到的昆虫数，矩阵第一列表示该昆虫所属的生物科类别，第二至五列是昆虫所在的x轴中央位置、y轴中央位置、宽度与长度，第六列是对结果的置信度C_y。

作为本发明的进一步改进，所述将昆虫部分从测试图像中提取以得到新图像，并利用训练好的分类模型对新图像进行物种分类，包括：

若图像T中未检测到昆虫，即

则直接返回最终结果，若检测到一个或多个昆虫，则分别根据l_j中的位置与类别信息，将昆虫部分从原图像T中提取出来，得到图像x_i，并将其转化为224×224×3的RGB图，再选择对应的分类模型对其进行第二阶段的分类，得到昆虫具体的物种类别yi与结果置信度C_d，最后对每张提取出来的图像分类结果进行整合，得到最终识别与检测结果RF＝{(y₁，num₁)，((y₂，num₂)，...，(y_z，num_z)}，其中y_i表示出现的昆虫的物种名，num_i表示图中该昆虫的个数，z表示图中出现的不同昆虫的总类别数。

作为本发明的进一步改进，还包括：

结果反馈模块，用于根据物种分类结果的置信度的高低将检测图像放入对应的模型训练数据集或备用数据集中。

作为本发明的进一步改进，所述根据物种分类结果的置信度的高低将检测图像放入对应的模型训练数据集或备用数据集中，包括：

首先对系统两阶段设置模型信任度，一阶段目标检测模型信任度设为P_y，二阶段分类模型信任度设为P_d，其中P_y，P_d∈(0，1]；

在用户将图像上传至系统后对其进行检测的过程中，根据一阶段目标检测模型检测结果中得到的结果置信度C_y，若C_y≥P_y，则将该图像与得到的标签放入目标检测模型的训练数据集D_Y中，否则将图像与标签放入目标检测模型备选数据集中，可在后期进行人工筛选与标注；同样，根据二阶段分类模型检测结果中得到的结果置信度C_d，若C_d≥P_d，则将该提取出的图像与标签放入对应的分类模型训练数据集D_DF中，否则放入分类模型备选数据集中。

本发明的有益效果：

本发明基于层次结构的二阶段林业害虫识别与检测系统可行性高，可以大幅提升对害虫的识别准确率且具有扩展性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明优选实施例中基于层次结构的二阶段林业害虫识别与检测系统的示意图；

图2是本发明优选实施例中分类模型的网络结构图；

图3是本发明优选实施例中图像预测模块的工作流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，为本发明优选实施例中的基于层次结构的二阶段林业害虫识别与检测系统，其包括数据预处理模块、模型训练模块、图像预测模块和结果反馈模块。

数据预处理模块用于对已标注好的林业害虫图像数据集进行预处理，得到用于训练害虫检测阶段的YOLOv5(You Only Look Once version 5)目标检测模型的第一数据集和用于训练害虫分类阶段的DenseNet(Densely Connected Convolutional Networks)分类模型的第二数据集。

可选的，所述已标注好的林业害虫图像数据集为：

其中，N为数据集D_Y中图像的数量，X_i为训练集中第i张图像，大小为h×w，h为图像纵向排列的像素个数，w为图像横向排列的像素个数，L_i是第i张图像中的昆虫坐标与类别信息，大小为p×5，p＞0为图中昆虫的个数，五列数据中，第一列表示该昆虫所属的科类别，取值为0至科类别总数减1，后面四列分别表示昆虫所在的x轴中央位置、y轴中央位置、宽度与长度，这四列是对于图像分辨率大小归一化后0到1之间的数，左上角坐标为(0，0)，右下角坐标为(1，1)。

可选的，所述对已标注好的林业害虫图像数据集进行预处理，包括：

利用数据集D_Y中的原图像X_i与对应的标签L_i，通过昆虫位置坐标信息，将p个昆虫从原图中提取，整合得到共M张分为J个子集的数据集：

其中，J代表生物科的分类总数，训练使用的子数据集

表示每个生物科的数据集，其中x_i为所提取出的昆虫图像，大小为m×n，y_i是该图像的标签，即该昆虫的物种名，k_j是训练子集

含有的样本个数，且

将数据集D_y中原始图像X_i从h×w大小的图像转化为640×640×3的RGB图像，记为X′_i；将D_D各个子集

下的图像x_i从大小m×n的图像转化为224×224×3的RGB图像，记为x′_i，另

得到处理好的训练集

用于训练害虫检测阶段的YOLOv5目标检测模型，训练集

用于分别训练害虫分类阶段中对应的J个DenseNet分类模型。

模型训练模块用于利用第一数据集对害虫检测阶段的目标检测模型进行训练，并利用第二数据集对害虫分类阶段的分类模型进行训练。

可选的，模型的训练分成两部分，分别是使用数据集D′_Y对害虫检测部分的YOLOv5模型进行训练，以及使用数据集D′_D对害虫分类部分的DenseNet模型进行训练。

可选的，所述目标检测模型分为Input、Backbone、Neck、Prediction共4个部分；其中，Input部分使用Mosaic数据增强，对输入的图像通过随机缩放、随机裁剪、随机排布等方式进行拼接；之后进行锚框计算，在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再反向更新，迭代网络参数；同时通过自适应图像缩放将原始图像统一缩放到一个标准尺寸，再送入检测网络中。Backbone部分作为主干网络，使用Focus结构与CSP结构，利用32个卷积核对图像进行切片操作，提取出输入样本中的主要信息，以供后续使用。Neck部分采用FPN+PAN的结构，同时使用Backbone部分提取到的信息，借鉴CSPNet设计的CSP2结构，加强网络特征融合的能力。最后的Prediction部分用于做出预测，并计算GloU_Loss等损失值。

本发明使用的DenseNet模型是一种具有密集连接的卷积神经网络，所述分类模型包括多个稠密块和过渡层，过渡层设于相邻两稠密块之间，每个稠密块内部都包含神经元，神经元个数根据网络任务不同而不同，再通过几层卷积和池化，参照图2。

DensNet在网络中任何两层之间都有直接的连接，该方式能够将原始特征传递给后续网络。由于每一层都包含之前所有层的输出信息，通过网络每层的特征重复利用，有效地解决了网络的冗余现象。同时为了减少特征图数量，还在稠密块中加入了瓶颈层(Bottle-neck Layer)，其中包括一个1×1卷积核与一个3×3卷积核，不仅压缩了模型参数，还能够提升计算效率。相邻块之间的层称为过渡层(Transition Layer)，该层一般由一个BN层、一个1×1的卷积层以及一个2×2的池化层组成，通过卷积层与池化层来改变特征图的大小，同样能降低网络的冗余。最后经过全连接层后通过SoftMax函数对图像进行分类预测。

图像预测模块用于利用训练好的目标检测模型对测试图像进行目标检测，将昆虫部分从测试图像中提取以得到新图像，并利用训练好的分类模型对新图像进行物种分类，参照图3。

可选的，所述利用训练好的目标检测模型对测试图像进行目标检测，包括：

给定一张没有标签的测试图像T，将测试图像T转为大小为640×640×3的RGB图像数据输入到训练好的目标检测模型中进行目标检测，得到图像T中零个或多个包含昆虫位置坐标与所属生物科类别的标签：

L_r＝{(T，l₁)，(T，l₂)，...}

其中，l_i是一个p′×6的矩阵，p′≥0是从图像T中检测到的昆虫数，矩阵第一列表示该昆虫所属的生物科类别，第二至五列是昆虫所在的x轴中央位置、y轴中央位置、宽度与长度，第六列是对结果的置信度C_y。

可选的，所述将昆虫部分从测试图像中提取以得到新图像，并利用训练好的分类模型对新图像进行物种分类，包括：

若图像T中未检测到昆虫，即

则直接返回最终结果，若检测到一个或多个昆虫，则分别根据l_i中的位置与类别信息，将昆虫部分从原图像T中提取出来，得到图像x_i，并将其转化为224×224×3的RGB图，再选择对应的分类模型对其进行第二阶段的分类，得到昆虫具体的物种类别y_i与结果置信度C_d，最后对每张提取出来的图像分类结果进行整合，得到最终识别与检测结果RF＝{(y₁，num₁)，((y₂，num₂)，...，(y_z，num_z)}，其中y_i表示出现的昆虫的物种名，num_i表示图中该昆虫的个数，z表示图中出现的不同昆虫的总类别数。

结果反馈模块用于根据物种分类结果的置信度的高低将检测图像放入对应的模型训练数据集或备用数据集中。

可选的，所述根据物种分类结果的置信度的高低将检测图像放入对应的模型训练数据集或备用数据集中，包括：

首先对系统两阶段设置模型信任度，一阶段目标检测模型信任度设为P_y，二阶段分类模型信任度设为P_d，其中P_y，P_d∈(0，1]。

在用户将图像上传至系统后对其进行检测的过程中，根据一阶段目标检测模型检测结果中得到的结果置信度C_y，若C_y≥P_y，则将该图像与得到的标签放入目标检测模型的训练数据集D_Y中，否则将图像与标签放入目标检测模型备选数据集中，可在后期进行人工筛选与标注；同样，根据二阶段分类模型检测结果中得到的结果置信度C_d，若C_d≥P_d，则将该提取出的图像与标签放入对应的分类模型训练数据集D_DF中，否则放入分类模型备选数据集中。

在一具体实施例中，本发明选取了第十届“中国软件杯”大学生软件设计大赛A4-林业有害生物智能识别赛题中提供的数据集并进行了扩展，扩展后的数据集包含15类林业害虫共计2166张图像。该数据集主要在各搜索引擎上通过爬虫获取，同时进行人工筛选，将不符合的图像删除，并使用Labellmg对这2166张图像进行人工标注。详细过程如下：

一、数据预处理模块

(1)输入已使用已标注好的林业害虫图像数据集

其中N为数据集D_Y中图像的数量，共2166张，X_i为训练集中第i张图像，大小为h×w，h为图像纵向排列的像素个数，w为图像横向排列的像素个数，由于爬取到的图片大小不同，所以实施例中h，w∈R，L_i是第i张图像中的昆虫坐标与类别信息，大小为p×5的矩阵，p＞0为图中昆虫的个数，五列数据中，第一列表示该昆虫所属的科类别，取值为0至科类别总数减1，后面四列分别表示昆虫所在的x轴中央位置、y轴中央位置、宽度与长度，这四列是对于图像分辨率大小归一化后0到1之间的数，左上角坐标为(0，0)，右下角坐标为(1，1)。

(2)利用数据集D_Y中的原图像X_i与对应的标签L_i，通过昆虫位置坐标信息，将p个昆虫从原图中提取，整合得到共M张分为J个子集的数据集

其中J代表生物科的分类总数，训练使用的子数据集

表示每个生物科的数据集，其中x_i为所提取出的昆虫图像，大小为m×n，y_i是该图像的标签，即该昆虫的物种名，k_j是训练子集

含有的样本个数，且

在本实施例中，经提取后得到2364张图像，即M＝2364，生物科包括蝽科、珠蚧科、刺蛾科、灯蛾科、凤蝶科、天蛾科、舟蛾科、吉丁甲科、天牛科以及叶甲科共10类，即J＝10，每个生物科训练子数据集中分别包含蝽科198张、珠蚧科184张、刺蛾科209张、灯蛾科228张、凤蝶科261张、天蛾科170张、舟蛾科242张、吉丁甲科190张、天牛科412张以及叶甲科270张，共2364张图像。

(3)将数据集D_Y中原始图像X_i从h×w大小的图像转化为640×640×3的RGB图像，记为X′_i。将D_D各个子集

下的图像x_i从大小m×n的图像转化为224×224×3的RGB图像，记为x′_i，另

(4)训练集D_Y经过(1)-(3)的步骤之后就可以得到处理好的训练集

用于训练害虫检测阶段的YOLOv5模型，训练集

用于分别训练害虫分类阶段中对应的10个DenseNet模型。

二、模型训练模块

模型的训练分成两部分，分别是使用数据集D′_Y对害虫检测部分的YOLOv5模型进行训练，以及使用数据集D′_D对害虫分类部分的DenseNet模型进行训练。

(1)YOLOv5模型训练

通过处理阶段对YOLOv5网络结构进行划分，可将其分为Input、Backbone、Neck、Prediction共4个部分。

其中Input部分使用Mosaic数据增强，对输入的图像通过随机缩放、随机裁剪、随机排布等方式进行拼接；之后进行锚框计算，在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再反向更新，迭代网络参数；同时通过自适应图像缩放将原始图像统一缩放到一个标准尺寸，再送入检测网络中。Backbone部分作为主干网络，使用Focus结构与CSP结构，利用32个卷积核对图像进行切片操作，提取出输入样本中的主要信息，以供后续使用。Neck部分采用FPN+PAN的结构，同时使用Backbone部分提取到的信息，借鉴CSPNet设计的CSP2结构，加强网络特征融合的能力。最后的Prediction部分用于做出预测，并计算GloU_Loss等损失值。

(2)DenseNet模型训练

本发明使用的DenseNet模型是一种具有密集连接的卷积神经网络，由多个稠密块(Dense block)和过渡层(Transition Layer)组成，每个稠密块内部都包含一定数量的神经元，神经元个数根据网络任务不同而有所区别，再通过几层卷积和池化，其基本架构如图2所示。

DensNet在网络中任何两层之间都有直接的连接，该方式能够将原始特征传递给后续网络。由于每一层都包含之前所有层的输出信息，通过网络每层的特征重复利用，有效地解决了网络的冗余现象。同时为了减少特征图数量，还在稠密块中加入了瓶颈层(Bottle-neck Layer)，其中包括一个1×1卷积核与一个3×3卷积核，不仅压缩了模型参数，还能够提升计算效率。相邻块之间的层称为过渡层(Transition Layer)，该层一般由一个BN层、一个1×1的卷积层以及一个2×2的池化层组成，通过卷积层与池化层来改变特征图的大小，同样能降低网络的冗余。最后经过全连接层后通过SoftMax函数对图像进行分类预测。

由于深度学习中神经网络的训练通常需要使用大规模的数据集才能训练出分类结果较好的模型，但本实例中的训练样本并不够充分，为防止模型效果不够理想，所以使用了迁移学习的方式，将模型在CIFAR10图像数据集进行预训练，之后再将得到的权重参数迁移至本实例中新构建的数据集中进行微调训练，以进一步学习林业害虫图像的特征信息，从而达到更优的结果。

三、图像预测模块

给定一张没有标签且大小为1200×945像素的测试图像T，首先将图像T转为大小为640×640×3的RGB图像数据输入到训练好的YOLOv5模型中进行目标检测，本实例中可以得到图像T中包含2个所属珠蚧科类别的昆虫及其在图像中的位置坐标信息标签L_r＝{(T，l₁)，(T，l₂)}，其中l_i是一个p′×6的矩阵，p′≥0是从图像T中检测到的昆虫数，矩阵第一列表示该昆虫所属的生物科类别，第二至五列是昆虫所在的x轴中央位置、y轴中央位置、宽度与长度，第六列是对该结果的置信度C_y。在本实例中l₁＝(10.497083 0.300529 0.3241670.359788 0.938953)，l₂＝(1 0.724583 0.748148 0.319167 0.306878 0.939822)，之后则分别根据li中的位置与类别信息，将昆虫部分从原图像T中提取，得到图像x₁与x₂，并均将其转化为224×224×3的RGB图，再选择对应的珠蚧科DenseNet模型对其进行第二阶段的分类，得到分类结果y₁＝″草履蚧″，y₂＝″草履蚧″。最后对每张提取出来的图像分类结果进行整合，得到最终识别与检测结果RF＝{(草履蚧，2)}，即该图片中共有1类昆虫，包含2只草履蚧。

四、结果反馈模块

首先对系统两阶段设置模型信任度，将一阶段YOLOv5模型信任度设为0.9，二阶段DenseNet模型信任度也设为0.9。在用户将图像上传至系统后对其进行检测，根据YOLOv5模型检测结果中得到的置信度C_y＝0.938953，显然C_y≥P_y，所以将该图像与得到的标签放入YOLOv5模型的训练数据集D_Y中。之后根据DenseNet模型检测结果中得到的置信度C_d分别为0.9968与0.9981，同样C_d≥P_d，所以也将该提取出的图像与标签都放入对应的DenseNet数据集

中，从而达到对数据集进行扩充的目的。

使用本发明与当前主流分类算法进行对比，并用两个指标衡量模型分类效果：平均分类准确率(ACA)和最高分类准确率(MCA)，本发明的准确率通过一阶段准确率与二阶段准确率的乘积进行计算。在测试集上反复上述测试过程，结果如表1所示。可以看出本发明提出的基于层次结构的二阶段林业害虫识别与检测算法的准确率均高于当前的主流检测方法。

表1

使用算法	ACA	MCA
			ResNet50	89.57％	91.71％
ResNet101	91.18％	91.71％
			VGG16	92.51％	93.32％
GoogleNet	91.18％	92.51％
			DenseNet	91.71％	94.92％
本发明	96.53％	97.91％

以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.基于层次结构的二阶段林业害虫识别与检测系统，其特征在于，包括：

数据预处理模块，用于对已标注好的林业害虫图像数据集进行预处理，得到用于训练害虫检测阶段的目标检测模型的第一数据集和用于训练害虫分类阶段的分类模型的第二数据集；

模型训练模块，用于利用第一数据集对害虫检测阶段的目标检测模型进行训练，并利用第二数据集对害虫分类阶段的分类模型进行训练；

图像预测模块，用于利用训练好的目标检测模型对测试图像进行目标检测，将昆虫部分从测试图像中提取以得到新图像，并利用训练好的分类模型对新图像进行物种分类。

2.如权利要求1所述的基于层次结构的二阶段林业害虫识别与检测系统，其特征在于，所述已标注好的林业害虫图像数据集为：

其中，N为数据集D_Y中图像的数量，X_i为训练集中第i张图像，大小为h×w，h为图像纵向排列的像素个数，w为图像横向排列的像素个数，L_i是第i张图像中的昆虫坐标与类别信息，大小为p×5，p>0为图中昆虫的个数，五列数据中，第一列表示该昆虫所属的科类别，取值为0至科类别总数减1，后面四列分别表示昆虫所在的x轴中央位置、y轴中央位置、宽度与长度，这四列是对于图像分辨率大小归一化后0到1之间的数，左上角坐标为(0,0)，右下角坐标为(1,1)。

3.如权利要求2所述的基于层次结构的二阶段林业害虫识别与检测系统，其特征在于，所述对已标注好的林业害虫图像数据集进行预处理，包括：

利用数据集D_Y中的原图像X_i与对应的标签L_i，通过昆虫位置坐标信息，将p个昆虫从原图中提取，整合得到共M张分为J个子集的数据集：

其中，J代表生物科的分类总数，训练使用的子数据集

表示每个生物科的数据集，其中x_i为所提取出的昆虫图像，大小为m×n，y_i是该图像的标签，即该昆虫的物种名，k_j是训练子集

含有的样本个数，且

将数据集D_Y中原始图像X_i从h×w大小的图像转化为640×640×3的RGB图像，记为X'_i；将D_D各个子集

下的图像x_i从大小m×n的图像转化为224×224×3的RGB图像，记为x'_i，另

得到处理好的训练集

用于训练害虫检测阶段的目标检测模型，训练集

用于分别训练害虫分类阶段中对应的J个分类模型。

4.如权利要求1所述的基于层次结构的二阶段林业害虫识别与检测系统，其特征在于，所述利用第一数据集对害虫检测阶段的目标检测模型进行训练，包括：

所述目标检测模型分为Input、Backbone、Neck、Prediction共4个部分；

Input部分使用Mosaic数据增强，对输入的图像进行拼接；之后进行锚框计算，在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再反向更新，迭代网络参数；同时通过自适应图像缩放将原始图像统一缩放到一个标准尺寸，再送入检测网络中；

Backbone部分作为主干网络，使用Focus结构与CSP结构，利用32个卷积核对图像进行切片操作，提取出输入样本中的主要信息，以供后续使用；

Neck部分采用FPN+PAN的结构，同时使用Backbone部分提取到的信息，借鉴CSPNet设计的CSP2结构，加强网络特征融合的能力；

Prediction部分用于做出预测，并计算损失值。

5.如权利要求1所述的基于层次结构的二阶段林业害虫识别与检测系统，其特征在于，所述利用第二数据集对害虫分类阶段的分类模型进行训练，包括：

所述分类模型包括多个稠密块和过渡层，过渡层设于相邻两稠密块之间，每个稠密块内部都包含神经元，神经元个数根据网络任务不同而不同，再通过几层卷积和池化。

6.如权利要求5所述的基于层次结构的二阶段林业害虫识别与检测系统，其特征在于，所述稠密块中加入了瓶颈层，包括一个1×1卷积核与一个3×3卷积核；所述过渡层包括一个BN层、一个1×1的卷积层以及一个2×2的池化层，通过卷积层与池化层来改变特征图的大小。

7.如权利要求1所述的基于层次结构的二阶段林业害虫识别与检测系统，其特征在于，所述利用训练好的目标检测模型对测试图像进行目标检测，包括：

将测试图像T转为大小为640×640×3的RGB图像数据输入到训练好的目标检测模型中进行目标检测，得到图像T中零个或多个包含昆虫位置坐标与所属生物科类别的标签：

L_r＝{(T，l₁)，(T，l₂)，…}

其中，l_i是一个p'×6的矩阵，p'≥0是从图像T中检测到的昆虫数，矩阵第一列表示该昆虫所属的生物科类别，第二至五列是昆虫所在的x轴中央位置、y轴中央位置、宽度与长度，第六列是对结果的置信度C_y。

8.如权利要求7所述的基于层次结构的二阶段林业害虫识别与检测系统，其特征在于，所述将昆虫部分从测试图像中提取以得到新图像，并利用训练好的分类模型对新图像进行物种分类，包括：

若图像T中未检测到昆虫，即

则直接返回最终结果，若检测到一个或多个昆虫，则分别根据l_i中的位置与类别信息，将昆虫部分从原图像T中提取出来，得到图像x_i，并将其转化为224×224×3的RGB图，再选择对应的分类模型对其进行第二阶段的分类，得到昆虫具体的物种类别y_i与结果置信度C_d，最后对每张提取出来的图像分类结果进行整合，得到最终识别与检测结果RF＝{(y₁,num₁)，((y₂，num₂)，…，(y_z，num_z)}，其中y_i表示出现的昆虫的物种名，num_i表示图中该昆虫的个数，z表示图中出现的不同昆虫的总类别数。

9.如权利要求1所述的基于层次结构的二阶段林业害虫识别与检测系统，其特征在于，还包括：

结果反馈模块，用于根据物种分类结果的置信度的高低将检测图像放入对应的模型训练数据集或备用数据集中。

10.如权利要求9所述的基于层次结构的二阶段林业害虫识别与检测系统，其特征在于，所述根据物种分类结果的置信度的高低将检测图像放入对应的模型训练数据集或备用数据集中，包括：

首先对系统两阶段设置模型信任度，一阶段目标检测模型信任度设为P_y，二阶段分类模型信任度设为P_d，其中P_y，P_d∈(0,1]；

在用户将图像上传至系统后对其进行检测的过程中，根据一阶段目标检测模型检测结果中得到的结果置信度C_y，若C_y≥P_y，则将该图像与得到的标签放入目标检测模型的训练数据集D_Y中，否则将图像与标签放入目标检测模型备选数据集中，可在后期进行人工筛选与标注；同样，根据二阶段分类模型检测结果中得到的结果置信度C_d，若C_d≥P_d，则将该提取出的图像与标签放入对应的分类模型训练数据集D_DF中，否则放入分类模型备选数据集中。

Images