CN114092799A - 基于池化视觉Transformer林业害虫识别检测方法 - Google Patents
基于池化视觉Transformer林业害虫识别检测方法 Download PDFInfo
- Publication number
- CN114092799A CN114092799A CN202111258876.2A CN202111258876A CN114092799A CN 114092799 A CN114092799 A CN 114092799A CN 202111258876 A CN202111258876 A CN 202111258876A CN 114092799 A CN114092799 A CN 114092799A
- Authority
- CN
- China
- Prior art keywords
- data
- forestry
- training
- forestry pest
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 title claims abstract description 12
- 238000011176 pooling Methods 0.000 title claims description 19
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000003062 neural network model Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000013526 transfer learning Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 235000002566 Capsicum Nutrition 0.000 claims description 2
- 239000006002 Pepper Substances 0.000 claims description 2
- 235000016761 Piper aduncum Nutrition 0.000 claims description 2
- 235000017804 Piper guineense Nutrition 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims description 2
- 235000008184 Piper nigrum Nutrition 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 150000003839 salts Chemical class 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000012795 verification Methods 0.000 abstract 1
- 241000238631 Hexapoda Species 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 235000013601 eggs Nutrition 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000002917 insecticide Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明公开了一种基于池化视觉Transformer林业害虫识别检测方法，该方法的目的是为了判别检测不同时期和不同种类的林业害虫。该方法的主要步骤包括：采用不同时期和不同种类的数据集，将其合理的划分为训练集和验证集；使用样本增强技术，将训练集图片进行扩充；提出基于预训练PiT神经网络模型的林业害虫识别特征提取方法，采用改进的迁移学习的方法在已经训练好模型的基础上，用新的数据集对初始化模型进行二次训练得到林业害虫识别分类器；利用测试集对模型参数进行微调。采用这种方法能快速准确的对林业害虫的种类和时期进行识别，对所采集的图像数据要求较低。
Description
技术领域
本发明属于林业害虫识别领域，具体涉及一种基于池化视觉Transformer林业害虫识别检测方法。
背景技术
农田间林业害虫对农作物的正常生长具有很大的威胁，严重影响农作物的高产和稳产。目前，传统的粗放式大面积化学除虫产生了诸多的负面影响，如环境污染、威胁食品安全等，精准式变量喷洒技术是根据林业害虫的生长周期和种类情况定点定量喷洒除虫剂，既能降低对田间生态环境的影响，又能减少经济成本、提高除虫效率。因此，结合目前自动化农业的发展趋势，自动高效地对林业害虫识别就显得尤为重要。
近年来，随着计算机视觉技术的飞速发展，为实现昆虫自动识别与计数提供了技术基础。基于图像处理技术传统的昆虫自动识别步骤为：昆虫图像的采集和预处理，昆虫图像特征的提起和优化，分类器的设计。最初，基于采用人工神经网络、支持向量机根据昆虫的颜色、形态和纹理等特征设计昆虫自动识别的分类器，但是在实际应用中，人工神经网络基于经验风险最小化原则，要求的昆虫自动识别学习样本数量大，昆虫自动识别的结果极不稳定，经常得到“过拟合”的结果，可信度比较低；而支持向量机基于结构风险最小化原则，昆虫自动识别过程十分复杂，计算时间长，收敛速度慢，无法进行昆虫自动在线识别，缺陷十分明显。
总结发现，自然且多样化的特征表达能够提高模型的准确率和稳定性，但依然存在以下两个主要问题。一方面，人工设计的图像分割难以获得最接近目标自然属性的特征表达，所得的识别能力有限。另一方面，图像的预处理对识别结果存在重要影响，尤其是林业害虫虫卵的分割处理，对于交叠程度较大的目标，常难以分割或在不影响其各自特征表达的情况下进行分割，造成实际识别准确率和稳定性的降低。
为解决以上两个主要问题，本发明提出了基于池化视觉Transformer林业害虫识别检测方法，利用Pooling-based Vision Transformer (PiT)从训练集中提取特征，克服了人工提取特征的不足，减少了复杂的图像预处理过程；利用多维度扩展能获得大量、具有相关性的图像，减少了神经网络过拟合的可能，而且特征表达效果更好。
发明内容
本发明所要解决的技术问题是：提供一种基于池化视觉Transformer林业害虫识别检测方法，采用这种方法能快速准确的对目标林业害虫进行识别检测，对所采集的图像数据要求较低，对数据的需求量灵活。
本发明所采用的技术方案是：一种基于池化视觉Transformer林业害虫识别检测方法，它包括以下步骤：
S1、采用自建林业害虫数据集或公开林业害虫数据集，数据集中需要包含多种类的林业害虫的不同生长时期，并将数据集划分为训练集和测试集；
S2、将训练集中的图片缩放至预设的神经网络模型所要求的像素尺寸并通过数据增强方法扩充训练集数据量；
S3、通过迁移学习的方法，将训练集输入预设的PiT神经网络模型中进行训练得到林业害虫识别的分类器；
S4、通过不同的训练指标进行神经网络模型的调整，选择表现性能最强的网络模型；
S5、将测试集输入训练好的林业害虫分类识别器中，输出林业害虫的分类结果并计算准确度。
所有图片均为RGB三通道格式。
在S1和S2中，按照80%和20%比例分别构建训练集合测试集。并使用数据增强方法扩充训练集，扩充训练集数据量的数据增强方法为：将图片相对于中心点随机旋转0°~360°；将图片做水平或竖直方向翻转；对图像增加高斯噪声或椒盐噪声；将随机调整图片对比度、饱和度、锐度和亮度。将扩充的数据集图像进行归一化。
在S3中，PiT神经网络模型在Vision Transformer神经网络模型的基础上增加了两个池化层，每经过一个完整的池化层，数据的维度由
变化为 
；在一个池化层内部，处理的步骤如下：由于ViT以2D矩阵而不是3D张量的形式处理神经元响应，因此池化层应将空间token分离并将其重塑为具有空间结构的3D张量，数据维度由
重塑为 
；在重塑之后，通过深度卷积来执行空间大小的减少和信道的增加，数据维度由 
变化为 
；最后将3D的张量重塑为2D矩阵，用于对于Transformer block的计算。进入池化层的class token 会存在与空间结构不对应的部分，会使用一个附加的全链接层来调整通道大小以匹配空间标记。PiT神经网络模型为基于ImageNet预训练得到的网络模型。
采用以上方法与现有技术相比，本发明具有以下优点：对于林业害虫种类的识别，传统的计算机视觉技术提取其特征（颜色、形态、纹理）对数据集的要求较高，预处理过程较复杂，且需要对每一类林业害虫进行单独的特征分析，所得到的分类模型可能只能应用于研究所涉及的林业害虫，可推广性较差；而且传统的循环神经网络处理时运行时间长，处理效率不高；而本方法使用少量的林业害虫图像制作数据集，通过样本自动扩充的方式扩大数据集，通过深度学习训练得到了基于池化视觉Transformer分类器，不同生长周期的林业害虫和不同种类的林业害虫在形态上有明显差异，PiT神经网络提取不同种类林业害虫的实验表明，不同种类的林业害虫图像在经过PiT神经网络模型处理后特征图像具有显著差异，因此在本方法中，使用该模型对不同种类的林业害虫识别准确率更高，速度更快，对所采集的图像数据要求较低、成本低，具有良好的可推广性和适用性。
本方法中林业害虫识别器对数据需求量灵活，当样本量不是很大时，仍可以通过迁移学习达到较高的分类识别准确率。预训练网络架构PiT具有层数深且参数量少的特点，因此能够针对各种林业害虫图像的特点较全面的提取不同种类林业害虫的特征，并且减少梯度弥散的现象。进行自适应的参数调整，得到合适的网络模型，针对不同林业害虫种类的特点，提高网络的分类准确性。
附图说明
图1为本发明流程图
图2为PiT池化层数据转换图
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。现通过附图和实施例对本发明作进一步的详细描述。
本发明实施例的前提是使用我们自建的林业害虫识别数据集。
如图1、图2所示，一种基于池化视觉Transformer林业害虫识别检测方法，包括步骤：
S1、使用林业害虫识别数据集，包含16种类林业害虫虫卵、幼虫、成虫RGB图像2345张。训练集图片占有2085张，用于训练得到林业害虫分类识别器，测试集图片占有260张，用于测试林业害虫分类识别器的效果。
S2、将训练集中的图片缩放至预设的PiT神经网络模型所要求的像素尺寸（224*224像素的尺寸）；为提模型在在不同角度、亮度、对比度、清晰度等因素影响下的识别准确率，使用在发明内容中的数据增强方式进行数据增强。
S3、在GPU上，输入经过处理后与数据增强后维度为
的图像，经过对图像的分块，转换维度，再按照PiT神经网络依次对数据进行池化处理。在本实施例中，将PiT_S（PiT模型的一种）神经网络模型在ImageNet数据集上训练的权重迁移至训练模型中，进行一次向前传播，输出每一类的概率值，并得到其得分值与所属真实分类之间的损失函数值，使用反向传播算法，根据动量梯度下降算法沿损失函数值下降方向对权重系数w进行微调，当损失函数值趋于收敛时，停止训练，建立基于PIT神经网络模型与迁移学习的林业害虫分类识别器。
S4、利用测试集对林业害虫分类识别器进行测试得到分类识别结果并对比正确类别标签计算预测正确率，若预测效果好（准确率达到90%），则认为模型可用，否则调整参数或网络结构并增大训练次数（epoch）重新训练。
例1 本发明在林业害虫数据集的实验结果
本发明使用的指标为，以下表格为实验初步结果比较：
时间：分类器每训练20 Epoch所花费的时间，单位为秒。
本发明的方法在林业害虫数据集中，与传统的AlexNet、Vgg16、Resnet18、Densenet121等卷积神经网络方法进行对比，也与基于注意力机制的ViT（VisionTransformer）进行对比，选用了准确率（Accuracy）、训练花费时间和参数量作为评价指标。本发明中所使用的PiT方法的准确率为92.6%，PiT模型在使用Transformer结构基础上，引入了池化操作，充分考虑了图像的局部特征信息和全局结构信息，因此，本发明的PiT方法取得了较优的结果。虽然在准确率方面不及ViT方法高，但在模型大小上仅是ViT模型的三分之一，花费的存储空间更少，有利于模型的部署。所对比的传统卷积方法准确率都没有达到90%，识别器的效率并不高，这是因为传统的卷积结构受到卷积核大小的影响，只能提取局部信息，随着神经网络模型深度加深，容易出现梯度消失情况，对于本数据集，传统卷积神经网络容易出现过拟合的情况，从而准确率无法再提高。
Claims (5)
1.一种基于池化视觉Transformer林业害虫识别检测方法，其特征在于，包括如下步骤：
S1、采用自建林业害虫数据集或公开林业害虫数据集，数据集中需要包含多种类的林业害虫的多个生长时期，并将数据集划分为训练集和测试集；
S2、将训练集中的图片缩放至预设的神经网络模型所要求的像素尺寸并通过数据增强方法扩充训练集数据量；
S3、通过迁移学习的方法，将训练集输入预设的PiT神经网络模型中进行训练得到林业害虫分类识别器；
S4、通过不同的训练指标进行神经网络模型的调整，选择表现性能最强的网络模型；
S5、将测试集输入训练好的林业害虫分类识别器中，输出林业害虫的分类结果并计算准确度。
2.如权利要求1所述的基于池化视觉Transformer林业害虫识别检测方法，其特征在于：所有图片均为RGB三通道格式。
3.如权利要求1所述的基于池化视觉Transformer林业害虫识别检测方法，其特征在于：步骤S1中按照80%和20%比例分别构建训练集合测试集。
4.如权利要求1所述的基于池化视觉Transformer林业害虫识别检测方法，其特征在于：步骤S2中使用数据增强方法扩充训练集，扩充训练集数据量的数据增强方法为：将图片相对于中心点随机旋转0°~360°；将图片做水平或竖直方向翻转；对图像增加高斯噪声或椒盐噪声；将随机调整图片对比度、饱和度、锐度和亮度，将扩充的数据集图像进行归一化。
5.如权利要求1所述的基于池化视觉Transformer林业害虫识别检测方法，其特征在于：步骤S3中PiT神经网络模型在Vision Transformer神经网络模型的基础上增加了两个池化层，每经过一个完整的池化层，数据的维度由
变化为 
；在一个池化层内部，处理的步骤如下：由于ViT以2D矩阵而不是3D张量的形式处理神经元响应，因此池化层应将空间token分离并将其重塑为具有空间结构的3D张量，数据维度由 
重塑为
；在重塑之后，通过深度卷积来执行空间大小的减少和信道的增加，数据维度由
变化为 
；最后将3D的张量重塑为2D矩阵，用于对于Transformer block的计算，进入池化层的class token 会存在与空间结构不对应的部分，会使用一个附加的全链接层来调整通道大小以匹配空间标记，PiT神经网络模型为基于ImageNet预训练得到的网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111258876.2A CN114092799A (zh) | 2021-10-28 | 2021-10-28 | 基于池化视觉Transformer林业害虫识别检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111258876.2A CN114092799A (zh) | 2021-10-28 | 2021-10-28 | 基于池化视觉Transformer林业害虫识别检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114092799A true CN114092799A (zh) | 2022-02-25 |
Family
ID=80298158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111258876.2A Pending CN114092799A (zh) | 2021-10-28 | 2021-10-28 | 基于池化视觉Transformer林业害虫识别检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114092799A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116012718A (zh) * | 2023-02-15 | 2023-04-25 | 黑龙江科技大学 | 田间害虫检测方法、系统、电子设备及计算机存储介质 |
| CN116310658A (zh) * | 2023-05-17 | 2023-06-23 | 中储粮成都储藏研究院有限公司 | 一种基于球形摄像机建立储粮害虫图像数据集的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558787A (zh) * | 2018-09-28 | 2019-04-02 | 浙江农林大学 | 一种基于卷积神经网络模型的竹林害虫识别方法 |
| CN113449806A (zh) * | 2021-07-12 | 2021-09-28 | 苏州大学 | 基于层次结构的二阶段林业害虫识别与检测系统及方法 |
| WO2021203505A1 (zh) * | 2020-04-09 | 2021-10-14 | 丰疆智能软件科技(南京)有限公司 | 害虫检测模型构建方法 |
| CN113505810A (zh) * | 2021-06-10 | 2021-10-15 | 长春工业大学 | 基于池化视觉Transformer杂草生长周期检测方法 |
-
2021
- 2021-10-28 CN CN202111258876.2A patent/CN114092799A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109558787A (zh) * | 2018-09-28 | 2019-04-02 | 浙江农林大学 | 一种基于卷积神经网络模型的竹林害虫识别方法 |
| WO2021203505A1 (zh) * | 2020-04-09 | 2021-10-14 | 丰疆智能软件科技(南京)有限公司 | 害虫检测模型构建方法 |
| CN113505810A (zh) * | 2021-06-10 | 2021-10-15 | 长春工业大学 | 基于池化视觉Transformer杂草生长周期检测方法 |
| CN113449806A (zh) * | 2021-07-12 | 2021-09-28 | 苏州大学 | 基于层次结构的二阶段林业害虫识别与检测系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王红梅;: "一种基于深度学习的电子商务满意度评估方法", 电子器件, no. 01, 20 February 2020 (2020-02-20) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116012718A (zh) * | 2023-02-15 | 2023-04-25 | 黑龙江科技大学 | 田间害虫检测方法、系统、电子设备及计算机存储介质 |
| CN116012718B (zh) * | 2023-02-15 | 2023-10-27 | 黑龙江科技大学 | 田间害虫检测方法、系统、电子设备及计算机存储介质 |
| CN116310658A (zh) * | 2023-05-17 | 2023-06-23 | 中储粮成都储藏研究院有限公司 | 一种基于球形摄像机建立储粮害虫图像数据集的方法 |
| CN116310658B (zh) * | 2023-05-17 | 2023-08-01 | 中储粮成都储藏研究院有限公司 | 一种基于球形摄像机建立储粮害虫图像数据集的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108717568B (zh) | 一种基于三维卷积神经网络的图像特征提取与训练方法 | |
| Shen et al. | Detection of stored-grain insects using deep learning | |
| CN111259850B (zh) | 一种融合随机批掩膜和多尺度表征学习的行人重识别方法 | |
| WO2021134871A1 (zh) | 基于局部二值模式和深度学习的合成人脸图像取证方法 | |
| CN108648191B (zh) | 基于贝叶斯宽度残差神经网络的害虫图像识别方法 | |
| CN107122375A (zh) | 基于图像特征的图像主体的识别方法 | |
| CN107463920A (zh) | 一种消除局部遮挡物影响的人脸识别方法 | |
| CN110348319A (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| CN108647690B (zh) | 基于判别稀疏保持投影的非约束人脸图像降维方法 | |
| CN110348376A (zh) | 一种基于神经网络的行人实时检测方法 | |
| CN108388896A (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
| CN109583379A (zh) | 一种基于随机擦除行人对齐网络的行人重识别方法 | |
| CN114092799A (zh) | 基于池化视觉Transformer林业害虫识别检测方法 | |
| CN109241813B (zh) | 基于判别稀疏保持嵌入的非约束人脸图像降维方法 | |
| Zhan et al. | Semi-supervised classification of hyperspectral data based on generative adversarial networks and neighborhood majority voting | |
| CN110032925A (zh) | 一种基于改进胶囊网络与算法的手势图像分割与识别方法 | |
| Sabrol et al. | Fuzzy and neural network based tomato plant disease classification using natural outdoor images | |
| CN109710804B (zh) | 一种教学视频图像知识点降维分析方法 | |
| CN109214298A (zh) | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 | |
| CN114067444A (zh) | 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统 | |
| CN109711461A (zh) | 基于主成分分析的迁移学习图片分类方法及其装置 | |
| CN109615616A (zh) | 一种基于abc-pcnn的裂缝识别方法及系统 | |
| CN108764330A (zh) | 基于超像素分割和卷积反卷积网络的sar图像分类方法 | |
| CN113011243A (zh) | 基于胶囊网络的面部表情分析方法 | |
| CN109472733A (zh) | 基于卷积神经网络的图像隐写分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |