CN114926691A - 基于卷积神经网络的虫害智能化识别方法及系统 - Google Patents

基于卷积神经网络的虫害智能化识别方法及系统 Download PDF

Info

Publication number
CN114926691A
CN114926691A CN202210608335.6A CN202210608335A CN114926691A CN 114926691 A CN114926691 A CN 114926691A CN 202210608335 A CN202210608335 A CN 202210608335A CN 114926691 A CN114926691 A CN 114926691A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
pest
insect pest
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210608335.6A
Other languages
English (en)
Inventor
陈政羽
潘铖
丁佳骏
黄迅辰
徐梓航
宋仕月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202210608335.6A priority Critical patent/CN114926691A/zh
Publication of CN114926691A publication Critical patent/CN114926691A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于卷积神经网络的虫害智能化识别方法及系统，该方法包括：采集虫害图像并基于每张虫害图像内的虫害类型生成对应的样本标签，形成具有样本标签的虫害数据集；将虫害数据集进行归一化预处理；将预处理后的虫害数据集划分为训练集和测试集；构建用于识别虫害类型的卷积神经网络模型；分别在卷积神经网络模型的第一个DenseBlock层之前和最后一个DenseBlock层之后嵌入空间注意力机制；基于训练集对嵌入空间注意力机制的卷积神经网络模型进行迭代训练，以使交叉熵损失函数收敛；将测试集输入训练后的卷积神经网络模型，得到虫害图像的识别结果，并返回识别的准确率。

Description

基于卷积神经网络的虫害智能化识别方法及系统
技术领域
本发明涉及计算机领域，且特别涉及一种基于卷积神经网络的虫害智能化识别方法及系统。
背景技术
现行的茶树虫害检测、识别工作主要是依靠少数植保专家和农技人员来完成的。目前通常采用的方式是依据茶树虫害的形态特征(颜色、大小、形状等)运用人眼视觉进行人工识别。然而人的视觉系统也往往存在许多不足之处，如局限性、模糊性、主观性、缺乏持久性等，这都将大大降低茶树虫害识别的准确度。
随着计算机图像识别技术的发展，目前也有利用计算机图像处理技术获取茶树虫害信息可以大大提高茶树虫害的识别的准确度。然而，现有的识别网络容易产生几百上千的图像宽度，不仅特征提取困难、识别准确率较低且识别效率低。
发明内容
本发明为了克服现有技术的不足，提供一种识别准确率高且识别速度快的基于卷积神经网络的虫害智能化识别方法及系统。
为了实现上述目的，本发明提供一种基于卷积神经网络的茶树虫害智能化识别方法，其包括：
步骤S10，生成样本标签；采集虫害图像并基于每张虫害图像内的虫害类型生成对应的样本标签，形成具有样本标签的虫害数据集；
步骤S20，数据归一化；将虫害数据集进行归一化预处理；
步骤S30，数据集划分；将预处理后的虫害数据集划分为训练集和测试集且训练集和测试集均包括多种虫害类型的图像；
步骤S40，构建用于识别虫害类型的卷积神经网络模型；卷积神经网络模型包括多个DenseBlock层，连接相邻两个DenseBlock层之间的多个Transition层以及位于输出端的全连接层；全连接层对多个DenseBlock层所提取的特征进行处理，在输出图片识别预测结果的同时通过交叉熵损失函数计算识别图片的损失值和梯度，全连接层输出的神经元节点数与所要分类的茶树虫害类型数量相同；
步骤S50，空间注意力机制嵌入；分别在卷积神经网络模型的第一个DenseBlock层之前和最后一个DenseBlock层之后嵌入空间注意力机制；
步骤S60，模型迭代训练；基于训练集对嵌入空间注意力机制的卷积神经网络模型进行迭代训练，以使交叉熵损失函数收敛；
步骤S70，输入测试集以得到训练结果；将测试集输入训练后的卷积神经网络模型，得到虫害图像的识别结果。
根据本发明的一实施例，在步骤S50中，在卷积神经网络模型的第一个DenseBlock层之前和最后一个DenseBlock层之后嵌入空间注意力机制的步骤均包括：
步骤S51，对输入X，使用尺寸(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道进行编码，得到两个编码后的特征图；
步骤S52，连接两个编码后的特征图，并使用1×1卷积对两个特征图进行变换，生成对空间信息在水平方向和竖直方向的中间特征图；
步骤S53，沿空间维度将中间特征图切分为两个单独的张量特征图；
步骤S54，利用两个1×1的卷积将两个张量特征图变换为和输入X具有同样的通道数；
步骤S55，最后进行扩展，得到注意力权重。
根据本发明的一实施例，对生成样本标签的原始虫害图像进行增强处理，将每幅原始虫害图像通过随机旋转、裁剪和翻转的操作方式将数据集进行增强操作，其中水平和垂直翻转操作几率大于或等于50％；增强操作后形成扩充数据集并将扩充数据集划分为训练集和测试集，且训练集的虫害图像数量大于测试集的虫害图像数量。
根据本发明的一实施例，基于同一原始虫害图像所形成的增强虫害图像的样本标签均包含原始虫害图形的样本标签信息和表征其自身的标识信息。
根据本发明的一实施例，在预处理时，将虫害图像数据转为tensor，将【0，1】的张量归一化到【-1，1】上。
根据本发明的一实施例，利用Adam函数对训练收敛后的卷积神经网络模型进行优化，优化后再利用测试集进行测试。
根据本发明的一实施例，基于卷积神经网络的虫害智能化识别方法还包括：
基于测试集内虫害图像的样本标签判断卷积神经网络对测试虫害图像的识别是否正确；
汇总识别错误的测试样本图像；
提取识别错误的测试样本图像的共同特征并进行分类，共同特征包括增强操作的方式和虫害类型；
基于不同类型的共同特征修正卷积神经网络内的参数。
另一方面，本发明还提供一种基于卷积神经网络的虫害智能化识别系统，其包括图像采集模块、预处理模块、数据集划分模块、模型构建模块、注意力嵌入模块、训练模块以及测试模块。图像采集模块采集虫害图像并基于每张虫害图像内的虫害类型生成对应的样本标签，形成具有样本标签的虫害数据集。预处理模块将虫害数据集进行归一化预处理。数据集划分模块将预处理后的虫害数据集划分为训练集和测试集且训练集和测试集均包括多种虫害类型的图像。模型构建模块构建用于识别虫害类型的卷积神经网络模型，卷积神经网络模型包括多个DenseBlock层，连接相邻两个DenseBlock层之间的多个Transition层以及位于输出端的全连接层；全连接层对多个DenseBlock层所提取的特征进行处理，在输出图片识别预测结果的同时通过交叉熵损失函数计算识别图片的损失值和梯度，全连接层输出的神经元节点数与所要分类的茶树虫害类型数量相同。注意力嵌入模块分别在卷积神经网络模型的第一个DenseBlock层之前和最后一个DenseBlock层之后嵌入空间注意力机制。训练模块基于训练集对嵌入空间注意力机制的卷积神经网络模型进行迭代训练，在训练时，基于图片的损失值和梯度调整模型参数以使交叉熵损失函数收敛。测试模块将测试集输入训练后的卷积神经网络模型，得到虫害图像的识别结果。
根据本发明的一实施例，注意力嵌入模块在第一个卷积层的输入和最后一个卷积层的输入嵌入空间注意力机制的步骤均包括：
步骤S51，对输入X，使用尺寸(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道进行编码，得到两个编码后的特征图；
步骤S52，连接两个编码后的特征图，并使用1×1卷积对两个特征图进行变换，生成对空间信息在水平方向和竖直方向的中间特征图；
步骤S53，沿空间维度将中间特征图切分为两个单独的张量特征图；
步骤S54，利用两个1×1的卷积将两个张量特征图变换为和输入X具有同样的通道数；
步骤S55，最后进行扩展，得到注意力权重。
根据本发明的一实施例，图像采集模块对生成样本标签的原始虫害图像进行增强处理，将每幅原始虫害图像通过随机旋转、裁剪和翻转的操作方式将数据集进行增强操作，其中水平和垂直翻转操作几率大于或等于50％；增强操作后形成扩充数据集并将扩充数据集划分为训练集和测试集，且训练集的虫害图像数量大于测试集的虫害图像数量。
综上所述，本发明提供的基于卷积神经网络的虫害智能化识别方法及系统，在不改变原有卷积神经网络的基础上嵌入空间注意力机制，从而极大地提高了虫害的识别准确率。而基于多个DenseBlock层的基于卷积神经网络不仅具有网络更窄、参数少的有点，且每个卷积层输出的特征图数量都很小，特征和梯度的传递更加有效，网络训练和识别都更加高效。此外，基于原始虫害图像的增强扩充也大大丰富了训练图片的多样性，进一步提高识别效率。
为让本发明的上述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附图，作详细说明如下。
附图说明
图1所示为本发明一实施例提供的基于卷积神经网络的虫害智能化识别方法的流程示意图。
图2所示为嵌入空间注意力机制的流程示意图。
图3所示为本发明一实施例提供的基于卷积神经网络的虫害智能化识别系统的结构示意图。
具体实施方式
如图1所示，本实施例提供的基于卷积神经网络的茶树虫害智能化识别方法，其包括：采集虫害图像并基于每张虫害图像内的虫害类型生成对应的样本标签，形成具有样本标签的虫害数据集(步骤S10)。将虫害数据集进行归一化预处理(步骤S20)。将预处理后的虫害数据集划分为训练集和测试集且训练集和测试集均包括多种虫害类型的图像(步骤S30)。构建用于识别虫害类型的卷积神经网络模型，卷积神经网络模型包括多个DenseBlock层，连接相邻两个DenseBlock层之间的多个Transition层以及位于输出端的全连接层；全连接层对多个DenseBlock层所提取的特征进行处理，在输出图片识别预测结果的同时通过交叉熵损失函数计算识别图片的损失值和梯度，全连接层输出的神经元节点数与所要分类的茶树虫害类型数量相同(步骤S40)。分别在卷积神经网络模型的第一个DenseBlock层之前和最后一个DenseBlock层之后嵌入空间注意力机制(步骤S50)。基于训练集对嵌入空间注意力机制的卷积神经网络模型进行迭代训练，在训练时，基于图片的损失值和梯度调整模型参数以使交叉熵损失函数收敛(步骤S60)。将测试集输入训练后的卷积神经网络模型，得到虫害图像的识别结果(步骤S70)。
以下将结合图1至图2来详细介绍本实施例所提供的基于卷积神经网络的茶树虫害智能化识别方法的工作原理。
如图1所示，本实施例提供的基于卷积神经网络的茶树虫害智能化识别方法始于步骤S10中的采集虫害图像。本实施例以虫害种类多且虫害体型大小多样的茶树虫为例进行说明，茶树虫包括茶尺蠖、八点广翅蜡蝉等。然而，本发明对此不作任何限定。本发明提供的基于卷积神经网络的茶树虫害智能化识别方法同样适用于其它植物的虫害识别。
在该步骤中，可利用数码相机或手机拍照来形成分辨率为256*256的原始虫害图像。在获得原始虫害图像后根据图像内虫害的类型生成相应的样本标签。譬如对于多个不同体态下的茶尺蠖图像，可基于图像采集顺序依次生成茶尺蠖01，茶尺蠖02等样本标签。
于本实施例中，在形成原始虫害图像的样本标签后对数据集进行增强扩充，模拟更多的采集情况，实现样本数据集的多样化，从而更好对模型进行训练，提高识别准确率。具体而言，对生成样本标签的原始虫害图像进行增强处理，将每幅原始虫害图像通过随机旋转、裁剪和翻转的操作方式将数据集进行增强操作；优选的，设置水平和垂直翻转操作几率大于或等于50％。然而，本发明对此不作任何限定。
对于每一原始虫害图像，在增强操作后会形成多张增强虫害图像。于本实施例中，对多张增强虫害图像的样本标签进行修改，基于同一原始虫害图像所形成的增强虫害图像的样本标签均包含原始虫害图形的样本标签信息和表征其自身的标识信息。包含原始虫害图形的样本标签信息表明了该增强虫害图像和原始虫害图像之间的关系，标识信息则实现了该增强虫害图像和其它虫害图像的区别。具体而言，基于样本标签为茶尺蠖01的原始虫害图像所增强得到的多张增强虫害图像的样本标签为：茶尺蠖01_001，茶尺蠖01_002，茶尺蠖01_002等；然而，本发明对原始虫害图像的样本标签和增强虫害图像的样本标签格式均不作任何限定。于其它实施例中，可采用其它的字符、字母或数字的一种或多种的结合来形成。
于本实施例中，采用批量循环的方式对多张增强虫害图像的样本标签进行修改，在实现快速修改样本标签的同时避免了标签重复。
在实现原始虫害图像的增强操作后，执行步骤S20，将虫害数据集进行归一化预处理。于本实施例中，在预处理时，将虫害数据集内的每一虫害图像数据转为tensor，将【0，1】的张量归一化到【-1，1】上。
之后，执行步骤S30，将预处理后的虫害数据集按照7：3的比例划分为训练集和测试集且训练集和测试集均包括多种虫害类型的图像。
在数据集划分后，执行步骤S40，构建用于识别虫害类型的卷积神经网络模型。本实施例提供的卷积神经网络模型包括：第一卷积层、四个DenseBlock层，连接相邻两个DenseBlock层的三个Transition层以及全连接层。
在DenseBlock层内部采用Denselayer层来减少计算量，主要是在Dense block模块中增加1x1 Conv，形成densenet-b的结构，即BN+ReLU+1x1
Conv+BN+ReLU+3x3 Conv+dropout。在DenseBlock层内每个层都会接受其前面所有层输出作为其额外的输入。Transition层连接两个相邻的DenseBlock以降低特征图大小；Transition层包括一个1x1的卷积和2x2的AvgPooling，结构为BN+ReLU+1x1 Conv+2x2AvgPooling。全连接层与AvgPooling和ReLU是分开的即Transition里有AvgPooling,在这之后有一个总的AvgPooling，然后再进入到全连接层，在全连接层中进行数据扁平化处理以实现图片的识别分类。
于本实施例中，卷积神经网络内Transition层可以减少特征图的空间分辨率大小，压缩模型，提高感受野以更有利于图像的分类。然而，本发明对此不作任何限定。于其它实施例中，也可采用扩张卷积或者设置卷积步长来代替AvgPooling操作，在高层获得高分辨率图像、避免虫害位置丢失的同时又获得较大的感受野，故可以利用不同层次的特征来检测不同尺寸的目标，从而实现不同体型大小的虫害的准确识别。
全连接层对多个DenseBlock层所提取的特征进行处理，全连接层所输入的神经元节点个数依据前面DenseBlock层的不同而不同，全连接层输出的神经元节点数与所要分类的茶树虫害类型数量相同。全连接层在输出图片识别预测结果的同时通过交叉熵损失函数计算识别图片的损失值和梯度。图片的损失值和梯度的计算使得在训练卷积神经网络模型时，可基于计算得到的损失值和梯度来调整模型内的参数(如学习率)以使模型的拟合曲线与真实误差最小，不仅便于训练且提高准确率。
在步骤S40建立包括多个DenseBlock层的卷积神经网络模型后，执行步骤S50，分别在卷积神经网络模型的第一个DenseBlock层之前和最后一个DenseBlock层之后嵌入空间注意力机制。具体而言，由于第一个DenseBlock层是连接在第一个卷积层之后，故第一个空间注意力机制将嵌入于第一个卷积层的输出，第二个空间注意力机制将嵌入于第四个DenseBlock层的dropout的输出。于本实施例中，两个空间注意力机制的嵌入在不改变卷积神经网络模型结构的基础上大大地提高了识别效率。
如图2所示，空间注意力机制的嵌入将采用如下步骤：
步骤S51，嵌入空间坐标信息。具体而言，对输入X，使用尺寸(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道进行编码，得到两个编码后的特征图；其中：
高度为h的第c个通道的输出为：
Figure BDA0003671204340000071
其中，i表示宽度方向上的第i个坐标点；xc为输入X在第c个通道上的输入。
宽度为w的第c个通道的输出表述如下：
Figure BDA0003671204340000072
其中，j表示高度方向上的第i个坐标点。
步骤S52，连接两个编码后的特征图，然后使用1×1卷积对其进行变换F1操作，公式为f＝δ(F1([zh,zω]))生成的f∈Rc/r×(H+W)是对空间信息在水平方向和竖直方向的中间特征图。
步骤S53，沿空间维度将f切分为两个单独的张量fh∈Rc/r×H和fw∈Rc/r×w。
步骤S54，再利用两个1×1卷积Fh和Fω，将特征图fh和fw变换到和输入X有同样的通道数，得到以下公式：
gh＝σ(Fh(fh))
gw＝σ(Fw(fw))
步骤S55，最后对gh和gω进行扩展以作为注意力权重，注意力嵌入模块的最后的输出为：
Figure BDA0003671204340000073
其中，r为下采样比例；Fh和Fω代表卷积；fh和fw代表特征图；σ是个系数缩减比，用来减少通道数以使两个特征图的输出和输入X具有相同的通道数，输出的乘积对应输入X的C×H×W。
在嵌入空间注意力机制后执行步骤S60，基于训练集对嵌入空间注意力机制的卷积神经网络模型进行迭代训练，以使交叉熵损失函数收敛；并利用Adam函数以学习率为0.0005对训练收敛后的卷积神经网络模型进行优化并迭代10轮次。
之后，再执行步骤S70，将测试集输入训练后的卷积神经网络模型，得到虫害图像的识别结果。
于本实施例中，基于测试集内的虫害图像的样本标签，在识别后亦可通过比对识别结果和样本标签是否正确来判断卷积神经网络模型的识别准确率。具体而言，基于卷积神经网络的虫害智能化识别方法还包括：基于测试集内虫害图像的样本标签判断卷积神经网络对测试虫害图像的识别是否正确并汇总识别错误的测试样本图像。之后，提取识别错误的测试样本图像的共同特征并进行分类，共同特征包括增强操作的方式(如旋转的角度、翻转方向等)和虫害类型。基于不同类型的共同特征修正卷积神经网络内的参数以进一步提高识别的准确率。进一步的，汇总具有两个以上共同特征的识别错误的测试样本集合，并将该测试样本集合作为特殊的样本集合以对修正后的卷积神经网络模型进行再次测试并根据测试结果进一步修正卷积神经网络内的参数。
相对应的，如图3所示，本实施例还提供一种基于卷积神经网络的虫害智能化识别系统，其包括其包括图像采集模块10、预处理模块20、数据集划分模块30、模型构建模块40、注意力嵌入模块50、训练模块60以及测试模块70。图像采集模块10采集虫害图像并基于每张虫害图像内的虫害类型生成对应的样本标签，形成具有样本标签的虫害数据集。预处理模块20将虫害数据集进行归一化预处理。数据集划分模块30将预处理后的虫害数据集划分为训练集和测试集且训练集和测试集均包括多种虫害类型的图像。模型构建模块40构建用于识别虫害类型的卷积神经网络模型，卷积神经网络模型包括多个DenseBlock层，连接相邻两个DenseBlock层之间的多个Transition层以及位于输出端的全连接层；全连接层对多个DenseBlock层所提取的特征进行处理，在输出图片识别预测结果的同时通过交叉熵损失函数计算识别图片的损失值和梯度，全连接层输出的神经元节点数与所要分类的茶树虫害类型数量相同。注意力嵌入模块50分别在卷积神经网络模型的第一个DenseBlock层之前和最后一个DenseBlock层之后嵌入空间注意力机制。训练模块60基于训练集对嵌入空间注意力机制的卷积神经网络模型进行迭代训练，在训练时，基于图片的损失值和梯度调整模型参数以使交叉熵损失函数收敛。测试模块70将测试集输入训练后的卷积神经网络模型，得到虫害图像的识别结果。
于本实施例中，注意力嵌入模块50在第一个卷积层的输入和最后一个卷积层的输入嵌入空间注意力机制的步骤均包括：对输入X，使用尺寸(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道进行编码，得到两个编码后的特征图。连接两个编码后的特征图并使用1×1卷积对两个特征图进行变换，生成对空间信息在水平方向和竖直方向的中间特征图。沿空间维度将中间特征图切分为两个单独的张量特征图。利用两个1×1的卷积将两个张量特征图变换为和输入X具有同样的通道数。最后进行扩展，得到注意力权重。
于本实施例中，图像采集模块10对生成样本标签的原始虫害图像进行增强处理，将每幅原始虫害图像通过随机旋转、裁剪和翻转的操作方式将数据集进行增强操作，其中水平和垂直翻转操作几率大于或等于50％；增强操作后形成扩充数据集并将扩充数据集划分为训练集和测试集，且训练集的虫害图像数量大于测试集的虫害图像数量。
本实施例提供的基于卷积神经网络的虫害智能化识别系统中，图像采集模块10将基于步骤S10进行虫害图像的采集、增强以及样本标签修改；预处理模块20将基于步骤S20对增强后的扩充数据集进行预处理；数据集划分模块30将基于步骤S30对扩充数据集进行分类；模型构建模块40基于步骤S40构建卷积神经网络模型；注意力嵌入模块50将根据步骤S50在卷积神经网络模型内嵌入空间注意力机制；训练模块60将基于步骤S60采用训练集对嵌入空间注意力机制卷积神经网络模型进行训练。测试模块70分别基于步骤S70采用测试集内的虫害图像对训练后的卷积神经网络模型进行识别测试，亦可基于测试的结果进一步调整优化卷积神经网络模型。各个步骤的流程如上文所述，在此不做赘述。
综上所述，本发明提供的基于卷积神经网络的虫害智能化识别方法及系统在不改变原有卷积神经网络的基础上嵌入空间注意力机制，从而极大地提高了虫害的识别准确率。而基于多个DenseBlock层的基于卷积神经网络不仅具有网络更窄、参数少的有点，且每个卷积层输出的特征图数量都很小，特征和梯度的传递更加有效，网络训练和识别都更加高效。此外，基于原始虫害图像的增强扩充也大大丰富了训练图片的多样性，进一步提高识别效率。
虽然本发明已由较佳实施例揭露如上，然而并非用以限定本发明，任何熟知此技艺者，在不脱离本发明的精神和范围内，可作些许的更动与润饰，因此本发明的保护范围当视权利要求书所要求保护的范围为准。

Claims (10)

1.一种基于卷积神经网络的虫害智能化识别方法，其特征在于，包括：
步骤S10，生成样本标签；采集虫害图像并基于每张虫害图像内的虫害类型生成对应的样本标签，形成具有样本标签的虫害数据集；
步骤S20、，数据归一化；将虫害数据集进行归一化预处理；
步骤S30，数据集划分；将预处理后的虫害数据集划分为训练集和测试集且训练集和测试集均包括多种虫害类型的图像；
步骤S40，构建用于识别虫害类型的卷积神经网络模型；构建用于识别虫害类型的卷积神经网络模型，所述卷积神经网络模型包括多个DenseBlock层，连接相邻两个DenseBlock层之间的多个Transition层以及位于输出端的全连接层；全连接层对多个DenseBlock层所提取的特征进行处理，在输出图片识别预测结果的同时通过交叉熵损失函数计算识别图片的损失值和梯度，所述全连接层输出的神经元节点数与所要分类的茶树虫害类型数量相同；
步骤S50，空间注意力机制嵌入；分别在卷积神经网络模型的第一个DenseBlock层之前和最后一个DenseBlock层之后嵌入空间注意力机制；
步骤S60，模型迭代训练；基于训练集对嵌入空间注意力机制的卷积神经网络模型进行迭代训练，以使交叉熵损失函数收敛；
步骤S70，输入测试集以得到训练结果；将测试集输入训练后的卷积神经网络模型，得到虫害图像的识别结果。
2.根据权利要求1所述的基于卷积神经网络的虫害智能化识别方法，其特征在于，步骤S50在卷积神经网络模型的第一个DenseBlock层之前和最后一个DenseBlock层之后嵌入空间注意力机制的步骤均包括：
步骤S51，对输入X，使用尺寸(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道进行编码，得到两个编码后的特征图；
步骤S52，连接两个编码后的特征图，并使用1×1卷积对两个特征图进行变换，生成对空间信息在水平方向和竖直方向的中间特征图；
步骤S53，沿空间维度将中间特征图切分为两个单独的张量特征图；
步骤S54，利用两个1×1的卷积将两个张量特征图变换为和输入X具有同样的通道数；
步骤S55，最后进行扩展，得到注意力权重。
3.根据权利要求1所述的基于卷积神经网络的虫害智能化识别方法，其特征在于，对生成样本标签的原始虫害图像进行增强处理，将每幅原始虫害图像通过随机旋转、裁剪和翻转的操作方式将数据集进行增强操作，其中水平和垂直翻转操作几率大于或等于50％；增强操作后形成扩充数据集并将扩充数据集划分为训练集和测试集，且训练集的虫害图像数量大于测试集的虫害图像数量。
4.根据权利要求3所述的基于卷积神经网络的虫害智能化识别方法，其特征在于，基于同一原始虫害图像所形成的增强虫害图像的样本标签均包含原始虫害图形的样本标签信息和表征其自身的标识信息。
5.根据权利要求1所述的基于卷积神经网络的虫害智能化识别方法，其特征在于，在预处理时，将虫害图像数据转为tensor，将【0，1】的张量归一化到【-1，1】上。
6.根据权利要求1所述的基于卷积神经网络的虫害智能化识别方法，其特征在于，利用Adam函数对训练收敛后的卷积神经网络模型进行优化，优化后再利用测试集进行测试。
7.根据权利要求1所述的基于卷积神经网络的虫害智能化识别方法，其特征在于，所述基于卷积神经网络的虫害智能化识别方法还包括：
基于测试集内虫害图像的样本标签判断卷积神经网络对测试虫害图像的识别是否正确；
汇总识别错误的测试样本图像；
提取识别错误的测试样本图像的共同特征并进行分类，所述共同特征包括增强操作的方式和虫害类型；
基于不同类型的共同特征修正卷积神经网络内的参数。
8.一种基于卷积神经网络的虫害智能化识别系统，其特征在于，包括：
图像采集模块，采集虫害图像并基于每张虫害图像内的虫害类型生成对应的样本标签，形成具有样本标签的虫害数据集；
预处理模块，将虫害数据集进行归一化预处理；
数据集划分模块，将预处理后的虫害数据集划分为训练集和测试集且训练集和测试集均包括多种虫害类型的图像；
模型构建模块，构建用于识别虫害类型的卷积神经网络模型，所述卷积神经网络模型包括多个DenseBlock层，连接相邻两个DenseBlock层之间的多个Transition层以及位于输出端的全连接层；全连接层对多个DenseBlock层所提取的特征进行处理，在输出图片识别预测结果的同时通过交叉熵损失函数计算识别图片的损失值和梯度，所述全连接层输出的神经元节点数与所要分类的茶树虫害类型数量相同；
注意力嵌入模块，分别在卷积神经网络模型的第一个DenseBlock层之前和最后一个DenseBlock层之后嵌入空间注意力机制；
训练模块，基于训练集对嵌入空间注意力机制的卷积神经网络模型进行迭代训练，以使交叉熵损失函数收敛；
测试模块，将测试集输入训练后的卷积神经网络模型，得到虫害图像的识别结果。
9.根据权利要求8所述的基于卷积神经网络的虫害智能化识别系统，其特征在于，注意力嵌入模块执行步骤S50在第一个卷积层的输入和最后一个卷积层的输入嵌入空间注意力机制的步骤均包括：
步骤S51，对输入X，使用尺寸(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道进行编码，得到两个编码后的特征图；
步骤S52，连接两个编码后的特征图，并使用1×1卷积对两个特征图进行变换，生成对空间信息在水平方向和竖直方向的中间特征图；
步骤S53，沿空间维度将中间特征图切分为两个单独的张量特征图；
步骤S54，利用两个1×1的卷积将两个张量特征图变换为和输入X具有同样的通道数；
步骤S55，最后进行扩展，得到注意力权重。
10.根据权利要求8所述的基于卷积神经网络的虫害智能化识别系统，其特征在于，图像采集模块对生成样本标签的原始虫害图像进行增强处理，将每幅原始虫害图像通过随机旋转、裁剪和翻转的操作方式将数据集进行增强操作，其中水平和垂直翻转操作几率大于或等于50％；增强操作后形成扩充数据集并将扩充数据集划分为训练集和测试集，且训练集的虫害图像数量大于测试集的虫害图像数量。
CN202210608335.6A 2022-05-31 2022-05-31 基于卷积神经网络的虫害智能化识别方法及系统 Pending CN114926691A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210608335.6A CN114926691A (zh) 2022-05-31 2022-05-31 基于卷积神经网络的虫害智能化识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210608335.6A CN114926691A (zh) 2022-05-31 2022-05-31 基于卷积神经网络的虫害智能化识别方法及系统

Publications (1)

Publication Number Publication Date
CN114926691A true CN114926691A (zh) 2022-08-19

Family

ID=82813196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210608335.6A Pending CN114926691A (zh) 2022-05-31 2022-05-31 基于卷积神经网络的虫害智能化识别方法及系统

Country Status (1)

Country Link
CN (1) CN114926691A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649618A (zh) * 2023-12-04 2024-03-05 海口蓝萧羽科技有限公司 基于无人机的影像目标检测方法、系统和电子设备
WO2024078112A1 (zh) * 2022-10-10 2024-04-18 上海船舶工艺研究所(中国船舶集团有限公司第十一研究所) 一种舾装件智能识别方法、计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078112A1 (zh) * 2022-10-10 2024-04-18 上海船舶工艺研究所(中国船舶集团有限公司第十一研究所) 一种舾装件智能识别方法、计算机设备
CN117649618A (zh) * 2023-12-04 2024-03-05 海口蓝萧羽科技有限公司 基于无人机的影像目标检测方法、系统和电子设备

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN108830296B (zh) 一种改进的基于深度学习的高分遥感影像分类方法
CN110728200B (zh) 一种基于深度学习的实时行人检测方法及系统
CN109886066B (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN115063573B (zh) 一种基于注意力机制的多尺度目标检测方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN110728192A (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN114926691A (zh) 基于卷积神经网络的虫害智能化识别方法及系统
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN111428758A (zh) 一种改进的基于无监督表征学习的遥感图像场景分类方法
CN108491863A (zh) 基于非负矩阵分解和卷积神经网络的彩色图像处理方法
CN111626267A (zh) 一种利用空洞卷积的高光谱遥感图像分类方法
CN111640116A (zh) 基于深层卷积残差网络的航拍图建筑物分割方法及装置
CN114329031A (zh) 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法
CN114626476A (zh) 基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置
CN113076819A (zh) 同色系背景下的果实识别方法、装置及果实采摘机器人
CN114187506B (zh) 视点意识的动态路由胶囊网络的遥感图像场景分类方法
CN117593666B (zh) 一种极光图像的地磁台站数据预测方法及系统
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
CN114581789A (zh) 一种高光谱图像分类方法及系统
CN116503677B (zh) 一种湿地分类信息提取方法、系统、电子设备及存储介质
CN108960005B (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
CN114898417B (zh) 一种基于协调注意力深度神经网络的菊头蝠识别方法
CN112990336B (zh) 基于竞争注意力融合的深度三维点云分类网络构建方法
CN111046861B (zh) 识别红外影像的方法、构建识别模型的方法及应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination