CN114511732B - 一种柑橘斑点状病虫害细粒度图像识别方法 - Google Patents
一种柑橘斑点状病虫害细粒度图像识别方法 Download PDFInfo
- Publication number
- CN114511732B CN114511732B CN202111682743.8A CN202111682743A CN114511732B CN 114511732 B CN114511732 B CN 114511732B CN 202111682743 A CN202111682743 A CN 202111682743A CN 114511732 B CN114511732 B CN 114511732B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- unit
- training
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 69
- 201000010099 disease Diseases 0.000 title claims abstract description 68
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 66
- 241000238631 Hexapoda Species 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 19
- 241000207199 Citrus Species 0.000 claims abstract description 19
- 241000196324 Embryophyta Species 0.000 claims abstract description 19
- 235000020971 citrus fruits Nutrition 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 46
- 238000013145 classification model Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 45
- 230000000903 blocking effect Effects 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 36
- 238000012795 verification Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract description 3
- 235000013399 edible fruits Nutrition 0.000 description 4
- 206010027146 Melanoderma Diseases 0.000 description 2
- 238000000137 annealing Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000035719 Maculopathy Diseases 0.000 description 1
- 241001533598 Septoria Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于涉及病虫害识别领域，特别涉及一种柑橘斑点状病虫害细粒度图像识别方法，针对斑点状病虫害特征过于分散的特点，利用视觉Transformer替代卷积神经网络，增加模型对长距离特征的感知能力，持续维持特征的空间关系；针对斑点状病虫害单个斑点目标尺寸较小的特点，利用自编码器学习生成原始图像的方式，提高细节特征的学习能力；针对不同斑点状病虫害类别特征相似的特点，利用中心损失进行监督，促使相同类别的特征聚集在类别特征中心附近，不同类别的类别特征中心彼此远离，提升不同斑点状病虫害类别特征之间的可区分性。
Description
技术领域
本发明属于涉及病虫害识别领域，特别涉及一种柑橘斑点状病虫害细粒度图像识别方法。
背景技术
柑橘病虫害防治是柑橘种植中的一个非常重要的环节，病虫害发病初期尤为关键，若发现不及时，可能会对果树长势、果实质量等造成重大影响。很多病虫害在发病初期表现出的症状不明显，容易造成误判，如一些斑点状病虫害：溃疡病、脂点黄斑病、黑斑病、芽枝霉斑病、棒孢霉褐斑病、树脂病等，特征分散，症状相近，均呈斑点状随机分布在叶片或果实上，这些相似病害通常只在斑点边缘处有细微差异。
随着计算机视觉与人工智能技术的发展，基于图像的柑橘病虫害识别技术已走进千家万户，用户通过手机拍照的方式即可对柑橘病虫害进行识别。但不同斑点状病虫害直接差异较小，属于细粒度分类的范畴，采用通用识别算法的方式准确率普遍较低。针对斑点状病虫害的自动识别，目前有一些方法可一定程度上提升准确率，基于通用目标检测的方式对叶片或果实所有病虫害区域进行检测，但斑点状病虫害特征分散，且数量众多，需要大量的人工标注，费时费力；基于卷积神经网络注意力机制细粒度分类算法通过利用注意力机制自动学习图像重要特征，无需额外的人工标注，但卷积神经网络主要提取局部特征，且随着网络深度增加只能捕获到特征之间非常弱的长距离关系，不能适应斑点状病虫害特征分散的特点。
发明内容
为了解决上述问题，本发明提供了一种柑橘斑点状病虫害细粒度图像识别方法，具体技术方案如下：
一种柑橘斑点状病虫害细粒度图像识别方法，包括以下步骤：
步骤S1，制作数据集：收集柑橘斑点状病虫害图片，并根据斑点状病虫害类别对图片进行分类标注得到数据集，将数据集中所有标注好的图片按一定比例划分为训练集、验证集与测试集；所述斑点状病虫害类别数为K；
步骤S2，构建细粒度分类网络模型：所述细粒度分类网络模型包括图像重建模型与图像分类模型；所述图像重建模型用于将随机抽样的图像样本分块恢复为原始图像；所述图像分类模型用于对原始图像根据斑点状病虫害类别进行分类；
步骤S3，构建损失函数：损失函数包括图像重建模型的均方差损失函数、图像分类模型的交叉熵损失函数与中心损失函数，所述均方差损失函数用于对比重建图像与输入图像的差距，所述交叉熵损失函数用于计算图像分类的损失，所述中心损失函数用于提升不同斑点状病虫害类别特征之间的可区分性；
步骤S4，图像重建模型训练：将步骤S1中的训练集输入至图像重建模型进行训练，采用步骤S3中的均方差损失函数进行监督训练，设置图像重建模型的学习率为a，每一轮训练结束输出一个中间图像重建模型；
步骤S5，图像重建模型验证：将步骤S1中的验证集输入到步骤S4训练得到的中间图像重建模型进行模型验证，当验证集的均方差损失函数不再下降时将该中间图像重建模型作为最佳的图像重建模型，得到图像重建模型的编码器、嵌入层参数；
步骤S6，图像分类模型训练：将步骤S5中最佳的图像重建模型中的编码器、嵌入层参数作为图像分类模型训练的基准模型参数，将步骤S1中的训练集输入至图像分类模型进行训练，采用步骤S3中的交叉熵损失函数与中心损失函数进行监督训练，设置图像分类模型的学习率为b，每一轮训练结束输出一个中间图像分类模型；
步骤S7，图像分类模型验证：将步骤S1中的验证集输入到步骤S6中训练得到的中间图像分类模型进行模型验证，将准确率最高的中间图像分类模型作为最佳的图像分类模型；
步骤S8，模型推理：将步骤S1中的测试集输入至步骤S7中最佳的图像分类模型进行推理，得到病虫害分类结果。
优选地，所述步骤S1中将数据集中所有标注好的图片按0.8：0.1：0.1的比例划分为训练集、验证集与测试集。
优选地，所述图像重建模型包括第一图像分块单元、第一分块选择单元、第一编码器、第一嵌入层单元、解码器、重建图像单元；所述第一图像分块单元、第一分块选择单元、第一编码器、第一嵌入层单元、解码器、重建图像单元依次连接。
优选地，所述步骤S2中图像重建模型将随机抽样的图像样本分块恢复为原始图像的步骤如下：
步骤S21，图像分块：第一图像分块单元将输入的第b张图像进行缩放，得到缩放后的第b张图像xb，缩放后的第b张图像b∈{1,2,…,B}，B表示每次迭代的批次数量；对缩放后的第b张图像xb进行有重叠地滑窗，得到N个图像分块，N个图像分块组成第b张图像的分块向量/>其中H、W、C分别表示缩放后的图片高度、图片宽度和通道数；其中图像分块的数量N的计算方式如下：
其中，P表示分块尺寸，S表示滑窗步长；
步骤S22：图像分块选择：第一分块选择单元对第一图像分块单元得到的第b张图像的分块向量进行图像分块选择，具体是设置分块选择占比R，从第b张图像的分块向量中随机采样R占比的图像分块作为第一编码器的第b张输入图像的分块向量其中/>表示对N*R向下取整；
步骤S23，编码：采用Transformer网络模型对图像分块向量进行编码，得到维度为/>的第一编码器输出的第b张图像的特征向量/>
步骤S24，嵌入：将第一编码器输出的第b张图像的特征向量输入至维度为的全连接层中，F为嵌入层的输出维度，得到第一嵌入层单元输出的第b张图像的特征向量/>
步骤S25，解码：解码器采用Transformer网络模型对第一嵌入层单元输出的第b张图像的特征向量进行解码，将解码器最后一层输入维度为D×(H*W*C)的全连接层，得到输出维度为H*W*C的解码器输出的第b张图像的特征向量/>
步骤S26，重建图像：重建图像单元对解码器输出的第b张图像的特征向量按H×W×C维度进行reshape操作，得到第b张图像的维度为H×W×C的重建图像。
优选地，所述图像分类模型包括第二图像分块单元、第二分块选择单元、第二编码器、第二嵌入层单元、分类层单元；所述第二图像分块单元、第二分块选择单元、第二编码器、第二嵌入层单元、分类层单元依次连接；所述第二图像分块单元复用第一图像分块单元的参数；所述第二分块选择单元复用第一分块选择单元的参数；所述第二编码器复用第一编码器的参数；所述第二嵌入层单元复用第一嵌入层单元的参数；所述分类层的维度为步骤S1中的斑点状病虫害类别数。
优选地，所述步骤S3中的均方差损失函数如下所示：
其中，表示图像重建模型中输入的第b图像的第i个像素点的像素值，/>表示图像重建模型输出的第b图像的重建图像的第i个像素点的像素值。
优选地，所述交叉熵损失函数如下所示：
其中，表示第b张图像对应的one-hot编码的分类标签，/>当k为真实斑点状病虫害类别时/>否则/>表示识别为斑点状病虫害类别k的概率，范围是0～1。
优选地，所述中心损失函数如下所示：
其中，表示第b张图像对应真实类别为k的特征中心；α表示控制更新率；||·||2运算表示对特征向量进行L2-Norm归一化；←表示向左更新。
优选地，所述图像重建模型的学习率为a大于图像分类模型的学习率为b。
优选地，所述步骤S4中的Transformer网络模型为ViT-B/16网络模型。
本发明的有益效果为：本发明提供了一种柑橘斑点状病虫害细粒度图像识别方法，针对斑点状病虫害特征过于分散的特点，利用视觉Transformer替代卷积神经网络，增加模型对长距离特征的感知能力，持续维持特征的空间关系；针对斑点状病虫害单个斑点目标尺寸较小的特点，利用自编码器学习生成原始图像的方式，提高细节特征的学习能力；针对不同斑点状病虫害类别特征相似的特点，利用中心损失进行监督，促使相同类别的特征聚集在类别特征中心附近，不同类别的类别特征中心彼此远离，，提升不同斑点状病虫害类别特征之间的可区分性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如图1所示，本发明的具体实施方式提供了一种柑橘斑点状病虫害细粒度图像识别方法，包括以下步骤：
步骤S1，制作数据集：收集柑橘斑点状病虫害图片，并根据斑点状病虫害类别对图片进行分类标注得到数据集，将数据集中所有标注好的图片按一定比例划分为训练集、验证集与测试集；所述斑点状病虫害类别数为K；具体是将数据集中所有标注好的图片按0.8：0.1：0.1的比例划分为训练集、验证集与测试集。在本实施例中，斑点状病虫害类别包括溃疡病、脂点黄斑病、黑斑病、芽枝霉斑病、棒孢霉褐斑病、树脂病，此处K＝6。
步骤S2，构建细粒度分类网络模型：所述细粒度分类网络模型包括图像重建模型与图像分类模型；所述图像重建模型用于将随机抽样的图像样本分块恢复为原始图像；所述图像分类模型用于对原始图像根据斑点状病虫害类别进行分类。图像重建模型的分支通过自编码器学习将随机抽样的样本分块恢复为原始图像，以提高模型对细节特征的学习能力，最终提高斑点状病虫害单个斑点的捕获能力。针对斑点状病虫害特征过于分散的特点，采用Transformer结构增加模型对长距离特征的感知能力，持续维持特征的空间关系。
所述图像重建模型包括第一图像分块单元、第一分块选择单元、第一编码器、第一嵌入层单元、解码器、重建图像单元；所述第一图像分块单元、第一分块选择单元、第一编码器、第一嵌入层单元、解码器、重建图像单元依次连接。
图像重建模型将随机抽样的图像样本分块恢复为原始图像的步骤如下：
步骤S21，图像分块：第一图像分块单元将输入的第b张图像进行缩放，得到缩放后的第b张图像xb，缩放后的第b张图像b∈{1,2,…,B}，B表示每次迭代的批次数量；对缩放后的第b张图像xb进行有重叠地滑窗，得到N个图像分块，N个图像分块组成第b张图像的分块向量/>其中H、W、C分别表示缩放后的图片高度、图片宽度和通道数；在本实施例中，H＝448、W＝448、C＝3。其中，符号*表示数值相乘，符号×表示维度分隔。
其中图像分块的数量N的计算方式如下：
其中，P表示分块尺寸，S表示滑窗步长；设置P＝16，S＝12，得到N＝1369。
步骤S22：图像分块选择：第一分块选择单元对第一图像分块单元得到的第b张图像的分块向量进行图像分块选择，具体是设置分块选择占比R，从第b张图像的分块向量中随机采样R占比的图像分块作为第一编码器的第b张输入图像的分块向量其中/>表示对N*R向下取整。
设置R＝0.75，注意力头数为12个。
步骤S23，编码：采用Transformer网络模型对图像分块向量进行编码，Transformer网络模型为ViT-B/16网络模型，网络层数为12层，
每层网络输出得到维度为的第一编码器输出的第b张图像的特征向量
步骤S24，嵌入：将第一编码器输出的第b张图像的特征向量输入至维度为的全连接层中，F为嵌入层的输出维度，得到第一嵌入层单元输出的第b张图像的特征向量/>F＝768，/>的维度为768。
步骤S25，解码：解码器采用Transformer网络模型对第一嵌入层单元输出的第b张图像的特征向量进行解码，Transformer网络模型为ViT-B/16网络模型，网络层数为8层，注意力头数为12个，每层的维度为D，将解码器最后一层输入维度为D×(H*W*C)的全连接层，得到输出维度为H*W*C的解码器输出的第b张图像的特征向量/>
步骤S26，重建图像：重建图像单元对解码器输出的第b张图像的特征向量按H×W×C维度进行reshape操作，得到第b张图像的维度为H×W×C的重建图像。
所述图像分类模型包括第二图像分块单元、第二分块选择单元、第二编码器、第二嵌入层单元、分类层单元；所述第二图像分块单元、第二分块选择单元、第二编码器、第二嵌入层单元、分类层单元依次连接；所述第二图像分块单元复用第一图像分块单元的参数；所述第二分块选择单元复用第一分块选择单元的参数；所述第二编码器复用第一编码器的参数；所述第二嵌入层单元复用第一嵌入层单元的参数；所述分类层的维度为步骤S1中的斑点状病虫害类别数。
步骤S3，构建损失函数：损失函数包括图像重建模型的均方差损失函数、图像分类模型的交叉熵损失函数与中心损失函数，所述均方差损失函数用于对比重建图像与输入图像的差距，所述交叉熵损失函数用于计算图像分类的损失，所述中心损失函数用于提升不同斑点状病虫害类别特征之间的可区分性。
均方差损失函数如下所示：
其中，表示图像重建模型中输入的第b图像的第i个像素点的像素值，/>表示图像重建模型输出的第b图像的重建图像的第i个像素点的像素值。
交叉熵损失函数如下所示：
其中，表示第b张图像对应的one-hot编码的分类标签，/>当k为真实斑点状病虫害类别时/>否则/>表示识别为斑点状病虫害类别k的概率，范围是0～1，具体是对分类层输出的K维特征进行softmax归一化操作得到。
中心损失函数如下所示：
其中，表示第b张图像对应真实类别为k的特征中心；α表示控制更新率；||·||2运算表示对特征向量进行L2-Norm归一化；←表示向左更新。/>初始化维度与/>相同，通过公式(5)进行更新，α＝0.01。
步骤S4，图像重建模型训练：将步骤S1中的训练集输入至图像重建模型进行训练，采用步骤S3中的均方差损失函数进行监督训练，优化器为AdamW，初始学习率为a＝0.1，学习率调整策略为余弦退火，批次数量为64，每一轮训练结束输出一个中间图像重建模型；
步骤S5，图像重建模型验证：将步骤S1中的验证集输入到步骤S4训练得到的中间图像重建模型进行模型验证，当验证集的均方差损失函数不再下降时将该中间图像重建模型作为最佳的图像重建模型，得到图像重建模型的编码器、嵌入层参数；
步骤S6，图像分类模型训练：将步骤S5中最佳的图像重建模型中的编码器、嵌入层参数作为图像分类模型训练的基准模型参数，将步骤S1中的训练集输入至图像分类模型进行训练，优化器为SGD，图像重建模型的学习率为a大于图像分类模型的学习率为b，初始学习率为b＝0.001，学习率调整策略为余弦退火，批次数量为16，采用步骤S3中的交叉熵损失函数与中心损失函数进行监督训练，设置图像分类模型的学习率为b，每一轮训练结束输出一个中间图像分类模型；
步骤S7，图像分类模型验证：将步骤S1中的验证集输入到步骤S6中训练得到的中间图像分类模型进行模型验证，将准确率最高的中间图像分类模型作为最佳的图像分类模型；
步骤S8，模型推理：将步骤S1中的测试集输入至步骤S7中最佳的图像分类模型进行推理，得到病虫害分类结果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的实施例中，应该理解到，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元可结合为一个单元，一个单元可拆分为多个单元，或一些特征可以忽略等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (7)
1.一种柑橘斑点状病虫害细粒度图像识别方法，其特征在于：包括以下步骤：
步骤S1，制作数据集：收集柑橘斑点状病虫害图片，并根据斑点状病虫害类别对图片进行分类标注得到数据集，将数据集中所有标注好的图片按一定比例划分为训练集、验证集与测试集；所述斑点状病虫害类别数为K；
步骤S2，构建细粒度分类网络模型：所述细粒度分类网络模型包括图像重建模型与图像分类模型；所述图像重建模型用于将随机抽样的图像样本分块恢复为原始图像；所述图像分类模型用于对原始图像根据斑点状病虫害类别进行分类；所述图像重建模型包括第一图像分块单元、第一分块选择单元、第一编码器、第一嵌入层单元、解码器、重建图像单元；所述第一图像分块单元、第一分块选择单元、第一编码器、第一嵌入层单元、解码器、重建图像单元依次连接；所述步骤S2中图像重建模型将随机抽样的图像样本分块恢复为原始图像的步骤如下：
步骤S21，图像分块：第一图像分块单元将输入的第b张图像进行缩放，得到缩放后的第b张图像xb，缩放后的第b张图像B表示每次迭代的批次数量；对缩放后的第b张图像xb进行有重叠地滑窗，得到N个图像分块，N个图像分块组成第b张图像的分块向量/>其中H、W、C分别表示缩放后的图片高度、图片宽度和通道数；其中图像分块的数量N的计算方式如下：
其中，P表示分块尺寸，S表示滑窗步长；
步骤S22：图像分块选择：第一分块选择单元对第一图像分块单元得到的第b张图像的分块向量进行图像分块选择，具体是设置分块选择占比R，从第b张图像的分块向量/>中随机采样R占比的图像分块作为第一编码器的第b张输入图像的分块向量/> 其中/>表示对N*R向下取整；
步骤S23，编码：采用Transformer网络模型对图像分块向量进行编码，得到维度为的第一编码器输出的第b张图像的特征向量/>
步骤S24，嵌入：将第一编码器输出的第b张图像的特征向量输入至维度为的全连接层中，F为嵌入层的输出维度，得到第一嵌入层单元输出的第b张图像的特征向量/>
步骤S25，解码：解码器采用Transformer网络模型对第一嵌入层单元输出的第b张图像的特征向量进行解码，将解码器最后一层输入维度为D×(H*W*C)的全连接层，得到输出维度为H*W*C的解码器输出的第b张图像的特征向量/>
步骤S26，重建图像：重建图像单元对解码器输出的第b张图像的特征向量按H×W×C维度进行reshape操作，得到第b张图像的维度为H×W×C的重建图像；所述图像分类模型包括第二图像分块单元、第二分块选择单元、第二编码器、第二嵌入层单元、分类层单元；所述第二图像分块单元、第二分块选择单元、第二编码器、第二嵌入层单元、分类层单元依次连接；所述第二图像分块单元复用第一图像分块单元的参数；所述第二分块选择单元复用第一分块选择单元的参数；所述第二编码器复用第一编码器的参数；所述第二嵌入层单元复用第一嵌入层单元的参数；所述分类层的维度为步骤S1中的斑点状病虫害类别数；
步骤S3，构建损失函数：损失函数包括图像重建模型的均方差损失函数、图像分类模型的交叉熵损失函数与中心损失函数，所述均方差损失函数用于对比重建图像与输入图像的差距，所述交叉熵损失函数用于计算图像分类的损失，所述中心损失函数用于提升不同斑点状病虫害类别特征之间的可区分性；
步骤S4，图像重建模型训练：将步骤S1中的训练集输入至图像重建模型进行训练，采用步骤S3中的均方差损失函数进行监督训练，设置图像重建模型的学习率为a，每一轮训练结束输出一个中间图像重建模型；
步骤S5，图像重建模型验证：将步骤S1中的验证集输入到步骤S4训练得到的中间图像重建模型进行模型验证，当验证集的均方差损失函数不再下降时将该中间图像重建模型作为最佳的图像重建模型，得到图像重建模型的编码器、嵌入层参数；
步骤S6，图像分类模型训练：将步骤S5中最佳的图像重建模型中的编码器、嵌入层参数作为图像分类模型训练的基准模型参数，将步骤S1中的训练集输入至图像分类模型进行训练，采用步骤S3中的交叉熵损失函数与中心损失函数进行监督训练，设置图像分类模型的学习率为b，每一轮训练结束输出一个中间图像分类模型；
步骤S7，图像分类模型验证：将步骤S1中的验证集输入到步骤S6中训练得到的中间图像分类模型进行模型验证，将准确率最高的中间图像分类模型作为最佳的图像分类模型；
步骤S8，模型推理：将步骤S1中的测试集输入至步骤S7中最佳的图像分类模型进行推理，得到病虫害分类结果。
2.根据权利要求1所述的一种柑橘斑点状病虫害细粒度图像识别方法，其特征在于：所述步骤S1中将数据集中所有标注好的图片按0.8：0.1：0.1的比例划分为训练集、验证集与测试集。
3.根据权利要求1所述的一种柑橘斑点状病虫害细粒度图像识别方法，其特征在于：所述步骤S3中的均方差损失函数如下所示：
其中，表示图像重建模型中输入的第b图像的第i个像素点的像素值，/>表示图像重建模型输出的第b图像的重建图像的第i个像素点的像素值。
4.根据权利要求1所述的一种柑橘斑点状病虫害细粒度图像识别方法，其特征在于：所述交叉熵损失函数如下所示：
其中，表示第b张图像对应的one-hot编码的分类标签，/>当k为真实斑点状病虫害类别时/>否则/> 表示识别为斑点状病虫害类别k的概率，范围是0～1。
5.根据权利要求1所述的一种柑橘斑点状病虫害细粒度图像识别方法，其特征在于：所述中心损失函数如下所示：
其中，表示第b张图像对应真实类别为k的特征中心；α表示控制更新率；||·||2运算表示对特征向量进行L2-Norm归一化；←表示向左更新。
6.根据权利要求1所述的一种柑橘斑点状病虫害细粒度图像识别方法，其特征在于：所述图像重建模型的学习率为a大于图像分类模型的学习率为b。
7.根据权利要求1所述的一种柑橘斑点状病虫害细粒度图像识别方法，其特征在于：所述步骤S4中的Transformer网络模型为ViT-B/16网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111682743.8A CN114511732B (zh) | 2021-12-31 | 2021-12-31 | 一种柑橘斑点状病虫害细粒度图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111682743.8A CN114511732B (zh) | 2021-12-31 | 2021-12-31 | 一种柑橘斑点状病虫害细粒度图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114511732A CN114511732A (zh) | 2022-05-17 |
| CN114511732B true CN114511732B (zh) | 2024-05-14 |
Family
ID=81548807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111682743.8A Active CN114511732B (zh) | 2021-12-31 | 2021-12-31 | 一种柑橘斑点状病虫害细粒度图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114511732B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115937689B (zh) * | 2022-12-30 | 2023-08-11 | 安徽农业大学 | 一种农业害虫智能识别与监测技术 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109711471A (zh) * | 2018-12-28 | 2019-05-03 | 井冈山大学 | 一种基于深度卷积神经网络的水稻病害图像识别方法 |
| AU2020102885A4 (en) * | 2020-10-20 | 2020-12-17 | Xijing University | Disease recognition method of winter jujube based on deep convolutional neural network and disease image |
| CN112801942A (zh) * | 2020-12-31 | 2021-05-14 | 广西慧云信息技术有限公司 | 一种基于注意力机制的柑橘黄龙病图像识别方法 |
| CN113657294A (zh) * | 2021-08-19 | 2021-11-16 | 中化现代农业有限公司 | 一种基于计算机视觉的作物病虫害检测方法及系统 |
| CN113723312A (zh) * | 2021-09-01 | 2021-11-30 | 东北农业大学 | 基于视觉transformer的水稻病害识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2707147C1 (ru) * | 2018-10-31 | 2019-11-22 | Общество с ограниченной ответственностью "Аби Продакшн" | Обучение нейронной сети посредством специализированных функций потерь |
-
2021
- 2021-12-31 CN CN202111682743.8A patent/CN114511732B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109711471A (zh) * | 2018-12-28 | 2019-05-03 | 井冈山大学 | 一种基于深度卷积神经网络的水稻病害图像识别方法 |
| AU2020102885A4 (en) * | 2020-10-20 | 2020-12-17 | Xijing University | Disease recognition method of winter jujube based on deep convolutional neural network and disease image |
| CN112801942A (zh) * | 2020-12-31 | 2021-05-14 | 广西慧云信息技术有限公司 | 一种基于注意力机制的柑橘黄龙病图像识别方法 |
| CN113657294A (zh) * | 2021-08-19 | 2021-11-16 | 中化现代农业有限公司 | 一种基于计算机视觉的作物病虫害检测方法及系统 |
| CN113723312A (zh) * | 2021-09-01 | 2021-11-30 | 东北农业大学 | 基于视觉transformer的水稻病害识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114511732A (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113673489B (zh) | 一种基于级联Transformer的视频群体行为识别方法 | |
| CN111768432A (zh) | 基于孪生深度神经网络的动目标分割方法及系统 | |
| CN111695456B (zh) | 一种基于主动判别性跨域对齐的低分辨人脸识别方法 | |
| CN114241548A (zh) | 一种基于改进YOLOv5的小目标检测算法 | |
| CN107392865B (zh) | 一种人脸图像的复原方法 | |
| CN110503063A (zh) | 基于沙漏卷积自动编码神经网络的跌倒检测方法 | |
| CN114511732B (zh) | 一种柑橘斑点状病虫害细粒度图像识别方法 | |
| CN113449660A (zh) | 基于自注意增强的时空变分自编码网络的异常事件检测方法 | |
| CN112115780A (zh) | 一种基于深度多模型协同的半监督行人重识别方法 | |
| CN110991317A (zh) | 一种基于多尺度透视感知型网络的人群计数方法 | |
| CN115578770A (zh) | 基于自监督的小样本面部表情识别方法及系统 | |
| CN114022878A (zh) | 一种基于改进YOLOv5的串型番茄实时检测方法 | |
| CN114494786A (zh) | 一种基于多层协调卷积神经网络的细粒度图像分类方法 | |
| CN113297936B (zh) | 一种基于局部图卷积网络的排球群体行为识别方法 | |
| CN116612435B (zh) | 一种玉米高产栽培方法 | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| CN116343201B (zh) | 谷粒类别识别方法、装置及计算机设备 | |
| CN110147851B (zh) | 图像筛选方法、装置、计算机设备及存储介质 | |
| CN109784244B (zh) | 一种指定目标的低分辨率人脸精确识别方法 | |
| CN116758482A (zh) | 基于无人机的农业种植管理系统及其方法 | |
| CN116311218A (zh) | 基于自注意力特征融合的带噪植株点云语义分割方法及系统 | |
| CN112949344B (zh) | 一种用于异常检测的特征自回归方法 | |
| CN115410047A (zh) | 基于改进YOLO v5s的红外图像电动自行车目标检测方法 | |
| CN115457509A (zh) | 基于改进时空图卷积的交通标志图像分割算法 | |
| CN113537240A (zh) | 一种基于雷达序列图像的形变区智能提取方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |