CN113505810A - 基于池化视觉Transformer杂草生长周期检测方法 - Google Patents

基于池化视觉Transformer杂草生长周期检测方法 Download PDF

Info

Publication number
CN113505810A
CN113505810A CN202110645871.9A CN202110645871A CN113505810A CN 113505810 A CN113505810 A CN 113505810A CN 202110645871 A CN202110645871 A CN 202110645871A CN 113505810 A CN113505810 A CN 113505810A
Authority
CN
China
Prior art keywords
growth cycle
data
weed
training
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110645871.9A
Other languages
English (en)
Inventor
王贵参
杨承林
王红梅
伍俊霖
蒲佳佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Technology
Original Assignee
Changchun University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Technology filed Critical Changchun University of Technology
Priority to CN202110645871.9A priority Critical patent/CN113505810A/zh
Publication of CN113505810A publication Critical patent/CN113505810A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于池化视觉Transformer杂草生长周期检测方法，该方法的目的是为了判别检测杂草的生长周期。该方法的主要步骤包括：采用不同生长阶段的杂草数据集，将其合理的划分为训练集和验证集；使用样本增强技术，将训练集图片进行扩充；提出基于预训练PiT神经网络模型的杂草生长周期特征提取方法，采用改进的迁移学习的方法在已经训练好模型的基础上，用新的数据集对初始化模型进行二次训练得到杂草生长周期分类器；利用测试集对模型参数进行微调。采用这种方法能快速准确的对杂草不同生长周期进行识别，对所采集的图像数据要求较低。

Description

基于池化视觉Transformer杂草生长周期检测方法
技术领域
本发明属于杂草检测领域，具体涉及一种基于池化视觉Transformer杂草生长周期检测方法。
背景技术
农田间杂草对农作物的正常生长具有很大的威胁，严重影响农作物的高产和稳产。目前，人力除草已逐渐淘汰，传统的粗放式大面积化学除草产生了诸多的负面影响，如环境污染、威胁食品安全等，精准式变量喷洒技术是根据杂草的生长周期情况定点定量喷洒除草剂，既能降低对田间生态环境的影响，又能减少经济成本、提高除草效率。因此，结合目前自动化农业的发展趋势，自动高效地对杂草生长周期进行识别就显得尤为重要。
前杂草生长周期识别研究中，许多用于计算机视觉的杂草叶片计数系统都限制于二进制图像，这意味着图像主体只有和背景进行分离才能更好的计算叶片的数量。依赖于此方案的局限性是无法成功处理杂草彼此重叠的图像。Giuffrida等人提出一种用于计算从RGB空间转移到对数极性空间图像叶片计数的方法。提取了对数极性空间图像的相关特性，并应用了向量回归方法来计算叶片的数量。使用对数极性空间的局限性在于模型训练阶段和最终的模型评估阶段要使用分割图像，这意味着使用对数极性空间提取将很难实现系统自动化。近些年来，卷积神经网络在计算机视觉领域表现的相当成功，因为他们能够提取用于分类图像的有效特征。Ren和Zemel使用一种递归神经网络在CVPPP LSC数据集上对叶片的分割，取得了不错的结果。使用递归神经网络进行训练图像需要叶子在实例级别上完全分割，对于每张图片的处理可能需要几分钟的时间，效率不高。
总结发现，自然且多样化的特征表达能够提高模型的准确率和稳定性，但依然存在以下两个主要问题。一方面，人工设计的图像分割难以获得最接近目标自然属性的特征表达，所得的识别能力有限。另一方面，图像的预处理对识别结果存在重要影响，尤其是杂草交叠的分割处理，对于交叠程度较大的目标，常难以分割或在不影响其各自特征表达的情况下进行分割，造成实际识别准确率和稳定性的降低。
为解决以上两个主要问题，本发明提出了基于池化视觉Transformer杂草生长周期检测方法，利用Pooling-based Vision Transformer (PiT)从训练集中提取特征，克服了人工提取特征的不足，减少了复杂的图像预处理过程；利用多维度扩展能获得大量、具有相关性的图像，减少了神经网络过拟合的可能，而且特征表达效果更好。
发明内容
本发明所要解决的技术问题是：提供一种基于池化视觉Transformer杂草生长周期检测方法，采用这种方法能快速准确的对目标杂草的生长周期进行检测，对所采集的图像数据要求较低，对数据的需求量灵活。
本发明所采用的技术方案是：一种基于池化视觉Transformer杂草生长周期检测方法，它包括以下步骤：
S1、采用自建杂草数据集或公开杂草数据集，数据集中需要包含多种类的杂草的多个生长周期，并将数据集划分为训练集和测试集；
S2、将训练集中的图片缩放至预设的神经网络模型所要求的像素尺寸并通过数据增强方法扩充训练集数据量；
S3、通过迁移学习的方法，将训练集输入预设的PiT神经网络模型中进行训练得到杂草生长周期的分类器；
S4、通过不同的训练指标进行神经网络模型的调整，选择表现性能最强的网络模型；
S5、将测试集输入训练好的生长周期分类识别器中，输出生长周期的分类结果并计算准确度。
所有图片均为RGB三通道格式。
在S1和S2中，按照80%和20%比例分别构建训练集合测试集。并使用数据增强方法扩充训练集，扩充训练集数据量的数据增强方法为：将图片相对于中心点随机旋转0°~360°；将图片做水平或竖直方向翻转；对图像增加高斯噪声或椒盐噪声；将随机调整图片对比度、饱和度、锐度和亮度。将扩充的数据集图像进行归一化。
在S3中，PiT神经网络模型在Vision Transformer神经网络模型的基础上增加了两个池化层，每经过一个完整的池化层，数据的维度由
Figure 840491DEST_PATH_IMAGE001
变化为
Figure 56709DEST_PATH_IMAGE002
；在一个池化层内部，处理的步骤如下：由于ViT以2D矩阵而不是3D张量的形式处理神经元响应，因此池化层应将空间token分离并将其重塑为具有空间结构的3D张量，数据维度由
Figure 142477DEST_PATH_IMAGE003
重塑为
Figure 494960DEST_PATH_IMAGE004
；在重塑之后，通过深度卷积来执行空间大小的减少和信道的增加，数据维度由
Figure 703088DEST_PATH_IMAGE001
变化为
Figure 468919DEST_PATH_IMAGE005
；最后将3D的张量重塑为2D矩阵，用于对于Transformer block的计算。进入池化层的class token 会存在与空间结构不对应的部分，会使用一个附加的全链接层来调整通道大小以匹配空间标记。PiT神经网络模型为基于ImageNet预训练得到的网络模型。
采用以上方法与现有技术相比，本发明具有以下优点：对于杂草生长周期的识别，传统的计算机视觉技术提取其特征（颜色、形态、纹理）对数据集的要求较高，预处理过程较复杂，且需要对每一类杂草生长周期进行单独的特征分析，所得到的分类模型可能只能应用于研究所涉及的杂草，可推广性较差；而且传统的循环神经网络处理时运行时间长，处理效率不高；而本方法使用少量的杂草图像制作数据集，通过样本自动扩充的方式扩大数据集，通过深度学习训练得到了基于池化视觉Transformer分类器，不同生长周期的杂草在形态上有明显差异，PiT神经网络提取不同生长周期的实验表明，不同生长周期的杂草图像在经过PiT神经网络模型处理后特征图像具有显著差异，因此在本方法中，使用该模型对不同生长周期杂草识别准确率更高，速度更快，对所采集的图像数据要求较低、成本低，具有良好的可推广性和适用性。
本方法中杂草生长周期识别器对数据需求量灵活，当样本量不是很大时，仍可以通过迁移学习达到较高的分类识别准确率。预训练网络架构PiT具有层数深且参数量少的特点，因此能够针对各杂草生长周期图像的特点较全面的提取杂草生长周期的特征，并且减少梯度弥散的现象。进行自适应的参数调整，得到合适的网络模型，针对杂草不同生长周期的特点，提高网络的分类准确性。
附图说明
图1为本发明流程图
图2为PiT池化层数据转换图
图3为测试集准确率图（50个训练轮次）
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。现通过附图和实施例对本发明作进一步的详细描述。
本发明实施例的前提是使用奥胡斯大学电气和计算机工程系提供的Leafcounting数据集。
如图1、图2和图3所示，一种基于池化视觉Transformer杂草生长周期检测方法，包括步骤：
S1、使用Leaf counting数据集，包含18种类杂草9个生长周期RGB图像9372张。训练集图片占有6856张，用于训练得到杂草生长周期分类识别器，测试集图片占有2516张，用于测试杂草生长周期分类识别器的效果。
S2、将训练集中的图片缩放至预设的PiT神经网络模型所要求的像素尺寸（224*224像素的尺寸）；为提模型在在不同角度、亮度、对比度、清晰度等因素影响下的识别准确率，使用在发明内容中的数据增强方式进行数据增强。
S3、在GPU上， 输入经过处理后与数据增强后维度为
Figure 889536DEST_PATH_IMAGE006
的图像，经过对图像的分块，转换维度，再按照PiT神经网络依次对数据进行池化处理。在本实施例中，将PiT_S（PiT模型的一种）神经网络模型在ImageNet数据集上训练的权重迁移至训练模型中，进行一次向前传播，输出每一类的概率值，并得到其得分值与所属真实分类之间的损失函数值，使用反向传播算法，根据动量梯度下降算法沿损失函数值下降方向对权重系数w进行微调，当损失函数值趋于收敛时，停止训练，建立基于PIT神经网络模型与迁移学习的杂草生长周期分类识别器。
S4、利用测试集对杂草生长周期分类识别器进行测试得到分类识别结果并对比正确类别标签计算预测正确率，若预测效果好（如准确率达到70%以上，原方案的准确率为70%），则认为模型可用，否则调整参数或网络结构并增大训练次数（epoch）重新训练。
例1 本发明在Leaf counting数据集的实验结果
本发明使用的指标为，以下表格为实验初步结果比较：
Model 准确率 可接受±1准确率
Inception-v3 70% 87%
PiT 74.9% 90.2%
可接受±1准确率：分类器判别杂草叶片数量与真实数量相差1片以内（包含一片）都算正确的准确率。
本发明的方法在Leaf counting数据集中，与经典的Inception-v3方法进行对比，选用了准确率（Accuracy）、可接受±1准确率(Accept within ±1 of the true growthstage)作为评价指标，进行对比。本发明中所使用的PiT方法的准确率为74.9%，可接受±1准确率为87%，PiT模型在使用Transformer结构基础上，引入了池化操作，充分考虑了图像的局部特征信息和全局结构信息，因此，本发明的PiT方法取得了较优的结果。所对比的Inception-v3方法准确率为70%，可接受±1准确率为90.2%，传统的卷积结构受到卷积核大小的影响，只能提取局部信息，随着神经网络模型深度加深，容易出现梯度消失情况，对于本数据集，传统卷积神经网络容易出现过拟合的情况，从而准确率无法再提高。

Claims (5)

1.一种基于池化视觉Transformer杂草生长周期检测方法，其特征在于，包括如下步骤：
S1、采用自建杂草数据集或公开杂草数据集，数据集中需要包含多种类的杂草的多个生长周期，并将数据集划分为训练集和测试集；
S2、将训练集中的图片缩放至预设的神经网络模型所要求的像素尺寸并通过数据增强方法扩充训练集数据量；
S3、通过迁移学习的方法，将训练集输入预设的PiT神经网络模型中进行训练得到杂草生长周期的分类识别器；
S4、通过不同的训练指标进行神经网络模型的调整，选择表现性能最强的网络模型；
S5、将测试集输入训练好的生长周期分类识别器中，输出生长周期的分类结果并计算准确度。
2.如权利要求1所述的基于池化视觉Transformer杂草生长周期检测方法，其特征在于：所有图片均为RGB三通道格式。
3.如权利要求1所述的基于池化视觉Transformer杂草生长周期检测方法，其特征在于：步骤S1中按照80%和20%比例分别构建训练集合测试集。
4.如权利要求1所述的基于池化视觉Transformer杂草生长周期检测方法，其特征在于：步骤S2中使用数据增强方法扩充训练集，扩充训练集数据量的数据增强方法为：将图片相对于中心点随机旋转0°~360°；将图片做水平或竖直方向翻转；对图像增加高斯噪声或椒盐噪声；将随机调整图片对比度、饱和度、锐度和亮度，将扩充的数据集图像进行归一化。
5.如权利要求1所述的基于池化视觉Transformer杂草生长周期检测方法，其特征在于：步骤S3中PiT神经网络模型在Vision Transformer神经网络模型的基础上增加了两个池化层，每经过一个完整的池化层，数据的维度由
Figure 246411DEST_PATH_IMAGE001
变化为
Figure 163551DEST_PATH_IMAGE002
；在一个池化层内部，处理的步骤如下：由于ViT以2D矩阵而不是3D张量的形式处理神经元响应，因此池化层应将空间token分离并将其重塑为具有空间结构的3D张量，数据维度由
Figure 303808DEST_PATH_IMAGE003
重塑为
Figure 699017DEST_PATH_IMAGE004
；在重塑之后，通过深度卷积来执行空间大小的减少和信道的增加，数据维度由
Figure 185493DEST_PATH_IMAGE005
变化为
Figure 7955DEST_PATH_IMAGE006
；最后将3D的张量重塑为2D矩阵，用于对于Transformerblock的计算，进入池化层的class token 会存在与空间结构不对应的部分，会使用一个附加的全链接层来调整通道大小以匹配空间标记；PiT神经网络模型为基于ImageNet预训练得到的网络模型。
CN202110645871.9A 2021-06-10 2021-06-10 基于池化视觉Transformer杂草生长周期检测方法 Withdrawn CN113505810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110645871.9A CN113505810A (zh) 2021-06-10 2021-06-10 基于池化视觉Transformer杂草生长周期检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110645871.9A CN113505810A (zh) 2021-06-10 2021-06-10 基于池化视觉Transformer杂草生长周期检测方法

Publications (1)

Publication Number Publication Date
CN113505810A true CN113505810A (zh) 2021-10-15

Family

ID=78009384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110645871.9A Withdrawn CN113505810A (zh) 2021-06-10 2021-06-10 基于池化视觉Transformer杂草生长周期检测方法

Country Status (1)

Country Link
CN (1) CN113505810A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092799A (zh) * 2021-10-28 2022-02-25 长春工业大学 基于池化视觉Transformer林业害虫识别检测方法
CN114627467A (zh) * 2022-02-22 2022-06-14 华南农业大学 基于改进神经网络的水稻生育期识别方法及系统
CN114821182A (zh) * 2022-05-05 2022-07-29 安徽农业大学 一种水稻生长阶段图像识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092799A (zh) * 2021-10-28 2022-02-25 长春工业大学 基于池化视觉Transformer林业害虫识别检测方法
CN114627467A (zh) * 2022-02-22 2022-06-14 华南农业大学 基于改进神经网络的水稻生育期识别方法及系统
CN114627467B (zh) * 2022-02-22 2024-05-10 华南农业大学 基于改进神经网络的水稻生育期识别方法及系统
CN114821182A (zh) * 2022-05-05 2022-07-29 安徽农业大学 一种水稻生长阶段图像识别方法

Similar Documents

Publication Publication Date Title
CN111259850B (zh) 一种融合随机批掩膜和多尺度表征学习的行人重识别方法
WO2021134871A1 (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN108717568B (zh) 一种基于三维卷积神经网络的图像特征提取与训练方法
CN113505810A (zh) 基于池化视觉Transformer杂草生长周期检测方法
Woźniak et al. Adaptive neuro-heuristic hybrid model for fruit peel defects detection
Saedi et al. A deep neural network approach towards real-time on-branch fruit recognition for precision horticulture
Latha et al. Automatic detection of tea leaf diseases using deep convolution neural network
CN108388896A (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN112308158A (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN107122375A (zh) 基于图像特征的图像主体的识别方法
CN106446942A (zh) 基于增量学习的农作物病害识别方法
CN107239514A (zh) 一种基于卷积神经网络的植物识别方法及系统
CN109446922B (zh) 一种实时鲁棒的人脸检测方法
CN104268593A (zh) 一种小样本情况下多稀疏表示的人脸识别方法
CN109117897A (zh) 基于卷积神经网络的图像处理方法、装置及可读存储介质
Sabrol et al. Fuzzy and neural network based tomato plant disease classification using natural outdoor images
CN106845528A (zh) 一种基于K‑means与深度学习的图像分类算法
CN109241813B (zh) 基于判别稀疏保持嵌入的非约束人脸图像降维方法
CN111898406A (zh) 基于焦点损失和多任务级联的人脸检测方法
CN103886335B (zh) 基于模糊粒子群和散射熵的极化sar图像分类方法
Zhan et al. Semi-supervised classification of hyperspectral data based on generative adversarial networks and neighborhood majority voting
CN109214298A (zh) 一种基于深度卷积网络的亚洲女性颜值评分模型方法
Harifi et al. A new pattern for handwritten Persian/Arabic digit recognition
CN109344845A (zh) 一种基于Triplet深度神经网络结构的特征匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211015

WW01 Invention patent application withdrawn after publication