CN116258899A - 一种基于自定义轻量型卷积神经网络玉米种穗分类方法 - Google Patents

一种基于自定义轻量型卷积神经网络玉米种穗分类方法 Download PDF

Info

Publication number
CN116258899A
CN116258899A CN202310072702.XA CN202310072702A CN116258899A CN 116258899 A CN116258899 A CN 116258899A CN 202310072702 A CN202310072702 A CN 202310072702A CN 116258899 A CN116258899 A CN 116258899A
Authority
CN
China
Prior art keywords
layer
classification
model
function
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310072702.XA
Other languages
English (en)
Inventor
李永磊
马翔
万里鹏程
宋金玙
宋建农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202310072702.XA priority Critical patent/CN116258899A/zh
Publication of CN116258899A publication Critical patent/CN116258899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于自定义轻量型卷积神经网络玉米种穗分类方法,解决了传统深度学习模型计算成本大、模型可解释性较差等问题,其主要步骤包括:S1、采集玉米种穗图像并构建对应数据集;S2、依据卷积神经网络构建分类模型,包括,输入层,用以对图像进行缩放和归一化并输入模型,特征提取层,用以对输入图像进行特征提取,分类层,用以提取到的分类特征进行分类预测,输出层,用以输出图像预测结果;S3、依据优化训练策略对分类模型进行反复迭代训练和验证,至其各性能指标趋于稳定保存模型;S4、测试步骤S3保存的分类模型,若性能不满足要求则重新进行步骤S3;S5、通过Grad‑CAM算法可视化所述分类模型的分类结果。

Description

一种基于自定义轻量型卷积神经网络玉米种穗分类方法
技术领域
本发明涉及深度学习和图像处理技术领域,具体涉及适用于玉米种穗分选流水线的一种基于自定义轻量型卷积神经网络的玉米种穗分类方法。
背景技术
杂交玉米制种是生产玉米种子的主要方式,杂交种子具有显著的增产效果。在田间生产过程中,由于去雄不彻底和去杂不严格等原因容易生产出不纯或不合格的玉米种子,严重影响玉米种子的纯度和质量。为提高玉米种子的纯度和质量,通常在田间或种子加工厂使用人工通过颜色外观差异来剔除含有杂质和不合格籽粒的异常玉米种穗。异常玉米种穗分选是玉米种子生产线的第一道环节,也是有效分离异常种穗的最后步骤。
而依靠人工凭借目视观察和经验判断完成的方式,存在分选质量受人的主观判断和注意力影响大、分选成本和效率受到劳动力成本和人工分拣效率制约等问题。故迫切需要一种可以代替人工去快速、准确完成玉米种穗分选的新方法,来提高玉米制种的效率和质量。
近年来深度学习和图像处理技术在图像分类领域取得了巨大的成就,为解决玉米种穗分选问题提供了一种新思路。然而,传统卷积神经网络具有庞大的参数量和较深的网络深度,使其不适合解决小样本数据集问题和部署在资源有限的嵌入式设备中。大多数有关深度学习模型的研究只关注性能指标而忽略了计算成本指标,这并不利于深度学习在玉米种子生产线的部署与推广应用。深度学习模型的可解释性较差,研究人员无法确认模型学习的分类特征是否正确。因此,该技术难以在实际应用中进一步推广。
发明内容
本发明要解决的技术问题是克服现有技术存在的缺陷,本发明提出了一种基于自定义轻量型卷积神经网络的玉米种穗分类方法,该方法能在性能和计算成本之间取得良好的平衡,克服传统卷积神经网络模型深度较深、面对小规模数据集泛化能力不足等缺点,提供可视化模型的分类结果来提高模型的可解释性,有利于提高玉米种穗分选的效率和质量。
为解决上述技术问题,本发明采用的技术方案是:一种基于自定义轻量型卷积神经网络玉米种穗分类方法,包括如下步骤:
S1、采集玉米种穗图像并构建对应数据集,所述数据集包括正常玉米种穗图像与异常玉米种穗图像;
S2、依据卷积神经网络构建分类模型,所述分类模型包括,
输入层,用以对步骤S1中的玉米种穗图像进行缩放和归一化并输入模型,
特征提取层,用以对输入层输入的玉米种穗图像进行特征提取,所述特征提取层由五个由浅至深的卷积层块构成,每一所述卷积层块由卷积层、池化层、批量归一化层、激活函数和注意力机制组成,所述卷积层首先对输入的玉米种穗图像进行卷积以提取得到初始特征,随后依次通过池化层、批量归一化层和激活函数对所述初始特征进行下采样、数据分布调整以及非线性增加处理得到分类特征,所述注意力机制用以提取所述分类特征中每个通道的重要程度,
分类层,由全局平均池化层、全连接层和分类器组成,用以对经特征提取层提取到的分类特征进行分类预测,
输出层,用以输出玉米种穗图像的预测结果,预测结果类别包括正常玉米种穗与异常玉米种穗;
S3、依据优化训练策略对所述分类模型进行反复迭代训练和验证,至其各性能指标趋于稳定保存模型;
S4、测试步骤S3保存得到的分类模型,若性能不满足要求则重新进行步骤S3中的训练和验证过程;
S5、通过Grad-CAM算法可视化所述分类模型的分类结果。
进一步地,所述步骤S2中,
输入层中缩放函数为Resize,归一化函数为Normalize;
特征提取层中,卷积层对应卷积函数为Conv2d,池化层对应池化函数为MaxPool2d,批量归一化层对应函数为BatchNorm2d,激活函数为ReLU,注意力机制为Squeeze-and-Excitation Networks;
分类层中,全局平均池化层对应函数为AdaptiveAvgPool2d,全连接层对应函数为Linear,分类器为Softmax分类器。
进一步地,所述注意力机制提取分类特征中每个通道重要程度的步骤如下,
对经过卷积层、池化层、批量归一化层和激活函数提出的分类特征Xc进行挤压,
通过全局平均池化层将分类特征Xc平面维度化,获得通道注意力向量Zc,
对Zc进行激励,通过全局平均池化层、全连接层和ReLU函数捕获特征通道间的权重关系Sc,利用Sigmoid函数将Sc映射到[0,1]区间,
将Sc与Xc对应进行加权,输出特征X′c,计算公式为
X′c=Xcσ(W2δ(W1Zc))
其中,σ表示Sigmoid函数,δ表示ReLU函数,W1和W2分别表示两个全连接层。
进一步地,所述步骤S3中优化训练策略为数据增强与动态学习速率设置,所述数据增强具体步骤如下,
对原始数据集进行离线数据增强获得增强数据集,将增强数据集和原始数据集结合得到新数据集;
将新数据集随机划分为训练集、验证集和测试集,将训练集和验证集中的图像输入分类模型进行训练和验证,同时对输入图像进行在线数据增强;
所述动态学习速率设置具体步骤为,依据模型在不同固定学习速率下的性能和训练过程的变动情况,设置动态学习速率的初始学习速率和衰减周期。
进一步地,所述步骤S3中分类模型训练、验证和保存的具体步骤如下,
利用DataLoader函数为分类模型输入训练集中图像,分类模型计算得出预测值,利用损失函数CrossEntropyLoss计算预测值与真实值之间的损失值,损失值调用Backward函数反向传播更新分类模型参数,训练集中所有图像均训练一遍以后,通过验证集验证该训练周期网络参数的性能;
利用DataLoader函数为分类模型输入验证集中图像,分类模型计算得出预测值,利用损失函数CrossEntropyLoss计算预测值与真实值之间的损失值,依据预测值计算出分类模型各个性能指标;
对分类模型进行反复迭代训练和验证至各性能指标趋于稳定,得到分类模型并保存。
进一步地,所述性能指标包括模型准确率(Accuracy)、精确率(precision)、召回率(recall)和F1分数(F1-score),各性能指标的计算公式如下,
Figure BDA0004065173680000031
Figure BDA0004065173680000032
Figure BDA0004065173680000033
Figure BDA0004065173680000034
其中,TP表示正确识别的正样本,FP表示错误识别的负样本,FN表示错误识别的正样本,TN表示正确识别的负样本。
进一步地,所述步骤S4中Grad-CAM算法可视化分类结果的具体步骤如下,
对某一类别的预测结果进行反向传播,得到反传回的某一特征层的梯度信息;
求解梯度信息在宽和高两个维度的均值,得到每个通道的重要程度;
对该特征层每个通道的数据进行加权求和,并通过ReLU激活函数得到Grad-CAM热力图,将热力图和原图叠加得到最终的可视化结果,Grad-CAM计算公式为,
Figure BDA0004065173680000041
其中,A表示某个特征层;k表示特征层A中的第k个通道;c表示类别c;Ak表示特征层A中通道k的数据;αc k表示Ak的权重;yc表示类别c的预测值;Ak ij表示特征层A在通道k中(i,j)处的数据;Z表示特征层的宽度×高度。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述所述的基于自定义轻量型卷积神经网络玉米种穗分类方法的步骤。
一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时用于实现上述所述的基于自定义轻量型卷积神经网络玉米种穗分类方法的步骤。
与现有技术相比,本发明的有益效果包括:
(1)该方法在模型性能和计算成本之间取得良好的平衡,满足玉米种穗分选流水线的部署要求;
(2)与传统的深层网络模型相比,该方法能在小数据集上获得更好的泛化能力;
(3)图像采集装置能够获取与实际应用中产生的图像具有一致特征的玉米种穗图像,有利于减少模型训练所需的数据量,从而提高实际应用中深度学习部署的效率;
(4)对数据增强和动态学习速率两种训练策略进行了优化,提高了模型性能和训练效率;
(5)使用可视化算法解释了模型的分类结果,提高了模型的可解释性。
附图说明
参照附图来说明本发明的公开内容。应当了解,附图仅仅用于说明目的,而并非意在对本发明的保护范围构成限制。在附图中,相同的附图标记用于指代相同的部件。其中:
图1示意性显示了根据本发明一个实施方式提出的总体方法流程图;
图2示意性显示了根据本发明一个实施方式提出的正常玉米种穗图像示意图;
图3示意性显示了根据本发明一个实施方式提出的异常玉米种穗图像示意图;
图4示意性显示了根据本发明一个实施方式提出的分类模型的网络结构图;
图5示意性显示了根据本发明一个实施方式提出的模型分类可视化结果图,其中(a)为一张图像中仅有一种类别的玉米种穗的可视化结果,(b)为一张图像中有两个类别的玉米种穗的可视化结果。
具体实施方式
容易理解,根据本发明的技术方案,在不变更本发明实质精神下,本领域的一般技术人员可以提出可相互替换的多种结构方式以及实现方式。因此,以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明,而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。
根据本发明的一实施方式结合图1-图5示出。
如图1所示,本发明的一种基于自定义轻量型卷积神经网络的玉米种穗分类方法,包括以下步骤:
S1、搭建图像采集装置采集玉米种穗图像,构建玉米种穗数据集;
玉米种穗的实际的分选作业生产中,工作人员只关心该种穗是否为需要剔除的异常种穗,并不关心异常种穗的具体类型,因此将玉米种穗的类别即数据集划分为正常和异常玉米种穗两类。如图2所示,正常玉米种穗的表型特性相对一致,如籽粒饱满有光泽、穗行整齐和整体颜色均匀。如图3所示,异常玉米种穗的表型与正常玉米种穗的表型差异较大,如色斑、整穗颜色不均匀、色差、籽粒干瘪、穗行杂乱和霉变。为了保证采集得到的图像与实际生产中的图像具有一致的特征,图像采集装置的搭建参考实际的玉米种穗分选流水线。其中,工业相机位于传送带正上方20~40cm,传送带背景色为黑色,传送带速度为0.4~1m/s。图像采集装置工作的具体流程为:玉米种穗在传送带上移动,经过特定的位置后触发关电传感器,关电传感器硬触发工业相机采集图像。为特定的应用场景开发深度学习模型时,使用该方法有利于减少模型训练所需的数据量,提高模型的泛化能力和在实际应用中模型部署的效率。最后,利用图像采集装置采集得到520张玉米种穗图像作为模型训练的数据集,其中,正常玉米种穗图像170张,异常玉米种穗图像350张。
S2、设计基于卷积神经网络的分类模型用于玉米种穗图像分类;
为了满足玉米种穗分选流水线对模型高性能和低计算成本的要求,本发明自定义了一个新型轻量级卷积神经网络用于玉米种穗分类,取名为CornNet。CornNet的网络结构如图4所示,CornNet由输入层、特征提取层、分类层和输出层组成。
(1)输入层向模型输入缩放和归一化后的图像。其中缩放函数为Resize,缩放后图像尺寸为224×224×3;归一化函数为Normalize,归一化所用的通道均值和标准差为[0.485,0.456,0.406]和[0.229,0.224,0.225]。
(2)特征提取层由五个卷积层块组成,每个卷积层块由卷积层、池化层、批量归一化层、激活函数和注意力机制模块组成。其中卷积层的卷积函数为Conv2d,卷积核大小为3×3,padding为1;池化层的池化函数为MaxPool2d,池化核大小为2×2,步长为2;批量归一化层的函数为BatchNorm2d;激活函数为ReLU函数;注意力机制为“Squeeze-and-Excitation Networks”(SE)。
(3)分类层由全局平均池化层、全连接层和分类器组成。其中全局平均池化层的函数为AdaptiveAvgPool2d;全连接层的函数为Linear,输入神经元个数为128,输出神经元个数为2;分类器为Softmax分类器。输出层输出玉米种穗图像的预测结果,预测结果的类别为正常玉米种穗和异常玉米种穗。
具有更深网络结构的模型能够学习更复杂的特征关系,代价是参数量和计算成本的增加。然而,其面临数据不足时容易导致局部优化和模型的过度拟合。CornNet减少了卷积层数、全连接层数和卷积层中的通道数来减少参数量和模型深度,以提高模型对小规模数据集的适应性和泛化能力。
五个卷积层块中卷积层个数和通道数分别为1、1、1、1、1和3-8、8-16、16-32、32-64、64-128。CornNet使用全局平均池化层来代替传统分类层中第一个全连接层。一个优点是,它通过强制执行特征图和类别之间的对应关系,更符合卷积结构的特点。另一个优点是,其中没有参数需要优化,不仅有利于减少模型参数量,还可以有效避免过度拟合。
SE注意力机制可以让模型自动学习每个特征通道的重要性,使其专注于特定的特征通道,从而提高模型的特征提取能力。批量归一化层利用每一小批输入的平均值和标准差来不断调整每个神经网络层的中间输出,加快了网络模型的前向传播,有效避免模型发生梯度消失。
结合上述所述,注意力机制提取分类特征中每个通道重要程度的步骤如下,
对经过卷积层、池化层、批量归一化层和激活函数提出的分类特征Xc进行挤压,
通过全局平均池化层获得通道注意力向量Zc,即通过平均池化层将分类特征进行平面维度化,
对Zc进行激励,通过全局平均池化层、全连接层和ReLU函数捕获特征通道间的权重关系Sc,利用Sigmoid函数将Sc映射到[0,1]区间,
将Sc与Xc对应进行加权,输出特征X′c,计算公式为
X′c=Xcσ(W2δ(W1Zc))
其中,σ表示Sigmoid函数,δ表示ReLU函数,W1和W2分别表示两个全连接层
S3、基于改进训练策略训练和验证步骤S2中设计的模型,并保存模型;
在本发明实施例中,为了进一步提高模型性能和训练效率,对传统的数据增强和动态学习速率两种训练策略进行优化。具体操作过程如下:
数据增强是一种从有限数据中产生更多有效数据的方法,可以提高训练样本的数量和多样性,能够防止模型过度拟合并提高泛化能力,其可分为在线数据增强和离线数据增强。离线数据增强有利于直接扩大原始数据集的样本量,但会显著增加模型训练的计算成本和时间成本。在线数据增强可以增加训练图像的多样性而不增加数据集的图像数量,但其效果取决于原始数据集的样本数量。针对离线和在线数据增强的优缺点,本发明提出了一种综合数据增强策略。
首先,通过离线数据增强对原始数据集进行扩展,以三种不同的方式预处理图像(即水平翻转、垂直翻转和随机旋转)。将增强后的图像与原始图像结合起来,构建了一个包含2080张图像的新数据集(640张正常玉米种穗和1400张异常玉米种穗)。然后,新数据集被随机分为三组:训练集(60%)、验证集(20%)和测试集(20%),每组数据集中正常与异常玉米种穗图像的比例为17:35。最后,训练集和验证集被输入模型进行训练和验证时,使用在线数据增强进一步增强数据特征的多样性,对输入模型的每批次图像均使用亮度调节、高斯模糊和随机裁剪等预处理方法。
学习速率是卷积神经网络中重要的超参数,决定了模型权重参数的更新率。学习速率过高或过低都会对模型训练产生负面影响,凭借经验也很难获取学习速率的最佳值。针对该问题,本发明提出通过预实验分析不同固定学习速率下模型性能和训练过程的变动情况,来合理设置动态学习速率的初始学习速率和衰减周期。通过分析固定学习速率为0.1、0.01、0.001、0.0001和0.00001的模型性能和训练过程的波动情况,学习速率为0.01、0.001和0.0001时,模型可以快速收敛,准确率高,损失值低,但训练过程权重参数更新波动较大。学习速率为0.00001时,模型训练过程平稳,无明显波动,但收敛时间较长。最终,确定初始学习速率为0.01,在第2、3、10周期衰减十倍。
具体而言,分类模型训练、验证和保存的具体过程为:
(1)输入层利用DataLoader函数将训练集中玉米种穗图像输入特征提取层,图像尺寸缩放为224×224×3,并进行归一化处理,每批次输入的图像数量为8张。
(2)特征提取层中由浅至深的五个卷积层块对玉米种穗图像进行特征提取,每个卷积层块的处理过程如下,先通过卷积层对输入图像进行卷积以提取分类特征,再通过池化层对分类特征进行下采样以减少特征的空间维度和位置敏感性,再通过批量归一化层调整分类特征的数据分布来保证参数更新的稳定性和防止发生梯度消失,再通过激活函数增加分类特征的非线性,最后通过SE注意力机制提取分类特征每个通道的重要程度。
(3)提取完分类特征后,分类层进行分类预测,先将分类特征输入全局平均池化层对其每个通道求平均值以获取全局感受野,再通过全连接层将所有特征整合为带有类别信息的两个特征,最后将特征输入分类器Softmax中得到预测值。由损失函数CrossEntropyLoss计算预测值与真实值之间的损失值,损失值调用Backward函数反向传播更新网络模型参数。训练集中所有图像均训练一遍以后,使用验证集验证该训练周期网络参数的性能。利用DataLoader函数为模型输入验证图像,模型计算得出预测值,损失函数CrossEntropyLoss计算预测值与真实值之间的损失值,根据预测值计算出模型准确率(Accuracy)、精确率(precision)、召回率(recall)和F1分数(F1-score)等性能指标。
各性能指标的计算公式如下,
Figure BDA0004065173680000081
Figure BDA0004065173680000082
Figure BDA0004065173680000083
Figure BDA0004065173680000084
其中,TP表示正确识别的正样本,FP表示错误识别的负样本,FN表示错误识别的正样本,TN表示正确识别的负样本。
(4)反复迭代训练和验证过程直至各性能指标趋于稳定,得到玉米种穗的分类模型并保存。
S4,采用测试集测试保存得到的分类模型;
在本发明实施例中,采用测试集中的玉米种穗图像测试步骤S3得到的分类模型,若模型性能不能满足要求,则重新进行模型训练,直到模型性能满足要求。最终,CornNet在准确率、F1分数、模型大小和FLOPs方面表现良好,分别为98.56%、98.93%、0.42MB和0.07G,表明其在模型性能和计算成本之间取得了良好的平衡。
S5,利用Grad-CAM算法可视化分类模型分类结果;
在本发明实施例中,采用Grad-CAM算法可视化模型的分类结果,来验证模型学习的分类特征是否正确。玉米种穗的图像输入保存得到的模型中得到预测值,将该图像类别的预测值进行反向传播,得到反传回的某一特征层的梯度信息,然后求解梯度信息在宽和高两个维度的均值得到每个通道的重要程度,再对该特征层每个通道的数据进行加权求和,最后通过ReLU激活函数得到Grad-CAM热力图,将热力图和原图叠加得到最终的可视化结果。
Grad-CAM计算公式为,
Figure BDA0004065173680000091
其中,A表示某个特征层;k表示特征层A中的第k个通道;c表示类别c;Ak表示特征层A中通道k的数据;αc k表示Ak的权重;yc表示类别c的预测值;Ak ij表示特征层A在通道k中(i,j)处的数据;Z表示特征层的宽度×高度。
可视化结果如图5所示,图5(a)为对仅有一个类别的玉米种穗的图像进行可视化,模型对正常玉米种穗的关注区域相对一致,对应了正常玉米种穗的表型特征相对一致;模型对每个异常玉米种穗的关注区域均不同,模型提取了每个异常种穗的独特特征,并且模型的关注点均在籽粒上,忽略了背景和玉米穗等其它因素。图5(b)为对有两个类别玉米种穗的图像进行可视化,模型在提取一个类别的玉米种穗的特征时可以完全避开另一个类别的玉米种穗。上述结果表明,模型可以学习到正确的分类特征。
同样的,本实施例还提供一种电子设备,该电子设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器调用程序指令能够执行上述一种基于自定义轻量级卷积神经网络的玉米种穗分类方法的步骤,并能达到上述方法一致的技术效果。
同样的,本实施例还提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被至少一个处理器执行时实现上述一种基于自定义轻量级卷积神经网络的玉米种穗分类方法的步骤,并能达到上述方法一致的技术效果。
本发明提供了一种基于自定义轻量级卷积神经网络的玉米种穗分类方法,自定义了一种新型轻量级卷积神经网络模型,优化了传统的训练策略,使用Grad-CAM算法可视化模型分类结果。玉米种穗分类实验表明,针对小规模样本的玉米种穗数据集,相比于具有更深网络深度的深度学习模型,该方法能在模型性能和计算成本之间取得良好的平衡,获得更优的泛化能力,有利于模型在玉米种穗分选流水线上的部署;本发明提出的两种优化训练策略能有效的提升模型性能和训练效率,相比于传统的训练策略,可分别提升3.07~16.08%和0.26~30.91%的分类准确率;本发明利用Grad-CAM算法可视化了模型分类结果,提供了模型的可解释性,验证了模型所学习分类特征的正确性。
本发明的技术范围不仅仅局限于上述说明中的内容,本领域技术人员可以在不脱离本发明技术思想的前提下,对上述实施例进行多种变形和修改,而这些变形和修改均应当属于本发明的保护范围内。

Claims (9)

1.一种基于自定义轻量型卷积神经网络玉米种穗分类方法,其特征在于,包括如下步骤:
S1、采集玉米种穗图像并构建对应数据集,所述数据集包括正常玉米种穗图像与异常玉米种穗图像;
S2、依据卷积神经网络构建分类模型,所述分类模型包括,
输入层,用以对步骤S1中的玉米种穗图像进行缩放和归一化并输入模型;
特征提取层,用以对输入层输入的玉米种穗图像进行特征提取,所述特征提取层由五个由浅至深的卷积层块构成,每一所述卷积层块由卷积层、池化层、批量归一化层、激活函数和注意力机制组成,所述卷积层首先对输入的玉米种穗图像进行卷积以提取得到初始特征,随后依次通过池化层、批量归一化层和激活函数对所述初始特征进行下采样、数据分布调整以及非线性增加处理得到分类特征,所述注意力机制用以提取所述分类特征中每个通道的重要程度,
分类层,由全局平均池化层、全连接层和分类器组成,用以对经特征提取层提取到的分类特征进行分类预测,
输出层,用以输出玉米种穗图像的预测结果,预测结果类别包括正常玉米种穗与异常玉米种穗;
S3、依据优化训练策略对所述分类模型进行反复迭代训练和验证,至其各性能指标趋于稳定保存模型;
S4、测试步骤S3保存得到的分类模型,若性能不满足要求则重新进行步骤S3中的训练和验证过程;
S5、通过Grad-CAM算法可视化所述分类模型的分类结果。
2.根据权利要求1所述的一种基于自定义轻量型卷积神经网络玉米种穗分类方法,其特征在于:所述步骤S2中,
输入层中缩放函数为Resize,归一化函数为Normalize;
特征提取层中,卷积层对应卷积函数为Conv2d,池化层对应池化函数为MaxPool2d,批量归一化层对应函数为BatchNorm2d,激活函数为ReLU,注意力机制为Squeeze-and-Excitation Networks;
分类层中,全局平均池化层对应函数为AdaptiveAvgPool2d,全连接层对应函数为Linear,分类器为Softmax分类器。
3.根据权利要求1所述的一种基于自定义轻量型卷积神经网络玉米种穗分类方法,其特征在于:所述注意力机制提取分类特征中每个通道重要程度的步骤如下,
对经过卷积层、池化层、批量归一化层和激活函数提出的分类特征Xc进行挤压,
通过全局平均池化层将分类特征Xc平面维度化,获得通道注意力向量Zc,
对Zc进行激励,通过全局平均池化层、全连接层和ReLU函数捕获特征通道间的权重关系Sc,利用Sigmoid函数将Sc映射到[0,1]区间,
将Sc与Xc对应进行加权,输出特征X′c,计算公式为
X′c=Xcσ(W2δ(W1Zc))
其中,σ表示Sigmoid函数,δ表示ReLU函数,W1和W2分别表示两个全连接层。
4.根据权利要求1所述的一种基于自定义轻量型卷积神经网络玉米种穗分类方法,其特征在于:所述步骤S3中优化训练策略为数据增强与动态学习速率设置,所述数据增强具体步骤如下,
对原始数据集进行离线数据增强获得增强数据集,将增强数据集和原始数据集结合得到新数据集;
将新数据集随机划分为训练集、验证集和测试集,将训练集和验证集中的图像输入分类模型进行训练和验证,同时对输入图像进行在线数据增强;
所述动态学习速率设置具体步骤为,依据模型在不同固定学习速率下的性能和训练过程的变动情况,设置动态学习速率的初始学习速率和衰减周期。
5.根据权利要求4所述的一种基于自定义轻量型卷积神经网络玉米种穗分类方法,其特征在于:所述步骤S3中分类模型训练、验证和保存的具体步骤如下,
利用DataLoader函数为分类模型输入训练集图像,分类模型计算得出预测值,利用损失函数CrossEntropyLoss计算预测值与真实值之间的损失值,损失值调用Backward函数反向传播更新分类模型参数,训练集中所有图像均训练一遍以后,通过验证集验证该训练周期网络参数的性能;
利用DataLoader函数为分类模型输入验证集图像,分类模型计算得出预测值,利用损失函数CrossEntropyLoss计算预测值与真实值之间的损失值,依据预测值计算出分类模型各个性能指标;
对分类模型进行反复迭代训练和验证至各性能指标趋于稳定,得到分类模型并保存。
6.根据权利要求1所述的一种基于自定义轻量型卷积神经网络玉米种穗分类方法,其特征在于:所述性能指标包括模型准确率(Accuracy)、精确率(precision)、召回率(recall)和F1分数(F1-score),各性能指标的计算公式如下,
Figure QLYQS_1
Figure QLYQS_2
Figure QLYQS_3
Figure QLYQS_4
其中,TP表示正确识别的正样本,FP表示错误识别的负样本,FN表示错误识别的正样本,TN表示正确识别的负样本。
7.根据权利要求1所述的一种基于自定义轻量型卷积神经网络玉米种穗分类方法,其特征在于:所述步骤S4中Grad-CAM算法可视化分类结果的具体步骤如下,
对某一类别的预测结果进行反向传播,得到反传回的某一特征层的梯度信息;
求解梯度信息在宽和高两个维度的均值,得到每个通道的重要程度;
对该特征层每个通道的数据进行加权求和,并通过ReLU激活函数得到Grad-CAM热力图,将热力图和原图叠加得到最终的可视化结果,Grad-CAM计算公式为,
Figure QLYQS_5
其中,A表示某个特征层;k表示特征层A中的第k个通道;c表示类别c;Ak表示特征层A中通道k的数据;αc k表示Ak的权重;yc表示类别c的预测值;Ak ij表示特征层A在通道k中(i,j)处的数据;Z表示特征层的宽度×高度。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述程序时实现如权利要求1至8任一项所述的基于自定义轻量型卷积神经网络玉米种穗分类方法的步骤。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时用于实现上述权利要求1至8任一项所述的基于自定义轻量型卷积神经网络玉米种穗分类方法的步骤。
CN202310072702.XA 2023-02-07 2023-02-07 一种基于自定义轻量型卷积神经网络玉米种穗分类方法 Pending CN116258899A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310072702.XA CN116258899A (zh) 2023-02-07 2023-02-07 一种基于自定义轻量型卷积神经网络玉米种穗分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310072702.XA CN116258899A (zh) 2023-02-07 2023-02-07 一种基于自定义轻量型卷积神经网络玉米种穗分类方法

Publications (1)

Publication Number Publication Date
CN116258899A true CN116258899A (zh) 2023-06-13

Family

ID=86687332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310072702.XA Pending CN116258899A (zh) 2023-02-07 2023-02-07 一种基于自定义轻量型卷积神经网络玉米种穗分类方法

Country Status (1)

Country Link
CN (1) CN116258899A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253122A (zh) * 2023-11-17 2023-12-19 云南大学 玉米种子近似品种筛选方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253122A (zh) * 2023-11-17 2023-12-19 云南大学 玉米种子近似品种筛选方法、装置、设备及存储介质
CN117253122B (zh) * 2023-11-17 2024-01-23 云南大学 玉米种子近似品种筛选方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN106228185B (zh) 一种基于神经网络的通用图像分类识别系统及方法
CN111414942B (zh) 一种基于主动学习和卷积神经网络的遥感图像分类方法
CN108875674B (zh) 一种基于多列融合卷积神经网络的驾驶员行为识别方法
CN107977932B (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN110348399B (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
CN110728224A (zh) 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
CN109785344A (zh) 基于特征重标定的双通路残差网络的遥感图像分割方法
CN108520213B (zh) 一种基于多尺度深度的人脸美丽预测方法
CN108665005A (zh) 一种利用dcgan提高基于cnn图像识别性能的方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN106600595A (zh) 一种基于人工智能算法的人体特征尺寸自动测量方法
Sabrol et al. Fuzzy and neural network based tomato plant disease classification using natural outdoor images
CN106650667A (zh) 一种基于支持向量机的行人检测方法及系统
CN110070116A (zh) 基于深度树状训练策略的分段式选择集成图像分类方法
CN112633257A (zh) 基于改良卷积神经网络的马铃薯病害识别方法
CN116258899A (zh) 一种基于自定义轻量型卷积神经网络玉米种穗分类方法
CN112070720A (zh) 一种基于深度学习模型的变电站设备缺陷识别方法
CN114266757A (zh) 一种基于多尺度融合注意力机制的糖尿病性视网膜病变分级方法
CN112766283A (zh) 一种基于多尺度卷积网络的两相流流型识别方法
CN114795178B (zh) 一种基于多注意力神经网络的大脑状态解码方法
CN110766082B (zh) 一种基于迁移学习的植物叶片病虫害程度分类方法
CN116883393A (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination