CN115393715A - 一种基于机器视觉的穴盘种子漏播检测方法 - Google Patents

一种基于机器视觉的穴盘种子漏播检测方法 Download PDF

Info

Publication number
CN115393715A
CN115393715A CN202211028769.5A CN202211028769A CN115393715A CN 115393715 A CN115393715 A CN 115393715A CN 202211028769 A CN202211028769 A CN 202211028769A CN 115393715 A CN115393715 A CN 115393715A
Authority
CN
China
Prior art keywords
training
channel
layer
input
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211028769.5A
Other languages
English (en)
Inventor
郝凤琦
高露露
赵景波
白金强
许敬尧
房桐
胡振
杜保帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Qingdao University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology, Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Qingdao University of Technology
Priority to CN202211028769.5A priority Critical patent/CN115393715A/zh
Publication of CN115393715A publication Critical patent/CN115393715A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于机器视觉的穴盘种子漏播检测方法，属于智慧农业的技术领域，利用改进的训练网络实现穴盘的识别分类任务；并且提供了一种应用于穴盘种子漏播检测中模型训练的训练网络，包括一种改进的注意力机制ResNet网络，通过添加注意机制模块，对经典的残差网络进行优化，构建了新的残差模块，并且通过引入CBAM注意力机制模块，来指导模型更专注于提取更多的信息特征，提高识别分类的准确率，从而提高穴盘育苗的机械化程度，为种苗移栽提供了技术支撑，促使经济作物种植逐渐工厂化，提高了经济作物的种植效率和经济效益。

Description

一种基于机器视觉的穴盘种子漏播检测方法
技术领域
本发明涉及智慧农业技术领域，具体涉及一种基于机器视觉的穴盘种子漏播检测方法。
背景技术
甜玉米是玉米基因突变产生的甜质型玉米。甜玉米口味甘甜多汁且因含多种维生素和矿物质被冠以“水果玉米”、“蔬菜玉米”之称。因比普通玉米营养丰富、口感鲜甜常被用于制作玉米罐头出口，因此甜玉米越来越受消费者的青睐。加之甜玉米生长期短、经济效益高等特点成为广大种植户的首选经济作物。目前，我国已成为生产甜玉米的主要国家，甜玉米产业在我国有着巨大的市场潜力和开发前景。而甜玉米的种植主要有两种，分别为大田机械播种模式和穴盘育苗移栽模式。穴盘育苗移栽模式成活率高、秧苗质量高、环保、操作简单且易于推广。因此业内在大批量生产玉米苗时，多采用穴盘育苗移栽模式，先进行穴盘播种育苗，而后进行移栽、种植，如图1、图2所示。
育苗效率的提高是穴盘种植业发展的目标。由于甜玉米种子本身干瘪，形态、大小不一，如图3所示。播种机播种后，会有5％～20％的空穴率，漏播空穴如图4所示。空穴需耗费大量人力进行补种，人工补种环节如图5所示。空穴补种需花费大量人力和时间，严重影响种植效率，故实现穴盘漏播检测是十分必要的。穴盘育苗移栽实现了经济作物的机械化育苗，为后期的种苗移栽提供了技术支撑。促使经济作物种植逐渐工厂化，并大大提高了经济作物的种植效率和经济效益。
现有技术中，公开号为CN112042325A的专利文件中公开一种基于机器视觉的大葱三粒穴盘育苗漏播检测方法，首先将播种后的穴盘进行网格化，每个穴盘孔看作是一个方格，然后按照方格进行穴盘分割，通过大量的数据集进行预训练，然后通过卷积神经网络对分割后的每一个穴盘孔进行识别,利用大葱包衣种子与基质在颜色上的差别,经过卷积神经网络的卷积层、池化层和全连接层之后,每个穴盘孔中的大葱种子数量将会被精准识别，利用基本的卷积神经网络进行识别训练，为了保证准确率需要大量的数据集进行预训练，采集大量的相关种子数据集是不易的，且它不能对空穴盘进行识别；在基于机器视觉的穴盘幼苗识别与定位研究一文中，用CCD数字摄像机采集番茄幼苗图像，转换成灰度图像，将幼苗与背景分割得到二值图像，去噪处理后，通过计算每个穴孔中幼苗叶片的面积来确定适合移栽的单元，采用1.8G-1.5R-18B灰度化因子、Otsu法分割幼苗与背景图像效果较好；采用单连通区域法统计幼苗叶片面积,经修正后相对误差小于1.0％，相对误差值平均下降了87.6％，利用Otsu法分割幼苗与背景图像时，分割的阈值需要进行多次实验确定阈值，当光线分布不均匀时，会对分割结果产生较大的影响，虽然对幼苗的识别精度较高，却不能对空穴盘直接进行识别。
发明内容
本发明针对上述问题，提供了一种基于机器视觉的穴盘种子漏播检测方法，利用改进的训练网络实现穴盘的识别分类任务；并且提供了一种应用于穴盘种子漏播检测中模型训练的训练网络，包括一种改进的注意力机制ResNet网络，通过添加注意机制模块，对经典的残差网络进行优化，构建了新的残差模块。并且通过引入CBAM注意力机制模块，来指导模型更专注于提取更多的信息特征，提高识别分类的准确率，从而提高穴盘育苗的机械化程度，为种苗移栽提供了技术支撑，促使经济作物种植逐渐工厂化，提高了经济作物的种植效率和经济效益。
本发明解决技术问题的技术方案为：
一种基于机器视觉的穴盘种子漏播检测方法，包括：
(1)获取原图片：利用工业相机对穴盘进行拍照；
(2)图片剪裁：将采集到的原图片剪裁成单个的穴盘照片；
(3)制作数据集：将裁剪的单穴盘照片进行分类打标签，并制成相应的数据集，数据集包括训练集、验证集、测试集；
(4)模型训练：然后将训练集与验证集输入训练网络中，所述的训练网络为改进的注意力机制ResNet网络，进行图像的二分类模型训练；
(5)模型参数保存：将模型训练中验证精度最好时的模型参数进行保存，至此模型训练结束；
(6)调用模型参数：进行图片预测实验，调用步骤(5)中保存的模型参数作为图片预测网络的模型参数，所述的预测网络根据训练网络得出；
(7)识别穴盘图像：预测网络根据调用的模型参数对输入的测试集进行二分类识别，输出图像的预测结果。
进一步地，一种基于机器视觉的穴盘种子漏播检测方法还包括模型微调：
对训练网络最后一层卷积层的滤波器个数进行训练实验，计算每个滤波器个数训练结果的准确率，并选取准确率最高的滤波器个数作为网络最后一层卷积层的滤波器个数。
一种应用于穴盘种子漏播检测中模型训练的训练网络，包括改进的注意力机制ResNet网络，所述的改进的注意力机制ResNet网络包括依次串联连接的第一层卷积层、最大池化层、多个串联连接的残差模块、全连接层，数据集中的图片作为输入经过第一层卷积层、最大池化层得到相应的输出特征图，此输出特征图作为第一个残差模块的输入，经过多个残差模块的运算后，最后一个残差模块输出图片的细粒度特征，再将图片的细粒度特征输入全连接层进行运算得到分类特征，所述的全连接层为双向全连接层；
建立一个新的双向全连接层。穴盘的识别分类为二分类识别任务，ResNet网络自带的全连接层包含有多个神经元，不适合于二分类识别任务，所以构建一个只有两个神经元的完全连接层，最终通过预测层输出分类结果。
因为预训练过程中网络尽可能地提取图片的特征，神经网络根据特征间的相关性对提取到的特征进行综合归类，将得到的相关参数进行保存。测试实验中，网络根据提取到的特征间的相关性与预训练中全连接层中保存的参数进行参照比对，预测图片的类别，最终通过预测层输出预测结果。穴盘识别任务属于二分类识别，需要将提取到的特征划分为有玉米种子和空穴盘两个类别，所以需要建立全新的双向全连接层。
所述的残差模块包括依次连接的两层卷积层、CBAM注意力模块，且所述的CBAM注意力模块与残差模块的输入跳跃连接，残差模块的输入特征图经过第一层卷积层后卷积计算得到特征图U，特征图U经过第二层卷积层卷积计算得到特征图X，特征图X经过CBAM注意力模块得到输出为特征图X”，特征图X”与跳跃连接输送的输入特征图相结合，作为残差模块的输出；经过多个残差模块对输入的图片依次进行特征提取；
进一步地，为了加快网络的收敛速度，每个卷积层后采用BatchNorm层+Relu激活函数的组合，对每层网络的输入进行规范；
所述的CBAM注意力模块包括顺序串联的SE通道注意力模块与空间注意力模块，其中，输入到本残差块中CBAM注意力模块的特征图X，先沿着通道维度推断出特征图的注意力权重，将SE通道注意力模块得到的权重矩阵与原特征图X相乘得到X'，将带有通道注意力权重的特征图X'，沿着空间维度推断出新的注意力权重，随后将空间注意力模块输出的权重系数与原特征图X'相乘，对特征进行自适应调整得到X”，调整后的输出X”与跳跃连接传输的残差模块的原始输入特征图进行信息融合，作为下一残差模块的输入。
效果为：可以指导模型更专注于提取更多的信息特征，以此来提高模型的识别精度。首先在残差块中引入SE通道注意力模块，利用SE通道注意力模块对输入图像不同通道的特征捕捉，并给捕捉到的特征赋予一个权重值，进而对权重值大的特征图的通道进行提升，抑制权重值小的特征通道。引入SE通道注意力模块后其相应的识别准确率和空穴识别率仍有提升的空间(数据见表2、表3)，随后引入空间注意力模块进行补充，因为SE通道注意力模块进行特征信息提取时，忽略了特征图空间上的特征信息采集。
具体的，SE通道注意力模块包括：
在正常的Ftr(卷积计算)操作后分出了一个旁路分支，在所述旁路分支中输入的特征图X进行squeeze操作，生成通道统计信息z，对通道统计信息z进行excitation操作得到权重矩阵Fex(z，A)，将权重矩阵Fex(z，A)与特征图X进行相乘计算得到X'；
squeeze操作为一个全局平均池化的操作，将一个c通道、h*w的特征图，压成c通道1*1的特征图，即每个二维的特征图变成一个实数，特征通道数不变，可以看作一个C维向量。squeeze操作是为了生成通道统计信息z，统计量zc是第c个输出单元的全局平均池化输出，计算公式为：
Figure BDA0003814382730000051
式(1-1)中，z——特征图X的通道统计信息；
zc——特征图X第c个输出单元的统计量，即特征图X第c个输出单元的全局平均池化输出；
Fsq(·)——squeeze操作；
Xc——第c个未经squeeze和excitation的特征图X的一部分；
h——特征图X的高度；
w——特征图X的宽度；
H——输入的穴盘图片的高度；
W——输入的穴盘图片的宽度；
xc——特征图X中第c个输入特征；
(i,j)的取值是输入的穴盘图片的宽和高；
为了利用squeeze操作中聚集的信息，为了完全捕获通道依赖性，进行excitation操作，包含两个全连接层：先对squeeze操作得到的结果z进行全连接，此时全连接层的权重参数表示为A1，经过第一次全连接后得到C/r维的向量；随后Relu激活，再进行一次全连接，此时全连接层的权重参数表示为A2，第二次的全连接将C/r维的向量变回C维向量，随后进行sigmoid激活得到权重矩阵，计算公式为：
Fex(z,A)＝σ(A2δ(A1z)) (1-2)
式(1-2)中，
A—通道注意力赋予的权重参数；
A1—表示第一个FC层的权重参数；
A2—表示第二个FC层的权重参数；
δ—Relu函数；
σ—Sigmoid函数；
将求得的权重矩阵Fex(z，A)和X进行相乘计算得到特征图X'，用公式表达为：
X'c＝Fscale(xc,Fex(z,A))＝xc×Fex(z,A) (1-3)
式(1-3)中，Fscale——各通道与相应的权重系数相乘；
X'c——X'中第c个通道注意力权重特征，X'c X'；
SE通道注意力模块的效果为：通道注意力模块通过参数A为每个特征通道生成权重，A被学习用来显示建模特征通道间的相关性。不同的通道捕捉的是不同的特征，经过squeeze和excitation操作给每个特征赋予一个权重值，提升权重值大的特征通道，并抑制权重值小的特征通道。
空间注意力模块关注的是最具信息量的部分，即特征区域的位置，是对通道注意力的补充。空间注意力模块是沿着通道轴应用平均池化和最大池化操作，然后将它们连接起来生成一个有效的特征描述符。
具体的，所述的空间注意力模块的输入为通道注意力模块输出的X'，通道注意力模块输出的X'的维数是c*h*w，先分别进行一个全局平均池化和全局最大池化，得到两个1*h*w的特征图，将这两个特征图基于channel做concat操作，特征图在这两层的全连接神经网络参数是共享的；然后经过一个7*7的卷积操作，降维为1*h*w的特征图。再通过Sigmoid函数得到0～1之间的权重系数K；随后权重系数K与输入的特征图X'相乘，得到最终生成的特征图X”，公式表达为：
Figure BDA0003814382730000071
式(1-4)中，f7×7—经过卷积核为7*7卷积后的特征；
Fs avg—对X'全局平均池化后的特征；
Fs max—对X'全局最大池化后的特征。
CBAM注意力模块是通过混合跨通道和空间信息来抽取信息特征，只需沿着通道和空间这两个主要维度来关注有意义的特征。本发明将SE通道注意力模块和空间注意力模块依次通过串行的方式集成到网络中。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
(1)传统的颜色阈值分割识别方法中，因阈值分割对噪声和灰度不均匀很敏感，易造成如图17所示的噪点误识问题，用ResNet神经网络模型进行识别，不仅可以避免此问题，还因残差模块中跳跃连接的存在，可以重复利用提取到的特征，提高识别精度。
(2)引入注意力机制的残差模块，因SE通道注意力模块的存在，可以将检测目标与背景间颜色的差异进一步增大，而空间注意力模块则可以自主找到图片中物体的位置，省去对图片标框的步骤，减少了工作量，更利于网络对目标特征的提取。
(3)图片裁剪为单穴盘进行识别，使得特征提取的区域面积缩小，更利于特征的提取；且可以遍历每一个穴盘，从而增大了穴盘中种子的识别正确率。
附图说明
图1为穴盘育苗照片；
图2为育苗室照片；
图3为甜玉米种子照片；
图4为穴盘漏播的空穴盘照片；
图5为人工补种现场照片；
图6为本发明的识别流程图；
图7为ResNet网络构架图；
图8为SE通道注意力模块原理图；
图9为SE通道注意力模块网络结构图；
图10为空间注意力模块结构图；
图11为本发明CBAM注意力模块的结构图；
图12为本发明残差模块的结构图；
图13为现有技术中残差模块的结构图；
图14实施例中分割前的照片；
图15为实施例分割后的照片；
图16为模型训练对比结果图；
图17为误识别为种子的示意图；
具体实施方式
为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要的限制本发明。
名词解释：
ResNet模型为现有技术中的ResNet网络模型；
SE-ResNet模型为在本发明的改进的注意力机制ResNet网络上保留通道注意力模块而未添加空间注意力模块的ResNet网络模型；
CBAM-ResNet模型即为本发明的技术方案中的改进的注意力机制ResNet网络模型；
所用材料：本实施例中所用到的甜玉米种子是颜色为黄白色的鲁甜105，进行实验的育苗穴盘规格为8*16，为了提高神经网络模型训练的精度，选用与玉米种子颜色差异大的黑色基质与穴盘。
如图6所示，穴盘种子漏播检测方法：
(1)获取原图片：利用工业相机对穴盘进行拍照；
(2)图片剪裁：将采集到的原图片剪裁成单个的穴盘照片，分割前照片如图14所示，分割后的照片如图15所示；
(3)制作数据集：将裁剪的单穴盘照片进行分类打标签，并空穴盘标注为1，反之则为0，并制成相应的数据集，数据集包括训练集、验证集、测试集；具体的，制作数据集时，将标记好的单穴盘数据集按照1：5的比例随机划分为训练集与验证集。由于采集到数据集较少，本发明通过旋转、镜像、增强亮度、增强对比度四个操作来扩大数据集。
旋转操作：原图和标注图都分别旋转60度、270度；
镜像操作：原图和标注图都需要做沿y轴的镜像操作；
增强亮度操作：对每个像素点的三通道值进行同步放大，同时保持通道值在0-255之间；
对比度操作：使图像的灰度级范围放大，从而让图像更加清晰；
通过以上操作扩大数据集，最终训练集中包含1900张训练样本、验证集中包含380张样本。重新准备100张未经过处理的样本图片作为模型测试的测试集。
(4)模型训练：然后将训练集与验证集输入训练网络中，所述的训练网络为改进的注意力机制ResNet网络，进行图像的二分类模型训练；
模型参数设置：
1)穴盘苗图像拆分后图像大小调整为128*128，因此本实施例中公式1-1中的(i，j)取值为(128，128)，输入为3通道，经过BatchNorm层进行归一化处理。
2)本发明的改进的注意力机制ResNet网络模型中学习率设置为0.001(需要经过多次实验确定)，引入SGD优化器，并设置Momentum为0.94(数值需要经过多次实验确定)加速收敛速度，选取crossentropy作为损失函数，在二分类损失函数中应用，交叉熵损失函数为：
Figure BDA0003814382730000101
公式(1-5)中各字母代表的含义如下：
L：损失值；
y：真实的标签值(正类值为1，负类值为0)；
Figure BDA0003814382730000102
概率值,表示真实样本标签和预测概率之间的差值。
由公式(1-5)可知，
Figure BDA0003814382730000103
的值越大，损失函数值越小。
3)本发明的残差模块中，卷积核是3×3大小，步幅设定为1。
4)本发明的改进的注意力机制ResNet网络训练时采取批量方法，batch设置为120，训练次数为16次；
5)最后一层卷积层的滤波器个数：网络的特征提取部分主要由改进的残差模块完成，网络最后一层卷积层的滤波器个数影响网络的精度，特征图尺寸决定卷积层中滤波器个数，即可根据卷积层中输出的特征图的大小选择与之相应的滤波器个数。在CBAM-ResNet的构建中，为了探究滤波器个数对模型性能的影响，最后一层卷积层的滤波器个数分别设置为128/256/512进行模型微调，将数据集分别导入三次微调的模型中训练，三次实验结果如表1所示。
表1不同滤波器的三次实验结果(准确率)
滤波器个数 第一次 第二次 第三次 平均值
128 0.84 0.86 0.84 0.847
256 0.97 0.98 0.96 0.97
512 0.76 0.78 0.77 0.77
准确率＝(TP+TN)/(TP+FP+TN+FN)；
TP：被模型预测为正的正样本，TN：被模型预测为负的负样本，FP：被模型预测为正的负样本，FN：被模型预测为负的正样本。
从表1可知，CBAM-ResNet模型在最后一层卷积层的滤波器个数设置为256时，三次测试中准确率均最高。当滤波器个数设置为128/512时，对空穴盘的识别率降低，会将有种子的穴盘误识为空穴盘，从而增加空穴盘的误识率。实验结果说明滤波器个数为256的CBAM-ResNet模型为本次实验的最优模型。
模型训练结果分析：
对比使用现有技术中的ResNet模型与SE-ResNet模型的性能，模型性能通常是根据精确率、召回率、准确率以及F分数四个指标进行评价。模型经过16次训练结束后的实验结果如表2所示，数值为训练三次所取的平均值。
表2模型评价指标
Model 精确率(P) 召回率(R) 准确率(A) F分数(F)
ResNet 1 0.8440 0.8800 0.9150
SE-ResNet 1 0.9090 0.9300 0.9520
TP：被模型预测为正的正样本，TN：被模型预测为负的负样本，FP：被模型预测为正的负样本，FN：被模型预测为负的正样本；
精确率：P＝TP/(TP+FP),召回率：R＝TP/(TP+FN),准确率：A＝(TP+TN)/(TP+FP+TN+FN),F分数:F＝2*P*R/(P+R)。
由表2可知，两模型的精确率相同的情况下，SE-ResNet模型的准确率提高了0.05，召回率提高了0.065，F分数提高了0.037。SE-ResNet模型在提取图像的特征时，通过提升权重值大的特征通道，抑制权重值小的特征通道，提高了模型的识别分类性能。
SE-ResNet模型的精确率为1是指识别为有种子的穴盘的图片都正确，但是此模型对于有种子穴盘的识别率较低，会有大量的图片被识别为空穴盘，补种时会造成穴盘双粒种子的情况，不利于种子的后期生长；而在穴盘的识别分类任务中，空穴盘的识别准确率是最重要的，所以在SE通道注意力模块后引入空间注意力模块。SE通道注意力模块进行特征信息提取时，忽略了特征图空间上的特征信息采集，即引入空间注意力模块进行补充。
SE-ResNet和CBAM-ResNet两模型16个次数的训练结束后的实验结果如表3所示，数值为训练三次所取的平均值。
表3模型评价指标结果
Model 精确率(P) 召回率(R) 准确率(A) F分数(F)
SE-ResNet 1 0.9090 0.9300 0.9520
CBAM-ResNet 0.9968 0.9675 0.9700 0.9813
从上表3中可以看出，加入空间注意力机制后的CBAM-ResNet模型精确率相较于SE-ResNet模型下降了0.0032，而其准确率提高了0.04，召回率以及F分数分别提高了0.0684和0.0392。SE-ResNet模型的精确率虽为1，但是对有种子的穴盘的识别准确率低，造成了有种子的穴盘被误识别为空穴盘；在穴盘的漏播检测任务中，对空穴盘的检测是最关键的，CBAM-ResNet模型的识别精确率虽然稍低，但是对空穴盘的识别正确率要高于SE-ResNet模型。因此CBAM-ResNet网络的识别分类性能更好，CBAM-ResNet模型更适合于本发明的穴盘识别分类任务。
由图16可知，SE-ResNet模型在经过16个次数的训练后，训练准确率上升至95％到100％之间，但是验证集准确率经过6个次数的训练后，准确率到达100％之后一直保持不变，而其验证损失率也与训练损失率有着较大的差距，这表明SE-ResNet产生了过拟合现象，SE-ResNet模型对这次的穴盘分类识别任务完成的不理想。而从CBAM-ResNet训练的相关曲线可看出，CBAM-ResNet在经过10个次数的训练后，训练准确率与验证准确率均达到95％以上，验证准确率最终达到95％，损失率逐渐下降趋向于0，这些现象说明了CBAM-ResNet在穴盘分类识别任务中的性能好于SE-ResNet的识别性能。并且，CBAM-ResNet验证准确率随着训练准确率的变化逐渐趋于平稳，验证损失率随着训练损失率的减小逐渐下降，网络在16个次数的训练中没有出现过拟合或欠拟合现象，说明CBAM-ResNet的抗过拟合、欠拟合的能力较好。且CBAM-ResNet在4个次数的训练后，训练准确率迅速提升到了90％，说明CBAM-ResNet的收敛速度较快。
从表中数据以及模型训练曲线可知，CBAM-ResNet模型在穴盘识别分类任务中更有优势。注意力机制的引入可使神经网络进行自适应的调整通道流与空间流的权重,从通道和空间上提取了物体更多的信息，从而使得神经网络产生良好的分类效果。
(5)模型参数保存：将模型训练中验证精度最好时的模型参数进行保存，至此模型训练结束；
(6)调用模型参数：进行图片预测实验，调用步骤(5)中保存的模型参数作为图片预测网络的模型参数，所述的预测网络根据训练网络得出；
(7)识别穴盘图像：预测网络根据调用的模型参数对输入的测试集进行二分类识别，输出图像的预测结果。
一种应用于穴盘种子漏播检测中模型训练的训练网络，包括改进的注意力机制ResNet网络，如图7所示，所述的改进的注意力机制ResNet网络包括依次串联连接的第一层卷积层、最大池化层、多个串联连接的残差模块、全连接层，数据集中的图片作为输入经过第一层卷积层、最大池化层得到相应的输出特征图，此输出特征图作为第一个残差模块的输入，经过多个残差模块的运算后，最后一个残差模块输出图片的细粒度特征，再将图片的细粒度特征输入全连接层进行运算得到分类特征，所述的全连接层为双向全连接层；
建立一个新的双向全连接层。穴盘的识别分类为二分类识别任务，ResNet网络自带的全连接层包含有多个神经元，不适合于二分类识别任务，所以构建一个只有两个神经元的完全连接层，最终通过预测层输出分类结果。
因为预训练过程中网络尽可能地提取图片的特征，神经网络根据特征间的相关性对提取到的特征进行综合归类，将得到的相关参数进行保存。测试实验中，网络根据提取到的特征间的相关性与预训练中全连接层中保存的参数进行参照比对，预测图片的类别，最终通过预测层输出预测结果。穴盘识别任务属于二分类识别，需要将提取到的特征划分为有玉米种子和空穴盘两个类别，所以需要建立全新的双向全连接层。
本发明的注意力机制残差模块如图12所示；现有技术中的残差模块的结构图如图13所示。所述的残差模块包括依次连接的两层卷积层、CBAM注意力模块，且所述的CBAM注意力模块与残差模块的输入跳跃连接，残差模块的输入特征图经过第一层卷积层后卷积计算得到特征图U，特征图U经过第二层卷积层卷积计算得到特征图X，特征图X经过CBAM注意力模块得到输出为特征图X”，特征图X”与跳跃连接输送的输入特征图相结合，作为残差模块的输出；经过多个残差模块对输入的图片依次进行特征提取；
进一步地，为了加快网络的收敛速度，每个卷积层后采用BatchNorm层+Relu激活函数的组合，对每层网络的输入进行规范；
所述的CBAM注意力模块包括顺序串联的SE通道注意力模块与空间注意力模块，其中，输入到本残差块中CBAM注意力模块的特征图X，先沿着通道维度推断出特征图的注意力权重，将SE通道注意力模块得到的权重矩阵与原特征图X相乘得到X'，将带有通道注意力权重的特征图X'，沿着空间维度推断出新的注意力权重，随后将空间注意力模块输出的权重系数与原特征图X'相乘，对特征进行自适应调整得到X”，调整后的输出X”与跳跃连接传输的残差模块的原始输入特征图进行信息融合，作为下一残差模块的输入。
效果为：可以指导模型更专注于提取更多的信息特征，以此来提高模型的识别精度。首先在残差块中引入SE通道注意力模块，利用SE通道注意力模块对输入图像不同通道的特征捕捉，并给捕捉到的特征赋予一个权重值，进而对权重值大的特征图的通道进行提升，抑制权重值小的特征通道。引入SE通道注意力模块后其相应的识别准确率和空穴识别率仍有提升的空间(数据见表2、表3)，随后引入空间注意力模块进行补充，因为SE通道注意力模块进行特征信息提取时，忽略了特征图空间上的特征信息采集。
具体的，如图8、图9所示，SE通道注意力模块包括：
在正常的Ftr(卷积计算)操作后分出了一个旁路分支，在所述旁路分支中输入的特征图X进行squeeze操作，生成通道统计信息z，对通道统计信息z进行excitation操作得到权重矩阵Fex(z，A)，将权重矩阵Fex(z，A)与特征图X进行相乘计算得到X'；
squeeze操作为一个全局平均池化的操作，将一个c通道、h*w的特征图，压成c通道1*1的特征图，即每个二维的特征图变成一个实数，特征通道数不变，可以看作一个C维向量。squeeze操作是为了生成通道统计信息z，统计量zc是第c个输出单元的全局平均池化输出，计算公式为：
Figure BDA0003814382730000151
式(1-1)中，z——特征图X的通道统计信息；
zc——特征图X第c个输出单元的统计量，即特征图X第c个输出单元的全局平均池化输出；
Fsq(·)——squeeze操作；
Xc——第c个未经squeeze和excitation的特征图X的一部分；
h——特征图X的高度；
w——特征图X的宽度；
H——输入的穴盘图片的高度；
W——输入的穴盘图片的宽度；
xc——特征图X中第c个输入特征；
(i,j)的取值是输入的穴盘图片的宽和高；
为了利用squeeze操作中聚集的信息，为了完全捕获通道依赖性，进行excitation操作，包含两个全连接层：先对squeeze操作得到的结果z进行全连接，此时全连接层的权重参数表示为A1，经过第一次全连接后得到C/r维的向量；随后Relu激活，再进行一次全连接，此时全连接层的权重参数表示为A2，第二次的全连接将C/r维的向量变回C维向量，随后进行sigmoid激活得到权重矩阵，计算公式为：
Fex(z,A)＝σ(A2δ(A1z)) (1-2)
式(1-2)中，
A—通道注意力赋予的权重参数；
A1—表示第一个FC层的权重参数；
A2—表示第二个FC层的权重参数；
δ—Relu函数；
σ—Sigmoid函数；
将求得的权重矩阵Fex(z，A)和X进行相乘计算得到特征图X'，用公式表达为：
X'c＝Fscale(xc,Fex(z,A))＝xc×Fex(z,A) (1-3)
式(1-3)中，Fscale——各通道与相应的权重系数相乘；
X'c——X'中第c个通道注意力权重特征，X'c X'；
SE通道注意力模块的效果为：通道注意力模块通过参数A为每个特征通道生成权重，A被学习用来显示建模特征通道间的相关性。不同的通道捕捉的是不同的特征，经过squeeze和excitation操作给每个特征赋予一个权重值，提升权重值大的特征通道，并抑制权重值小的特征通道。
如图10所示，空间注意力模块关注的是最具信息量的部分，即特征区域的位置，是对通道注意力的补充。空间注意力模块是沿着通道轴应用平均池化和最大池化操作，然后将它们连接起来生成一个有效的特征描述符。
具体的，所述的空间注意力模块的输入为通道注意力模块输出的X'，通道注意力模块输出的X'的维数是c*h*w，先分别进行一个全局平均池化和全局最大池化，得到两个1*h*w的特征图，将这两个特征图基于channel做concat操作，特征图在这两层的全连接神经网络参数是共享的；然后经过一个7*7的卷积操作，降维为1*h*w的特征图。再通过Sigmoid函数得到0～1之间的权重系数K；随后权重系数K与输入的特征图X'相乘，得到最终生成的特征图X”，公式表达为：
Figure BDA0003814382730000171
式(1-4)中，f7×7—经过卷积核为7*7卷积后的特征；
Fs avg—对X'全局平均池化后的特征；
Fs max—对X'全局最大池化后的特征。
CBAM注意力模块是通过混合跨通道和空间信息来抽取信息特征，只需沿着通道和空间这两个主要维度来关注有意义的特征。本发明将SE通道注意力模块和空间注意力模块依次通过串行的方式集成到网络中，如图11所示。
上述虽然结合附图对发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种应用于穴盘种子漏播检测中模型训练的训练网络，其特征在于，包括改进的注意力机制ResNet网络，所述的改进的注意力机制ResNet网络包括依次串联连接的第一层卷积层、最大池化层、多个串联连接的残差模块、全连接层，数据集中的图片作为输入经过第一层卷积层、最大池化层得到相应的输出特征图，此输出特征图作为第一个残差模块的输入，经过多个残差模块的运算后，最后一个残差模块输出图片的细粒度特征，再将图片的细粒度特征输入全连接层进行运算得到分类特征，所述的全连接层为双向全连接层；
所述的残差模块包括依次连接的两层卷积层、CBAM注意力模块，且所述的CBAM注意力模块与残差模块的输入跳跃连接，残差模块的输入特征图经过第一层卷积层的卷积计算后得到特征图U，特征图U经过第二层卷积层卷积计算得到特征图X，特征图X经过CBAM注意力模块得到输出为特征图X”，特征图X”与跳跃连接输送的输入特征图相结合，作为残差模块的输出；
所述的CBAM注意力模块包括顺序串联的SE通道注意力模块与空间注意力模块。
2.如权利要求1所述的一种应用于穴盘种子漏播检测中模型训练的训练网络，其特征在于，每个卷积层后采用BatchNorm层+Relu激活函数的组合，对每层网络的输入进行规范。
3.如权利要求1所述的一种应用于穴盘种子漏播检测中模型训练的训练网络，其特征在于，输入到本残差块中CBAM注意力模块的特征图X，先沿着通道维度推断出特征图的注意力权重，将SE通道注意力模块得到的权重矩阵与原特征图X相乘得到X'，将带有通道注意力权重的特征图X'，沿着空间维度推断出新的注意力权重，随后将空间注意力模块输出的权重系数与原特征图X'相乘，对特征进行自适应调整得到X”，调整后的输出X”与跳跃连接传输的残差模块的原始输入特征图进行信息融合，作为下一残差模块的输入。
4.如权利要求1、2或3所述的一种应用于穴盘种子漏播检测中模型训练的训练网络，其特征在于，所述的SE通道注意力模块包括：
在正常的Ftr操作后分出了一个旁路分支，在所述旁路分支中输入的特征图X进行squeeze操作，生成通道统计信息z，对通道统计信息z进行excitation操作得到权重矩阵Fex(z，A)，将权重矩阵Fex(z，A)与特征图X进行相乘计算得到X'。
5.如权利要求4所述的一种应用于穴盘种子漏播检测中模型训练的训练网络，其特征在于，所述squeeze操作将一个c通道、h*w的特征图，压成c通道1*1的特征图，生成通道统计信息z，计算公式为：
Figure FDA0003814382720000021
式(1-1)中，z——特征图X的通道统计信息；
zc——特征图X第c个输出单元的统计量，即特征图X第c个输出单元的全局平均池化输出；
Fsq(·)——squeeze操作；
Xc——第c个未经squeeze和excitation的特征图X的一部分；
h——特征图X的高度；
w——特征图X的宽度；
H——输入的穴盘图片的高度；
W——输入的穴盘图片的宽度；
xc——特征图X中第c个输入特征；
(i,j)的取值是输入的穴盘图片的宽和高。
6.如权利要求4所述的一种应用于穴盘种子漏播检测中模型训练的训练网络，其特征在于，所述的excitation操作，包含两个全连接层：先对squeeze操作得到的结果z进行全连接，此时全连接层的权重参数表示为A1，经过第一次全连接后得到C/r维的向量；随后Relu激活，再进行一次全连接，此时全连接层的权重参数表示为A2，第二次的全连接将C/r维的向量变回C维向量，随后进行sigmoid激活得到权重矩阵，计算公式为：
Fex(z,A)＝σ(A2δ(A1z)) (1-2)
式(1-2)中，
A—通道注意力赋予的权重参数；
A1—表示第一个FC层的权重参数；
A2—表示第二个FC层的权重参数；
δ—Relu函数；
σ—Sigmoid函数。
7.如权利要求6所述的一种应用于穴盘种子漏播检测中模型训练的训练网络，其特征在于，所述的X'的计算公式为：
X'c＝Fscale(xc,Fex(z,A))＝xc×Fex(z,A) (1-3)
式(1-3)中，Fscale——各通道与相应的权重系数相乘；
X'c——X'中第c个通道注意力权重特征，X'cX'。
8.如权利要求1、2或3所述的一种应用于穴盘种子漏播检测中模型训练的训练网络，其特征在于，所述的空间注意力模块的输入为通道注意力模块输出的X'，通道注意力模块输出的X'的维数是c*h*w，先分别进行一个全局平均池化和全局最大池化，得到两个1*h*w的特征图，将这两个特征图基于channel做concat操作，特征图在这两层的全连接神经网络参数是共享的，然后经过一个7*7的卷积操作，降维为1*h*w的特征图，再通过Sigmoid函数得到0～1之间的权重系数K；随后权重系数K与输入的特征图X'相乘，得到最终生成的特征图X”，公式表达为：
Figure FDA0003814382720000031
式(1-4)中，f7×7—经过卷积核为7*7卷积后的特征；
Fs avg—对X'全局平均池化后的特征；
Fs max—对X'全局最大池化后的特征。
9.一种基于机器视觉的穴盘种子漏播检测方法，其特征在于，包括：
(1)获取原图片：利用工业相机对穴盘进行拍照；
(2)图片剪裁：将采集到的原图片剪裁成单个的穴盘照片；
(3)制作数据集：将裁剪的单穴盘照片进行分类打标签，并制成相应的数据集，数据集包括训练集、验证集、测试集；
(4)模型训练：然后将训练集与验证集输入所述训练网络中，进行图像的二分类模型训练，所述的训练网络为如权利要求1-8任一项所述的应用于穴盘种子漏播检测中模型训练的训练网络；
(5)模型参数保存：将模型训练中验证精度最好时的模型参数进行保存，至此模型训练结束；
(6)调用模型参数：进行图片预测实验，调用步骤(5)中保存的模型参数作为图片预测网络的模型参数，所述的预测网络根据训练网络得出；
(7)识别穴盘图像：预测网络根据调用的模型参数对输入的测试集进行二分类识别，输出图像的预测结果。
10.如权利要求9所述的一种基于机器视觉的穴盘种子漏播检测方法，其特征在于，还包括模型微调：
对训练网络最后一层卷积层的滤波器个数进行训练实验，计算每个滤波器个数训练结果的准确率，并选取准确率最高的滤波器个数作为网络最后一层卷积层的滤波器个数。
CN202211028769.5A 2022-08-24 2022-08-24 一种基于机器视觉的穴盘种子漏播检测方法 Pending CN115393715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211028769.5A CN115393715A (zh) 2022-08-24 2022-08-24 一种基于机器视觉的穴盘种子漏播检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211028769.5A CN115393715A (zh) 2022-08-24 2022-08-24 一种基于机器视觉的穴盘种子漏播检测方法

Publications (1)

Publication Number Publication Date
CN115393715A true CN115393715A (zh) 2022-11-25

Family

ID=84122980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211028769.5A Pending CN115393715A (zh) 2022-08-24 2022-08-24 一种基于机器视觉的穴盘种子漏播检测方法

Country Status (1)

Country Link
CN (1) CN115393715A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011607A (zh) * 2023-08-08 2023-11-07 安徽农业大学 一种基于注意力残差网络的水稻种子分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011607A (zh) * 2023-08-08 2023-11-07 安徽农业大学 一种基于注意力残差网络的水稻种子分类方法

Similar Documents

Publication Publication Date Title
CN110009043B (zh) 一种基于深度卷积神经网络的病虫害检测方法
CN111611924B (zh) 一种基于深度迁移学习模型的蘑菇识别方法
CN110222215B (zh) 一种基于f-ssd-iv3的作物害虫检测方法
AU2005242157A1 (en) Methods for processing image and/or spectral data for enhanced embryo classification
CN109101891A (zh) 一种融合人工智能的水稻病虫害检测系统及其检测方法
CN111797760A (zh) 基于Retinanet改进的农作物病虫害识别方法
Zhang et al. High-throughput corn ear screening method based on two-pathway convolutional neural network
CN114677606B (zh) 基于注意力机制和双分支网络的柑橘细粒度病害识别方法
CN115393715A (zh) 一种基于机器视觉的穴盘种子漏播检测方法
CN112434662A (zh) 一种基于多尺度卷积神经网络的茶叶病斑自动识别算法
Wenxia et al. Identification of maize leaf diseases using improved convolutional neural network.
CN115292334A (zh) 基于视觉智能种植方法、系统、电子设备及存储介质
CN114596509A (zh) 一种基于机器视觉的水稻秧苗叶龄期识别方法
CN117253122B (zh) 玉米种子近似品种筛选方法、装置、设备及存储介质
CN116977863A (zh) 一种番茄植株病虫害检测方法及检测系统
Mulla et al. Design and implementation of deep learning method for disease identification in plant leaf
CN113989536A (zh) 一种基于布谷鸟搜索算法的番茄病害识别方法
Raveena et al. Clustering-based hemileia vastatrix disease prediction in coffee leaf using deep belief network
CN116071592A (zh) 基于高光谱可增量更新的玉米种子品种鉴定方法及系统
Abhishek et al. Harnessing Deep Learning for Precise Rice Image Classification: Implications for Sustainable Agriculture
CN114937030A (zh) 一种用于智慧农业种植生菜的表型参数计算方法
CN113837039A (zh) 一种基于卷积神经网络的果实生长形态视觉辨识方法
CN112926450A (zh) 一种基于深度信念网络的叶片病害特征识别方法
CN111986149A (zh) 一种基于卷积神经网络的植物病虫害检测方法
Babu et al. Prediction and Analysis of Plant-Leaf Disease in Agricultural by using Image Processing and Machine Learning Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination