CN115035381A - 一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测方法 - Google Patents

一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测方法 Download PDF

Info

Publication number
CN115035381A
CN115035381A CN202210661898.1A CN202210661898A CN115035381A CN 115035381 A CN115035381 A CN 115035381A CN 202210661898 A CN202210661898 A CN 202210661898A CN 115035381 A CN115035381 A CN 115035381A
Authority
CN
China
Prior art keywords
network
yolov5
detection
target detection
crop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210661898.1A
Other languages
English (en)
Inventor
吴珺
董佳明
刘欣
吴一帆
朱嘉辉
王春枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202210661898.1A priority Critical patent/CN115035381A/zh
Publication of CN115035381A publication Critical patent/CN115035381A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种SN‑YOLOv5的轻量化目标检测网络及农作物采摘检测方法，基于YOLOv5模型，在此基础上使用与原始YOLOv5s相比更加轻便的SN‑YOLOv5网络，使参数量降低到仅有原始YOLOv5的47％且网络宽度以及通道数降为原始YOLOv5s的50％，并增加了一个用于目标检测的检测头以及相匹配的主干、加强特征提取网络层数，同时在网络的关键部分即通道数最大处插入SE注意力机制来提升检测精度，使得在保持检测精度的前提下大大降低网络的复杂度，从而降低对硬件的要求。使得相同设备下进行监控和检测时减少人力资源。

Description

一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测 方法
技术领域
本发明涉及领域为计算机视觉中的目标检测方向，其中具体为一种基于SN-YOLOv5的农作物采摘轻量化目标检测方法。
背景技术
目标检测是计算机视觉中一个具有挑战的领域，其成果已广泛应用到很多领域，其技术本身在农作物检测方面已经有不少的应用，其中包括在无人机上搭载检测或在专用的机器人上搭载检测农作物成熟情况等，由于部分农作物具有较高的时效性，需要尽快发现和今早采摘，所以在此基础上实时目标检测功能是农作物监控当下和未来非常重要的应用方向之一。
由于高性能的计算单元硬件普及尚有困难，且传统机器计算能力有限，这让农作物的目标检测的发展受到了极大的限制，因此在保证精度的前提下使用轻量级的网络减少计算量显得尤为重要。
目前根据是否采用了锚框机制，将基于深度学习的目标识别算法分为有锚框和无锚框两大类，其中在有锚框类算法大致可分为两类。一种是基于两级目标检测方法，另一种是基于一级目标检测的方法。其中两级目标方法将图片分为建议目标候选区域，再对候选区域进行分类，而一级目标方法是直接在网络中提取目标的特征来预测物体分类和位置。
随着YOLO系列网络模型的发展，YOLO系列的检测精度大大提升，但相应的其检测速度有所下降，同时网络的复杂度越来越高，这种情况下的YOLO网络不适合部署在移动设备或传统机器上，而移动设备或传统机器对目标检测应用的需求与日俱增，这就需要一种轻量化的目标检测算法。
发明内容
为了克服上述缺陷，本发明提出了一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测方法，使得相同设备下进行监控和检测时减少人力资源需求也降低硬件资源要求。
本发明所设计的一种SN-YOLOv5的轻量化目标检测网络，其特殊之处在于：
基于YOLOv5网络，将该网络模型通道宽度降低50％；
在主干特征提取网络通道数最大处添加一个CA注意力机制；
增加一目标检测头和相匹配的主干、加强特征提取网络层数，用SPPF结构替代原有的SPP结构，并将SPPF结构移动到主干特征提取网络最后，最终得到改进的SN-YOLOv5网络。
进一步第，CA注意力机制加入的具体操作过程如下：
Step1：沿垂直和水平两个方向进行平均池化，将两个方向上的特征压缩为一个实数；
Step2：将得到的两个方向上特征信息融合，然后进行卷积变换以及非线性激活函数，生成的是在水平和垂直方向上进行编码的中间特征映射；
Step3：将通过卷积变化后的特征图再次沿两个空间方向分解为两个单独的张量和；
Step4：最后把得到的张量经过卷积和激活函数来变换为符合输出的通道数的张量，然后输出到主干特征提取网络中下一模块。
更进一步地，使用FLOPs和参数量来衡量算法和模型的复杂度，FLOPs的定义如下所示，其中k是卷积核的大小，Hout，Wout分别为输出特征图的高和宽，Cin，Cout分别是输入特征图的通道数和输出特征图的通道数；
FLOPs＝k2*Hout*Wout*Cin*Cout
同样的有参数量Parameters的和FLOPs的关系
FLOPs＝Parameters*Hout*Wout。
基于同一发明构思，本发明还设计了一种基于SN-YOLOv5的轻量化目标检测网络的农作物采摘检测方法，其特殊之处在于，包括以下步骤：
步骤一：获取农作物图像，进行预处理；
步骤二：将步骤一中处理好的图像数据集按8:1:1的比例，划分为训练集、验证集和测试集；
步骤三：将步骤二中划分的训练集、验证集和测试集格式规范化处理为像素大小相同的图片；
步骤四：将步骤三中得到的训练集图像使用一个特殊的卷积代替以前版本中使用的Focus结构来获取特征，将得到的特征图根据其成熟程度分类输入到SN-YOLOv5模型的主干特征提取网络进行特征提取；
步骤五：根据步骤四得到的特征对验证集回归预测与定位，用于在训练过程中检验模型的状态，收敛情况，并得出图像中农作物成熟状态分级信息的预测结果，以及预测的精确度、召回率和目标检测精度；
步骤六：将步骤五训练好的SN-YOLOv5网络模型在测试集上进行测试，当SN-YOLOv5网络模型的检测精度大于90％时，可以认为该模型训练可行，当检测精度小于90％的时候，应当获取更多图像数据从而扩充训练集的数量用来提高训练精度，返回步骤二重新开始。
进一步地，农作物成熟状态分为三类，已成熟、即将成熟、未成熟，对此给予可视化锚框用于区分农作物的成熟程度，并将即将成熟和未成熟的检测目标返回步骤一、二中加入数据集以提高检测效果。
本发明的优点在于：
1)降低了网络模型通道数，使得网络模型轻量化，这有助于计算性能不强的设备搭载这种网络。
2)新增主干、加强特征提取网络层数提取不同分辨率特征图，根据新增网络所获取的特征新增一个检测头，新检头可以检测不同于原有网络检测头的不同分辨率的目标。
3)插入CA注意力机制，CA注意力机制在垂直和水平两个方向上分别获取特征映射，有助于获得空间上特征关系，帮助提升检测精度。
4)将注意力插入在关键位置，CA注意力机制插入在通道数最大的地方对整体的检测精度帮助最大。
5)将SPP结构替换为SPPF结构，SPPF结构可以用更少的计算量实现与SPP结构相同的效果，更大程度的帮助网络轻量化。
本发明提出的SN-YOLOv5网络模型属于一级目标类型的目标检测算法，由于省略了对候选框的生成，使得本算法的检测速度本身就对于两级目标有着不小的提升。
附图说明
图1是技术流程示意图。
图2是本发明一种基于SN-YOLOv5的农作物采摘轻量化目标检测方法中SN-YOLOv5网络结构图和基本YOLOv5s网络结构图的对比图。
图3是注意力模块CA结构图。
图4是Conv、C3模块结构图。
图5是SPP替换为SPPF示意图。
图6是本发明一种基于SN-YOLOv5的农作物采摘轻量化目标检测方法的流程图。
具体实施方式
下面将结合本发明的附图，对本发明实施例中的技术方案进行详细的说明。所举实例仅是本发明可使用方向的一部分实例，而不是全部实例，基于本发明中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所设计的SN-YOLOv5轻量化目标检测网络代替以往使用的YOLOv5s网络模型，通过对进行如下设计，使其更适合轻量化的需求：
一：网络模型通道宽度降低，如表1所示，左侧为原版YOLOv5主干网络模块参数量，右侧为SN-YOLOv5模块参数量。SN-YOLOv5虽然网络层数有所增加，但网络结构的主干特征提取网络对应层数通道数仅有YOLOv5s的50％，相应的每层的参数量相应减少，整体网络参数量也为YOLOv5s的47％，同时将这使得整个网络更加轻量化；
表1
Figure BDA0003690842000000031
二：在主干特征提取网络中增加一个CA注意力机制，以弥补缩小通道数和网络宽度带来的检测精度降低；
三：将CA注意力机制插入在主干特征提取网络通道数最大处，使得注意力发挥最佳效果。
四：新增主干、加强特征提取网络层数提取不同分辨率特征图，根据新增网络所获取的特征新增一个检测头，新检测头可以检测不同于原有网络检测头的不同分辨率的目标，同样是作用于提升目标检测精度。
五：如表1所示，将SPP结构替换为SPPF结构，可以用更少的计算量实现相同的功能，并将SPPF结构移动到主干特征提取网络最后，保证其更好的融合不同分辨率的特征。
CA注意力机制的作用是从水平和垂直两个空间方向上获取到每个特征通道的重要程度，然后用这个重要程度去给每一个特征通道赋予一个权重值，从而让网络重点关注某些特征通道，整体步骤如图3所示，其结构会进行以下操作：
Step1：沿垂直和水平两个方向进行平均池化，将两个方向上的特征压缩为一个实数，因为这个实数是根据原有特征的值算出来的，所以在一定程度上具有全局的感受野，这一步公式如下：
Figure BDA0003690842000000041
Figure BDA0003690842000000042
Step2：将得到的两个方向上特征信息融合，然后进行卷积变换以及非线性激活函数，生成的是在水平和垂直方向上进行编码的中间特征映射，公式如下：
f＝δ(F1([zh,zw]))
Step3：将通过卷积变化后的特征图再次沿两个空间方向分解为两个单独的张量和，公式如下：
gh＝σ(Fh(fh))
gw＝σ(Fw(fw))
Step4：最后把得到的张量经过卷积和激活函数来变换为符合输出的通道数的张量，然后输出到主干特征提取网络中下一模块，最终输出公式如下：
Figure BDA0003690842000000043
网络模型具有一些其他模块，如图4和图5所示包括Conv结构、C3结构、SPP结构、SPPF结构。Conv结构为基本卷积模块，由普通卷积层、批标准化层以及激活函数组成。C3结构包括了残差结构和三个卷积，可以起到减少一些参数的作用。SPP结构是原版网络中使用的融合不同分辨率的特征的结构，得到更多的信息帮助检测，SPPF结构是优化版的SPP结构，在SPP结构中使用了5*5、9*9、13*13的三个池化核，而SPPF中只使用了3个5*5的池化核，将两个5*5池化和串行连接达到和9*9池化核相同效果，13*13池化核同理为三个5*5池化核串行连接，而在计算量的层面上，SPPF结构有显著的下降。
本发明使用FLOPs和参数量来衡量算法和模型的复杂度，FLOPs的定义如下式所示，其中k是卷积核的大小，Hout，Wout分别为输出特征图的高和宽，Cin，Cout分别是输入特征图的通道数和输出特征图的通道数。
FLOPs＝k2*Hout*Wout*Cin*Cout
参数量Parameters和FLOPs的关系
FLOPs＝Parameters*Hout*Wout
本发明使用SN-YOLOv5网络代替基本YOLOv5s网络，替换后除了主干网络通道数由512减少到256即降低为原本来50％和模型总体参数量降低为47％以外，FLOPs也降低为30％，但相应的检测精度略有下降。所以在这种轻量化方法的同时，SN-YOLOv5网络增加了一个用于目标检测的检测头以及相匹配的主干、加强特征提取网络层数，由3个检测头变为4个，同时在网络通道数最大处新增了注意力机制，从而挽回了一定程度上的目标检测精度的损失，此外将SPP结构替换SPPF结构，更大程度的上的降低了网络复杂度。
如图1所示，本发明提出了一种基于SN-YOLOv5的农作物采摘轻量化目标检测方法，其基本实现流程如下：
农作物图像收集步骤：
通过无人机或传统农作工具上增加摄影设备在范围比较宽广不易人力检测的农田中，对苹果、桃子、茶叶等采摘实时性较强的农作物拍摄获取高清图像。
图像分析步骤：
步骤一：通过无人机或传统农作工具上增加摄影设备获取高清图像，基于获取的苹果、桃子、茶叶或其他农作物图像的分布特点以及自身形状的特征，对收集到的图像数据进行数据清洗与格式转换，去除掉无法分辨的图像的质量，并转化为网络可以处理的格式，然后根据农作物成熟程度对图像数据通过标注软件进行相应的标注为已成熟、即将成熟、未成熟三类，帮助网络训练数据；
步骤二：将步骤一中处理好的图像数据集按8:1:1的比例，划分为训练集、验证集和测试集；
步骤三：将步骤二中划分的训练集、验证集和测试集格式规范化处理为640*640或1024*1024像素大小的图片，具体像素应根据实际拍摄结果选择；
步骤四：将步骤三中得到的训练集图像输入到SN-YOLOv5模型的主干特征提取网络进行特征提取；
步骤五：根据步骤四得到的特征对验证集回归预测与定位，用于在训练过程中检验模型的状态，收敛情况，并得出图像中苹果、桃子、茶叶等农作物的数量、成熟状态分级信息的预测结果，以及预测的精确度、召回率和目标检测精度；
步骤六：将步骤五训练好的SN-YOLOv5网络模型在测试集上进行测试，当SN-YOLOv5网络模型的检测精度大于90％时，可以认为该模型训练可行，当检测精度小于90％的时候，应当获取更多图像数据从而扩充训练集的数量用来提高训练精度，返回步骤二重新开始。
反馈农作物成熟状态步骤：
所述步骤五中，得到检测的农作物的成熟状态分为三类，已成熟、即将成熟、未成熟，对此给予可视化锚框用于区分农作物的成熟程度，并将即将成熟和未成熟的检测目标返回步骤一、二中加入数据集以提高检测效果。
发出采摘指令步骤：
将所述反馈农作物成熟状态步骤中进行分类的检测目标标记为已成熟的部分，向人力或机器采摘员标记出可采摘的目标并发出采摘指令，并在发出指令后同样将已成熟目标返回步骤一、二中加入数据集以提高检测效果。
综上所述，仅为本发明其中一例具体应用方案，但本发明的保护范围不仅限于此，任何熟悉本技术领域的技术人员在本发明揭示的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或者改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种SN-YOLOv5的轻量化目标检测网络，其特征在于：
基于YOLOv5网络，将该网络模型通道宽度降低50％；
在主干特征提取网络通道数最大处添加一个CA注意力机制；
增加一目标检测头和相匹配的主干、加强特征提取网络层数，用SPPF结构替代原有的SPP结构，并将SPPF结构移动到主干特征提取网络最后，最终得到改进的SN-YOLOv5网络，SPPF结构具有3个5*5的池化核。
2.根据权利要求1所述的基于SN-YOLOv5的轻量化目标检测网络，其特征在于：CA注意力机制加入的具体操作过程如下：
Step1：沿垂直和水平两个方向进行平均池化，将两个方向上的特征压缩为一个实数；
Step2：将得到的两个方向上特征信息融合，然后进行卷积变换以及非线性激活函数，生成的是在水平和垂直方向上进行编码的中间特征映射；
Step3：将通过卷积变化后的特征图再次沿两个空间方向分解为两个单独的张量和；
Step4：最后把得到的张量经过卷积和激活函数来变换为符合输出的通道数的张量，然后输出到主干特征提取网络中下一模块。
3.根据权利2所述的基于SN-YOLOv5的轻量化目标检测网络，其特征在于：
使用FLOPs和参数量来衡量算法和模型的复杂度，FLOPs的定义如下所示，其中k是卷积核的大小，Hout，Wout分别为输出特征图的高和宽，Cin，Cout分别是输入特征图的通道数和输出特征图的通道数；
FLOPs＝k2*Hout*Wout*Cin*Cout
参数量Parameters和FLOPs的关系
FLOPs＝Parameters*Hout*Wout。
4.一种基于SN-YOLOv5的轻量化目标检测网络的农作物采摘检测方法，其特征在于，包括以下步骤：
步骤一：获取农作物图像，进行预处理；
步骤二：将步骤一中处理好的图像数据集按8:1:1的比例，划分为训练集、验证集和测试集；
步骤三：将步骤二中划分的训练集、验证集和测试集格式规范化处理为像素大小相同的图片；
步骤四：将步骤三中得到的训练集图像使用一个特殊的卷积代替以前版本中使用的Focus结构来获取特征，将得到的特征图根据其成熟程度分类输入到SN-YOLOv5模型的主干特征提取网络进行特征提取；
步骤五：根据步骤四得到的特征对验证集回归预测与定位，用于在训练过程中检验模型的状态，收敛情况，并得出图像中农作物成熟状态分级信息的预测结果，以及预测的精确度、召回率和目标检测精度；
步骤六：将步骤五训练好的SN-YOLOv5网络模型在测试集上进行测试，当SN-YOLOv5网络模型的检测精度大于90％时，可以认为该模型训练可行，当检测精度小于90％的时候，应当获取更多图像数据从而扩充训练集的数量用来提高训练精度，返回步骤二重新开始。
5.根据权利要求1所述的基于SN-YOLOv5的轻量化目标检测网络的农作物采摘检测方法，其特征在于：
农作物成熟状态分为三类，已成熟、即将成熟、未成熟，对此给予可视化锚框用于区分农作物的成熟程度，并将即将成熟和未成熟的检测目标返回步骤一、二中加入数据集以提高检测效果。
CN202210661898.1A 2022-06-13 2022-06-13 一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测方法 Pending CN115035381A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210661898.1A CN115035381A (zh) 2022-06-13 2022-06-13 一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210661898.1A CN115035381A (zh) 2022-06-13 2022-06-13 一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测方法

Publications (1)

Publication Number Publication Date
CN115035381A true CN115035381A (zh) 2022-09-09

Family

ID=83125336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210661898.1A Pending CN115035381A (zh) 2022-06-13 2022-06-13 一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测方法

Country Status (1)

Country Link
CN (1) CN115035381A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502810A (zh) * 2023-06-28 2023-07-28 威胜信息技术股份有限公司 一种基于图像识别的标准化生产监测方法
CN117237448A (zh) * 2023-08-11 2023-12-15 北京交通大学 一种基于机器视觉的列车融合定位方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502810A (zh) * 2023-06-28 2023-07-28 威胜信息技术股份有限公司 一种基于图像识别的标准化生产监测方法
CN116502810B (zh) * 2023-06-28 2023-11-03 威胜信息技术股份有限公司 一种基于图像识别的标准化生产监测方法
CN117237448A (zh) * 2023-08-11 2023-12-15 北京交通大学 一种基于机器视觉的列车融合定位方法及装置

Similar Documents

Publication Publication Date Title
US11783569B2 (en) Method for classifying hyperspectral images on basis of adaptive multi-scale feature extraction model
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN109166094B (zh) 一种基于深度学习的绝缘子故障定位识别方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN111739075A (zh) 一种结合多尺度注意力的深层网络肺部纹理识别方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN115035381A (zh) 一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测方法
CN113780211A (zh) 一种基于改进型Yolov4-tiny的轻量级飞机检测方法
CN111507413B (zh) 一种基于字典学习的城市管理案件图像识别方法
CN110348357A (zh) 一种基于深度卷积神经网络的快速目标检测方法
WO2021208423A1 (zh) 一种基于pca学习的显卡接口机器测试方法
CN112507904B (zh) 一种基于多尺度特征的教室人体姿态实时检测方法
CN112749663B (zh) 基于物联网和ccnn模型的农业果实成熟度检测系统
CN114495029A (zh) 一种基于改进YOLOv4的交通目标检测方法及系统
CN110895697A (zh) 变压器铭牌信息采集方法及智能采集系统
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN111008570B (zh) 一种基于压缩-激励伪三维网络的视频理解方法
CN114972208A (zh) 一种基于YOLOv4的轻量化小麦赤霉病检测方法
CN113902904B (zh) 一种轻量化网络架构系统
CN115937736A (zh) 基于注意力和上下文感知的小目标检测方法
CN115100681A (zh) 一种衣着识别方法、系统、介质及设备
CN111046861B (zh) 识别红外影像的方法、构建识别模型的方法及应用
CN114120359A (zh) 一种基于堆叠沙漏网络的群养猪体尺测量方法
CN112560668A (zh) 一种基于场景先验知识的人体行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination