CN116311042A - 一种改进yolo模型的智能草坪修剪机目标检测方法 - Google Patents

一种改进yolo模型的智能草坪修剪机目标检测方法 Download PDF

Info

Publication number
CN116311042A
CN116311042A CN202310157841.2A CN202310157841A CN116311042A CN 116311042 A CN116311042 A CN 116311042A CN 202310157841 A CN202310157841 A CN 202310157841A CN 116311042 A CN116311042 A CN 116311042A
Authority
CN
China
Prior art keywords
model
target detection
module
lawn mower
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310157841.2A
Other languages
English (en)
Inventor
郭志军
向中华
王丁健
芦宇航
李威
桓京博
张鹏
方正
李亦轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Science and Technology
Original Assignee
Henan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Science and Technology filed Critical Henan University of Science and Technology
Priority to CN202310157841.2A priority Critical patent/CN116311042A/zh
Publication of CN116311042A publication Critical patent/CN116311042A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种改进YOLO模型的智能草坪修剪机目标检测方法。通过采集草坪环境图像，制作带有标签的草坪障碍物数据集，并进行数据增强预处理；使用数据集训练改进后的模型，保存模型权重，进行测试集的推理。本方法主要对YOLOX‑s目标检测模型进行改进，设计了轻量化的主干网络，使用了精确度更高的特征融合网络，优化了损失函数；通过与原目标检测模型的数据进行对比，本发明的智能草坪修剪机目标检测方法具有轻量化的特点，均衡了速度与精度，利于部署在智能草坪修剪机的视觉模块中。

Description

一种改进YOLO模型的智能草坪修剪机目标检测方法
技术领域
本发明属于计算机视觉的目标检测领域，具体涉及一种改进YOLO模型的智能草坪修剪机目标检测方法，主要应用在智能草坪修剪机的视觉模块中。
背景技术
随着城市化的发展，城市绿化显得越来越重要。其中，覆盖面积快速增长的公园草坪已是城市绿化最为重要的一部分。草坪维护的可靠程度，决定着一座城市的形象表现。随着城市草坪绿化的推进和草坪维护的需要，各式各样的草坪修剪机也在得到了快速的发展。作为园林设备的重要组成部分，草坪修剪机等草坪维护机械已经走过了50多年的发展历程。传统的草坪维护依赖大量的劳动力，并且传统草坪修剪机工作噪音较大，影响人们的生活和健康。此外，由于草坪环境复杂、植被种类多样化、地面坡度起伏，草坪维护人员在使用传统草坪修剪机时，如果工作人员疏忽大意，草坪修剪机可能发生侧翻，对生命的安全造成危害。目前，园林设备中存在着一部分自动草坪修剪机，在一定程度上降低了劳动成本，但依旧未达到自主工作的要求。因此，需要提高草坪修剪机的智能化水平，实现草坪修剪机的自动化作业，以减少人员成本，降低不必要的风险发生概率。
计算机科学技术的发展和AloT边缘计算芯片的进步为草坪修剪机的智能化提供了解决方案。基于回归方法的目标检测是单阶段的，其取消了候选区域提取的过程，而是直接进行位置和类别的预测。相比基于区域候选框的两阶段目标检测，基于回归方法目标检测的评价指标mAP有所降低，但算法的推理速度大大提高。为提高单阶段目标检测算法的mAP值，算法模型往往被设计的较大、参数量较多，不利于边缘设备的部署。此外，AloT结合了人工智能和物联网技术，使人工智能算法部署在实际场景中成为了可能。相较于桌面端的计算芯片，AloT边缘设备的芯片计算能力弱，不能很好的均衡速度和精度。
发明内容
本发明的目的是提供一种改进YOLO模型的智能草坪修剪机目标检测方法，在减少目标检测算法参数量的同时，均衡速度和精度，有利于在智能草坪修剪机上部署。。
为了实现上述目的，本发明所采用的技术方案是：一种改进YOLO模型的智能草坪修剪机目标检测方法，包括如下步骤：
步骤一，构建草坪环境数据集：采集草坪环境的视频，将视频拆分为图片作为数据集；标注数据集图片的矩形框信息和类别信息；将草坪环境数据集划分为模型训练所用的训练集和验证集以及模型推理所用的测试集；
步骤二，搭建智能草坪修剪机目标检测模型：模型中，主干特征提取网络采用Shuffle模块作轻量化改进；构建AM-AFPAN特征融合模块保证模型的精度；
步骤三，将步骤一的训练集图片输入到步骤二的目标检测模型中，利用GPU对模型进行网络训练；当所有训练集图片经过网络计算后，将验证集图片输入模型中进行验证；训练和验证过程反复循环，直至达到设定的循环次数并保存模型的权重文件；
步骤四，输出目标检测结果：加载模型权重，将草坪数据集的测试集图片送入模型进行推理，得到预测矩形框并进行非极大值抑制，输出最终的目标检测结果。
在步骤一中，对采集的不同类别的样本进行预处理，以增强模型的泛化能力。
在步骤一中，将草坪环境数据集按照8:1:1的比例划分为训练集、验证集和测试集。
在步骤二构建主干特征提取网络过程中，利用Shuffle_unit模块替换CSP1_X模块中的Res_unit模块，由1x1分组卷积GConv与通道混洗Channel Shuffle组成GBS_Shuffle模块，利于GBS_Shuffle模块替换主干网络及模型其它部分的1x1普通卷积，利用深度可分离卷积替换采样操作中的3x3普通卷积。
在步骤二构建特征融合模块中，在特征金字塔部分添加自适应注意力模块AAM和特征增强模块FEM，在自底向上的路径聚合部分采用自适应融合的方式。
在步骤三中，将目标检测模型的位置损失函数修改为DIOU损失函数。
步骤三的网络训练中，一个批次的图片经过主干特征提取网络提取特征，再由AM-AFPAN模块融合特征，然后经过检测头输出置信度、位置和类别信息，送入DIOU损失函数进行计算，完成前向传播过程；采用随机梯度下降算法，学习率采用余弦退火率的动态调整方式，完成反向传播过程。
在步骤四中，将步骤三得到的模型权重文件加载到推理文件中，将草坪数据集的测试集图片送入模型进行推理；在进行特征提取、特征聚合后，由检测头输出可能包含障碍物的矩形框坐标，得到预测矩形框；利用非极大值抑制算法去除冗余的预测矩形框，将剩下的矩形框在原图上画出并显示类别，输出最终的目标检测结果。
本发明的有益效果是：（1）构建BottleneckShuffle模块来压缩模型，在保证降低网络维度的同时，大幅度减少了模型的参数量。
（2）利于GBS_Shuffle模块替换主干网络及模型其它部分的1x1普通卷积，减少了通道之间的约束，提高了模型的精度。
（3）将下采样操作中的3x3普通卷积替换为3x3的深度可分离卷积，降低了模型的复杂度并减少了参数量。
（4）构建AM-AFPAN特征融合模块，自适应学习每个特征图中的不同感受野，保证压缩模型的精度，有效的权衡了模型的速度和精度。
（5）本发明提出了一种改进YOLO模型的智能草坪修剪机目标检测方法，减少了参数量，提高了目标检测速度，为目标算法在智能草坪修剪机上部署提供了有利条件。
附图说明
图1为本发明智能草坪修剪机目标检测流程图；
图2为本发明网络结构图；
图3为本发明Bottleneck_Shuffle模块结构图；
图4为本发明GBS_Shuffle模块结构图；
图5为本发明Shuffle_unit模块结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明，但并不作为对发明做任何限制的依据。
结合图1的目标检测流程图，本发明所提出的一种改进YOLO模型的智能草坪修剪机目标检测方法，具体包括以下步骤：
步骤一，构建草坪环境数据集：利用IMX219摄像头模块采集草坪环境的视频，使用openCV工具包将视频每隔15FPS保存一张图片作为数据集图片；利用labelImg对数据集图片按照VOC数据集格式进行人工标注，标注出每张数据集图片的矩形框信息和类别信息，通过openCV工具包对采集不同类别样本进行添加噪声、模糊、翻转和改变亮度等数据预处理方式来促进草坪图像数据的多样性，从而减少因草坪中物体类别样本量少而导致的模型泛化能力不足，同时提高鲁棒性，增强模型的泛化能力。数据集最终包含人、灌木、乔木、草坪照明灯和消防栓等类别，将草坪环境数据集按照8:1:1的比例划分为训练集、验证集和测试集，其中训练集和验证集为模型训练所用，测试集为模型推理所用。
数据预处理的名称与方式具体如下：
Figure SMS_1
步骤二，搭建智能草坪修剪机目标检测模型：（1）搭建如图2所示的目标检测模型网络结构，采用Bottleneck_Shuffle模块构建主干特征提取网络来提取图像特征。其中，Bottleneck_Shuffle模块的结构如图3所示，该模块主要由图4，图5所示的结构组成。
智能草坪修剪机实际运行时，需要保证目标检测的速度与精度，而普通目标检测算法模型往往被设计的较大、参数量较多，实际运行时难以达到实时目标检测的要求，不利于在智能草坪修剪机上的部署。因此基于YOLOX-s模型改进了一种轻量化的目标检测模型，适用于智能草坪修剪机的工作要求，在提高检测速度的同时，也保证了目标检测的精度。
YOLOX-s模型，特别是在主干网络中采用大量的1x1卷积来压缩通道数，从而使网络的复杂度降低，但输入的通道数一般较高，1x1卷积也占用了大量的计算，从而增加了模型的参数量。
为降低卷积造成的参数量多所带来的影响，首先，利用Shuffle_unit模块替换CSP1_X模块中的Res_unit模块，其次，由1x1分组卷积GConv与通道混洗Channel Shuffle组成GBS_Shuffle模块，利于GBS_Shuffle模块替换主干网络及模型其它部分的1x1普通卷积；最后利用深度可分离卷积替换下采样操作中的3x3普通卷积；从而构建出BottleneckShuffle模块。
Res_unit模块的FLOPs为：
Figure SMS_2
Shuffle_unit模块的FLOPs为：
Figure SMS_3
式中，h为特征图的高，w为特征图的宽，c为输入通道数和输出通道数，g为分组卷积的组数。
由此可见，相比于Res_unit模块，采用Shuffle_unit模块的计算量约降低了5g倍。
当416x416尺寸的图片输入主干网络后，主干网络进行特征提取，三个不同尺寸的特征图分别从第4个、第7个、第8个Bottleneck_Shuffle模块输出，之后再进行特征融合。
（2）构建如图2所示的特征融合网络AM-AFPAN，融合主干网络提取的三个特征图。对第8个Bottleneck_Shuffle模块输出的特征图送入自适应注意力模块AAM，生成包含多尺度上下文信息的新特征图，将新的特征图与第8个Bottleneck_Shuffle模块输出的特征图进行通道上的堆叠。将堆叠后的特征图送入特征增强模块FEM，以提高多尺度目标检测的准确性。再进行上采样使特征图尺寸扩大一倍，同时压缩通道数减少网络参数，将上采样后的特征图与第7个Bottleneck_Shuffle模块输出的特征图在通道维度上进行堆叠。
在自底向上的路径聚合部分采用自适应融合的方式，对两个特征增强模块FEM输出的特征层进行自适应逐元素相加，该方法有效地提高了模型的目标检测精度。
步骤三，智能草坪修剪机目标检测模型训练过程的操作为：（1）在YOLOX-s模型代码的基础上修改为步骤二所述目标检测模型的代码，特别是主干部分和特征融合部分的代码。为减小计算量，将位置损失函数修改为DIOU损失函数，此损失函数同时考虑了面积和距离因素，并且能直接最小化两个矩形框之间的距离，因此模型的收敛速度更快。
DIOU的表达式为：
Figure SMS_4
式中，IOU为预测框与真实框的交并比，d为预测框与真实框的中心点距离，c为预测框与真实框的对角线距离。
模型的损失函数主要由置信度损失函数Lossconf、位置损失函数LossDIOU、类别损失函数Losscls组成，即：
Figure SMS_5
其中：
Figure SMS_6
Figure SMS_7
Figure SMS_8
式中，
Figure SMS_9
、/>
Figure SMS_10
分别取1或0，即第i个单元格的第j个锚框处是否有目标；s 2表示特征图的尺寸；N表示为锚框的个数；/>
Figure SMS_11
、/>
Figure SMS_12
分别表示真实框和预测框的类别概率；/>
Figure SMS_13
、/>
Figure SMS_14
分别表示真实框和预测框的置信度。
（2）训练过程：如图1所示，当一个批次的图片经过Bottleneck_Shuffle主干提取特征，AM-AFPAN模块融合特征，将输出的信息送入损失函数进行计算，再进行反向传播过程。当整个训练集的训练过程结束后，将验证集图片输入模型中进行验证。训练和验证过程反复循环，直至达到最大迭代次数，在此过程中网络利用设定的优化器不断地将损失函数值降低。最后，保存模型的权重文件。
步骤四，输出目标检测结果：如图1所示，将步骤三得到的模型权重加载到推理文件中，将草坪数据集的测试集图片送入模型进行推理。在进行特征提取、特征聚合后，由检测头输出可能包含障碍物的矩形框坐标，得到预测矩形框，与测试集标注矩形框进行计算，得到评价指标mAP值。利用非极大值抑制算法去除冗余的预测矩形框，将剩下的矩形框在原图上画出并显示类别，输出最终的目标检测结果。
相比于YOLOX-s目标检测算法模型，经改进后模型最终的参数量评价与mAP值为：
Figure SMS_15
由此可见，虽然模型的评价指标mAP降低了3.58%，反映出目标检测的精确度小幅度下降；但经过改进后，模型的参数量降低了5.5倍，权衡了速度和精度，使模型更有利用部署在智能草坪修剪机的视觉模块中。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，所属领域的普通技术人员应当理解，参照上述实施例可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换均在申请待批的权利要求保护范围之内。

Claims (8)

1.一种改进YOLO模型的智能草坪修剪机目标检测方法，其特征在于，包括如下步骤：
步骤一，构建草坪环境数据集：采集草坪环境的视频，将视频拆分为图片作为数据集；标注数据集图片的矩形框信息和类别信息；将草坪环境数据集划分为模型训练所用的训练集和验证集以及模型推理所用的测试集；
步骤二，搭建智能草坪修剪机目标检测模型：模型中，主干特征提取网络采用Shuffle模块作轻量化改进；构建AM-AFPAN特征融合模块保证模型的精度；
步骤三，将步骤一的训练集图片输入到步骤二的目标检测模型中，利用GPU对模型进行网络训练；当所有训练集图片经过网络计算后，将验证集图片输入模型中进行验证；训练和验证过程反复循环，直至达到设定的循环次数并保存模型的权重文件；
步骤四，输出目标检测结果：加载模型权重，将草坪数据集的测试集图片送入模型进行推理，得到预测矩形框并进行非极大值抑制，输出最终的目标检测结果。
2.根据权利要求1所述的一种改进YOLO模型的智能草坪修剪机目标检测方法，其特征在于：在步骤一中，对采集的不同类别的样本进行预处理，以增强模型的泛化能力。
3.根据权利要求1所述的一种改进YOLO模型的智能草坪修剪机目标检测方法，其特征在于：在步骤一中，将草坪环境数据集按照8:1:1的比例划分为训练集、验证集和测试集。
4.根据权利要求1所述的一种改进YOLO模型的智能草坪修剪机目标检测方法，其特征在于：在步骤二构建主干特征提取网络过程中，利用Shuffle_unit模块替换CSP1_X模块中的Res_unit模块，由1x1分组卷积GConv与通道混洗Channel Shuffle组成GBS_Shuffle模块，利于GBS_Shuffle模块替换主干网络及模型其它部分的1x1普通卷积，利用深度可分离卷积替换采样操作中的3x3普通卷积。
5.根据权利要求1所述的一种改进YOLO模型的智能草坪修剪机目标检测方法，其特征在于：在步骤二构建特征融合模块中，在特征金字塔部分添加自适应注意力模块AAM和特征增强模块FEM，在自底向上的路径聚合部分采用自适应融合的方式。
6.根据权利要求1所述的一种改进YOLO模型的智能草坪修剪机目标检测方法，其特征在于：在步骤三中，将目标检测模型的位置损失函数修改为DIOU损失函数。
7.根据权利要求6所述的一种改进YOLO模型的智能草坪修剪机目标检测方法，其特征在于：步骤三的网络训练中，一个批次的图片经过主干特征提取网络提取特征，再由AM-AFPAN模块融合特征，然后经过检测头输出置信度、位置和类别信息，送入DIOU损失函数进行计算，完成前向传播过程；采用随机梯度下降算法，学习率采用余弦退火率的动态调整方式，完成反向传播过程。
8.根据权利要求1所述的一种改进YOLO模型的智能草坪修剪机目标检测方法，其特征在于：在步骤四中，将步骤三得到的模型权重文件加载到推理文件中，将草坪数据集的测试集图片送入模型进行推理；在进行特征提取、特征聚合后，由检测头输出可能包含障碍物的矩形框坐标，得到预测矩形框；利用非极大值抑制算法去除冗余的预测矩形框，将剩下的矩形框在原图上画出并显示类别，输出最终的目标检测结果。
CN202310157841.2A 2023-02-23 2023-02-23 一种改进yolo模型的智能草坪修剪机目标检测方法 Pending CN116311042A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310157841.2A CN116311042A (zh) 2023-02-23 2023-02-23 一种改进yolo模型的智能草坪修剪机目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310157841.2A CN116311042A (zh) 2023-02-23 2023-02-23 一种改进yolo模型的智能草坪修剪机目标检测方法

Publications (1)

Publication Number Publication Date
CN116311042A true CN116311042A (zh) 2023-06-23

Family

ID=86816115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310157841.2A Pending CN116311042A (zh) 2023-02-23 2023-02-23 一种改进yolo模型的智能草坪修剪机目标检测方法

Country Status (1)

Country Link
CN (1) CN116311042A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704267A (zh) * 2023-08-01 2023-09-05 成都斐正能达科技有限责任公司 一种基于改进yolox算法的深度学习3d打印缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704267A (zh) * 2023-08-01 2023-09-05 成都斐正能达科技有限责任公司 一种基于改进yolox算法的深度学习3d打印缺陷检测方法
CN116704267B (zh) * 2023-08-01 2023-10-27 成都斐正能达科技有限责任公司 一种基于改进yolox算法的深度学习3d打印缺陷检测方法

Similar Documents

Publication Publication Date Title
CN110929578B (zh) 一种基于注意力机制的抗遮挡行人检测方法
CN108564097B (zh) 一种基于深度卷积神经网络的多尺度目标检测方法
CN112906485B (zh) 基于改进的yolo模型的视障人士辅助障碍物感知方法
CN114022432B (zh) 基于改进的yolov5的绝缘子缺陷检测方法
CN113807464B (zh) 基于改进yolo v5的无人机航拍图像目标检测方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN112464911A (zh) 基于改进YOLOv3-tiny的交通标志检测与识别方法
CN113850242B (zh) 一种基于深度学习算法的仓储异常目标检测方法及系统
CN109522938A (zh) 一种基于深度学习的图像中目标的识别方法
CN109712127A (zh) 一种用于机巡视频流的输电线路故障检测方法
CN110163069A (zh) 用于辅助驾驶的车道线检测方法
CN115050021B (zh) 基于改进YOLOv4的非结构环境下葡萄识别方法
CN112686276A (zh) 一种基于改进RetinaNet网络的火焰检测方法
CN111723657A (zh) 一种基于YOLOv3与自优化的河道异物检测方法及装置
CN116311042A (zh) 一种改进yolo模型的智能草坪修剪机目标检测方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN116434012A (zh) 一种基于边缘感知的轻量型棉铃检测方法及系统
CN113205103A (zh) 一种轻量级的文身检测方法
CN113128476A (zh) 一种基于计算机视觉目标检测的低功耗实时头盔检测方法
CN115019274A (zh) 一种融合追踪与检索算法的路面病害识别方法
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
CN114693966A (zh) 一种基于深度学习的目标检测方法
CN115953743A (zh) 一种基于改进的yolo模型的车位状态识别方法
CN115631462A (zh) 基于am-yolox的草莓病虫害检测方法及系统
CN115690778A (zh) 基于深度神经网络的成熟期水果的检测与跟踪计数的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination