CN114898200A - 一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统 - Google Patents

一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统 Download PDF

Info

Publication number
CN114898200A
CN114898200A CN202210577168.3A CN202210577168A CN114898200A CN 114898200 A CN114898200 A CN 114898200A CN 202210577168 A CN202210577168 A CN 202210577168A CN 114898200 A CN114898200 A CN 114898200A
Authority
CN
China
Prior art keywords
conveyor belt
tiny
yolov4
belt workpiece
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210577168.3A
Other languages
English (en)
Inventor
刘光辉
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN202210577168.3A priority Critical patent/CN114898200A/zh
Publication of CN114898200A publication Critical patent/CN114898200A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于轻量化YOLOV4‑tiny的传送带工件图像目标检测方法及系统，属于目标检测技术领域，具体步骤为：构建传送带工件的训练图像集；构建轻量化YOLOV4‑tiny传送带工件图像目标检测网络，包括主干特征提取网络CSPDarknet53‑tiny、融入有高效通道注意力机制ECA的加强特征提取网络FPN和预测特征层YOLO Head；利用训练图像集训练轻量化YOLOV4‑tiny传送带工件图像目标检测网络，得到轻量化YOLOV4‑tiny传送带工件图像目标检测网络模型；将待检测的传送带工件图像输入轻量化YOLOV4‑tiny传送带工件图像目标检测网络模型，得到传送带工件图像的目标检测结果，本发明的检测方法结合工业场景节约计算机资源和内存的轻量化部署的要求，能够在提高检测精度的同时提高检测速度，进一步实现高效准确地进行目标检测。

Description

一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方 法及系统
技术领域
本发明属于计算机视觉技术领域，具体属于一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统。
背景技术
随着人工智能的快速发展,作为计算机视觉领域的一个分支,目标检测技术取得了许多突破性成果。得益于技术的突破,目标检测技术开始逐渐向实际应用迈进,被广泛应用于工业制造业、视频监控和国防军事等多个领域。对于工业制造业,该技术可代替人工视觉对生产线的多种类零部件进行自动化分拣，缺陷检测，计数包装，生产质量评估等。不仅避免生产线上零部件的漏检，误检，生产效率不高，还能对各种零部件进行标记，分析生产进度。
现有的目标检测方法主要分为One-Stage和Two-Stage型算法，相比较而言One-Stage型算法拥有较好的准确精度和实时检测速度，YOLO系列检测算法为一种典型的One-Stage算法模型。但是YOLO系列算法及其改进算法网络结构复杂，网络参数较多。它们需要强大的GPU(图形处理器)计算能力来实现实时目标检测，特别是在现实应用中需要对一些移动设备和工业机器人进行实时目标检测，普通设备的计算能力和内存有限。
发明内容
为了解决现有技术中存在的问题，本发明提供一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统，结合工业场景节约计算机资源和内存的轻量化部署的要求，能够在提高检测精度的同时提高检测速度，进一步实现高效准确地进行目标检测。
为实现上述目的，本发明提供如下技术方案：一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法，具体步骤为：
S1构建传送带工件的训练图像集；
S2构建轻量化YOLOV4-tiny传送带工件图像目标检测网络，包括主干特征提取网络CSPDarknet53-tiny、加强特征提取网络FPN和预测特征层YOLO Head，其中所述加强特征提取网络FPN中融入有高效通道注意力机制ECA；
S3利用传送带工件的训练图像集训练轻量化YOLOV4-tiny传送带工件图像目标检测网络，得到轻量化YOLOV4-tiny传送带工件图像目标检测网络模型；
S4将待检测的传送带工件图像输入轻量化YOLOV4-tiny传送带工件图像目标检测网络模型，得到传送带工件图像的目标检测结果。
进一步的，步骤S2中，所述特征增强网络FPN中包括含三个高效通道注意力机制ECA，所述主干特征提取网络CSPDarknet53-tiny的两个有效特征层后均连接有一高效通道注意力机制ECA，所述特征增强网络FPN的上采样后连接有一高效通道注意力机制ECA。
进一步的，步骤S2中，主干特征提取网络CSPDarknet53-tiny对待检测的传送带工件图像进行特征提取并输出13×13和26×26两个尺度的特征图feat1和feat2，特征图feat1和feat2分别输入高效通道注意力机制ECA进行特征图通道加权得到特征图f1和f2，加强特征提取网络FPN对特征图f2进行一次上采样后经过高效通道注意力机制ECA得到特征图f2′，输出特征图f2′与特征图f1特征图堆叠结果以及特征图f2。
进一步的，步骤S2中，所述高效通道注意力机制ECA利用全局平均池化层对原始特征图进行降维，降维后的原始特征图通过一维卷积进行特征提取得到特征提取输出图；利用sigmoid激活函数得到特征提取输出图的相应通道概率值，所述相应通道概率值与原始特征图相乘，得到高效通道注意力机制ECA的输出。
进一步的，步骤S2中，所述一维卷积的卷积核大小K为：
Figure BDA0003662623290000031
式中，|*|odd表示最临近的奇数，C为通道维数。
进一步的，采用矩阵非极大抑制Matrix NMS通过线性衰减的方式对预测特征层YOLO Head的预测框进行并行化筛选。
进一步的，步骤S2中，所述筛选的具体步骤为：
S2.1根据类别置信度，把预测特征层YOLO Head的检测框按降序排列，并获得边框列表；
S2.2将列表置信度值得分第一的边框移出至输出边框列表；
S2.3求出输出边框列表中剩余全部检测框的面积；
S2.4计算出边框列表中剩余所有边框与置信度得分第一的边框之间的交并比；
S2.5计算交并比大于阈值的边框的线性衰减系数decayj，改变所述候选框的置信度，得分重置函数为：
Figure BDA0003662623290000032
其中，si为置信度得分；M为置信度最高的基准框；bi为与基准框计算交并比的其他候选框；Nt表示设定的交并比阈值；
线性衰减系数decayj公式为：
Figure BDA0003662623290000033
其中：f(ioui,j)＝1-iou(i,j)、
Figure BDA0003662623290000034
S2.6重复步骤S2.1-S2.5，直到边框列表为空时，此时输出边框列表中的边框即为最终筛选的预测框。
进一步的，所述交并比IOU表示生成矩形边框之间相交和相并部分的面积比，具体的：IOU＝(A∩B)/(A∪B)，A和B代表不同的矩形边框。
进一步的，步骤S1中，对标注有待检测目标的传送带工件图像进行预处理，得到训练图像，并将所述训练图像收集在训练图像集中。
本发明还提供一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测系统，包括：
图像采集模块，用于构建传送带工件的训练图像集；
网络构建模块，用于构建轻量化YOLOV4-tiny传送带工件图像目标检测网络，包括主干特征提取网络CSPDarknet53-tiny、加强特征提取网络FPN和预测特征层YOLO Head，其中所述加强特征提取网络FPN中融入有高效通道注意力机制ECA；
网络训练模块，用于利用传送带工件的训练图像集训练轻量化YOLOV4-tiny传送带工件图像目标检测网络，得到从而得到的所有训练后的轻量化YOLOV4-tiny传送带工件图像目标检测网络模型；
检索模块，用于将待检测的传送带工件图像输入轻量化YOLOV4-tiny传送带工件图像目标检测网络模型，得到传送带工件图像的目标检测结果。
与现有技术相比，本发明至少具有以下有益效果：
本发明提供一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法，通过构建轻量化YOLOV4-tiny传送带工件图像目标检测网络，相比于其他YOLO系列方法及，本发明方法网络结构简单，网络参数较少，拥有良好的实时检测速度和较小的模型占用内存。该方法不需要强大的GPU(图形处理器)计算能力来实现实时目标检测，较好的适应计算能力和内存有限的普通设备，例如现实应用中的一些移动设备和工业机器人。完全满足工业场景节约计算机资源和内存的轻量化部署的要求。
进一步的，采用CSPDarknet53-tiny网络作为轻量化YOLOV4-tiny传送带工件图像目标检测网络的主干特征提取网络，在加强特征提取网络FPN中融入高效通道注意力机制ECA，一方面利用高效通道注意力机制ECA有效提取主干特征提取网络输出的两个特征层的通道语义信息，高效利用主干网络捕获到的特征信息；另一方面采用融入高效通道注意力机制ECA的增强特征网络FPN结构捕获多尺度特征，增强顶层特征信息的表达，以挖掘通道图之间的相互依赖关系，增强特定语义的特征表示，使最终训练得到的模型对传送带图像更具判别性，提高检测效率；
进一步的，采用矩阵非极大抑制Matrix NMS通过线性衰减的方式对预测特征层YOLO Head的预测框进行并行化筛选，改善传统非极大抑制算法可能对置信度较高预测框误删、避免阈值设置不准和传送带工件太密集而导致的检测效果不理想的问题，从而实现试剂瓶的精准检测能够在提高检测精度的同时提高检测速度，进一步实现高效准确地进行工件检测。
进一步的，利用训练图像集迭代训练目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型，将检测图像输入最优目标检测模型，得到检测图像的目标检测结果，完成对传送带工件的目标检测。
附图说明
图1为图1为本发明一种基于YOLOV4-tiny的轻量级传送带工件检测方法的流程示意图；
图2为本发明中YOLOV4-tiny的网络结构图；
图3为本发明中融入ECA的加强特征提取网络结构图；
图4为高效通道注意力机制ECA结构图；
图5为IOU表示图；
图6为本发明第二实施例的一种基于YOLOV4-tiny的轻量级传送带工件检测方法的数据流图；
图7为本发明的传送带工件图；
图8为本发明的传送带工件检测结果图；
图9为利用本发明的方法检测抓取传送带工件的过程图；
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的说明。
如图1所示，一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法，具体步骤为：
S1、对标注有待检测目标的传送带工件图像进行预处理，得到训练图像，并将所述训练图像收集在训练图像集中；
S2、采用CSPDarknet53-tiny网络作为YOLOV4-tiny的主干特征提取网络，构建轻量化YOLOV4-tiny的目标检测模型，在加强特征提取网络FPN中融入高效通道注意力(ECA)增强顶层特征信息的表达，后处理采用矩阵非极大抑制(Matrix NMS)通过线性衰减的方式对预测特征层YOLO Head的预测框进行并行化筛选；
S3、利用训练图像集迭代训练目标检测模型，从而得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型；
S4、将检测图像输入最优目标检测模型，得到检测图像的目标检测结果。
在步骤S1中，直接获取传送带工件图像，或者从采集视频中提取传送带工件图像，比如对采集视频每间隔25帧进行切割处理得到分辨率960×600像素大小的传送带工件图像，采用LabelImg标注工具标注工件图像中的待检测目标，即传送带工件目标，使用的标注是PASCAL VOC格式的XML文件，并对已标注的传送带工件图像进行图像裁剪、图像翻转、图像增强等预处理，得到训练图像，将训练图像收集得到训练图像集。
在步骤S2中，YOLOV4-tiny的网络结构如图2所示，其作为兼顾检测速度与精度的轻量级检测网络，可分为三个部分，分别是主干特征提取网络CSPDarknet53-tiny、加强特征提取网络FPN和预测特征层YOLO Head，其中主干特征提取网络CSPDarknet53-tiny用于对输入图像特征提取并输出13×13和26×26两个尺度的特征图feat1和feat2，在两个特征图分别添加一个高效通道注意力机制ECA，给予两个特征图的每一个通道一个权重，然后通过乘法逐通道加权输出特征图f1和f2；加强特征提取网络FPN对主干网络CSPDarknet53-tiny特征提取的特征图f2经过一次上采样之后，利用高效通道注意力机制ECA，输出特征图f2′，将f2′与f1特征图堆叠结果和特征图f2作为特征提取网络FPN的输出，加强了加强特征提取网络的信息提取能力；将特征提取网络FPN的输出结果传入YOLO Head进行图像回归与分类，输出传送带工件的预测框；利用矩阵非极大抑制(Matrix NMS)对预测框进行筛选，得到最终传送带工件预测框。
进一步地，在步骤S2中，在加强特征提取网络FPN中融入高效通道注意力机制ECA，一方面对主干特征提取网络输出的13×13和26×26两个有效特征层后分别添加一个高效通道注意力机制ECA，高效利用主干网络捕获到的特征信息；另一方面对特征增强网络FPN中上采样后的结果添加一个注意力机制高效通道注意力机制ECA，以挖掘通道图之间的相互依赖关系，增强特定语义的特征表示，使最终训练得到的模型对传送带图像更具判别性，也就是一般所说的可以区分类别的显著性特征，而后对这一区域投入更多注意力资源，其具体融入位置如图3所示。
高效通道注意力机制ECA通过一维卷积有效避免了维度缩减会给通道注意力预测带来的副作用，实现自适应的跨通道交互能在涉及极少参数量的同时保持性能，其示意图如图4所示。高效通道注意力机制ECA的处理过程如下：
步骤1：利用全局平均池化层(GAP)对上一卷积模块提取的特征图χ的每一个通道进行尺寸修改，进行实现降维；
步骤2：将降维后的特征图经过可以减少特征映射深度的一维卷积，进行特征提取，得到特征提取输出图，在特征提取时高效通道注意力机制ECA通过考虑所有通道以及k个领居通道，实现捕获局部跨通道交互信息的目的；
步骤3：通过sigmoid激活函数计算出特征提取输出图的相应通道概率值；
步骤4：再利用概率值与原始的输入特征图χ相乘结果作为后续层的输入。其中，超参数K为一维卷积的卷积核大小，其值代表局部跨通道交互的覆盖范围。
通过自适应的方式可以确定K值，其大小由其与通道维数C的正比关系得到：
Figure BDA0003662623290000081
式中，|*|odd表示最临近的奇数，C为通道维数。γ和b在本文的实验中分别设为2和1。
进一步地，在步骤S2中，目标检测算法常常对同一目标输出多个相互重叠的预测框，产生误检。为了准确获得准确的预测框，采用矩阵非极大抑制(Matrix NMS)替换原来NMS后处理策略，通过线性衰减的方式对预测特征层的预测框进行并行化筛选，改善传统非极大抑制算法可能对置信度较高预测框误删，而导致的检测效果不理想的问题，处理过程如下：
步骤1：根据类别置信度，把输出检测框按降序排列，并获得边框列表；
步骤2：将列表置信度值得分第一的边框移出至输出边框列表；
步骤3：求出输出边框列表中剩余全部检测框的面积；
步骤4：计算出边框列表中的剩余所有边框与置信度得分第一的边框之间的交并比，交并比IOU表示生成矩形边框之间相交和相并部分的面积比值如图5所示，通常反应两个边框之间的重叠程度。定义为:IOU＝(A∩B)/(A∪B)，A和B代表不同的矩形边框；
步骤5：通过矩阵并行方式将交并比大于阈值(一般这个阈值设定为0.5)的边框计算线性衰减系数decayj的方式，改变这个候选框的置信度。其得分重置函数为：
Figure BDA0003662623290000091
其中si为置信度得分；M为置信度最高的基准框；bi为与基准框计算交并比的其他候选框；Nt表示设定的交并比阈值。
Figure BDA0003662623290000092
其中f(ioui,j)＝1-iou(i,j)、
Figure BDA0003662623290000093
步骤6:重复执行前5个步骤，直到边框列表为空时，此时输出边框列表中的边框即为最终预测框。
在步骤S3中，设置目标检测模型的训练参数，利用训练图像集迭代训练目标检测模型直至训练次数达到预设迭代次数，采用随机梯度下降法，利用所述训练图像集对所述微调后的目标检测模型进行冻结迭代训练和解冻迭代训练，得到所述训练后的目标检测模型；从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型，其数据流程图为图6所示。
其中，训练参数设置如下：
由于主干特征提取网络特征通用，采用冻结迭代训练可以加快训练速度也可以在训练初期防止权值被破坏，因此设置训练100epoch(迭代)，前50epoch冻结主干特征提取网络Batchsize(批大小)＝16，初始学习率为1e-3。考虑到刚开始训练时，目标检测模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率，可能带来目标检测模型的不稳定(振荡)，选择Warmup预热学习率的方式，使得开始训练的10个epoch内学习率，在预热的小学习率1e-4下训练，目标检测模型可以慢慢趋于稳定，等目标检测模型相对稳定后再选择预先设置的初始学习率1e-3进行训练，学习率下限为1e-6。解冻后，设置Batchsize＝8，初始学习率为1e-4，同样选择Warmup预热学习率的方式，使得开始训练的10个epoch内学习率，在预热的小学习率1e-5下训练，等目标检测模型相对稳定后再选择预先设置的初始学习率1e-4进行训练。从所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型。
如图7-9所示，在步骤S4中，对检测图像进行图像裁剪、图像翻转、图像缩放等预处理，使检测图像与训练图像的尺寸等参数保持一致，将预处理后的检测图像输入最优目标检测模型，得到检测图像的目标检测结果。图8给出了采用本发明方法进行传送带工件检测的检测结果图，从图中可以看出，对于各种类型的工件，本发明方法都能够准确的检测出工件位置，达到了最佳检测性能，检测精度达到了99.5％。
本发明还提供一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测系统，其特征在于，包括：
图像采集模块，用于构建传送带工件的训练图像集；
网络构建模块，用于构建轻量化YOLOV4-tiny传送带工件图像目标检测网络，包括主干特征提取网络CSPDarknet53-tiny、加强特征提取网络FPN和预测特征层YOLO Head，其中所述加强特征提取网络FPN中融入有高效通道注意力机制ECA；
网络训练模块，用于利用传送带工件的训练图像集训练轻量化YOLOV4-tiny传送带工件图像目标检测网络，得到从而得到的所有训练后的轻量化YOLOV4-tiny传送带工件图像目标检测网络模型；
检索模块，用于将待检测的传送带工件图像输入轻量化YOLOV4-tiny传送带工件图像目标检测网络模型，得到传送带工件图像的目标检测结果。

Claims (10)

1.一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法，其特征在于，具体步骤为：
S1构建传送带工件的训练图像集；
S2构建轻量化YOLOV4-tiny传送带工件图像目标检测网络，包括主干特征提取网络CSPDarknet53-tiny、加强特征提取网络FPN和预测特征层YOLO Head，其中所述加强特征提取网络FPN中融入有高效通道注意力机制ECA；
S3利用传送带工件的训练图像集训练轻量化YOLOV4-tiny传送带工件图像目标检测网络，得到轻量化YOLOV4-tiny传送带工件图像目标检测网络模型；
S4将待检测的传送带工件图像输入轻量化YOLOV4-tiny传送带工件图像目标检测网络模型，得到传送带工件图像的目标检测结果。
2.根据权利要求1所述的一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法，其特征在于，步骤S2中，所述特征增强网络FPN中包括含三个高效通道注意力机制ECA，所述主干特征提取网络CSPDarknet53-tiny的两个有效特征层后均连接有一高效通道注意力机制ECA，所述特征增强网络FPN的上采样后连接有一高效通道注意力机制ECA。
3.根据权利要求2所述的一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法，其特征在于，步骤S2中，主干特征提取网络CSPDarknet53-tiny对待检测的传送带工件图像进行特征提取并输出13×13和26×26两个尺度的特征图feat1和feat2，特征图feat1和feat2分别输入高效通道注意力机制ECA进行特征图通道加权得到特征图f1和f2，加强特征提取网络FPN对特征图f2进行一次上采样后经过高效通道注意力机制ECA得到特征图f2′，输出特征图f2′与特征图f1特征图堆叠结果以及特征图f2。
4.根据权利要求3所述的一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法，其特征在于，步骤S2中，所述高效通道注意力机制ECA利用全局平均池化层对原始特征图进行降维，降维后的原始特征图通过一维卷积进行特征提取得到特征提取输出图；利用sigmoid激活函数得到特征提取输出图的相应通道概率值，所述相应通道概率值与原始特征图相乘，得到高效通道注意力机制ECA的输出。
5.根据权利要求4所述的一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法，其特征在于，步骤S2中，所述一维卷积的卷积核大小K为：
Figure FDA0003662623280000021
式中，|*|odd表示最临近的奇数，C为通道维数。
6.根据权利要求1所述的一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法，其特征在于，步骤S2中，采用矩阵非极大抑制Matrix NMS通过线性衰减的方式对预测特征层YOLO Head的预测框进行并行化筛选。
7.根据权利要求6所述的一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法，其特征在于，步骤S2中，所述筛选的具体步骤为：
S2.1根据类别置信度，把预测特征层YOLO Head的检测框按降序排列，并获得边框列表；
S2.2将列表置信度值得分第一的边框移出至输出边框列表；
S2.3求出输出边框列表中剩余全部检测框的面积；
S2.4计算出边框列表中剩余所有边框与置信度得分第一的边框之间的交并比；
S2.5计算交并比大于阈值的边框的线性衰减系数decayj，改变所述候选框的置信度，得分重置函数为：
Figure FDA0003662623280000022
其中，si为置信度得分；M为置信度最高的基准框；bi为与基准框计算交并比的其他候选框；Nt表示设定的交并比阈值；
线性衰减系数decayj公式为：
Figure FDA0003662623280000031
其中：f(ioui,j)＝1-iou(i,j)、
Figure FDA0003662623280000032
S2.6重复步骤S2.1-S2.5，直到边框列表为空时，此时输出边框列表中的边框即为最终筛选的预测框。
8.根据权利要求7所述的一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法，其特征在于，所述交并比IOU表示生成矩形边框之间相交和相并部分的面积比，具体的：IOU＝(A∩B)/(A∪B)，其中，A和B代表不同的矩形边框。
9.根据权利要求1所述的一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法，其特征在于，步骤S1中，对标注有待检测目标的传送带工件图像进行预处理，得到训练图像，并将所述训练图像收集在训练图像集中。
10.一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测系统，其特征在于，包括：
图像采集模块，用于构建传送带工件的训练图像集；
网络构建模块，用于构建轻量化YOLOV4-tiny传送带工件图像目标检测网络，包括主干特征提取网络CSPDarknet53-tiny、加强特征提取网络FPN和预测特征层YOLO Head，其中所述加强特征提取网络FPN中融入有高效通道注意力机制ECA；
网络训练模块，用于利用传送带工件的训练图像集训练轻量化YOLOV4-tiny传送带工件图像目标检测网络，得到从而得到的所有训练后的轻量化YOLOV4-tiny传送带工件图像目标检测网络模型；
检索模块，用于将待检测的传送带工件图像输入轻量化YOLOV4-tiny传送带工件图像目标检测网络模型，得到传送带工件图像的目标检测结果。
CN202210577168.3A 2022-05-25 2022-05-25 一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统 Pending CN114898200A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210577168.3A CN114898200A (zh) 2022-05-25 2022-05-25 一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210577168.3A CN114898200A (zh) 2022-05-25 2022-05-25 一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN114898200A true CN114898200A (zh) 2022-08-12

Family

ID=82725286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210577168.3A Pending CN114898200A (zh) 2022-05-25 2022-05-25 一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN114898200A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661614A (zh) * 2022-12-09 2023-01-31 江苏稻源科技集团有限公司 一种基于轻量化YOLO v1的目标检测方法
CN116403122A (zh) * 2023-04-14 2023-07-07 北京卫星信息工程研究所 无锚框定向目标检测方法
CN116883409A (zh) * 2023-09-08 2023-10-13 山东省科学院激光研究所 一种基于深度学习的输送带缺陷检测方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661614A (zh) * 2022-12-09 2023-01-31 江苏稻源科技集团有限公司 一种基于轻量化YOLO v1的目标检测方法
CN115661614B (zh) * 2022-12-09 2024-05-24 江苏稻源科技集团有限公司 一种基于轻量化YOLO v1的目标检测方法
CN116403122A (zh) * 2023-04-14 2023-07-07 北京卫星信息工程研究所 无锚框定向目标检测方法
CN116403122B (zh) * 2023-04-14 2023-12-19 北京卫星信息工程研究所 无锚框定向目标检测方法
CN116883409A (zh) * 2023-09-08 2023-10-13 山东省科学院激光研究所 一种基于深度学习的输送带缺陷检测方法及系统
CN116883409B (zh) * 2023-09-08 2023-11-24 山东省科学院激光研究所 一种基于深度学习的输送带缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
CN111126472B (zh) 一种基于ssd改进的目标检测方法
CN109753903B (zh) 一种基于深度学习的无人机检测方法
CN114898200A (zh) 一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统
CN113469073A (zh) 一种基于轻量级深度学习的sar图像舰船检测方法及系统
CN111844101B (zh) 一种多指灵巧手分拣规划方法
CN113052834B (zh) 一种基于卷积神经网络多尺度特征的管道缺陷检测方法
CN113052006B (zh) 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
CN111753682A (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN114782759B (zh) 一种基于YOLOv5网络对密集遮挡鱼类的检测方法
CN110084181B (zh) 一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法
CN113487576B (zh) 一种基于通道注意力机制的虫害图像检测方法
CN116152254B (zh) 工业泄露目标气体检测模型训练方法、检测方法、电子设备
CN113902901B (zh) 一种基于轻量化检测的物体分离方法与系统
CN113537244A (zh) 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置
CN111462090B (zh) 一种多尺度图像目标检测方法
CN113569981A (zh) 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法
CN114972208A (zh) 一种基于YOLOv4的轻量化小麦赤霉病检测方法
CN112597919A (zh) 基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法
Ren et al. LightRay: Lightweight network for prohibited items detection in X-ray images during security inspection
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
Dong et al. Densely connected convolutional neural network based polarimetric SAR image classification
CN115861861B (zh) 一种基于无人机配电线路巡检的轻量级验收方法
CN116844055A (zh) 轻量级sar舰船检测方法及系统
CN114445767B (zh) 一种传输带传输异物检测方法及系统
CN111339985A (zh) 基于混合卷积的手势检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination