CN117474898A - 罐头异物检测方法及装置 - Google Patents

罐头异物检测方法及装置 Download PDF

Info

Publication number
CN117474898A
CN117474898A CN202311566244.1A CN202311566244A CN117474898A CN 117474898 A CN117474898 A CN 117474898A CN 202311566244 A CN202311566244 A CN 202311566244A CN 117474898 A CN117474898 A CN 117474898A
Authority
CN
China
Prior art keywords
module
model
foreign
yolov8s
cbam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311566244.1A
Other languages
English (en)
Inventor
吴文龙
蒋亚军
胡志刚
付丹丹
王振新
涂画
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Polytechnic University
Original Assignee
Wuhan Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Polytechnic University filed Critical Wuhan Polytechnic University
Priority to CN202311566244.1A priority Critical patent/CN117474898A/zh
Publication of CN117474898A publication Critical patent/CN117474898A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种罐头异物检测方法及装置，属于食品检测领域，该方法包括：获取待检测罐头的目标图像；将目标图像输入训练后的改进型YOLOv8s模型，输出异物类型以及异物区域的检测结果；其中，改进型YOLOv8s模型，使用上采样算子CARAFE替换原始模型的最近邻插值上采样模块，将骨干网络中的卷积层替换为RepVGG模块，以及将Neck部分的C2f模块添加卷积块注意力模块CBAM后得到，并基于标记异物区域及类型的训练集样本图像进行训练后得到。该方法减少了上采样过程中的特征信息损失，增强了模型特征提取能力，提高了特征图的异物权重，从而提高了机器视觉检测法检测罐头存在异物的准确率，降低了不合格罐头的漏检率。

Description

罐头异物检测方法及装置
技术领域
本发明涉及食品检测领域，尤其涉及一种罐头异物检测方法及装置。
背景技术
食品异物一直是食品加工企业难以解决的问题，也是消费者反应较为强烈的问题，在消费者质量投诉的案例中，食品异物是众多投诉原因所占的比例最大的。如果食品中存在异物，除了会给消费者带来心理影响之外，还会使企业品牌声誉受到严重损害，甚至失去消费者对品牌的信任。因此，水果罐头加工企业作为食品企业要想生产出质量安全有保障的水果罐头就必须高度重视异物问题。
目前常用食品的检测方法有磁学金属检测法、近红外检测法、X射线检测法和超声波检测法。X射线检测法和磁学金属检测法无法检测毛发类异物。超声波检测法对外界环境要求高，检测精度受环境影响较大。近红外检测法虽然可以做到无损且准确的检测食品中的异物，但采集一次光谱需要数秒钟的时间，检测速度较慢，无法满足罐头生产对检测速度的要求。
发明内容
针对现有技术存在的问题，本发明提供一种罐头异物检测方法及装置。
本发明提供一种罐头异物检测方法，包括：获取待检测罐头的目标图像；将所述目标图像输入训练后的改进型YOLOv8s模型，输出异物类型以及异物区域的检测结果；其中，所述改进型YOLOv8s模型，使用上采样算子CARAFE替换原始模型的最近邻插值上采样模块，将骨干网络中的卷积层替换为RepVGG模块，以及将Neck部分的C2f模块添加卷积块注意力模块CBAM后得到，并且基于标记异物区域及类型的训练集样本图像进行训练后得到。
根据本发明提供的一种罐头异物检测方法，所述将骨干网络中的卷积层替换为RepVGG模块，包括：将骨干网络中的第二个到第五个卷积模块替换为RepVGG模块。
根据本发明提供的一种罐头异物检测方法，所述将Neck部分的C2f模块添加卷积块注意力模块CBAM，包括：在C2f中的Bottleneck模块增加CBAM注意力机制，形成新的CBAM-Bottleneck模块；用CBAM-Bottleneck模块替换C2f中的Bottleneck，形成新的C2f-CBAM模块；用C2f-CBAM模块替换YOLOv8s网络结构中Neck部分的四个C2f模块。
根据本发明提供的一种罐头异物检测方法，所述获取待检测罐头的目标图像之前，还包括：通过相机在传输带的不同方位获取有异物的罐头图像；对所述罐头图像进行异物标注，并与异物类型的标签进行匹配，得到训练集样本；基于所述训练集样本，对改进型YOLOv8s模型进行训练，得到所述训练后的改进型YOLOv8s模型。
根据本发明提供的一种罐头异物检测方法，所述对所述罐头图像进行异物标注之前，还包括：对所述罐头图像的数据集进行数据增强；所述数据增强包括使用旋转、镜像、缩放、添加高斯噪声方式。
根据本发明提供的一种罐头异物检测方法，所述异物类型包括橡胶、昆虫、毛发、金属屑和毛纺。
本发明还提供一种罐头异物检测装置，包括：采集模块，用于获取待检测罐头的目标图像；处理模块，用于将所述目标图像输入训练后的改进型YOLOv8s模型，输出异物检测结果；其中，所述改进型YOLOv8s模型，使用上采样算子CARAFE替换原始模型的最近邻插值上采样模块，将骨干网络中的卷积层替换为RepVGG模块，以及将Neck部分的C2f模块添加卷积块注意力模块CBAM后得到，并且基于标记异物区域及类型的训练集样本图像进行训练后得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述罐头异物检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述罐头异物检测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述罐头异物检测方法。
本发明提供的罐头异物检测方法及装置，通过采样算子CARAFE减少上采样过程中特征信息的损失，通过RepVGG结构增强模型的特征提取能力，通过C2f模块添加卷积块注意力模型进行融合提高了特征图的异物权重，从而提高了机器视觉检测法检测罐头存在异物的准确率，进而降低了不合格罐头的漏检率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的罐头异物检测方法的流程示意图；
图2是YOLOv8s模型结构示意图；
图3是CARAFE上采样网络结构示意图；
图4是RepVGG训练模型和推理模型结构示意图；
图5a是CBAM注意力机制模块结构示意图；
图5b是CBAM的通道注意力模块结构示意图；
图5c是CBAM的空间注意力模块结构示意图；
图6是本发明提供的改进型YOLOv8s模型结构示意图；
图7是本发明改进前后检测效果对比示意图；
图8是本发明提供的罐头异物检测装置的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到机器视觉检测法可以在实际的罐头生产环境中以较高的速度检出毛发类异物，还能满足生产速度的需求，同时对外界环境要求不高。因此，本发明采用机器视觉方法实现异物检测。然而，现有的机器视觉检测方法对罐头异物的召回率、准确率、平均精度均值不够，为此本发明供一种基于机器视觉的罐头异物检测方法及装置。下面结合图1-图9描述本发明的罐头异物检测方法及装置。图1是本发明提供的罐头异物检测方法的流程示意图，如图1所示，本发明提供罐头异物检测方法，包括：
101、获取待检测罐头的目标图像。
102、将所述目标图像输入训练后的改进型YOLOv8s模型，输出异物类型以及异物区域的检测结果。
其中，所述改进型YOLOv8s模型，使用上采样算子CARAFE替换原始模型的最近邻插值上采样模块，将骨干网络中的卷积层替换为RepVGG结构，以及将Neck部分的C2f模块添加卷积块注意力模块CBAM后得到，并且基于标记异物区域及类型的训练集样本图像进行训练后得到。
YOLOv8是当前YOLO系列最新目标检测模型，它能够以较高的精度和速度检测目标，根据权重文件大小和模型深度提供了五个版本，分别是YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l和YOLOv8x，本发明从罐头异物检测的特性分析出发，选择基于YOLOv8s进行改进，实现了较高的准确度。
如图2所示YOLOv8s模型由输入端(input)、骨干网络(Backbone)和头部网络(head)三个部分组成，输入端将图像的分辨率统一成640×640，骨干网络由卷积神经网络和C2f结构组成，卷积神经网络的作用是提取图像特征，C2f结构的作用是获取更丰富的梯度流从而学习到更多的目标特征。头部网络包括颈部(Neck)和检测头(Detect)两个部分，Neck部分用于特征融合，Detect部分用于目标预测，Neck为连接Backbone和Detect的中间层，用于进一步提取图像特征以及调整特征图的分辨率，提升检测头的预测能力，Detect包括分类器和回归器两部分，据Neck的输出特征预测目标的位置和类别。
针对YOLOv8s模型在罐头异物检测过程中存在检测不准确的问题，本发明分别针对上采样模块、骨干网络的卷积层和C2f结构进行改进。首先，使用轻量级通用上采样算子CARAFE替换YOLOv8s原始模型的最近邻插值上采样模块，减少上采样过程中特征信息的损失。然后，通过将骨干网络中的部分卷积层替换为RepVGG结构，进一步增强模型的特征提取能力。最后，在网络结构Neck部分的C2f模块添加卷积块注意力模型CBAM，以在融合部分提高特征图的异物权重。
YOLOv8s在neck部分采用的是最邻近插值上采样算法增强特征图分辨率，其特点是算法简单、计量小，但是在边缘或线条的地方会出现锯齿状，这会在一定程度上影响异物的检测精度，尤其是罐头异物图像中毛发类和毛纺类的线型异物。为了增强检测模型对线型异物的检测能力，本发明使用CARAFE上采样模块替换YOLOv8s原始网络结构中neck部分的最邻近插值上采样算法，CARAFE上采样模块如图3所示，CARAFE主要分为2部分，分别是上采样核预测部分和特征重组部分。本发明中，上采样算子CARAFE的改进根据异物的特性，特别针对毛发和毛纺这两类线形异物进行设计。
在上采样核预测部分中，首先将输入的H×W×C特征图的通道数压缩到Cm，上采样的倍率是σ，上采样尺寸为kup×kup，通过卷积操作将通道数从Cm变为σ2×kup 2，实现内容编码，然后将通道在空间维度上展开，随后对得到的上采样核进行softmax归一化，使卷积核的权重和为1。在特征重组部分，将输出特征图中的每个位置映射回输入特征图中，取以其为中心的kup×kup的原特征图区域和该点的预测上采样核作点积得到，相同位置的不同通道共享同一个上采样核，最终得到σH×σW×C的新特征图。
CARAFE通过输入特征图来预测上采样核，然后基于预测的上采样核完成特征重组，利用输入特征图的语义信息，在仅带来很小参数量的情况下基于输入内容进行上采样。由于毛发类异物和毛纺类异物在形状上较为相似，利用CARAFE上采样模块有利于恢复毛发类异物和毛纺类异物的特征，本发明对YOLOv8s模型neck部分的上采样方式进行改进，用CARAFE上采样来替换原始的上采样模块，以得到更高质量的异物特征图。
考虑到原始卷积模块的感受野单一，在提取特征的过程中，细节信息容易丢失，尤其是昆虫类异物特征。为了弥补昆虫类异物特征细节特征的丢失，本发明在骨干网络中使用repvgg模块，采用3×3和1×1尺寸的卷积快同时用于特征提取和融合，以便更好的保留图像的原始信息，弥补细节特征的丢失。
如图4所示，RepVGG由卷积(Conv)、归一化操作(BN)和激活函数(ReLU)组成，具有结构简单、性能优良的特点，在训练中，RepVGG是一个多分枝结构，除了一个3×3的卷积层外，还有一个1×1的卷积分支。为了加强模型的特征提取能力。RepVGG由卷积(Conv)、归一化操作(BN)和激活函数(ReLU)组成，具有结构简单、性能优良的特点，在训练中，RepVGG是一个多分枝结构，除了一个3×3的卷积层外，还有一个1×1的卷积分支。
为了加强模型的特征提取能力，本发明将backbone中卷积替换为RepVGG结构，使两个卷积核同时用于特征提取，并将得到的结果进行归一化处理，这种结构融合了不同卷积模块提取的特征信息，具有利用多个卷积层并行融合的优点，提高了模型整体的信息提取能力的。
CBAM注意力机制模块如图5a、图5b和图5c所示，CBAM注意力模块由通道注意力和空间注意力两个模块组成。通道注意力模块(CAM)通过对输入的罐头异物的特征图在空间维度上进行全局平均池化和全局最大池化，得到两个通道维度的向量，再通过sigmoid函数得到最终的通道注意力图。空间注意力模块(SAM)将CAM模块输出的结果进行最大池化和平均池化，随后将得到的两个1*H*W的特征图进行Concat拼接操作，通过7*7的卷积变为1*H*W的特征图，再经过sigmoid激活函数得到SAM的输出结果。最终将SAM的输出结果乘原特征图变回C*H*W大小，即为CBAM模块整体的输出结果。CBAM将CAM和SAM依次应用于输入特征图，从而实现对通道和空间两个维度上的注意力调节强调异物区别度较高的特征通道，抑制沉冗无用特征通道，进而更准确的提取各种异物图像中的纹理特征，动态调整特征图像中不同通道的权重。
需要说明的是，本发明主要用于透明的杯状罐头检测。
可以验证，与改进前的YOLOv8s模型相比，本发明检测的准确度、召回率、平均精度值更高，漏检、误检的问题得到改善。改进前后模型检测性能对比如表1所示：
表1
/ 准确率/％ 召回率/％ 平均精度均值/％
改进前 0.95 0.873 0.92
改进后 0.968 0.886 0.933
本发明的罐头异物检测方法，通过采样算子CARAFE减少上采样过程中特征信息的损失，通过RepVGG结构增强模型的特征提取能力，通过C2f模块添加卷积块注意力模型进行融合提高了特征图的异物权重，从而提高了机器视觉检测法检测罐头存在异物的准确率，进而降低了不合格罐头的漏检率。
在一个实施例中，所述将骨干网络中的卷积层替换为RepVGG模块，包括：将骨干网络中的第二个到第五个卷积模块替换为RepVGG模块。
图6是本发明提供的改进型YOLOv8s模型结构示意图，如图6所示，具体而言，本发明将backbone中第二个到第五个卷积替换为RepVGG结构，使两个卷积核同时用于特征提取，并将得到的结果进行归一化处理。其中，由于repvgg模块是多种感受野的特征图融合，本发明中特别将第一个卷积采用原有结构，保留了异物图像更多的原始信息。即保证在backbone部分中输入特征的更多原始信息，避免对后续的特征融合造成影响。
本发明的罐头异物检测方法，通过替换第二到第五个卷积模块，这种结构融合了不同卷积模块提取的特征信息，具有利用多个卷积层并行融合的优点，提高了模型整体的信息提取能力。
在一个实施例中，所述将Neck部分的C2f模块添加卷积块注意力模块CBAM，包括：在C2f中的Bottleneck模块增加CBAM注意力机制，形成新的CBAM-Bottleneck模块；用CBAM-Bottleneck模块替换C2f中的Bottleneck，形成新的C2f-CBAM模块；用C2f-CBAM模块替换YOLOv8s网络结构中Neck部分的四个C2f模块。
由于检测罐头异物的过程中存在因光线、罐头填充物遮挡等因素造成误检，为了改进模型误检的问题，本发明通过改进YOLOv8s原有的C2f模块，在C2f中的Bottleneck增加CBAM注意力机制，形成新的CBAM-Bottleneck模块。用CBAM-Bottleneck模块替换C2f中的Bottleneck，形成新的C2f-CBAM，并用C2f-CBAM替换YOLOv8s网络结构中Neck部分的四个C2f模块，以此动态调整特征图中不同通道的权重，削弱背景环境的无用信息，提高异物的检测精度。
在一个实施例中，所述获取待检测罐头的目标图像之前，还包括：通过相机在传输带的不同方位获取有异物的罐头图像；对所述罐头图像进行异物标注，并与异物类型的标签进行匹配，得到训练集样本；基于所述训练集样本，对改进型YOLOv8s模型进行训练，得到所述训练后的改进型YOLOv8s模型。
可选地，所述异物类型包括橡胶、昆虫、毛发、金属屑和毛纺。
目前的开源数据集几乎没有针对罐头异物的图像，为了使数据集真实的体现出罐头检验过程中实际存在的异物特点。本发明所需的数据集根据罐头生产过程的实际情况，针对生产过程中实际检出的异物进行制作。通过相机在传输带的不同方位获取有异物的罐头图像来构建数据集。
随后将经过数据增强的数据集使用标注软件LabelImg进行VOC格式的标注，橡胶类别异物的标签设定为rubber，昆虫类别异物的标签设定为insect，毛发类别异物的标签设定为hair，金属屑类别的异物标签设定为metal-filing，毛纺类别的异物标签设定为thread-residue，标注矩形框尽量贴合异物轮廓。标注完成后，再利用Python脚本将VOC格式的标注转化成YOLO格式的标注，最后将数据集像按7∶1∶2的比例将数据集划分为训练集、验证集、测试集。
利用训练集样本对上述改进型YOLOv8s模型进行训练，得到最终检测模型。相应地，过程中可以使用验证集进行调参，最后测试集进行模型验证，直至模型满足达标条件，否则重新获取图像训练。
在一个实施例中，所述对所述罐头图像进行异物标注之前，还包括：对所述罐头图像的数据集进行数据增强；所述数据增强包括使用旋转、镜像、缩放和添加高斯噪声方式。
在完成图像的采集后对图像进行筛选，去除不合格的罐头异物图像，然后对数据集随机使用旋转、镜像、缩放、添加高斯噪声的方式进行数据增强，然后进行标注。
在一个具体示例中，本发明使用的实验环境如表2示：
表2
本发明在训练过程中的超参数设置如表3示：
表3
参数名称 参数设置 参数名称 参数设置
optimizer SGD Irf 0.01
epochs 200 weight decay 0.0005
batchsize 8 momentum 0.937
workers 4 warmup epochs 3
imgs 640 warmup momentum 0.8
Ir0 0.01 close mosaic 10
实验结果分析
为了验证CARAFE、RepVGG、CBAM模块对改进模型性能的有效性，下面分别将改进的三个模块嵌入YOLOv8s网络模型中进行消融实验，各个模块对网络性能的影响结果如下：
表4
通过对比表4的数据可以得出，在针对毛发类和毛纺类的线型异物检测准确率低的问题，使用轻量级的通用上采样算子CARAFE替换YOLOv8s原始的最近邻插值上采样模块后，模型的准确率提高了0.8％，平均精度值提高了0.5％。这验证了改进上采样模块的有效性。引入轻量级的通用上采样算子CARAFE后，本发明又针对模型的特征提取能力进行了改进，使用RepVGG结构替换网络结构主干的部分卷积层，通过表3的数据可以发现，准确度提高了0.8％，召回率提高了1.5％，平均精度值提高了0.4％，验证了使用RepVGG模块改进算法的有效性。最后，本发明针对罐头异物特征图像中无用背景环境信息干扰异物特征融合的问题，对网络结构中neck部分的C2f模块进行了改进，在YOLOv8s模型原有C2f模块中引入CBAM注意力机制，通过表3的数据可得，引入CBAM注意力机制之后的模型准确率提高了0.2％，召回率提高了0.6％，平均精度值提高了0.4％。这说明在neck部分的C2f中引入CBAM是有效的。
通过上述三种模块的改进，本发明改进后的模型较YOLOv8s准确率提高了1.8％，召回率提高了1.3％，平均精度值提高了1.3％。由此可得，经过本发明改进后的模型优势在于罐头异物检测能力的提升。为了更加直观的验证改进的有效性，下面分别将改进前后的检测效果进行对比。图7是本发明改进前后检测效果对比示意图，通过检测效果的对比可以看出，改进后的模型(右)对不明显异物漏检问题有明显改善，背景环境和罐头填充物干扰造成的误检现象也得到了改善。
下面对本发明提供的罐头异物检测装置进行描述，下文描述的罐头异物检测装置与上文描述的罐头异物检测方法可相互对应参照。
图8是本发明提供的罐头异物检测装置的结构示意图，如图8所示，该罐头异物检测装置包括：采集模块801和处理模块802。其中，采集模块801用于获取待检测罐头的目标图像；处理模块802用于将所述目标图像输入训练后的改进型YOLOv8s模型，输出异物检测结果。
其中，所述改进型YOLOv8s模型，使用上采样算子CARAFE替换原始模型的最近邻插值上采样模块，将骨干网络中的卷积层替换为RepVGG结构，以及将Neck部分的C2f模块添加卷积块注意力模块CBAM后得到，并且基于标记异物区域及类型的训练集样本图像进行训练后得到。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例所提供的罐头异物检测装置，其实现原理及产生的技术效果和前述罐头异物检测方法实施例相同，为简要描述，罐头异物检测装置实施例部分未提及之处，可参考前述罐头异物检测方法实施例中相应内容。
图9是本发明提供的电子设备的结构示意图，如图9所示，该电子设备可以包括：处理器(processor)901、通信接口(Communications Interface)902、存储器(memory)903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。处理器901可以调用存储器903中的逻辑指令，以执行罐头异物检测方法，该方法包括：获取待检测罐头的目标图像；将所述目标图像输入训练后的改进型YOLOv8s模型，输出异物类型以及异物区域的检测结果；其中，所述改进型YOLOv8s模型，使用上采样算子CARAFE替换原始模型的最近邻插值上采样模块，将骨干网络中的卷积层替换为RepVGG结构，以及将Neck部分的C2f模块添加卷积块注意力模块CBAM后得到，并且基于标记异物区域及类型的训练集样本图像进行训练后得到。
此外，上述的存储器903中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的罐头异物检测方法，该方法包括：获取待检测罐头的目标图像；将所述目标图像输入训练后的改进型YOLOv8s模型，输出异物类型以及异物区域的检测结果；其中，所述改进型YOLOv8s模型，使用上采样算子CARAFE替换原始模型的最近邻插值上采样模块，将骨干网络中的卷积层替换为RepVGG结构，以及将Neck部分的C2f模块添加卷积块注意力模块CBAM后得到，并且基于标记异物区域及类型的训练集样本图像进行训练后得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的罐头异物检测方法，该方法包括：获取待检测罐头的目标图像；将所述目标图像输入训练后的改进型YOLOv8s模型，输出异物类型以及异物区域的检测结果；其中，所述改进型YOLOv8s模型，使用上采样算子CARAFE替换原始模型的最近邻插值上采样模块，将骨干网络中的卷积层替换为RepVGG结构，以及将Neck部分的C2f模块添加卷积块注意力模块CBAM后得到，并且基于标记异物区域及类型的训练集样本图像进行训练后得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种罐头异物检测方法，其特征在于，包括：
获取待检测罐头的目标图像；
将所述目标图像输入训练后的改进型YOLOv8s模型，输出异物类型以及异物区域的检测结果；
其中，所述改进型YOLOv8s模型，使用上采样算子CARAFE替换原始模型的最近邻插值上采样模块，将骨干网络中的卷积层替换为RepVGG模块，以及将Neck部分的C2f模块添加卷积块注意力模块CBAM后得到，并且基于标记异物区域及类型的训练集样本图像进行训练后得到。
2.根据权利要求1所述的罐头异物检测方法，其特征在于，所述将骨干网络中的卷积层替换为RepVGG模块，包括：
将骨干网络中的第二个到第五个卷积模块替换为RepVGG模块。
3.根据权利要求1所述的罐头异物检测方法，其特征在于，所述将Neck部分的C2f模块添加卷积块注意力模块CBAM，包括：
在C2f中的Bottleneck模块增加CBAM注意力机制，形成新的CBAM-Bottleneck模块；
用CBAM-Bottleneck模块替换C2f中的Bottleneck，形成新的C2f-CBAM模块；
用C2f-CBAM模块替换YOLOv8s网络结构中Neck部分的四个C2f模块。
4.根据权利要求1所述的罐头异物检测方法，其特征在于，所述获取待检测罐头的目标图像之前，还包括：
通过相机在传输带的不同方位获取有异物的罐头图像；
对所述罐头图像进行异物标注，并与异物类型的标签进行匹配，得到训练集样本；
基于所述训练集样本，对所述改进型YOLOv8s模型进行训练，得到所述训练后的改进型YOLOv8s模型。
5.根据权利要求4所述的罐头异物检测方法，其特征在于，所述对所述罐头图像进行异物标注之前，还包括：
对所述罐头图像的数据集进行数据增强；
所述数据增强包括使用旋转、镜像、缩放和添加高斯噪声方式。
6.根据权利要求1-5任一项所述的罐头异物检测方法，其特征在于，所述异物类型包括橡胶、昆虫、毛发、金属屑和毛纺。
7.一种罐头异物检测装置，其特征在于，包括：
采集模块，用于获取待检测罐头的目标图像；
处理模块，用于将所述目标图像输入训练后的改进型YOLOv8s模型，输出异物检测结果；
其中，所述改进型YOLOv8s模型，使用上采样算子CARAFE替换原始模型的最近邻插值上采样模块，将骨干网络中的卷积层替换为RepVGG模块，以及将Neck部分的C2f模块添加卷积块注意力模块CBAM后得到，并且基于标记异物区域及类型的训练集样本图像进行训练后得到。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述罐头异物检测方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述罐头异物检测方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述罐头异物检测方法。
CN202311566244.1A 2023-11-22 2023-11-22 罐头异物检测方法及装置 Pending CN117474898A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311566244.1A CN117474898A (zh) 2023-11-22 2023-11-22 罐头异物检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311566244.1A CN117474898A (zh) 2023-11-22 2023-11-22 罐头异物检测方法及装置

Publications (1)

Publication Number Publication Date
CN117474898A true CN117474898A (zh) 2024-01-30

Family

ID=89631259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311566244.1A Pending CN117474898A (zh) 2023-11-22 2023-11-22 罐头异物检测方法及装置

Country Status (1)

Country Link
CN (1) CN117474898A (zh)

Similar Documents

Publication Publication Date Title
CN111860171B (zh) 一种大规模遥感图像中不规则形状目标的检测方法及系统
CN110032925B (zh) 一种基于改进胶囊网络与算法的手势图像分割与识别方法
CN109598287A (zh) 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法
WO2021104125A1 (zh) 禽蛋异常的识别方法、装置及系统、存储介质、电子装置
CN112836602B (zh) 基于时空特征融合的行为识别方法、装置、设备及介质
WO2021003378A1 (en) Computer vision systems and methods for blind localization of image forgery
CN112733929A (zh) 一种改进Yolo水下图像小目标和遮挡目标的检测方法
CN116092179A (zh) 一种改进的yolox跌倒检测系统
KR20210108338A (ko) 안과 렌즈의 에지 결함 및 다른 결함의 검출을 향상시키기 위한 컴퓨터 구현 프로세스
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN117788402A (zh) 一种基于LIDD-Net高实时轻量化网络的工业产品缺陷检测方法
CN112991281A (zh) 视觉检测方法、系统、电子设备及介质
CN109508582A (zh) 遥感影像的识别方法及装置
CN117474898A (zh) 罐头异物检测方法及装置
CN115690001A (zh) 一种用于检测钢管焊接数字射线图像中缺陷的方法
CN116051532A (zh) 基于深度学习的工业零件缺陷检测方法、系统及电子设备
Bolla et al. Efficient deep learning methods for identification of defective casting products
CN115661828A (zh) 一种基于动态分层嵌套残差网络的文字方向识别方法
CN112581467B (zh) 一种基于疑似危险品评价的智能安检方法
CN115100128A (zh) 一种基于伪影噪声的深度伪造检测方法
CN114964628A (zh) 一种氨气泄漏混洗自注意力轻量化红外检测方法及系统
CN113780136A (zh) 基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备
CN112508862A (zh) 一种通过改进gan增强裂纹磁光图像的方法
CN110659694A (zh) 一种基于机器学习的柑橘果蒂的检测方法
Zhang et al. Transformer architecture based on mutual attention for image-anomaly detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination