CN117011225A - 卫生用品缺陷检测方法、装置、设备及存储介质 - Google Patents

卫生用品缺陷检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117011225A
CN117011225A CN202310656108.5A CN202310656108A CN117011225A CN 117011225 A CN117011225 A CN 117011225A CN 202310656108 A CN202310656108 A CN 202310656108A CN 117011225 A CN117011225 A CN 117011225A
Authority
CN
China
Prior art keywords
image
detected
sanitary article
detection model
network layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310656108.5A
Other languages
English (en)
Inventor
杨牧
杨辉华
李建福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Techmach Corp
Original Assignee
Techmach Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Techmach Corp filed Critical Techmach Corp
Priority to CN202310656108.5A priority Critical patent/CN117011225A/zh
Publication of CN117011225A publication Critical patent/CN117011225A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供卫生用品缺陷检测方法、装置、设备及存储介质，其中卫生用品缺陷检测方法包括：获取待检测卫生用品图像，将待检测卫生用品图像输入图像检测模型；其中，图像检测模型包括金字塔网络层，金字塔网络层包括卷积注意力模块和特征增强模块；通过图像检测模型对待检测卫生用品图像进行检测，获取图像检测模型输出针对待检测卫生用品图像的缺陷检测结果。通过将待检测卫生用品图像输入图像检测模型，通过图像检测模型对待检测卫生用品图像进行检测，获取图像检测模型输出针对待检测卫生用品图像的缺陷检测结果，基于包括金字塔网络层，金字塔网络层的图像检测模型，从而提升了检测精准度。

Description

卫生用品缺陷检测方法、装置、设备及存储介质
技术领域
本说明书实施例涉及深度学习技术领域，特别涉及卫生用品缺陷检测方法。
背景技术
缺陷检测是工业生产中非常重要的一环，其目的是为了检测出生产过程中存在的表面缺陷，以保证产品质量。过去，缺陷检测主要通过人工的方式进行，比如工人手动检查产品，但是这种方法的效率低下，而且易受人为因素的影响，因此需要寻求更加高效、准确的缺陷检测方法。随着计算机技术和图像处理技术的不断发展，自动化的缺陷检测方法逐渐成为了研究的热点。近年来，深度学习技术在图像处理领域的应用也逐渐得到了广泛的关注，在缺陷检测方面也取得了一定的成果。但是，由于数据量巨大、模型复杂等因素，目前仍然存在一些问题需要解决。因此，对于缺陷检测技术的研究仍然具有重要的意义。
目前的检测方法为人工检测方法：时间的消耗比较大、人工成本比较高，与此同时，人工长时间的重复检测很容易使人产生疲劳和厌倦，从而导致检测结果主观性比较强、检测不具有连续性、检测的结果十分不可靠。这些检测的缺陷经常会使卫生用品检测出现问题，从而使卫生用品的质量得不到有效的保证。
发明内容
有鉴于此，本说明书实施例提供了卫生用品缺陷检测方法。本说明书一个或者多个实施例同时涉及卫生用品缺陷检测装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种卫生用品缺陷检测方法，包括：
获取待检测卫生用品图像，将待检测卫生用品图像输入图像检测模型；其中，图像检测模型包括金字塔网络层，金字塔网络层包括卷积注意力模块和特征增强模块；
通过图像检测模型对待检测卫生用品图像进行检测，获取图像检测模型输出针对待检测卫生用品图像的缺陷检测结果。
在一种可能的实现方式中，在获取待检测卫生用品图像之前，还包括：
将历史卫生用品图像输入图像检测模型的输入网络层，在输入网络层对历史卫生用品图像进行数据增强，得到待检测卫生用品图像。
在一种可能的实现方式中，在输入网络层对历史卫生用品图像进行数据增强，得到待检测卫生用品图像，包括：
在输入网络层对历史卫生用品图像进行自适应锚框计算，确定第一卫生用品图像；
在输入网络层对第一卫生用品图像进行自适应图片缩放，得到待检测卫生用品图像。
在一种可能的实现方式中，通过图像检测模型对待检测卫生用品图像进行检测，包括：
将待检测卫生用品图像输入图像检测模型的主干网络层，基于待检测卫生用品图像生成特征图。
在一种可能的实现方式中，将待检测卫生用品图像输入图像检测模型的主干网络层，基于待检测卫生用品图像生成特征图，包括：
将待检测卫生用品图像输入图像检测模型的主干网络层，对待检测卫生用品图像进行切片操作，得到初始特征图；
在主干网络层对初始特征图进行卷积操作，得到特征图。
在一种可能的实现方式中，通过图像检测模型对待检测卫生用品图像进行检测，包括：
将特征图输入图像检测模型的金字塔网络层，将特征图输入卷积注意力模块，生成目标特征图；
基于目标特征图进行特征融合得到特征融合图；
基于特征融合图进行检测。
在一种可能的实现方式中，获取图像检测模型输出针对待检测卫生用品图像的缺陷检测结果，包括：
获取图像检测模型输出针对待检测卫生用品图像的图像标记框，以及图像标记框对应的类别。
根据本说明书实施例的第二方面，提供了一种卫生用品缺陷检测装置，包括：
数据获取模块，被配置为获取待检测卫生用品图像，将待检测卫生用品图像输入图像检测模型；其中，图像检测模型包括金字塔网络层，金字塔网络层包括卷积注意力模块和特征增强模块；
图像检测模块，被配置为通过图像检测模型对待检测卫生用品图像进行检测，获取图像检测模型输出针对待检测卫生用品图像的缺陷检测结果。
根据本说明书实施例的第三方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述卫生用品缺陷检测方法的步骤。
根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述卫生用品缺陷检测方法的步骤。
根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述卫生用品缺陷检测方法的步骤。
本说明书实施例提供卫生用品缺陷检测方法、装置、设备及存储介质，其中卫生用品缺陷检测方法包括：获取待检测卫生用品图像，将待检测卫生用品图像输入图像检测模型；其中，图像检测模型包括金字塔网络层，金字塔网络层包括卷积注意力模块和特征增强模块；通过图像检测模型对待检测卫生用品图像进行检测，获取图像检测模型输出针对待检测卫生用品图像的缺陷检测结果。通过将待检测卫生用品图像输入图像检测模型，通过图像检测模型对待检测卫生用品图像进行检测，获取图像检测模型输出针对待检测卫生用品图像的缺陷检测结果，基于包括金字塔网络层，金字塔网络层的图像检测模型，从而提升了检测精准度。
附图说明
图1是本说明书一个实施例提供的一种卫生用品缺陷检测方法的场景示意图；
图2是本说明书一个实施例提供的一种卫生用品缺陷检测方法的流程图；
图3是本说明书一个实施例提供的一种卫生用品缺陷检测方法的模型架构图；
图4是本说明书一个实施例提供的一种卫生用品缺陷检测方法的金字塔网络层的架构示意图；
图5是本说明书一个实施例提供的一种卫生用品缺陷检测方法的卷积注意力模块的架构示意图；
图6是本说明书一个实施例提供的一种卫生用品缺陷检测方法的特征增强模块的架构示意图；
图7是本说明书一个实施例提供的一种卫生用品缺陷检测方法的样本检测结果示意图；
图8是本说明书一个实施例提供的一种卫生用品缺陷检测装置的结构示意图；
图9是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本说明书中，提供了卫生用品缺陷检测方法，本说明书同时涉及卫生用品缺陷检测装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
参见图1，图1示出了根据本说明书一个实施例提供的一种卫生用品缺陷检测方法的场景示意图。
在图1的应用场景中，计算设备101可以获取待检测卫生用品图像102。然后，计算设备101可以将待检测卫生用品图像102输入图像检测模型103。之后，计算设备101可以通过图像检测模型103对待检测卫生用品图像102进行检测，获取图像检测模型103输出针对待检测卫生用品图像的缺陷检测结果104。
需要说明的是，上述计算设备101可以是硬件，也可以是软件。当计算设备101为硬件时，可以实现成多个服务器或终端设备组成的分布式集群，也可以实现成单个服务器或单个终端设备。当计算设备101体现为软件时，可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
参见图2，图2示出了根据本说明书一个实施例提供的一种卫生用品缺陷检测方法的流程图，具体包括以下步骤。
步骤201：获取待检测卫生用品图像，将待检测卫生用品图像输入图像检测模型，其中，图像检测模型包括金字塔网络层，金字塔网络层包括卷积注意力模块和特征增强模块。
其中，图像检测模型可以为YOLOv5模型。卫生用品图像可以为卫生巾、卫生纸和卫生湿巾等卫生用品的图像。金字塔网络层可以为CF-FPN结构的网络层，卷积注意力模块可以为CBAM模块，特征增强模块可以为FEM模块。
在实际应用中，YOLOv5(You Only Look Once version 5)是一种高效的目标检测算法，是YOLO(You Only Look Once)系列的最新版本。它是一种端到端的深度学习方法，可以在一次推理中预测图像中所有物体的位置和类别。YOLOv5与其他目标检测算法不同，它不需要多次推理，因此具有更快的检测速度和更低的计算资源消耗。另外，它也更简单易用，可以方便地部署在移动设备上。YOLOv5使用了多种方法，如卷积神经网络(Convolutional Neural Network，CNN)、非极大值抑制(Non-Maximal Suppression)、数据增强(Data Augmentation)等，以确保准确率和稳定性。总体来说，YOLOv5是一种极具前瞻性和潜力的目标检测算法，可以广泛应用于计算机视觉领域，如图像分析、自动驾驶、机器人等领域。YOLOv5是一种实时的物体检测算法。它的框架是基于卷积神经网络的。该算法将输入图像分成多个不同的grid，每个grid都独立预测图像中存在的物体的类别和位置。在预测的过程中，YOLOv5采用了多层卷积网络，通过不断地对图像的特征进行提取，以确定最终预测结果。
进一步的，在架构方面，YOLOv5使用了一系列预训练的卷积层和池化层，以提取图像的特征。接下来是一个或多个卷积层，它们通过学习对图像进行分类，并通过全连接层将图像的特征映射到一个预测结果。最终，YOLOv5会输出图像中存在的物体的类别和位置。
综上所述，与其他物体检测算法相比，YOLOv5的优势在于其高速的实时预测能力。它使用了一种分网格的方法，可以同时预测整个图像，从而比其他物体检测算法更快的生成预测结果。此外，YOLOv5的模型也相对较小，可以轻松部署到移动设备上，从而在现实应用中具有很高的实用性。
在本实施例中，作为当前YOLO系列的用于工业检测研究的常用型号，YOLOv5的卓越灵活性使其便于在硬件方面快速部署。YOLOv5的基本框架可分为四个部分：输入、骨干、颈部和预测。输入部分通过马赛克数据增强来丰富数据集，这对硬件设备要求低，计算成本低。然而，这会导致数据集中原始的小目标变小，导致模型的泛化性能恶化。主干部分主要由CSP模块组成，通过CSPDarknet53执行特征提取。FPN和路径聚合网络(PANet)，用于在颈部的这一阶段聚合图像特征。最后，网络通过预测进行目标预测和输出。
本说明书实施例基于YOLOv5框架，嵌入了CF-FPN结构，以解决多尺度和小目标的识别精度的问题，进一步提高模型的识别性能。参见图3，CF-FPN结构取代了原有的FPN结构，以提高识别多尺度目标的能力和小目标。
在一种可能的实现方式中，在获取待检测卫生用品图像之前，还包括：将历史卫生用品图像输入图像检测模型的输入网络层，在输入网络层对历史卫生用品图像进行数据增强，得到待检测卫生用品图像。
其中，历史卫生用品图像可以为卫生用品图像的原始图像。
在实际应用中，可以使用数据增强的方式对历史卫生用品图像进行数据增强，从而使得在模型中加快处理速度。
具体的，在输入网络层对历史卫生用品图像进行数据增强，得到待检测卫生用品图像，包括：在输入网络层对历史卫生用品图像进行自适应锚框计算，确定第一卫生用品图像，在输入网络层对第一卫生用品图像进行自适应图片缩放，得到待检测卫生用品图像。
在实际应用中，自适应锚框计算针对不同的数据集，都会有初始设定长宽的锚框。在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再反向更新，迭代网络参数。
例如，将800*600的图像进行缩放，得到416*416的图像。
本说明书实施例提出了基于YOLOv5检测模型的改进方法，该方法引入了融合卷积注意模块(CBAM)和特征增强模块(FEM)的特征金字塔模型，称为CF-FPN，该模型可以减少特征图生成过程中的信息损失，并增强特征金字塔的表示能力。将CF-FPN嵌入到YOLOv5模型中，能显著提高YOLOv5模型对多尺度目标的检测性能。
步骤202：通过图像检测模型对待检测卫生用品图像进行检测，获取图像检测模型输出针对待检测卫生用品图像的缺陷检测结果。
其中，缺陷检测结果可以为在待检测卫生用品图像进行标记的结果，也可以为文字和坐标的位置结果。本说明书实施例对此不进行限定。
在实际应用中，在预测中，使用广义(/>)损失作为边界框的损失函数，并使用加权非最大抑制(NMS)方法进行NMS。损失函数如下：
（1）
（2）
其中是覆盖/>和/>的最小区域大小。/>是标签，/>是预测框。
然而，当预测框位于标签内并且预测框的大小相同时，无法区分预测框和标签，
在本文中，被完全/>(/>)损失取代。在/>损失的基础上，/>损失考虑了重叠区域、边界框的中心点距离以及边界框的长宽比的一致性。该损失函数可定义为：
（3）
（4）
（5）
其中是惩罚项，它是通过最小化两个包围框中心点之间的归一化距离来定义的。/>和/>表示/>和/>的中心点，/>是欧氏距离，/>是覆盖两个框的最小包围框的对角线长度。/>是一个正的折衷参数，/>衡量长宽比的一致性。
而权衡参数被定义为：
（6）
其中重叠区因素被赋予更高的回归优先权，特别是对于非重叠的情况。
在一种可能的实现方式中，通过图像检测模型对待检测卫生用品图像进行检测，包括：将待检测卫生用品图像输入图像检测模型的主干网络层，基于待检测卫生用品图像生成特征图。
具体的，将待检测卫生用品图像输入图像检测模型的主干网络层，基于待检测卫生用品图像生成特征图，包括：将待检测卫生用品图像输入图像检测模型的主干网络层，对待检测卫生用品图像进行切片操作，得到初始特征图，在主干网络层对初始特征图进行卷积操作，得到特征图。
在实际应用中，在主干网络层中包括Focus结构，如，原始608*608*3的图像输入Focus结构，采用切片操作，先变成304*304*12的特征图，再经过一次32个卷积核的卷积操作，最终变成304*304*32的特征图。
在一种可能的实现方式中，通过图像检测模型对待检测卫生用品图像进行检测，包括：将特征图输入图像检测模型的金字塔网络层，将特征图输入卷积注意力模块，生成目标特征图，基于目标特征图进行特征融合得到特征融合图，基于特征融合图进行检测。
具体的，CF-FPN结构基于传统特征金字塔网络，在FPN上增加了卷积注意模块(CBAM)和特征增强模块(FEM)。前部分减少由于特征通道变少而引起的上下文信息在高度特征图上的丢失，在实现最先进的性能的同时，后部分增强了特征金字塔的表示，提高了推理速度。如图4所示输入图像通过多次卷积生成特征图{C1、C2、C3、C4、C5}，C5通过CBAM生成特征图M6，M6通过求和与M5结合，并通过自上而下的路径传播与较低级别的其他特征融合，并且在每次融合后通过FEM扩展感受野，PANet缩短了浅层和顶层特征之间的信息路径。
进一步的，CBAM是一个简单且有效、具有轻量化功能的注意模块，可在CNN体系结构中即插即用，可端到端训练。给定一个特征向量，CBAM沿着通道和空间的两个独立维度依次推断注意力映射，然后将注意力映射与输入特性映射相乘，以执行自调节特征细化。CBAM模块的结构如图5所示，涵盖CAM(Channel Attention Module)和SAM(Spartial AttentionModule)两个子组件，分别展开通道和空间上的注意力，使其方便集成到现有的网络中去。CBAM的处理操作可分为两个阶段，第一步，输入特征，通过通道注意模块进行一维卷积，得到CAM结果，将此结果与原图相乘作为下一个模块的输入；第二步，进行空间注意力模块的二维卷积生成空间注意力特征图，再与原图相乘。产生的特征图具有多尺度的丰富情境信息，部分缓解了通道数目减少所造成的信息损失。
使用CBAM可以提取关注区域，帮助卫生用品数据集抵制复杂的底纹背景信息，并专注于有用的目标CBAM卷积注意模块。
FEM基于检测到的卫生用品表面缺陷的不同尺度，使用空洞卷积对各个特征图中不同的感受野进行自适应学习，以提高检测和识别多尺度目标的精度。如图6所示，它可以分为两个部分：多分支卷积层和分支池层。通过空洞卷积对输入特征图提供具有不同大小的感受野的多分支卷积层。为了提高多尺度预测精度，利用平均池化层整合了三个分支感受野中的缺陷信息；多分支卷积层则包含了空洞卷积层、BN(BatchNormalization)层和ReLU(Rectified Linear Units)层，各卷积层之间有一定的平行性，在每个分支的空洞卷积中卷积核大小相同，但是膨胀率有所不同。具体而言，每个膨胀卷积核为3*3，不同支的膨胀率分别为 3、5和 7。
在不会丢失分辨率或覆盖下，空洞卷积支持指数扩大的感受野。然而，在空洞卷积的卷积算法中，卷积核的元素是分开的，空间的尺寸取决于扩张率，这与标准卷积运算中所相邻的卷积核元素不同。卷积核从3*3变为7*7，该层的感受野为7*7。空洞卷积的感受野公式为：
（7）
（8）
其中和/>分别表示核大小和膨胀率。/>表示卷积的步长。分支池层被提出来融合来自不同并行分支的信息，并避免引入额外的参数。平均运算用于在训练期间平衡不同平行分支的表示，这使得单个分支能够在测试期间实现推理。表达式如下：
（9）
其中表示分支池层的输出。/>表示并行分支的数量，设置/>。
在实际应用中，实验设置考虑到YOLOv5网络要求的固定输入大小，本发明将图像调整为640x640的统一尺寸。训练和验证数据集包括1500幅图像，测试数据集包括原本缺陷样本的100幅图像。在训练过程中，学习率的初始值为0.01。在Ubuntu18.04操作系统下的NVIDIA DXG-1服务器上进行的。该服务器配置了显卡4xGeForce RTX 2080ti，其显存为11G。提出的神经网络均是基于深度学习框架Pytorch和python3.8实现的。提出的神经网络参数设置如下：Batch size设置为2，总共训练60个epoch，损失函数为交叉熵损失函数(CrossEntropyLoss)。学习率初始化为2.5e-4，每训练20轮衰减到原本的二分之一，总计训练60轮。学习率衰减的目的是为了控制网络参数的迭代速度，防止模型参数陷入局部最优解。
为了证明所提出的方法在卫生用品表面缺陷检测中的优势，在真实卫生用品缺陷数据集上评估了本发明的方法，该数据集均是通过剪切数据增强方法扩展之后，并将其与原始YOLOv5、Efficientdet、YOLOV4、YOLOv7和YOLOv3进行了比较。使用四种缺陷类型平均精度(mAP)来评估性能。具体结果见表1。
表1
可以看出，所提出的方法的模型，在所有四类缺陷样本上实现了97%以上的检测精度，这高于YOLOv7，在污点这类小样本的缺陷得到了很大的提高，识别准确率达了97.8%，这显著高于其他方法。通常，本发明的方法对于小样本目标检测具有较高的精度，并且可以少量样本的情况下，达到较高的精确度，也证实了本发明提出数据增强方法的有效性。
为了更直观地展示所提出的卫生用品缺陷检测和识别方法的性能，同时为了验证CF-FPN每个组件的有效性，本发明进行了消融研究，包括原始的YOLOv5，仅引入CBAM的YOLOv5，仅引入FEM的YOLOv5与本发明的方法，分析结果如表2所示。
表2
表2显示了在YOLOv5模型上逐步增加组件训练的消融结果。从结果中观察到，仅引入CBAM的YOLOv5在污点状缺陷上的检测精度有所提升标准，达到了88.1%；仅引入FEM的YOLOv5在污点状缺陷上的检测精度同样有所提升，达到了87.3%，这表明CBAM和FEM在小样本的检测精度的提升上均有一定的贡献。原始YOLOv5提供88.02%的检测mAP，整合数据增强和CF-FPN将mAP分别提高到93.3%和93.9%。在检测小样本的性能得到了进一步提升，本发明所使用的方法在卫生用品数据集上的mAP比YOLOv5高10.2%，这意味着所提出的方法在目标和识别方面取得了令人印象深刻的性能。同时，在小样本的检测精度上有明显的增加，这意味着改进后的网络确实的缓解了卫生用品缺陷中小样本检测困难的问题，部署在实际应用的效果如图7所示。
在一种可能的实现方式中，获取图像检测模型输出针对待检测卫生用品图像的缺陷检测结果，包括：获取图像检测模型输出针对待检测卫生用品图像的图像标记框，以及图像标记框对应的类别。
本说明书实施例提供卫生用品缺陷检测方法、装置、设备及存储介质，其中卫生用品缺陷检测方法包括：获取待检测卫生用品图像，将待检测卫生用品图像输入图像检测模型；其中，图像检测模型包括金字塔网络层，金字塔网络层包括卷积注意力模块和特征增强模块；通过基于YOLOv5检测模型的特征融合的方法，该方法引入了融合卷积注意模块(CBAM)和特征增强模块(FEM)的特征金字塔模型，该模型可以减少特征图生成过程中的信息损失，并增强特征金字塔的表示能力，将CF-FPN嵌入到YOLOv5模型中，能显著提高YOLOv5模型对多尺度目标的检测性能。
另外的，本说明书实施例采用了特征融合方法，可以减少特征图生成过程中的信息损失，并增强特征金字塔的表示能力，而且消耗计算资源小。本发明使用改进YOLOv5的方法，方便部署在设备上。
与上述方法实施例相对应，本说明书还提供了卫生用品缺陷检测装置实施例，图8示出了本说明书一个实施例提供的一种卫生用品缺陷检测装置的结构示意图。如图8所示，该装置包括：
数据获取模块801，被配置为获取待检测卫生用品图像，将待检测卫生用品图像输入图像检测模型；其中，图像检测模型包括金字塔网络层，金字塔网络层包括卷积注意力模块和特征增强模块；
图像检测模块802，被配置为通过图像检测模型对待检测卫生用品图像进行检测，获取图像检测模型输出针对待检测卫生用品图像的缺陷检测结果。
在一种可能的实现方式中，数据获取模块801，还被配置为：
将历史卫生用品图像输入图像检测模型的输入网络层，在输入网络层对历史卫生用品图像进行数据增强，得到待检测卫生用品图像。
在一种可能的实现方式中，数据获取模块801，还被配置为：
在输入网络层对历史卫生用品图像进行自适应锚框计算，确定第一卫生用品图像；
在输入网络层对第一卫生用品图像进行自适应图片缩放，得到待检测卫生用品图像。
在一种可能的实现方式中，图像检测模块802，还被配置为：
将待检测卫生用品图像输入图像检测模型的主干网络层，基于待检测卫生用品图像生成特征图。
在一种可能的实现方式中，图像检测模块802，还被配置为：
将待检测卫生用品图像输入图像检测模型的主干网络层，对待检测卫生用品图像进行切片操作，得到初始特征图；
在主干网络层对初始特征图进行卷积操作，得到特征图。
在一种可能的实现方式中，图像检测模块802，还被配置为：
将特征图输入图像检测模型的金字塔网络层，将特征图输入卷积注意力模块，生成目标特征图；
基于目标特征图进行特征融合得到特征融合图；
基于特征融合图进行检测。
在一种可能的实现方式中，图像检测模块802，还被配置为：
获取图像检测模型输出针对待检测卫生用品图像的图像标记框，以及图像标记框对应的类别。
本说明书实施例提供卫生用品缺陷检测方法、装置、设备及存储介质，其中卫生用品缺陷检测装置包括：获取待检测卫生用品图像，将待检测卫生用品图像输入图像检测模型；其中，图像检测模型包括金字塔网络层，金字塔网络层包括卷积注意力模块和特征增强模块；通过图像检测模型对待检测卫生用品图像进行检测，获取图像检测模型输出针对待检测卫生用品图像的缺陷检测结果。通过将待检测卫生用品图像输入图像检测模型，通过图像检测模型对待检测卫生用品图像进行检测，获取图像检测模型输出针对待检测卫生用品图像的缺陷检测结果，基于包括金字塔网络层，金字塔网络层的图像检测模型，从而提升了检测精准度。
上述为本实施例的一种卫生用品缺陷检测装置的示意性方案。需要说明的是，该卫生用品缺陷检测装置的技术方案与上述的卫生用品缺陷检测方法的技术方案属于同一构思，卫生用品缺陷检测装置的技术方案未详细描述的细节内容，均可以参见上述卫生用品缺陷检测方法的技术方案的描述。
图9示出了根据本说明书一个实施例提供的一种计算设备900的结构框图。该计算设备900的部件包括但不限于存储器910和处理器920。处理器920与存储器910通过总线930相连接，数据库950用于保存数据。
计算设备900还包括接入设备940，接入设备940使得计算设备900能够经由一个或多个网络960通信。这些网络的示例包括公用交换电话网（PSTN，Public SwitchedTelephone Network）、局域网（LAN，Local Area Network）、广域网（WAN，Wide AreaNetwork）、个域网（PAN，Personal Area Network）或诸如因特网的通信网络的组合。接入设备940可以包括有线或无线的任何类型的网络接口（例如，网络接口卡（NIC，networkinterface controller））中的一个或多个，诸如IEEE802.11无线局域网（WLAN，WirelessLocal Area Network）无线接口、全球微波互联接入（Wi-MAX，WorldwideInteroperability for Microwave Access）接口、以太网接口、通用串行总线（USB，Universal Serial Bus）接口、蜂窝网络接口、蓝牙接口、近场通信（NFC，Near FieldCommunication）。
在本说明书的一个实施例中，计算设备900的上述部件以及图9中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图9所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备900可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或个人计算机（PC，Personal Computer）的静止计算设备。计算设备900还可以是移动式或静止式的服务器。
其中，处理器920用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述卫生用品缺陷检测方法的步骤。上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的卫生用品缺陷检测方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述卫生用品缺陷检测方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述卫生用品缺陷检测方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的卫生用品缺陷检测方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述卫生用品缺陷检测方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述卫生用品缺陷检测方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的卫生用品缺陷检测方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述卫生用品缺陷检测方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种卫生用品缺陷检测方法，其特征在于，包括：
获取待检测卫生用品图像，将所述待检测卫生用品图像输入图像检测模型；其中，所述图像检测模型包括金字塔网络层，所述金字塔网络层包括卷积注意力模块和特征增强模块；
通过所述图像检测模型对待检测卫生用品图像进行检测，获取所述图像检测模型输出针对所述待检测卫生用品图像的缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，在所述获取待检测卫生用品图像之前，还包括：
将历史卫生用品图像输入所述图像检测模型的输入网络层，在所述输入网络层对所述历史卫生用品图像进行数据增强，得到所述待检测卫生用品图像。
3.根据权利要求2所述的方法，其特征在于，所述在所述输入网络层对所述历史卫生用品图像进行数据增强，得到所述待检测卫生用品图像，包括：
在所述输入网络层对所述历史卫生用品图像进行自适应锚框计算，确定第一卫生用品图像；
在所述输入网络层对所述第一卫生用品图像进行自适应图片缩放，得到所述待检测卫生用品图像。
4.根据权利要求1所述的方法，其特征在于，所述通过所述图像检测模型对待检测卫生用品图像进行检测，包括：
将所述待检测卫生用品图像输入所述图像检测模型的主干网络层，基于所述待检测卫生用品图像生成特征图。
5.根据权利要求4所述的方法，其特征在于，所述将所述待检测卫生用品图像输入所述图像检测模型的主干网络层，基于所述待检测卫生用品图像生成特征图，包括：
将所述待检测卫生用品图像输入所述图像检测模型的主干网络层，对所述待检测卫生用品图像进行切片操作，得到初始特征图；
在所述主干网络层对所述初始特征图进行卷积操作，得到所述特征图。
6.根据权利要求5所述的方法，其特征在于，所述通过所述图像检测模型对待检测卫生用品图像进行检测，包括：
将所述特征图输入所述图像检测模型的所述金字塔网络层，将所述特征图输入卷积注意力模块，生成目标特征图；
基于所述目标特征图进行特征融合得到特征融合图；
基于所述特征融合图进行检测。
7.根据权利要求1所述的方法，其特征在于，所述获取所述图像检测模型输出针对所述待检测卫生用品图像的缺陷检测结果，包括：
获取所述图像检测模型输出针对所述待检测卫生用品图像的图像标记框，以及所述图像标记框对应的类别。
8.一种卫生用品缺陷检测装置，其特征在于，包括：
数据获取模块，被配置为获取待检测卫生用品图像，将所述待检测卫生用品图像输入图像检测模型；其中，所述图像检测模型包括金字塔网络层，所述金字塔网络层包括卷积注意力模块和特征增强模块；
图像检测模块，被配置为通过所述图像检测模型对待检测卫生用品图像进行检测，获取所述图像检测模型输出针对所述待检测卫生用品图像的缺陷检测结果。
9.一种计算设备，其特征在于，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述卫生用品缺陷检测方法的步骤。
10.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述卫生用品缺陷检测方法的步骤。
CN202310656108.5A 2023-06-05 2023-06-05 卫生用品缺陷检测方法、装置、设备及存储介质 Pending CN117011225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310656108.5A CN117011225A (zh) 2023-06-05 2023-06-05 卫生用品缺陷检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310656108.5A CN117011225A (zh) 2023-06-05 2023-06-05 卫生用品缺陷检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117011225A true CN117011225A (zh) 2023-11-07

Family

ID=88560868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310656108.5A Pending CN117011225A (zh) 2023-06-05 2023-06-05 卫生用品缺陷检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117011225A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743322A (zh) * 2021-09-07 2021-12-03 上海海事大学 基于改进YOLOv3算法的海上船舶检测方法
CN115063648A (zh) * 2022-05-30 2022-09-16 沈阳化工大学 一种绝缘子缺陷检测模型构建方法及系统
CN115829999A (zh) * 2022-12-22 2023-03-21 国网新疆电力有限公司信息通信公司 一种绝缘子缺陷检测模型生成方法、装置、设备和存储介质
CN115861263A (zh) * 2022-12-19 2023-03-28 安徽南瑞继远电网技术有限公司 一种基于改进YOLOv5网络的绝缘子缺陷图像检测方法
CN116071309A (zh) * 2022-12-27 2023-05-05 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN116205883A (zh) * 2023-03-03 2023-06-02 灵图数据(杭州)有限公司 一种pcb表面缺陷检测方法、系统、电子设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743322A (zh) * 2021-09-07 2021-12-03 上海海事大学 基于改进YOLOv3算法的海上船舶检测方法
CN115063648A (zh) * 2022-05-30 2022-09-16 沈阳化工大学 一种绝缘子缺陷检测模型构建方法及系统
CN115861263A (zh) * 2022-12-19 2023-03-28 安徽南瑞继远电网技术有限公司 一种基于改进YOLOv5网络的绝缘子缺陷图像检测方法
CN115829999A (zh) * 2022-12-22 2023-03-21 国网新疆电力有限公司信息通信公司 一种绝缘子缺陷检测模型生成方法、装置、设备和存储介质
CN116071309A (zh) * 2022-12-27 2023-05-05 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN116205883A (zh) * 2023-03-03 2023-06-02 灵图数据(杭州)有限公司 一种pcb表面缺陷检测方法、系统、电子设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
REN, Z等: "Improved YOLOv5 Network for Real-Time Object Detection in Vehicle-Mounted Camera Capture Scenarios", 《SENSORS》, vol. 23, no. 10, 9 May 2023 (2023-05-09), pages 1 - 16 *

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Zanjani et al. Stain normalization of histopathology images using generative adversarial networks
CN110956225B (zh) 一种违禁品检测方法及系统、一种计算设备及存储介质
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN109902715B (zh) 一种基于上下文聚合网络的红外弱小目标检测方法
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN109241982A (zh) 基于深浅层卷积神经网络的目标检测方法
CN108780508A (zh) 用于归一化图像的系统和方法
Tripathi et al. Optimized deep learning model for mango grading: Hybridizing lion plus firefly algorithm
CN105574848A (zh) 用于对象的自动分割的方法和装置
CN111783841A (zh) 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN109472733A (zh) 基于卷积神经网络的图像隐写分析方法
Li et al. Gated auxiliary edge detection task for road extraction with weight-balanced loss
CN116721414A (zh) 一种医学图像细胞分割与跟踪方法
CN109726649A (zh) 遥感影像云检测方法、系统及电子设备
CN114565824B (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN113554653A (zh) 基于互信息校准点云数据长尾分布的语义分割方法
CN116168240A (zh) 基于注意力增强的任意方向密集舰船目标检测方法
CN110751061B (zh) 基于sar网络的sar图像识别方法、装置、设备和存储介质
Gao et al. E-DeepLabV3+: A Landslide Detection Method for Remote Sensing Images
CN114359387A (zh) 基于改进yolov4算法的袋料栽培香菇检测方法
CN115761390A (zh) 图像场景识别方法及装置
Tiwari A pattern classification based approach for blur classification
CN116977265A (zh) 缺陷检测模型的训练方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination