CN115375677A - 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统 - Google Patents

基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统 Download PDF

Info

Publication number
CN115375677A
CN115375677A CN202211298772.9A CN202211298772A CN115375677A CN 115375677 A CN115375677 A CN 115375677A CN 202211298772 A CN202211298772 A CN 202211298772A CN 115375677 A CN115375677 A CN 115375677A
Authority
CN
China
Prior art keywords
wine bottle
defect detection
path
module
residual extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211298772.9A
Other languages
English (en)
Other versions
CN115375677B (zh
Inventor
邵瑞
张泽恺
李刚
周鸣乐
李敏
张�成
伊长乐
韩德隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Shandong Computer Science Center National Super Computing Center in Jinan
Priority to CN202211298772.9A priority Critical patent/CN115375677B/zh
Publication of CN115375677A publication Critical patent/CN115375677A/zh
Application granted granted Critical
Publication of CN115375677B publication Critical patent/CN115375677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统，属于工业检测技术领域，包括：获取酒瓶RGB图像；根据RGB图像和训练好的酒瓶缺陷检测模型中，获得酒瓶缺陷检测结果，其中，酒瓶缺陷检测模型包括多个依次连接的残差提取模块，后三个残差提取模块中的每个残差提取模块均依次连接上采样网络、注意力增强块和检测单元，三个上采样网络按照从与最后一个残差提取模块连接的上采样网络到与倒数第三个残差提取模块连接的上采样网络的方向依次连接，每个上采样网络与残差提取模块之间还设置路径增强模块，残差提取模块的输出输入到路径增强模块中，路径增强模块的输出输入到上采样网络中。提高了酒瓶缺陷检测的准确性。

Description

基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统
技术领域
本发明涉及工业检测技术领域，尤其涉及基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
在酒瓶的生产及运输过程中，容易遭到破坏，很容易产生较多种类的缺陷。由于酒瓶缺陷种类多、形状大小不一以及背景复杂等问题，给自动化检测带来了巨大的挑战。
近年来，引入机器视觉技术识别和检测酒瓶等工业产品的缺陷获得了很多的关注，已经逐渐取代了传统的人工检测，这使得产品的检测效率得到了提高，也使得产品的检测质量得了更高的稳定性。但是，机器视觉技术过分依赖于手工设计的特征提取方法，这使得检测的鲁棒性不高，同时也限制了自动化检测的发展。
目前，深度学习技术的快速发展为酒瓶等工业产品的缺陷检测带来了新的解决方案。先是卷积神经网络的兴起，如ResNet等，在分类方面取得了不错的应用效果。但是，仅仅只分类不能够满足缺陷检测的需要，还需要知道缺陷的位置和大小等信息。检测器很好的解决了这个问题，如YOLOV3等检测网络，在速度和准确性之间取得了很好的均衡。但是，这些目标检测器都是作用于自然场景下的目标检测，在酒瓶等工业产品的检测场景下，没有取得很好的泛化能力。同时，自然场景下的通用目标检测器在遇到酒瓶的复杂缺陷特征时，没有达到很好的缺陷特征提取效果。
发明内容
本发明为了解决上述问题，提出了基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统，通过聚合来自多路径和多尺度的酒瓶缺陷特征，对缺陷位置和宽高进行了计算，实现了准确、快速的酒瓶缺陷检测功能。
为实现上述目的，本发明采用如下技术方案：
第一方面，提出了基于多路径和多尺度特征融合的酒瓶缺陷检测方法，包括：
获取酒瓶RGB图像；
根据RGB图像和训练好的酒瓶缺陷检测模型中，获得酒瓶缺陷检测结果，其中，酒瓶缺陷检测模型包括多个依次连接的残差提取模块，后三个残差提取模块中的每个残差提取模块均依次连接上采样网络、注意力增强块和检测单元，三个上采样网络按照从与最后一个残差提取模块连接的上采样网络到与倒数第三个残差提取模块连接的上采样网络的方向依次连接，每个上采样网络与残差提取模块之间还设置路径增强模块，残差提取模块的输出输入到路径增强模块中，路径增强模块的输出输入到上采样网络中。
第二方面，提出了基于多路径和多尺度特征融合的酒瓶缺陷检测系统，执行第一方面提出的基于多路径和多尺度特征融合的酒瓶缺陷检测方法，包括：
图像获取模块，用于获取酒瓶RGB图像；
酒瓶缺陷检测模块，用于根据RGB图像和训练好的酒瓶缺陷检测模型中，获得酒瓶缺陷检测结果，其中，酒瓶缺陷检测模型包括多个依次连接的残差提取模块，后三个残差提取模块中的每个残差提取模块均依次连接上采样网络、注意力增强块和检测单元，三个上采样网络按照从与最后一个残差提取模块连接的上采样网络到与倒数第三个残差提取模块连接的上采样网络的方向依次连接，每个上采样网络与残差提取模块之间还设置路径增强模块，残差提取模块的输出输入到路径增强模块中，路径增强模块的输出输入到上采样网络中。
第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成基于多路径和多尺度特征融合的酒瓶缺陷检测方法所述的步骤。
第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成基于多路径和多尺度特征融合的酒瓶缺陷检测方法所述的步骤。
与现有技术相比，本发明的有益效果为：
1、本发明通过将多个残差提取块分别连接路径增强模块和上采样网络，并将上采样网络进行连接，实现了聚合来自多路径和多尺度的酒瓶缺陷特征，该酒瓶缺陷特征保留了更多细节的缺陷特征信息，提高了酒瓶缺陷检测的准确率，且具有较高的鲁棒性和可移植性。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为实施例1公开的训练好的酒瓶缺陷检测模型获取过程；
图2为实施例1公开的酒瓶缺陷检测模型结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
为了提高酒瓶缺陷检测的准确性，在该实施例中，公开了基于多路径和多尺度特征融合的酒瓶缺陷检测方法，如图1所示，包括：
S1：获取酒瓶RGB图像。
酒瓶经过生产线和质检机上的工业相机，工业相机搭配光源对酒瓶的瓶口、瓶底和瓶身部位进行拍摄，拍摄的图像被固定保存为640×640，获得酒瓶RGB图像。
其中，工业相机可选择采用CCD工业相机，CCD工业相机搭配光源获取图像，CCD工业相机采用面阵CCD工业相机、线阵CCD工业相机、三线传感器CCD工业相机、交织传输CCD工业相机以及全幅面CCD工业相机均可；光源采用环形光源、条形光源、点光源、方形光源以及同轴光源搭配完成。根据酒瓶的立体及平面的不同，为酒瓶的立体部位搭配环形光源与条形光源，为酒瓶的平面部位搭配条形光源。
S2：根据RGB图像和训练好的酒瓶缺陷检测模型中，获得酒瓶缺陷检测结果，其中，酒瓶缺陷检测模型包括多个依次连接的残差提取模块，后三个残差提取模块中的每个残差提取模块均依次连接上采样网络、注意力增强块和检测单元，三个上采样网络按照从与最后一个残差提取模块连接的上采样网络到与倒数第三个残差提取模块连接的上采样网络的方向依次连接，每个上采样网络与残差提取模块之间还设置路径增强模块，残差提取模块的输出输入到路径增强模块中，路径增强模块的输出输入到上采样网络中。
以酒瓶缺陷检测模型包括五个依次连接的残差提取模块对酒瓶缺陷检测模型进行详细说明，酒瓶缺陷检测模型如图2所示，包括：特征残差提取网络、多路径增强网络、多尺度特征聚合网络、注意力增强模块和检测网络。
特征残差提取网络包括五个依次连接的残差提取模块，分别为残差提取模块一、残差提取模块二、残差提取模块三、残差提取模块四和残差提取模块五。
所有残差提取模块的结构相同，均由三个卷积、批标准化和激活函数组成，将残差提取模块的输入输入第一个卷积层中，第一个卷积层的输出进行批标准化和激活函数激活后输入到第二个卷积层中，第二个卷积层的输出进行批标准化和激活函数激活后，输入到第三个卷积层中，对第三个卷积层的输出进行批标准化，最后，对残差信息进行聚合后统一进行激活函数激活，优选的，激活函数采用ReLU函数。
其中，第一个卷积层为3x3大小的卷积层，步长为2，第二个卷积层为1x1大小的卷积层，步长为1，第三个卷积层为3x3大小的卷积层，步长为1。
多路径增强网络包含三个路径增强模块，三个路径增强模块分别与特征残差提取网络中的后三个残差提取模块对应连接。具体的，与最后一个残差提取模块连接的路径增强模块为路径增强模块三，与倒数第二个残差提取模块连接的路径增强模块为路径增强模块二，与倒数第三个残差提取模块连接的路径增强模块为路径增强模块一。
其中，最后一个残差提取模块为残差提取模块五，倒数第二个残差提取模块为残差提取模块四，倒数第三个残差提取模块为残差提取模块三。
每一个路径增强模块具有相同的结构，均是先经过一个卷积层进行通道转换，再经过一个卷积核结构进行缺陷特征提取，之后再经过一个由卷积、批标准化和激活函数组成的特征提取组。多路径增强网络中的特征图在经过大卷积核结构后，大小不变。其中，为使得算法能够获得更大感受野从而能够获取更全面的特征信息，设定大卷积核大小为29*29，但出于计算量的考虑，即大卷积核所带了的计算开销非常大，将大卷积核结构采用空洞卷积的思想，使用小卷积核或空洞卷积组合实现大卷积核的感受野，能够在获得大卷积核感受野的同时，降低计算量。
多尺度特征聚合网络包括三个依次连接的上采样网络，每个上采样网络的输出还输入到对应的注意力增强块中，三个上采样网络分别为上采样网络一、上采样网络二和上采样网络三，上采样网络一、上采样网络二和上采样网络三依次连接，上采样网络一的输出输入到注意力增强块一中，上采样网络二的输出输入到注意力增强块二中，上采样网络三的输出输入到注意力增强块三中。
路径增强模块三和残差提取模块五的输出均输入上采样网络一中，上采样网络一同时聚合来自路径增强模块三和残差提取模块五输出的特征，将上采样网络一输出的特征输入到上采样网络二中，上采样网络二的输入还包括残差提取模块四、路径增强模块二和注意力增强块一的输出，采样网络二同时聚合上采样网络一、残差提取模块四、路径增强模块二和注意力增强块一的输出特征，将上采样网络二输出的特征输入到上采样网络三中，上采样网络三的输入还包括残差提取模块三、路径增强模块一和注意力增强块二的输出，上采样网络三同时聚合上采样网络二、残差提取模块三、路径增强模块一和注意力增强块二的输出特征。
每个注意力增强块的输出还输入到对应检测单元中，通过检测单元对注意力增强块输出的特征进行识别，获得酒瓶缺陷检测结果。
具体的，注意力增强块一的输出输入到检测单元一中，注意力增强块二的输出输入到检测单元二中，注意力增强块三的输出输入到检测单元三中。
注意力增强块是为了给特征图中更具代表性的酒瓶特征信息加权而设置的，每个注意力增强块均由依次连接的空间注意力块和通道注意力块组成。空间注意力块关注更重要的特征信息进行增强提取，从而使模型关注每一张特征图上更重要的酒瓶特征信息，通道注意力块关注特征图之间的通道关系，并抑制不重要的通道，增强具有重要信息的通道。
空间注意力块的具体实现为：
1)获取输入空间注意力块的每一张特征图中的全局平均值和全局最大值，分别命名为avg和max；
2)将第一步中的avg和max在通道维度上进行聚合，形成具有双倍通道的特征信息；
3)对双倍通道的特征信息进行降维和激活后输出，优选的，使用1×1卷积对通道进行降维，并使用tanh函数进行激活，并为了保证权重不为0，使用exp函数保证激活后的非线性数据全部变为正数。
将空间注意力块输出的特征输入通道注意力块中，通道注意力块为不同通道进行加权，抑制不重要的通道，增强具有重要信息的通道，具体实现为：
1)求得每一通道上特征图的全局平均值，并命名为channel_avg；
2)将所有的channel_avg经过一个全连接层（FC Layer）进行特征组合，获得组合特征channel_avg；
3)将组合特征channel_avg经过sigmoid函数进行激活后输出。
空间注意力块使用tanh函数激活和exp函数保证数据为正数，是为了更好的增强关键信息的加权值，因为sigmoid只能在0-1之间，而exp保证了加权值更大。
现有的通道注意力块使用了两个FC Layer，并且使用了ReLU进行激活，之后才使用sigmoid，使用的两个FC Layer，其中一个是为了降维，而降维会带来特征信息的损失。本实施例提出的通道注意力块仅使用一个FC Layer，没有进行降维，保证了关键特征信息的特征组合，而且不需要使用ReLU函数，在保证关键特征信息提取的基础上，降低模型计算的复杂度。
三个注意力增强块构成注意力增强网络，三个检测单元构成检测网络。
酒瓶缺陷检测模型采用多任务损失函数，多任务损失函数为类别损失、置信度损失和框回归损失之和。
框回归损失采用Alpha-IOU，置信度损失和类别损失分别采用二元交叉熵损失函数进行计算，并在二元交叉熵损失函数的基础上，继续采用Focal Loss计算置信度损失和类别损失。
获取训练好的酒瓶缺陷检测模型的过程如图1所示，包括：
获取已有的酒瓶RGB图像，并对该图像进行标注，形成酒瓶检测数据集；
将酒瓶检测数据集划分为训练集和测试集；
利用训练集对酒瓶缺陷检测模型进行训练，获得训练好的酒瓶缺陷检测模型；
通过测试集对训练好的酒瓶缺陷检测模型进行验证。
在具体实施时，按照8:2的比例将酒瓶检测数据集划分为训练集和测试集。
采用SGD优化器对酒瓶缺陷检测模型进行训练，其中，迭代学习率设置为1×10-3。
采用矩形框对已有的酒瓶RGB图像进行标注，并为每种缺陷赋予相应的标签序号，形成酒瓶检测数据集。
具体的，使用标注软件对已有的酒瓶RGB图像使用矩形框框定标注，并赋予油污缺陷的标签序号为0，赋予划痕缺陷的标签序号为1，赋予气泡缺陷的标签序号为2,赋予结石缺陷的标签序号为3，赋予麻点缺陷的标签序号为4，赋予飞机翅膀缺陷的标签序号为5，赋予淬纹缺陷的标签序号为6，赋予瓶内搭丝缺陷的标签序号为7，赋予裂纹缺陷的标签序号为8。
利用训练集对酒瓶缺陷检测模型进行训练时，将训练集中的酒瓶RGB图像输入酒瓶缺陷检测模型中，酒瓶缺陷检测模型输出多个矩形框，利用非极大值抑制算法从多个矩形框中选取出最优的矩形框为酒瓶缺陷检测结果。
非极大值抑制算法优选DIOU-NMS。
本实施例公开的酒瓶缺陷检测方法，将多个残差提取块分别连接路径增强模块和上采样网络，并将上采样网络进行连接，实现了聚合来自多路径和多尺度的酒瓶缺陷特征，该酒瓶缺陷特征保留了更多细节的缺陷特征信息，对更小的酒瓶缺陷具有更好的检测能力，如小气泡、细小划痕等，并且不容易受光线、大小形状等复杂情况的影响，在工业检测领域具有较好的应用前景，提高了酒瓶缺陷检测的准确率，且具有较高的鲁棒性和可移植性，可在复杂的工业检测环境下实现较为精确的酒瓶缺陷检测，生成高质量的缺陷位置、类别及其区域框，能够精准识别酒瓶中的诸多缺陷，是酒瓶在进入灌装生产线前安全性的重要保障，具有较大的应用前景。
实施例2
在该实施例中，公开了基于多路径和多尺度特征融合的酒瓶缺陷检测系统，执行实施例1公开的基于多路径和多尺度特征融合的酒瓶缺陷检测方法，包括：
图像获取模块，用于获取酒瓶RGB图像；
酒瓶缺陷检测模块，用于根据RGB图像和训练好的酒瓶缺陷检测模型中，获得酒瓶缺陷检测结果，其中，酒瓶缺陷检测模型包括多个依次连接的残差提取模块，后三个残差提取模块中的每个残差提取模块均依次连接上采样网络、注意力增强块和检测单元，三个上采样网络按照从与最后一个残差提取模块连接的上采样网络到与倒数第三个残差提取模块连接的上采样网络的方向依次连接，每个上采样网络与残差提取模块之间还设置路径增强模块，残差提取模块的输出输入到路径增强模块中，路径增强模块的输出输入到上采样网络中。
实施例3
在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1公开的基于多路径和多尺度特征融合的酒瓶缺陷检测方法所述的步骤。
实施例4
在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1公开的基于多路径和多尺度特征融合的酒瓶缺陷检测方法所述的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.基于多路径和多尺度特征融合的酒瓶缺陷检测方法，其特征在于，包括：
获取酒瓶RGB图像；
根据RGB图像和训练好的酒瓶缺陷检测模型中，获得酒瓶缺陷检测结果，其中，酒瓶缺陷检测模型包括多个依次连接的残差提取模块，后三个残差提取模块中的每个残差提取模块均依次连接上采样网络、注意力增强块和检测单元，三个上采样网络按照从与最后一个残差提取模块连接的上采样网络到与倒数第三个残差提取模块连接的上采样网络的方向依次连接，每个上采样网络与残差提取模块之间还设置路径增强模块，残差提取模块的输出输入到路径增强模块中，路径增强模块的输出输入到上采样网络中。
2.如权利要求1所述的基于多路径和多尺度特征融合的酒瓶缺陷检测方法，其特征在于，每一个残差提取模块均由三个卷积、批标准化和激活函数组成。
3.如权利要求1所述的基于多路径和多尺度特征融合的酒瓶缺陷检测方法，其特征在于，每个路径增强模块均是先经过一个卷积层进行通道转换，再经过一个大卷积核结构进行缺陷特征提取，之后再经过一个由卷积、批标准化和激活函数组成的特征提取组，其中，使用小卷积核或空洞卷积组合实现大卷积核的感受野。
4.如权利要求1所述的基于多路径和多尺度特征融合的酒瓶缺陷检测方法，其特征在于，酒瓶缺陷检测模型采用多任务损失函数，多任务损失函数为类别损失、置信度损失和框回归损失之和。
5.如权利要求1所述的基于多路径和多尺度特征融合的酒瓶缺陷检测方法，其特征在于，注意力增强块包括依次连接的空间注意力块和通道注意力块，空间注意力块获取输入其中的每一张特征图中的全局平均值和全局最大值，并将全局平均值和全局最大值在通道维度上进行聚合，获得双倍通道的特征信息，对双倍通道的特征信息进行降维和激活后输出，空间注意力块输出的特征输入通道注意力块中，通道注意力块为不同通道进行加权。
6.如权利要求5所述的基于多路径和多尺度特征融合的酒瓶缺陷检测方法，其特征在于，空间注意力块对降维后的双倍通道的特征信息使用tanh函数进行激活后，再使用exp函数保证激活后的非线性数据全部变为正数；
通道注意力块获取每一通道上特征图的全局平均值，将所有全局平均值经过一个全连接层进行特征组合，获得组合特征，将组合特征经sigmoid函数进行激活后输出。
7.如权利要求1所述的基于多路径和多尺度特征融合的酒瓶缺陷检测方法，其特征在于，利用训练集对酒瓶缺陷检测模型进行训练，获得训练好的酒瓶缺陷检测模型，且在训练时，将训练集中的酒瓶RGB图像输入酒瓶缺陷检测模型中，酒瓶缺陷检测模型输出多个矩形框，利用非极大值抑制算法从多个矩形框中选取出最优的矩形框为酒瓶缺陷检测结果。
8.基于多路径和多尺度特征融合的酒瓶缺陷检测系统，其特征在于，执行权利要求1-7任一项所述的基于多路径和多尺度特征融合的酒瓶缺陷检测方法，包括：
图像获取模块，用于获取酒瓶RGB图像；
酒瓶缺陷检测模块，用于根据RGB图像和训练好的酒瓶缺陷检测模型中，获得酒瓶缺陷检测结果，其中，酒瓶缺陷检测模型包括多个依次连接的残差提取模块，后三个残差提取模块中的每个残差提取模块均依次连接上采样网络、注意力增强块和检测单元，三个上采样网络按照从与最后一个残差提取模块连接的上采样网络到与倒数第三个残差提取模块连接的上采样网络的方向依次连接，每个上采样网络与残差提取模块之间还设置路径增强模块，残差提取模块的输出输入到路径增强模块中，路径增强模块的输出输入到上采样网络中。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的基于多路径和多尺度特征融合的酒瓶缺陷检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的基于多路径和多尺度特征融合的酒瓶缺陷检测方法的步骤。
CN202211298772.9A 2022-10-24 2022-10-24 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统 Active CN115375677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211298772.9A CN115375677B (zh) 2022-10-24 2022-10-24 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211298772.9A CN115375677B (zh) 2022-10-24 2022-10-24 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN115375677A true CN115375677A (zh) 2022-11-22
CN115375677B CN115375677B (zh) 2023-04-18

Family

ID=84074325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211298772.9A Active CN115375677B (zh) 2022-10-24 2022-10-24 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN115375677B (zh)

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598860A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于嵌入自注意力门模块的yolov3网络的锂电池缺陷检测方法
CN111598861A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN112329800A (zh) * 2020-12-03 2021-02-05 河南大学 一种基于全局信息引导残差注意力的显著性目标检测方法
CN112381763A (zh) * 2020-10-23 2021-02-19 西安科锐盛创新科技有限公司 一种表面缺陷检测方法
CN113298815A (zh) * 2021-06-21 2021-08-24 江苏建筑职业技术学院 一种半监督遥感图像语义分割方法、装置和计算机设备
CN113393438A (zh) * 2021-06-15 2021-09-14 哈尔滨理工大学 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN113393476A (zh) * 2021-07-07 2021-09-14 山东大学 一种轻量化多路径网状图像分割方法、系统和电子设备
CN113674247A (zh) * 2021-08-23 2021-11-19 河北工业大学 一种基于卷积神经网络的x射线焊缝缺陷检测方法
CN113850129A (zh) * 2021-08-21 2021-12-28 南京理工大学 一种旋转等变的空间局部注意力遥感图像目标检测方法
CN113920468A (zh) * 2021-12-13 2022-01-11 松立控股集团股份有限公司 一种基于跨尺度特征增强的多分支行人检测方法
CN113962980A (zh) * 2021-11-01 2022-01-21 山东省计算中心（国家超级计算济南中心） 基于改进yolov5x的玻璃容器瑕疵检测方法及系统
CN114240878A (zh) * 2021-12-16 2022-03-25 国网河南省电力公司电力科学研究院 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法
CN114283117A (zh) * 2021-11-24 2022-04-05 广西大学 一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法
CN114359153A (zh) * 2021-12-07 2022-04-15 湖北工业大学 一种基于改进CenterNet的绝缘子缺陷检测方法
CN114565579A (zh) * 2022-03-02 2022-05-31 南京航空航天大学 一种基于深度学习的飞机蒙皮表面损伤检测方法及系统
CN114677357A (zh) * 2022-04-06 2022-06-28 安徽理工大学 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质
CN114821286A (zh) * 2022-05-16 2022-07-29 西南石油大学 一种基于图像增强的轻量化水下目标检测方法和系统
CN114817613A (zh) * 2022-05-09 2022-07-29 西安理工大学 基于注意力增强模块和多尺度特征融合的图像检索方法
CN114863301A (zh) * 2022-05-07 2022-08-05 西南科技大学 一种面向无人机航拍图像的小目标检测方法
CN114897857A (zh) * 2022-05-24 2022-08-12 河北工业大学 基于轻量型神经网络的太阳能电池缺陷检测方法
CN114943694A (zh) * 2022-05-09 2022-08-26 浙江科技学院 一种基于对抗生成网络与注意力的缺陷检测方法
CN114972181A (zh) * 2022-04-15 2022-08-30 西安理工大学 基于多尺度检测的重型部件涂装表面缺陷检测方法
CN115170410A (zh) * 2022-06-17 2022-10-11 中国科学院自动化研究所 融合小波变换和注意力机制的图像增强方法及装置

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598860A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于嵌入自注意力门模块的yolov3网络的锂电池缺陷检测方法
CN111598861A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN112381763A (zh) * 2020-10-23 2021-02-19 西安科锐盛创新科技有限公司 一种表面缺陷检测方法
CN112329800A (zh) * 2020-12-03 2021-02-05 河南大学 一种基于全局信息引导残差注意力的显著性目标检测方法
CN113393438A (zh) * 2021-06-15 2021-09-14 哈尔滨理工大学 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN113298815A (zh) * 2021-06-21 2021-08-24 江苏建筑职业技术学院 一种半监督遥感图像语义分割方法、装置和计算机设备
CN113393476A (zh) * 2021-07-07 2021-09-14 山东大学 一种轻量化多路径网状图像分割方法、系统和电子设备
CN113850129A (zh) * 2021-08-21 2021-12-28 南京理工大学 一种旋转等变的空间局部注意力遥感图像目标检测方法
CN113674247A (zh) * 2021-08-23 2021-11-19 河北工业大学 一种基于卷积神经网络的x射线焊缝缺陷检测方法
CN113962980A (zh) * 2021-11-01 2022-01-21 山东省计算中心（国家超级计算济南中心） 基于改进yolov5x的玻璃容器瑕疵检测方法及系统
CN114283117A (zh) * 2021-11-24 2022-04-05 广西大学 一种基于改进YOLOv3卷积神经网络的绝缘子缺陷检测方法
CN114359153A (zh) * 2021-12-07 2022-04-15 湖北工业大学 一种基于改进CenterNet的绝缘子缺陷检测方法
CN113920468A (zh) * 2021-12-13 2022-01-11 松立控股集团股份有限公司 一种基于跨尺度特征增强的多分支行人检测方法
CN114240878A (zh) * 2021-12-16 2022-03-25 国网河南省电力公司电力科学研究院 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法
CN114565579A (zh) * 2022-03-02 2022-05-31 南京航空航天大学 一种基于深度学习的飞机蒙皮表面损伤检测方法及系统
CN114677357A (zh) * 2022-04-06 2022-06-28 安徽理工大学 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质
CN114972181A (zh) * 2022-04-15 2022-08-30 西安理工大学 基于多尺度检测的重型部件涂装表面缺陷检测方法
CN114863301A (zh) * 2022-05-07 2022-08-05 西南科技大学 一种面向无人机航拍图像的小目标检测方法
CN114943694A (zh) * 2022-05-09 2022-08-26 浙江科技学院 一种基于对抗生成网络与注意力的缺陷检测方法
CN114817613A (zh) * 2022-05-09 2022-07-29 西安理工大学 基于注意力增强模块和多尺度特征融合的图像检索方法
CN114821286A (zh) * 2022-05-16 2022-07-29 西南石油大学 一种基于图像增强的轻量化水下目标检测方法和系统
CN114897857A (zh) * 2022-05-24 2022-08-12 河北工业大学 基于轻量型神经网络的太阳能电池缺陷检测方法
CN115170410A (zh) * 2022-06-17 2022-10-11 中国科学院自动化研究所 融合小波变换和注意力机制的图像增强方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIANGLIANG CHENG等: "IRT-GAN: A generative adversarial network with a multi-headed fusion strategy for automated defect detection in composites using infrared thermography" *
邢俊杰: "基于卷积神经网络的工件表面缺陷检测方法研究" *

Also Published As

Publication number Publication date
CN115375677B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110827251B (zh) 一种基于航拍图像的输电线路锁紧销缺陷检测方法
CN111257341B (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN111179229A (zh) 一种基于深度学习的工业ct缺陷检测方法
CN114240878A (zh) 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法
CN114445706A (zh) 一种基于特征融合的输电线路目标检测与识别方法
CN111626993A (zh) 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN110059728A (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN113837994B (zh) 一种基于边缘检测卷积神经网络的光伏板缺陷诊断方法
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN113763364B (zh) 一种基于卷积神经网络的图像缺陷检测方法
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN110415238A (zh) 基于反向瓶颈结构深度卷积网络的膜片瑕点检测方法
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN115861170A (zh) 基于改进yolo v4算法的表面缺陷检测方法
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN117011260A (zh) 一种芯片外观缺陷自动检测方法、电子设备及存储介质
CN115063725B (zh) 基于多尺度自适应ssd算法的飞机蒙皮缺陷识别系统
CN114429445A (zh) 一种基于MAIRNet的PCB缺陷检测与识别方法
CN113298767A (zh) 一种能克服反光现象的围棋图谱可靠识别方法
CN114627090A (zh) 一种基于注意力机制的卷积神经网络光学镜片缺陷检测方法
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及系统
CN114627044A (zh) 一种基于深度学习的太阳能光伏组件热斑检测方法
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及系统
CN113205136A (zh) 一种用于电源适配器外观缺陷的实时高精度检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230628

Address after: No.19 Keyuan Road, Lixia District, Jinan City, Shandong Province

Patentee after: SHANDONG COMPUTER SCIENCE CENTER(NATIONAL SUPERCOMPUTER CENTER IN JINAN)

Patentee after: Qilu University of Technology (Shandong Academy of Sciences)

Address before: No.19 Keyuan Road, Lixia District, Jinan City, Shandong Province

Patentee before: SHANDONG COMPUTER SCIENCE CENTER(NATIONAL SUPERCOMPUTER CENTER IN JINAN)