CN114119562B - 一种基于深度学习的刹车盘外表面缺陷检测方法及系统 - Google Patents

一种基于深度学习的刹车盘外表面缺陷检测方法及系统 Download PDF

Info

Publication number
CN114119562B
CN114119562B CN202111431599.0A CN202111431599A CN114119562B CN 114119562 B CN114119562 B CN 114119562B CN 202111431599 A CN202111431599 A CN 202111431599A CN 114119562 B CN114119562 B CN 114119562B
Authority
CN
China
Prior art keywords
feature
image
extraction
layer
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111431599.0A
Other languages
English (en)
Other versions
CN114119562A (zh
Inventor
陈成军
邹剑
沈飞翔
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Longwen Auto Parts Co ltd
Qingdao University of Technology
Original Assignee
Yantai Longwen Auto Parts Co ltd
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Longwen Auto Parts Co ltd, Qingdao University of Technology filed Critical Yantai Longwen Auto Parts Co ltd
Priority to CN202111431599.0A priority Critical patent/CN114119562B/zh
Publication of CN114119562A publication Critical patent/CN114119562A/zh
Application granted granted Critical
Publication of CN114119562B publication Critical patent/CN114119562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的刹车盘外表面缺陷检测方法及系统，所述方法包括如下步骤：获取样本图像集；构建目标检测模型，所述目标检测模型包括特征提取模块、特征融合模块和检测模块；特征提取模块包括主干网络、辅助网络和融合单元，主干网络和辅助网络均包括若干层用于提取图像特征的提取层；利用样本图像集训练所述目标检测模型；获取待测物品图像；将待测物品图像输入至训练好的目标检测模型，特征提取模块输出由待测物品图像得到的若干个特征图至融合模块，融合模块输出由所述若干个特征图得到的若干个多尺度特征图至检测模块，检测模块输出待测物品图像中的目标类型和目标位置。

Description

一种基于深度学习的刹车盘外表面缺陷检测方法及系统
技术领域
本发明涉及一种基于深度学习的刹车盘外表面缺陷检测方法及系统，属于刹车盘缺陷检测领域。
背景技术
汽车刹车盘常见的外观缺陷有划伤、裂纹、磕碰伤等多种类别，这些缺陷是影响汽车刹车系统可靠性及刹车盘使用寿命的重要因素之一。为了保证汽车刹车系统正常工作及刹车盘的正常工作年限，保护汽车消费者的人身和财产安全，需要在生产过程中对刹车盘缺陷进行严格的排查，以严格控制刹车盘的外观缺陷。
目前在生产过程中，刹车盘外观缺陷的检测方法分为人工检测法和机器视觉检查两种。人工检查法使用肉眼或放大镜对刹车盘进行逐一检查，这种方法存在费时费力、易疲劳、重复性差等缺点。机器视觉检查的主流算法为目标检测算法，但是现的目标检测算法主要是针对自然图像进行设计和搭建，在特征提取过程中进行一系列的卷积和下采样计算，特征图分辨率不断下降。而低分辨率的特征图丢失了大量细节信息，在存在大量小目标缺陷的刹车盘外观检测中，会出现存在非常明显的漏检、误检问题。
公开号为CN111415329A的专利《一种基于深度学习的工件表面缺陷检测方法》公开了一种基于深度学习的工件表面缺陷检测方法，具体为：采集不同背景及光照条件下的工件图像；对采集的工件图像进行预处理；构建深度卷积神经网络模型获得6个不同层的特征图；采用特征金字塔特征图进行多尺度特征融合预测，使用K-means聚类算法得到产生4个anchor box预测目标边界框，使用交叉熵损失函数预测类别；通过非极大值抑制算法去除冗余的预测边界框；输出工件表面缺陷的位置信息以及类别。但未对提取的特征图进行进一步地加强。
发明内容
为了解决上述现有技术中存在的问题，本发明提供一种基于深度学习的刹车盘外表面缺陷检测方法及系统，提出了一种新的特征提取方法和特征提取模块，利用提取层提取图像特征并利用融合单元融合同层提取层输出的图像特征，实现图像特征的互补，能提取到更多小目标特征，从而提高识别精度，大幅降低小目标漏检率和误检率，适用于检测刹车盘外表面的缺陷和检测烟包切层断面异物等小目标检测领域。
本发明的技术方案如下：
技术方案一：
一种基于深度学习的刹车盘外表面缺陷检测方法，包括如下步骤：
获取样本图像集，样本图像为标注有目标类型和目标位置的物体图像；
构建目标检测模型，所述目标检测模型包括特征提取模块、特征融合模块和检测模块；特征提取模块包括主干网络、辅助网络和融合单元，主干网络和辅助网络均包括若干层用于提取图像特征的提取层；
利用样本图像集训练所述目标检测模型；
获取待测物品图像；将待测物品图像输入至训练好的目标检测模型，特征提取模块输出由待测物品图像得到的若干个特征图至特征融合模块，特征融合模块输出由所述若干个特征图得到的若干个多尺度特征图至检测模块，检测模块输出待测物品图像中的目标类型和目标位置；
其中，所述若干个特征图包括由融合单元对主干网络和辅助网络同层提取层输出的图像特征进行特征融合得到的特征图，以及将该特征图输入至主干网络和/或辅助网络下一提取层得到的新的特征图。
进一步的，所述主干网络包括a层提取层，辅助网络包括b层提取层，a＞b＞0；所述特征提取模块输出由待测物品图像得到的若干个特征图至特征融合模块，具体为：
S1：待测物品图像分别输入至主干网络和辅助网络的第一层提取层；
S2：融合单元对主干网络和辅助网络同层提取层输出的图像特征进行特征融合，得到特征图；若存在主干网络和辅助网络下一层提取层，则将特征图分别输入至主干网络和辅助网络下一层提取层；否则，将特征图输入至主干网络下一层提取层；
S3：重复步骤S2，直至主干网络第a层提取层输出特征图；
S4：从生成的所有特征图中选出若干个特征图输出至特征融合模块。
进一步的，所述提取层包括若干个卷积层、批标准化层和激活层。
进一步的，所述激活层中采用ACON类激活函数。
进一步的，还包括：利用样本图像集生成若干个锚框；
检测模块利用所述若干个锚框，分别检测所述若干个多尺度特征图，输出待测物品图像中的目标类型和目标位置。
进一步的，所述利用样本图像集生成若干个锚框，具体为：
通过K-means++算法对样本图像集中的若干个缺陷信息进行聚类分析；其中，在选择聚类中心时：随机选第一个聚类中心，再利用轮盘赌算法，选择剩余聚类中心。
进一步的，所述样本图像具体为标注有缺陷类型和缺陷位置的刹车盘外表面图像；利用所述样本图像集训练目标检测模型，使目标检测模型输出待测刹车盘外表面图像中的缺陷类型和缺陷位置。
技术方案二：
一种基于深度学习的刹车盘外表面缺陷检测系统，包括图像采集装置，搭载有目标检测模型的检测装置；所述目标检测模型包括特征提取模块、特征融合模块和检测模块；所述特征提取模块包括主干网络、辅助网络和融合单元，主干网络和辅助网络均包括若干层用于提取图像特征的提取层；融合单元用于对主干网络和辅助网络同层提取层输出的图像特征进行特征融合，得到特征图，以及将该特征图输入至主干网络和/或辅助网络下一提取层得到的新的特征图；
所述图像采集设备用于获取待测物品图像，并将待测物品图像发送至检测装置；
所述检测装置用于接收所述待测物品图像，并将所述待测物品图像输入至目标检测模型；
特征提取模块用于输出由待测物品图像得到的若干个特征图至特征融合模块；特征融合模块用于输出由所述若干个特征图得到的若干个多尺度特征图至检测模块；检测模块用于输出待测物品图像中的目标类型和目标位置。
进一步的，所述主干网络包括a层提取层，辅助网络包括b层提取层，a＞b＞0。
进一步的，所述提取层包括若干个卷积层、批标准化层和激活层。
本发明具有如下有益效果：
1、本发明提出了一种新的特征提取方法：构建包含若干个提取层的主干网络和辅助网络，利用提取层提取图像特征并利用融合单元融合同层提取层输出的图像特征，实现图像特征的互补，能提取到更多小目标特征，从而提高识别精度，大幅降低小目标漏检率和误检率，适用于检测刹车盘外表面的缺陷和检测烟包切层断面异物等小目标检测领域。
2、本发明利用ACON类激活函数训练参数p1(x)和p2(x)以调整激活函数表达形式，使目标检测模型更适合于输入的训练数据，增强目标检测模型拟合能力；通过训练参数β来控制是否激活神经元(β为0，即不激活)，让目标检测模型可以在非线性(激活)和线性(不激活)之间进行切换。
3、本发明对特征图中的浅层细节信息和深层语义信息进行融合，加强多尺度特征图对小目标特征的表达能力，进一步提高提取到特征图的质量。
4、本发明利用轮盘赌算法优化聚类中心，生成与目标尺寸更接近的锚框，从而提高检测模块的检测精度。
附图说明
图1为目标检测模型结构图；
图2为特征提取模块结构图；
图3为提取层结构图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
一种基于深度学习的目标检测方法，具体步骤为：
获取样本图像集。样本图像为标注有目标类型、目标尺寸和目标位置的物体图像，如标注有缺陷类型、缺陷尺寸和缺陷位置的刹车盘外表面图像或标注有异物位置、异物尺寸和异物类型的烟包切层断面图像。
构建目标检测模型，所述目标检测模型包括特征提取模块、特征融合模块和检测模块。所述特征提取模块包括主干网络、辅助网络和若干融合单元。主干网络包括a个提取层，辅助网络包括b个提取层，提取层用于提取图像特征，在本实施例中，a＞b＞0。融合单元用于对主干网络和辅助网络同层提取层输出的图像特征进行特征融合，得到特征图，以及将该特征图输入至主干网络和/或辅助网络下一提取层得到的新的特征图。
利用样本图像集训练并测试所述目标检测模型。利用样本图像集生成若干个锚框。
获取待测物品图像。将待测物品图像输入至通过测试的目标检测模型，特征提取模块输出由待测物品图像得到的若干个特征图至特征融合模块，特征融合模块输出由所述若干个特征图得到的若干个多尺度特征图至检测模块，检测模块利用所述若干个锚框，分别检测所述若干个多尺度特征图，输出待测物品图像中的目标类型和目标位置。
其中，特征提取模块输出由待测物品图像得到的若干个特征图至特征融合模块的具体过程为：
S1：待测物品图像分别输入至主干网络和辅助网络的第一层提取层；
S2：融合单元对主干网络和辅助网络同层提取层输出的图像特征进行特征融合，得到特征图；若存在主干网络和辅助网络下一层提取层，则将特征图分别输入至主干网络和辅助网络下一层提取层；否则，将特征图输入至主干网络下一层提取层；
S3：重复步骤S2，直至主干网络第a层提取层输出特征图；
S4：从生成的所有特征图中选出若干个特征图输出至特征融合模块。
本实施例的进步之处在于，提出了一种新的特征提取方法：构建包含若干个提取层的主干网络和辅助网络，利用提取层提取图像特征并利用融合单元融合同层提取层输出的图像特征，实现图像特征的互补，能提取到更多小目标特征，从而提高识别精度，大幅降低小目标漏检率和误检率，适用于检测刹车盘外表面的缺陷和检测烟包切层断面异物等小目标检测领域。
实施例二
如图1所示，所述特征提取模块包括主干网络、辅助网络和融合单元(图中未画出融合单元)，主干网络包括5个提取层(即图中的Main-Block1至Main-Block5)，辅助网络包括4个提取层(即图中的Add-Block1至Add-Block5)，各提取层包括若干卷积层、批标准化层、激活层。
如图2所示，将待测物品图像分别输入至主干网络和辅助网络，待测物品图像经主干网络第一提取层得到图像特征a，经辅助网络第一提取层得到图像特征a’，对图像特征a和图像特征a’以add方式进行特征融合，得到特征图A；再将特征图A分别输入至主干网络第二提取层和辅助网络第二提取层，得到图像特征b和图像特征b’，并对图像特征b和图像特征b’以add方式进行特征融合，得到特征图B；以此类推，直至得到特征图D；将特征图D输入至主干网络第五提取层，得到特征图E。选取特征图B、特征图C、特征图E输入至特征融合模块。
实施例三
如图3所示，实施例二中各提取层中卷积层的卷积核为3x3，激活层采用Meta-Acon激活函数。
ACON:f(X)＝(p1(x)-p2(x))·σ(β(p1(x)-p2(x)))+p2(x)
本实施例的进步之处在于，利用ACON类激活函数训练参数p1(x)和p2(x)以调整激活函数表达形式，使目标检测模型更适合于输入的训练数据，增强目标检测模型拟合能力；通过训练参数β来控制是否激活神经元(β为0，即不激活)，让目标检测模型可以在非线性(激活)和线性(不激活)之间进行切换。
实施例四
如图1所示，特征融合模块对特征图B、特征图C、特征图E进行特征融合：
对特征图E进行卷积操作(conv)后生成特征图F。对特征图F进行上采样操作(upsample)后，再与特征图C以concat方式进行特征融合。融合后的特征图进行若干卷积操作(c3、conv，c3表示三个conv)得到特征图G。对特征图G进行上采样操作(upsample)后，再与特征图B以cancat方式进行特征融合。融合后的特征图再进行若干卷积(c3)操作后，得到多尺度特征图H。
对多尺度特征图H进行卷积操作(conv)和上采样操作(upsample)后，与特征图G以concat方式进行特征融合。将融合后的特征图进行若干卷积操作(c3)后，得到多尺度特征图I。
对多尺度特征图I进行卷积(conv)操作和上采样操作(upsample)后，与特征图F以concat方式进行特征融合。将融合后的特征图进行若干卷积操作(c3)后，得到多尺度特征图J。
本实施例的进步之处在于，对特征图中的浅层细节信息和深层语义信息进行融合，加强多尺度特征图对小目标特征的表达能力，进一步提高提取到特征图的质量。
实施例五
通过K-means++算法对样本图像集中标注的目标的尺寸信息进行聚类分析，生成若干个锚框：
将样本图像集中每一个目标的尺寸信息视作一个数据点，尺寸信息包括目标边界的坐标位置。
随机选择一缺陷信息为第一个聚类中心；利用轮盘赌算法选择第二个聚类中心，使距离第一个聚类中心越远的数据点有更高的概率会被选为第二个聚类中心。以此类推，直至生成九个聚类中心。
对每一个数据点，计算该数据点与每一聚类中心的IOU值，将数据点归入最大IOU值对应聚类中心。用聚类质心迭代更新聚类中心，直至聚类质心与聚类中心之间的IOU值小于预定阀值或达到预定的迭代次数。
最终得到的九个聚类中心即为9个锚框。利用最大的三个锚框检测多尺度特征图H；中间的三个锚框检测多尺度特征图I；最小的三个锚框检测多尺度特征图J。
本实施例的进步之处在于，利用轮盘赌算法优化聚类中心，生成与目标尺寸更接近的锚框，从而提高检测模块的检测精度。
实施例六
一种基于深度学习的刹车盘外表面缺陷检测方法，步骤如下：
步骤S1：建立样本图像集：获取多张带缺陷的刹车盘外表面图像，统计缺陷的类型和数量，尽量做到每一类缺陷的数量大致相当。使用标注软件标注缺陷的位置、类别、尺寸，并将标注完成的数据转化成所需格式。
步骤S2：利用样本图像集训练所述目标检测模型。利用样本图像集生成九个锚框。按照从小到大及三个一组的要求，将聚类生成的九个锚框划分为a、b、c三组。
步骤S3：将待测刹车盘外表面图像输入至训练好的目标检测模型；特征提取模块输出由待测物品图像得到的三个特征图至特征融合模块，特征融合模块输出由所述三个特征图得到的三个多尺度特征图至检测模块；检测模块(本实施例中，检测模块采用YOLO目标检测模型)利用所述九个锚框对三个多尺度特征图铺满，判断各个锚框内缺陷的类别；对判断为缺陷的锚框，进行位置修正，输出位置适当、类别正确的预测结果。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，包括如下步骤：
获取样本图像集，样本图像为标注有目标类型和目标位置的物体图像；
构建目标检测模型，所述目标检测模型包括特征提取模块、特征融合模块和检测模块；特征提取模块包括主干网络、辅助网络和融合单元，主干网络和辅助网络均包括若干层用于提取图像特征的提取层；
利用样本图像集训练所述目标检测模型；
获取待测物品图像；将待测物品图像输入至训练好的目标检测模型，特征提取模块输出由待测物品图像得到的若干个特征图至特征融合模块，特征融合模块输出由所述若干个特征图得到的若干个多尺度特征图至检测模块，检测模块输出待测物品图像中的目标类型和目标位置；
所述主干网络包括a层提取层，辅助网络包括b层提取层，a＞b＞0；所述特征提取模块输出由待测物品图像得到的若干个特征图至特征融合模块，具体为：
S1：待测物品图像分别输入至主干网络和辅助网络的第一层提取层；
S2：融合单元对主干网络和辅助网络同层提取层输出的图像特征进行特征融合，得到特征图；若存在主干网络和辅助网络下一层提取层，则将特征图分别输入至主干网络和辅助网络下一层提取层；否则，将特征图输入至主干网络下一层提取层；
S2：重复步骤S2，直至主干网络第a层提取层输出特征图；
S3：从生成的所有特征图中选出若干个特征图输出至特征融合模块；
其中，所述若干个特征图包括由融合单元对主干网络和辅助网络同层提取层输出的图像特征进行特征融合得到的特征图，以及将该特征图输入至主干网络和/或辅助网络下一提取层得到的新的特征图。
2.根据权利要求1所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，所述提取层包括若干个卷积层、批标准化层和激活层。
3.根据权利要求2所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，所述激活层中采用ACON类激活函数。
4.根据权利要求1所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，还包括：利用样本图像集生成若干个锚框；
检测模块利用所述若干个锚框，分别检测所述若干个多尺度特征图，输出待测物品图像中的目标类型和目标位置。
5.根据权利要求4所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，所述利用样本图像集生成若干个锚框，具体为：
通过K-means++算法对样本图像集中的若干个缺陷信息进行聚类分析；其中，在选择聚类中心时：随机选第一个聚类中心，再利用轮盘赌算法，选择剩余聚类中心。
6.根据权利要求1所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，所述样本图像具体为标注有缺陷类型和缺陷位置的刹车盘外表面图像；利用所述样本图像集训练目标检测模型，使目标检测模型输出待测刹车盘外表面图像中的缺陷类型和缺陷位置。
7.一种基于深度学习的刹车盘外表面缺陷检测系统，其特征在于，包括图像采集装置，搭载有目标检测模型的检测装置；所述目标检测模型包括特征提取模块、特征融合模块和检测模块；所述特征提取模块包括主干网络、辅助网络和融合单元，主干网络和辅助网络均包括若干层用于提取图像特征的提取层；所述主干网络包括a层提取层，辅助网络包括b层提取层，a＞b＞0；融合单元用于对主干网络和辅助网络同层提取层输出的图像特征进行特征融合，得到特征图，以及将该特征图输入至主干网络和/或辅助网络下一提取层得到的新的特征图；
所述图像采集设备用于获取待测物品图像，并将待测物品图像发送至检测装置；
所述检测装置用于接收所述待测物品图像，并将所述待测物品图像输入至目标检测模型；
特征提取模块用于输出由待测物品图像得到的若干个特征图至特征融合模块，具体为：
S1：待测物品图像分别输入至主干网络和辅助网络的第一层提取层；
S2：融合单元对主干网络和辅助网络同层提取层输出的图像特征进行特征融合，得到特征图；若存在主干网络和辅助网络下一层提取层，则将特征图分别输入至主干网络和辅助网络下一层提取层；否则，将特征图输入至主干网络下一层提取层；
S2：重复步骤S2，直至主干网络第a层提取层输出特征图；
S3：从生成的所有特征图中选出若干个特征图输出至特征融合模块；
特征融合模块用于输出由所述若干个特征图得到的若干个多尺度特征图至检测模块；
检测模块用于输出待测物品图像中的目标类型和目标位置。
8.根据权利要求7所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，所述提取层包括若干个卷积层、批标准化层和激活层。
CN202111431599.0A 2021-11-29 2021-11-29 一种基于深度学习的刹车盘外表面缺陷检测方法及系统 Active CN114119562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111431599.0A CN114119562B (zh) 2021-11-29 2021-11-29 一种基于深度学习的刹车盘外表面缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111431599.0A CN114119562B (zh) 2021-11-29 2021-11-29 一种基于深度学习的刹车盘外表面缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN114119562A CN114119562A (zh) 2022-03-01
CN114119562B true CN114119562B (zh) 2024-05-24

Family

ID=80371284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111431599.0A Active CN114119562B (zh) 2021-11-29 2021-11-29 一种基于深度学习的刹车盘外表面缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN114119562B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392659A (zh) * 2023-12-12 2024-01-12 深圳市城市交通规划设计研究中心股份有限公司 一种基于无参数注意力机制优化的车辆车牌定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921173A (zh) * 2018-06-01 2018-11-30 中南大学 一种结合osm和遥感影像提取人行天桥的深度学习方法
JP2019086979A (ja) * 2017-11-06 2019-06-06 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
CN110599469A (zh) * 2019-08-30 2019-12-20 中国铁道科学研究院集团有限公司 一种动车组关键部位的缺陷检测方法、系统及电子设备
CN111582092A (zh) * 2020-04-27 2020-08-25 西安交通大学 一种基于人体骨架的行人异常行为检测方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN113610822A (zh) * 2021-08-13 2021-11-05 湖南大学 一种基于多尺度信息融合的表面缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086979A (ja) * 2017-11-06 2019-06-06 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
CN108921173A (zh) * 2018-06-01 2018-11-30 中南大学 一种结合osm和遥感影像提取人行天桥的深度学习方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110599469A (zh) * 2019-08-30 2019-12-20 中国铁道科学研究院集团有限公司 一种动车组关键部位的缺陷检测方法、系统及电子设备
CN111582092A (zh) * 2020-04-27 2020-08-25 西安交通大学 一种基于人体骨架的行人异常行为检测方法
CN113610822A (zh) * 2021-08-13 2021-11-05 湖南大学 一种基于多尺度信息融合的表面缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于PX-LBP和像素分类的装配体零件识别研究;田中可;陈成军;李东年;赵正旭;机电工程;20191231(第003期);全文 *
基于深度学习的太阳能电池片表面缺陷检测方法;王宪保;李洁;姚明海;何文秀;钱沄涛;模式识别与人工智能;20140615;第27卷(第6期);全文 *
无人机光伏巡检的图像目标检测算法;李香凡;唐志伟;胡家龙;焦裕哲;章康;陈瑞成;;电子世界;20200615(第11期);全文 *

Also Published As

Publication number Publication date
CN114119562A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
Yun et al. Automated defect inspection system for metal surfaces based on deep learning and data augmentation
CN114549522B (zh) 基于目标检测的纺织品质量检测方法
CN111797890A (zh) 一种用于检测输电线路设备缺陷的方法及系统
CN112967243A (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN108764361B (zh) 基于集成学习的游梁式抽油机示功图的工况识别方法
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN116188475B (zh) 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN112991271B (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN114612472B (zh) 一种基于SegNet改进的皮革缺陷分割网络算法
CN111798409A (zh) 一种基于深度学习的pcb缺陷数据生成方法
CN111667476B (zh) 布料瑕疵检测方法、装置、电子设备及可读存储介质
CN111291806A (zh) 一种基于卷积神经网络工业产品标签号的识别方法
CN115294033A (zh) 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法
CN114119562B (zh) 一种基于深度学习的刹车盘外表面缺陷检测方法及系统
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN114881998A (zh) 一种基于深度学习的工件表面缺陷检测方法及系统
CN112396580B (zh) 一种圆形零件缺陷检测方法
CN115018790A (zh) 一种基于异常检测的工件表面缺陷检测方法
Zhang et al. Fabric defect detection based on visual saliency map and SVM
CN114065798A (zh) 基于机器识别的视觉识别方法及装置
CN112767331A (zh) 基于零样本学习的图像异常检测方法
CN112200766A (zh) 基于区域关联神经网络的工业产品表面缺陷检测方法
CN114897909B (zh) 基于无监督学习的曲轴表面裂纹监测方法及系统
CN115953387A (zh) 一种基于深度学习的射线图像焊缝缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant