CN114119562A - 一种基于深度学习的刹车盘外表面缺陷检测方法及系统 - Google Patents

一种基于深度学习的刹车盘外表面缺陷检测方法及系统 Download PDF

Info

Publication number
CN114119562A
CN114119562A CN202111431599.0A CN202111431599A CN114119562A CN 114119562 A CN114119562 A CN 114119562A CN 202111431599 A CN202111431599 A CN 202111431599A CN 114119562 A CN114119562 A CN 114119562A
Authority
CN
China
Prior art keywords
feature
layer
module
image
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111431599.0A
Other languages
English (en)
Other versions
CN114119562B (zh
Inventor
陈成军
邹剑
沈飞翔
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Longwen Auto Parts Co ltd
Qingdao University of Technology
Original Assignee
Yantai Longwen Auto Parts Co ltd
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Longwen Auto Parts Co ltd, Qingdao University of Technology filed Critical Yantai Longwen Auto Parts Co ltd
Priority to CN202111431599.0A priority Critical patent/CN114119562B/zh
Priority claimed from CN202111431599.0A external-priority patent/CN114119562B/zh
Publication of CN114119562A publication Critical patent/CN114119562A/zh
Application granted granted Critical
Publication of CN114119562B publication Critical patent/CN114119562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的刹车盘外表面缺陷检测方法及系统，所述方法包括如下步骤：获取样本图像集；构建目标检测模型，所述目标检测模型包括特征提取模块、特征融合模块和检测模块；特征提取模块包括主干网络、辅助网络和融合单元，主干网络和辅助网络均包括若干层用于提取图像特征的提取层；利用样本图像集训练所述目标检测模型；获取待测物品图像；将待测物品图像输入至训练好的目标检测模型，特征提取模块输出由待测物品图像得到的若干个特征图至融合模块，融合模块输出由所述若干个特征图得到的若干个多尺度特征图至检测模块，检测模块输出待测物品图像中的目标类型和目标位置。

Description

一种基于深度学习的刹车盘外表面缺陷检测方法及系统
技术领域
本发明涉及一种基于深度学习的刹车盘外表面缺陷检测方法及系统，属于刹车盘缺陷检测领域。
背景技术
汽车刹车盘常见的外观缺陷有划伤、裂纹、磕碰伤等多种类别，这些缺陷是影响汽车刹车系统可靠性及刹车盘使用寿命的重要因素之一。为了保证汽车刹车系统正常工作及刹车盘的正常工作年限，保护汽车消费者的人身和财产安全，需要在生产过程中对刹车盘缺陷进行严格的排查，以严格控制刹车盘的外观缺陷。
目前在生产过程中，刹车盘外观缺陷的检测方法分为人工检测法和机器视觉检查两种。人工检查法使用肉眼或放大镜对刹车盘进行逐一检查，这种方法存在费时费力、易疲劳、重复性差等缺点。机器视觉检查的主流算法为目标检测算法，但是现的目标检测算法主要是针对自然图像进行设计和搭建，在特征提取过程中进行一系列的卷积和下采样计算，特征图分辨率不断下降。而低分辨率的特征图丢失了大量细节信息，在存在大量小目标缺陷的刹车盘外观检测中，会出现存在非常明显的漏检、误检问题。
公开号为CN111415329A的专利《一种基于深度学习的工件表面缺陷检测方法》公开了一种基于深度学习的工件表面缺陷检测方法，具体为：采集不同背景及光照条件下的工件图像；对采集的工件图像进行预处理；构建深度卷积神经网络模型获得6个不同层的特征图；采用特征金字塔特征图进行多尺度特征融合预测，使用K-means聚类算法得到产生4个anchor box预测目标边界框，使用交叉熵损失函数预测类别；通过非极大值抑制算法去除冗余的预测边界框；输出工件表面缺陷的位置信息以及类别。但未对提取的特征图进行进一步地加强。
发明内容
为了解决上述现有技术中存在的问题，本发明提供一种基于深度学习的刹车盘外表面缺陷检测方法及系统，提出了一种新的特征提取方法和特征提取模块，利用提取层提取图像特征并利用融合单元融合同层提取层输出的图像特征，实现图像特征的互补，能提取到更多小目标特征，从而提高识别精度，大幅降低小目标漏检率和误检率，适用于检测刹车盘外表面的缺陷和检测烟包切层断面异物等小目标检测领域。
本发明的技术方案如下：
技术方案一：
一种基于深度学习的刹车盘外表面缺陷检测方法，包括如下步骤：
获取样本图像集，样本图像为标注有目标类型和目标位置的物体图像；
构建目标检测模型，所述目标检测模型包括特征提取模块、特征融合模块和检测模块；特征提取模块包括主干网络、辅助网络和融合单元，主干网络和辅助网络均包括若干层用于提取图像特征的提取层；
利用样本图像集训练所述目标检测模型；
获取待测物品图像；将待测物品图像输入至训练好的目标检测模型，特征提取模块输出由待测物品图像得到的若干个特征图至融合模块，融合模块输出由所述若干个特征图得到的若干个多尺度特征图至检测模块，检测模块输出待测物品图像中的目标类型和目标位置；
其中，所述若干个特征图包括由融合单元对主干网络和辅助网络同层提取层输出的图像特征进行特征融合得到的特征图，以及将该特征图输入至主干网络和/或辅助网络下一提取层得到的新的特征图。
进一步的，所述主干网络包括a层提取层，辅助网络包括b层提取层，a＞b＞0；所述特征提取模块输出由待测物品图像得到的若干个特征图至特征融合模块，具体为：
S1：待测物品图像分别输入至主干网络和辅助网络的第一层提取层；
S2：融合单元对主干网络和辅助网络同层提取层输出的图像特征进行特征融合，得到特征图；若存在主干网络和辅助网络下一层提取层，则将特征图分别输入至主干网络和辅助网络下一层提取层；否则，将特征图输入至主干网络下一层提取层；
S3：重复步骤S2，直至主干网络第a层提取层输出特征图；
S4：从生成的所有特征图中选出若干个特征图输出至特征融合模块。
进一步的，所述提取层包括若干个卷积层、批标准化层和激活层。
进一步的，所述激活层中采用ACON类激活函数。
进一步的，还包括：利用样本图像集生成若干个锚框；
检测模块利用所述若干个锚框，分别检测所述若干个多尺度特征图，输出待测物品图像中的目标类型和目标位置。
进一步的，所述利用样本图像集生成若干个锚框，具体为：
通过K-means++算法对样本图像集中的若干个缺陷信息进行聚类分析；其中，在选择聚类中心时：随机选第一个聚类中心，再利用轮盘赌算法，选择剩余聚类中心。
进一步的，所述样本图像具体为标注有缺陷类型和缺陷位置的刹车盘外表面图像；利用所述样本图像集训练目标检测模型，使目标检测模型输出待测刹车盘外表面图像中的缺陷类型和缺陷位置。
技术方案二：
一种基于深度学习的刹车盘外表面缺陷检测系统，包括图像采集装置，搭载有目标检测模型的检测装置；所述目标检测模型包括特征提取模块、特征融合模块和检测模块；所述特征提取模块包括主干网络、辅助网络和融合单元，主干网络和辅助网络均包括若干层用于提取图像特征的提取层；融合单元用于对主干网络和辅助网络同层提取层输出的图像特征进行特征融合，得到特征图，以及将该特征图输入至主干网络和/或辅助网络下一提取层得到的新的特征图；
所述图像采集设备用于获取待测物品图像，并将待测物品图像发送至检测装置；
所述检测装置用于接收所述待测物品图像，并将所述待测物品图像输入至目标检测模型；
特征提取模块用于输出由待测物品图像得到的若干个特征图至融合模块；融合模块用于输出由所述若干个特征图得到的若干个多尺度特征图至检测模块；检测模块用于输出待测物品图像中的目标类型和目标位置。
进一步的，所述主干网络包括a层提取层，辅助网络包括b层提取层，a＞b＞0。
进一步的，所述提取层包括若干个卷积层、批标准化层和激活层。
本发明具有如下有益效果：
1、本发明提出了一种新的特征提取方法：构建包含若干个提取层的主干网络和辅助网络，利用提取层提取图像特征并利用融合单元融合同层提取层输出的图像特征，实现图像特征的互补，能提取到更多小目标特征，从而提高识别精度，大幅降低小目标漏检率和误检率，适用于检测刹车盘外表面的缺陷和检测烟包切层断面异物等小目标检测领域。
2、本发明利用ACON类激活函数训练参数p1(x)和p2(x)以调整激活函数表达形式，使目标检测模型更适合于输入的训练数据，增强目标检测模型拟合能力；通过训练参数β来控制是否激活神经元(β为0，即不激活)，让目标检测模型可以在非线性(激活)和线性(不激活)之间进行切换。
3、本发明对特征图中的浅层细节信息和深层语义信息进行融合，加强多尺度特征图对小目标特征的表达能力，进一步提高提取到特征图的质量。
4、本发明利用轮盘赌算法优化聚类中心，生成与目标尺寸更接近的锚框，从而提高检测模块的检测精度。
附图说明
图1为目标检测模型结构图；
图2为特征提取模块结构图；
图3为提取层结构图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
一种基于深度学习的目标检测方法，具体步骤为：
获取样本图像集。样本图像为标注有目标类型、目标尺寸和目标位置的物体图像，如标注有缺陷类型、缺陷尺寸和缺陷位置的刹车盘外表面图像或标注有异物位置、异物尺寸和异物类型的烟包切层断面图像。
构建目标检测模型，所述目标检测模型包括特征提取模块、特征融合模块和检测模块。所述特征提取模块包括主干网络、辅助网络和若干融合单元。主干网络包括a个提取层，辅助网络包括b个提取层，提取层用于提取图像特征，在本实施例中，a＞b＞0。融合单元用于对主干网络和辅助网络同层提取层输出的图像特征进行特征融合，得到特征图，以及将该特征图输入至主干网络和/或辅助网络下一提取层得到的新的特征图。
利用样本图像集训练并测试所述目标检测模型。利用样本图像集生成若干个锚框。
获取待测物品图像。将待测物品图像输入至通过测试的目标检测模型，特征提取模块输出由待测物品图像得到的若干个特征图至融合模块，融合模块输出由所述若干个特征图得到的若干个多尺度特征图至检测模块，检测模块利用所述若干个锚框，分别检测所述若干个多尺度特征图，输出待测物品图像中的目标类型和目标位置。
其中，特征提取模块输出由待测物品图像得到的若干个特征图至融合模块的具体过程为：
S1：待测物品图像分别输入至主干网络和辅助网络的第一层提取层；
S2：融合单元对主干网络和辅助网络同层提取层输出的图像特征进行特征融合，得到特征图；若存在主干网络和辅助网络下一层提取层，则将特征图分别输入至主干网络和辅助网络下一层提取层；否则，将特征图输入至主干网络下一层提取层；
S3：重复步骤S2，直至主干网络第a层提取层输出特征图；
S4：从生成的所有特征图中选出若干个特征图输出至特征融合模块。
本实施例的进步之处在于，提出了一种新的特征提取方法：构建包含若干个提取层的主干网络和辅助网络，利用提取层提取图像特征并利用融合单元融合同层提取层输出的图像特征，实现图像特征的互补，能提取到更多小目标特征，从而提高识别精度，大幅降低小目标漏检率和误检率，适用于检测刹车盘外表面的缺陷和检测烟包切层断面异物等小目标检测领域。
实施例二
如图1所示，所述特征提取模块包括主干网络、辅助网络和融合单元(图中未画出融合单元)，主干网络包括5个提取层(即图中的Main-Block1至Main-Block5)，辅助网络包括4个提取层(即图中的Add-Block1至Add-Block5)，各提取层包括若干卷积层、批标准化层、激活层。
如图2所示，将待测物品图像分别输入至主干网络和辅助网络，待测物品图像经主干网络第一提取层得到图像特征a，经辅助网络第一提取层得到图像特征a’，对图像特征a和图像特征a’以add方式进行特征融合，得到特征图A；再将特征图A分别输入至主干网络第二提取层和辅助网络第二提取层，得到图像特征b和图像特征b’，并对图像特征b和图像特征b’以add方式进行特征融合，得到特征图B；以此类推，直至得到特征图D；将特征图D输入至主干网络第五提取层，得到特征图E。选取特征图B、特征图C、特征图E输入至特征融合模块。
实施例三
如图3所示，实施例二中各提取层中卷积层的卷积核为3x3，激活层采用Meta-Acon激活函数。
ACON:f(X)＝(p1(x)-p2(x))·σ(β(p1(x)-p2(x)))+p2(x)
本实施例的进步之处在于，利用ACON类激活函数训练参数p1(x)和p2(x)以调整激活函数表达形式，使目标检测模型更适合于输入的训练数据，增强目标检测模型拟合能力；通过训练参数β来控制是否激活神经元(β为0，即不激活)，让目标检测模型可以在非线性(激活)和线性(不激活)之间进行切换。
实施例四
如图1所示，特征融合模块特征图B、特征图C、特征图E进行特征融合：
对特征图E进行卷积操作(conv)后生成特征图F。对特征图F进行上采样操作(upsample)后，再与特征图C以concat方式进行特征融合。融合后的特征图进行若干卷积操作(c3、conv，c3表示三个conv)得到特征图G。对特征图G进行上采样操作(upsample)后，再与特征图B以cancat方式进行特征融合。融合后的特征图再进行若干卷积(c3)操作后，得到多尺度特征图H。
对多尺度特征图H进行卷积操作(conv)和上采样操作(upsample)后，与特征图G以concat方式进行特征融合。将融合后的特征图进行若干卷积操作(c3)后，得到多尺度特征图I。
对多尺度特征图I进行卷积(conv)操作和上采样操作(upsample)后，与特征图F以concat方式进行特征融合。将融合后的特征图进行若干卷积操作(c3)后，得到多尺度特征图J。
本实施例的进步之处在于，对特征图中的浅层细节信息和深层语义信息进行融合，加强多尺度特征图对小目标特征的表达能力，进一步提高提取到特征图的质量。
实施例五
通过K-means++算法对样本图像集中标注的目标的尺寸信息进行聚类分析，生成若干个锚框：
将样本图像集中每一个目标的尺寸信息视作一个数据点，尺寸信息包括目标边界的坐标位置。
随机选择一缺陷信息为第一个聚类中心；利用轮盘赌算法选择第二个聚类中心，使距离第一个聚类中心越远的数据点有更高的概率会被选为第二个聚类中心。以此类推，直至生成九个聚类中心。
对每一个数据点，计算该数据点与每一聚类中心的IOU值，将数据点归入最大IOU值对应聚类中心。用聚类质心迭代更新聚类中心，直至聚类质心与聚类中心之间的IOU值小于预定阀值或达到预定的迭代次数。
最终得到的九个聚类中心即为9个锚框。利用最大的三个锚框检测多尺度特征图H；中间的三个锚框检测多尺度特征图I；最小的三个锚框检测多尺度特征图J。
本实施例的进步之处在于，利用轮盘赌算法优化聚类中心，生成与目标尺寸更接近的锚框，从而提高检测模块的检测精度。
实施例六
一种基于深度学习的刹车盘外表面缺陷检测方法，步骤如下：
步骤S1：建立样本图像集：获取多张带缺陷的刹车盘外表面图像，统计缺陷的类型和数量，尽量做到每一类缺陷的数量大致相当。使用标注软件标注缺陷的位置、类别、尺寸，并将标注完成的数据转化成所需格式。
步骤S2：利用样本图像集训练所述目标检测模型。利用样本图像集生成九个锚框。按照从小到大及三个一组的要求，将聚类生成的九个锚框划分为a、b、c三组。
步骤S3：将待测刹车盘外表面图像输入至训练好的目标检测模型；特征提取模块输出由待测物品图像得到的三个特征图至融合模块，融合模块输出由所述三个特征图得到的三个多尺度特征图至检测模块；检测模块(本实施例中，检测模块采用YOLO目标检测模型)利用所述九个锚框对三个多尺度特征图铺满，判断各个锚框内缺陷的类别；对判断为缺陷的锚框，进行位置修正，输出位置适当、类别正确的预测结果。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，包括如下步骤：
获取样本图像集，样本图像为标注有目标类型和目标位置的物体图像；
构建目标检测模型，所述目标检测模型包括特征提取模块、特征融合模块和检测模块；特征提取模块包括主干网络、辅助网络和融合单元，主干网络和辅助网络均包括若干层用于提取图像特征的提取层；
利用样本图像集训练所述目标检测模型；
获取待测物品图像；将待测物品图像输入至训练好的目标检测模型，特征提取模块输出由待测物品图像得到的若干个特征图至融合模块，融合模块输出由所述若干个特征图得到的若干个多尺度特征图至检测模块，检测模块输出待测物品图像中的目标类型和目标位置；
其中，所述若干个特征图包括由融合单元对主干网络和辅助网络同层提取层输出的图像特征进行特征融合得到的特征图，以及将该特征图输入至主干网络和/或辅助网络下一提取层得到的新的特征图。
2.根据权利要求1所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，所述主干网络包括a层提取层，辅助网络包括b层提取层，a＞b＞0；所述特征提取模块输出由待测物品图像得到的若干个特征图至特征融合模块，具体为：
S1：待测物品图像分别输入至主干网络和辅助网络的第一层提取层；
S2：融合单元对主干网络和辅助网络同层提取层输出的图像特征进行特征融合，得到特征图；若存在主干网络和辅助网络下一层提取层，则将特征图分别输入至主干网络和辅助网络下一层提取层；否则，将特征图输入至主干网络下一层提取层；
S3：重复步骤S2，直至主干网络第a层提取层输出特征图；
S4：从生成的所有特征图中选出若干个特征图输出至特征融合模块。
3.根据权利要求1所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，所述提取层包括若干个卷积层、批标准化层和激活层。
4.根据权利要求3所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，所述激活层中采用ACON类激活函数。
5.根据权利要求1所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，还包括：利用样本图像集生成若干个锚框；
检测模块利用所述若干个锚框，分别检测所述若干个多尺度特征图，输出待测物品图像中的目标类型和目标位置。
6.根据权利要求5所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，所述利用样本图像集生成若干个锚框，具体为：
通过K-means++算法对样本图像集中的若干个缺陷信息进行聚类分析；其中，在选择聚类中心时：随机选第一个聚类中心，再利用轮盘赌算法，选择剩余聚类中心。
7.根据权利要求1所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，所述样本图像具体为标注有缺陷类型和缺陷位置的刹车盘外表面图像；利用所述样本图像集训练目标检测模型，使目标检测模型输出待测刹车盘外表面图像中的缺陷类型和缺陷位置。
8.一种基于深度学习的刹车盘外表面缺陷检测系统，其特征在于，包括图像采集装置，搭载有目标检测模型的检测装置；所述目标检测模型包括特征提取模块、特征融合模块和检测模块；所述特征提取模块包括主干网络、辅助网络和融合单元，主干网络和辅助网络均包括若干层用于提取图像特征的提取层；融合单元用于对主干网络和辅助网络同层提取层输出的图像特征进行特征融合，得到特征图，以及将该特征图输入至主干网络和/或辅助网络下一提取层得到的新的特征图；
所述图像采集设备用于获取待测物品图像，并将待测物品图像发送至检测装置；
所述检测装置用于接收所述待测物品图像，并将所述待测物品图像输入至目标检测模型；
特征提取模块用于输出由待测物品图像得到的若干个特征图至融合模块；融合模块用于输出由所述若干个特征图得到的若干个多尺度特征图至检测模块；检测模块用于输出待测物品图像中的目标类型和目标位置。
9.根据权利要求8所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，所述主干网络包括a层提取层，辅助网络包括b层提取层，a＞b＞0。
10.根据权利要求8所述的一种基于深度学习的刹车盘外表面缺陷检测方法，其特征在于，所述提取层包括若干个卷积层、批标准化层和激活层。
CN202111431599.0A 2021-11-29 一种基于深度学习的刹车盘外表面缺陷检测方法及系统 Active CN114119562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111431599.0A CN114119562B (zh) 2021-11-29 一种基于深度学习的刹车盘外表面缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111431599.0A CN114119562B (zh) 2021-11-29 一种基于深度学习的刹车盘外表面缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN114119562A true CN114119562A (zh) 2022-03-01
CN114119562B CN114119562B (zh) 2024-05-24

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392659A (zh) * 2023-12-12 2024-01-12 深圳市城市交通规划设计研究中心股份有限公司 一种基于无参数注意力机制优化的车辆车牌定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921173A (zh) * 2018-06-01 2018-11-30 中南大学 一种结合osm和遥感影像提取人行天桥的深度学习方法
JP2019086979A (ja) * 2017-11-06 2019-06-06 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
CN110599469A (zh) * 2019-08-30 2019-12-20 中国铁道科学研究院集团有限公司 一种动车组关键部位的缺陷检测方法、系统及电子设备
CN111582092A (zh) * 2020-04-27 2020-08-25 西安交通大学 一种基于人体骨架的行人异常行为检测方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN113610822A (zh) * 2021-08-13 2021-11-05 湖南大学 一种基于多尺度信息融合的表面缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086979A (ja) * 2017-11-06 2019-06-06 新日鉄住金ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム
CN108921173A (zh) * 2018-06-01 2018-11-30 中南大学 一种结合osm和遥感影像提取人行天桥的深度学习方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110599469A (zh) * 2019-08-30 2019-12-20 中国铁道科学研究院集团有限公司 一种动车组关键部位的缺陷检测方法、系统及电子设备
CN111582092A (zh) * 2020-04-27 2020-08-25 西安交通大学 一种基于人体骨架的行人异常行为检测方法
CN113610822A (zh) * 2021-08-13 2021-11-05 湖南大学 一种基于多尺度信息融合的表面缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李香凡;唐志伟;胡家龙;焦裕哲;章康;陈瑞成;: "无人机光伏巡检的图像目标检测算法", 电子世界, no. 11, 15 June 2020 (2020-06-15) *
王宪保;李洁;姚明海;何文秀;钱沄涛: "基于深度学习的太阳能电池片表面缺陷检测方法", 模式识别与人工智能, vol. 27, no. 6, 15 June 2014 (2014-06-15) *
田中可;陈成军;李东年;赵正旭: "基于PX-LBP和像素分类的装配体零件识别研究", 机电工程, no. 003, 31 December 2019 (2019-12-31) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392659A (zh) * 2023-12-12 2024-01-12 深圳市城市交通规划设计研究中心股份有限公司 一种基于无参数注意力机制优化的车辆车牌定位方法

Similar Documents

Publication Publication Date Title
Yun et al. Automated defect inspection system for metal surfaces based on deep learning and data augmentation
US10964004B2 (en) Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof
CN108765412B (zh) 一种带钢表面缺陷分类方法
CN111797890A (zh) 一种用于检测输电线路设备缺陷的方法及系统
CN112037219B (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN112967243A (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN108932523B (zh) 图像分类以及分类数据制作系统和方法、存储介质
CN108764361B (zh) 基于集成学习的游梁式抽油机示功图的工况识别方法
CN116188475B (zh) 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
US20230360390A1 (en) Transmission line defect identification method based on saliency map and semantic-embedded feature pyramid
CN111667476B (zh) 布料瑕疵检测方法、装置、电子设备及可读存储介质
CN111798409A (zh) 一种基于深度学习的pcb缺陷数据生成方法
CN114612472A (zh) 一种基于SegNet改进的皮革缺陷分割网络算法
CN115294033A (zh) 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN109816048A (zh) 一种基于属性迁移的图像合成方法
CN114332008A (zh) 一种基于多层次特征重构的无监督缺陷检测与定位方法
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN114881998A (zh) 一种基于深度学习的工件表面缺陷检测方法及系统
CN112396580B (zh) 一种圆形零件缺陷检测方法
Lien et al. Product surface defect detection based on deep learning
CN114155186A (zh) 基于无监督学习的缺陷检测系统及方法
CN112836724A (zh) 物体缺陷识别模型训练方法、装置、电子设备和存储介质
CN112767331A (zh) 基于零样本学习的图像异常检测方法
CN114119562B (zh) 一种基于深度学习的刹车盘外表面缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant