CN112419237B - 一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法 - Google Patents

一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法 Download PDF

Info

Publication number
CN112419237B
CN112419237B CN202011207450.XA CN202011207450A CN112419237B CN 112419237 B CN112419237 B CN 112419237B CN 202011207450 A CN202011207450 A CN 202011207450A CN 112419237 B CN112419237 B CN 112419237B
Authority
CN
China
Prior art keywords
pixel
master cylinder
image
defect
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011207450.XA
Other languages
English (en)
Other versions
CN112419237A (zh
Inventor
胡晓峰
王芷微
郭斌
范伟军
罗哉
江文松
陆艺
王学影
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202011207450.XA priority Critical patent/CN112419237B/zh
Publication of CN112419237A publication Critical patent/CN112419237A/zh
Application granted granted Critical
Publication of CN112419237B publication Critical patent/CN112419237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的离合主缸凹槽表面缺陷检测方法，将深度学习和缺陷识别结合实现了高精度高效率的自动检测；采用多尺度特征融合金字塔网络实现更准确地提取缺陷特征，并进行自主学习；采用单目标的FCOS卷积神经网络作为检测网络模型，不依赖于锚框和特征候选区域，简化网络模型，加快网络训练速度；实验结果表明本文提出的基于深度学习的缺陷检测算法效果优于传统人工检测方法和机器视觉检测方法，达到了工业生产线上离合主缸内槽缺陷检测的时间要求和精度，能够快速、准确的对离合主缸内槽在生产过程中产生的缺陷进行检测，提高工厂的生产效率，具有实用意义。

Description

一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法
技术领域
本发明属于基于深度学习的汽车零部件内表面缺陷图像快速检测领域，涉及一种基于全卷积One Stage(FCOS，Fully Convolutional One Stage)深度学习的离合主缸凹槽表面缺陷检测方法。
背景技术
离合主缸作为汽车离合助力系统的执行部件，直接感知驾驶人员踩踏离合踏板行程，进而助力输出离合力至离合器，实现助力换挡。离合主缸本体为铝合金铸件，内置推杆、活塞、复位弹簧、密封圈、皮碗等零件，通过推杆控制活塞位置以实现液压的输出，实现助力。离合主缸铝合金缸体在精工过程中，其内缸体密封凹槽表面易因加工因素导致出现砂眼、划痕、振刀纹等表面缺陷。因为上述加工缺陷，会导致密封圈装入凹槽后无法与凹槽表面紧密贴合，进而易发生离合主缸内腔液压泄漏，导致离合助力失效。当前，对于此类缸体内凹槽表面缺陷检测采用人工内窥镜检测或机器视觉检测。人工内窥镜检测虽成本低、易观察，但受人为视觉疲劳影响，极易存在漏检、错检等现象，特别是针对内凹槽此类微小面积表面检测。视觉检测虽提高了检测效率，但受限于图像处理算法对于多类别缺陷同步检测的识别效率低下，仅能满足单一类别缺陷的在线检测。综上所述，人工内窥镜检测和传统机器视觉检测方法存在检测效率低、类别识别精度差等缺点，人工检测易视觉疲劳，机器视觉检测仅针对单一类别识别，故无法满足工业现场对于离合主缸凹槽表面多类别缺陷在线实时检测与识别需求。
如何提高离合主缸缸体内腔凹槽表面缺陷检测识别的准确度是一个亟待解决的问题。随着基于深度学习神经网络模型算法的发展与工业应用的融合，相对于传统的视觉检测方法，在缺陷类别的检测、识别、定位等领域具有更高的精度和效率，因此为解决离合主缸缸体内腔凹槽表面缺陷检测识别提供了良好的应用前景。
因此，需要对现有技术进行改进。
发明内容
本发明要解决的技术问题是提供高效的一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法。
为解决上述技术问题，本发明提供一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法，包括以下步骤：
s1、采集主缸凹槽区域图像；
s2、利用s1步骤采集的主缸凹槽图像进行图像预处理，去除干扰信息，减少客观因素带来的影响，构建凹槽表面图像数据集；
s3、利用s2步骤构建的凹槽表面图像数据集，划分为图像训练集和图像测试集；
s4、利用FCOS算法构建缺陷检测深度神经网络模型；
s5、利用中心概率预测法优化s4步骤建立的缺陷检测深度神经网络模型，得到优化后的缺陷检测深度神经网络模型；
s6、利用s3步骤构建的图像训练集对s5步骤所构建的优化后的缺陷检测深度神经网络模型进行迭代训练，得到训练后的缺陷检测深度神经网络模型；
s7、利用s3步骤构建的图像测试集对s6步骤所构建的训练后的缺陷检测深度神经网络模型进行测试，得到检测缺陷的准确率，判断是否符合检测准确率大于95％的工业需求，若不符合，将图像训练集输入至网络继续训练模型；若符合，则执行步骤s8；
s8、利用s7步骤训练后的缺陷检测深度神经网络模型检测实际待检测的主缸凹槽图像，实现自动化缺陷检测与识别；
使用现有的方法检测缺陷的台子，采集主缸图像，进行单一缺陷的检测，无法实现多类别缺陷的识别；
s9、利用s8步骤输出缺陷检测与识别结果。
作为对本发明一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法的改进：所述步骤s2中具体包括以下步骤：
s21、利用步骤s1采集的主缸凹槽图像进行灰度转化，获取垂直方向的所有像素值；
s22、利用步骤s21获得的图像垂直方向像素值，采用像素极大值计算方法获得像素极大值；
s23、利用步骤s22计算获得的像素极大值对原始图像进行分割，设置边缘阈值T，裁剪获得图像ROI区域，得到主缸缺陷图片，构建凹槽表面图像数据集。
作为对本发明一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法的进一步改进：所述步骤s3具体包括以下步骤：
s31、按4：1的比例将步骤s23获得的凹槽表面图像数据集中的主缸缺陷图片分为训练集和测试集；
s32、利用步骤s31划分的训练集进行标记，记录缺陷的位置和类别信息，使用训练集进行训练网络，使用测试集验证模型的检测速度和检测精度。
作为对本发明一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法的进一步改进：所述步骤s4构建表面缺陷检测深度神经网络，采用以ResNet为基础网络的FCOS网络结构，包括输入层、基础网络、特征金字塔网络、逐像素预测和损失函数五部分；
所述输入层为分辨率为800×1024像素大小的RGB三通道图像；
所述基础网络为构建以ResNet为基础的卷积神经网络结构，用于改变图像大小，为后续的多尺度特征融合网络做准备；所述基础网络由4组48个卷积层组成，其中每一组卷积层分别有1、3、8、36个卷积层；
所述特征金字塔网络由4层卷积层自顶向下进行卷积，每层卷积核大小为3×3，卷积核个数逐层增加，分别为64、256、512、1024、2048；其中由ResNet网络中Conv3、Conv4、Conv5是通过1×1卷积层再和高层特征2倍上采样的结果进行融合得到P3、P4、P5，其步幅分别8、16、32，每个特征级都进行逐像素预测；
所述逐像素预测是构建FCOS网络的核心，利用特征图中每个像素点的位置经过映射得到预测边界框从而进行分类；
所述损失函数由目标类别、目标边界框的位置回归两部分构成。
作为对本发明一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法的进一步改进：目标类别的损失函数采用Focal loss函数；所述目标边界框的位置回归函数采用IOU loss函数。
作为对本发明一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法的进一步改进：所述s5步骤用于优化s4步骤建立的神经网络，针对s4步骤中部分远离图片中心的像素点采用逐像素预测法后会预测出低质量的边界框，导致预测结果出现偏差，在每个像素点预测出边界框后加入中心概率(Center-ness)预测分支，采用非极大值抑制算法滤出重复边界框，得到缺陷的最佳位置，具体步骤包括：
s51、利用中心概率预测法获得像素点到真实边界框四条边的距离；若像素点远离图片中心位置则其概率值越接近于0，若像素点接近图片中心位置则其概率值越接近于1；
s52、利用非极大值抑制滤除重复边界框；
s521、按照置信度的大小将每个像素点回归得到的预测边界框进行排序；
s522、利用步骤s521排序的预测边界框筛选出置信度最大的边界框，并将其他边界框与置信度最大的边界框的重叠面积进行计算；
s523、利用步骤s522计算的重叠面积进行预测边界框筛选，设置重叠面积阈值；若计算重叠面积大于阈值，则该边界框视为低质量边界框，删除该低质量边界框；所述重叠面积阈值取值为0.7；
s524、将每个像素点预测的边界框都与置信度最大的边界框进行重叠面积计算，循环所有预测边界框处理直至完毕，获得优化后的神经网络模型。
作为对本发明一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法的进一步改进：所述s6步骤利用s3步骤构建的已标记的图像训练集对s5所构建的优化深度神经网络进行迭代训练；分别得到不同缺陷种类随着迭代次数增加损失函数值和精确度的变化；所述迭代训练过程的停止条件分为两种：一种为损失函数的值小于设定的阈值，另一种为训练次数达到设定次数；所述损失函数阈值取值为0.01；所示训练次数取值为50000。
作为对本发明一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法的进一步改进：所述s7步骤将s6步骤训练后的网络对s3步骤构建的图像测试集进行测试，验证模型缺陷类别识别正确性。
作为对本发明一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法的进一步改进：所述s8步骤将s7步骤测试优化后的神经网络用于离合主缸凹槽表面在线缺陷的检测，识别砂眼、划痕、振刀纹等表面缺陷类别。
作为对本发明一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法的进一步改进：所述步骤s9利用s8步骤缺陷检测结果，输出缺陷相关特征参数。
本发明针对离合主缸内槽表面缺陷问题提供了一种基于深度学习的离合主缸内槽缺陷检测方法。先对采集到的样本进行裁剪以获取ROI区域，使得缺陷更加明显；然后，以卷积神经网络CNN为基础，结合FCOS模型构建缺陷检测网络基本模型，训练模型参数；再次，采用中心概率预测和非极大值抑制算法减少预测边界框的数量，有效地提高网络识别性能，解决实时检测缺陷的难题；最后，将优化后的曲线识别模型应用于离合主缸表面缺陷视觉检测系统，实现对凹槽表面砂眼、划痕、振刀纹等缺陷类别的在线检测。
本发明设计了一套基于深度学习的离合主缸内槽表面缺陷检测系统，将深度学习和缺陷识别结合实现了高精度高效率的自动检测；采用多尺度特征融合金字塔网络实现更准确地提取缺陷特征，并进行自主学习；采用单目标的FCOS卷积神经网络作为检测网络模型，不依赖于锚框和特征候选区域，简化网络模型，加快网络训练速度；实验结果表明本文提出的基于深度学习的缺陷检测算法效果优于传统人工检测方法和机器视觉检测方法，达到了工业生产线上离合主缸内槽缺陷检测的时间要求和精度，能够快速、准确的对离合主缸内槽在生产过程中产生的缺陷进行检测，提高工厂的生产效率，具有实用意义。
本发明一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法的技术优势为：
1)、本发明针对离合主缸内槽缺陷问题提供了一种基于深度学习的缺陷检测方法。首先，对图像进行裁剪以获取所述表面图像中的ROI区域，使得缺陷在视觉上更加明显，且容易检测；其次，采用FCOS网络模型，能够明确的检测出不同的缺陷；最后，采用中心概率预测和非极大值抑制算法能够滤除重复的预测边界框。因此，本发明在离合主缸内槽缺陷检测、检测实时性、检测结果精确度方面的表现优于传统的检测方法，能够满足企业对离合主缸内槽在线检测的要求，具有一定的应用前景。
2)、相对于传统的人工内窥镜和视觉检测方法，本发明方法利用在线采集的大批量缺陷样本图像进行网络模型的构建，实现了对多类别缺陷的在线同步识别，且识别正确率大幅提升，检测效率高，通用性强，可衍生推广应用于汽车其他铝合金缸体内表面缺陷检测，应用前景良好。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1是本发明的网络结构图；
图2是本发明的特征网络结构图；
图3是缺陷检测流程图；
图4(a)-图4(c)是离合主缸凹槽表面裁剪后的缺陷检测结果图，其中图4(a)为砂眼缺陷检测图，图4(b)为划痕缺陷检测图，图4(c)振刀纹缺陷检测图；
图5(a)-图5(c)是不同缺陷的损失函数和精确度曲线图，其中图5(a)为砂眼缺陷的损失函数和精确度曲线图，图5(b)为划痕缺陷的损失函数和精确度曲线图，图5(c)为振刀纹的损失函数和精确度曲线图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此。
实施例1、一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法，如图1-2所示，包括以下步骤：
步骤1：采用现有的基于传统机器视觉的离合主缸缸体内腔凹槽表面缺陷检测系统的视觉成像系统会采集待检测的主缸凹槽图像，对图像进行预处理和分割，裁剪获取所述主缸凹槽图像中的ROI区域，作为主缸缺陷图片；
进一步获取所述表面图像中的ROI区域的步骤包括：对采集的主缸凹槽图像进行灰度转化，并获取垂直方向的每点像素值，分别逐列找到行像素极大值的横坐标，即可获得离合器主缸凹槽边缘的位置，进行边缘裁剪。
由图像特征可知主缸凹槽边缘较周围更亮，凹槽边缘的灰度值较凹槽灰度值更高，分别在(100，200)、(400，500)这两个区间中逐列找到行像素极大值的横坐标，即可获得离合器主缸凹槽边缘的位置取列像素的。
获取像素极大值公式：f'(x,y)＝0且f”(x,y)＜0，(x,y)∈T；
式中：f(x,y)为图像的灰度像素曲线，T是预设的边缘阈值；f'(x,y)为图像的灰度像素曲线的一阶导数；f”(x,y)为图像的灰度像素曲线的二阶导数。
调整边缘阈值T，裁剪离合主缸凹槽表面ROI区域。
步骤2：构建数据集，利用采集到的主缸缺陷图片按4：1的比例分为训练集和测试集，对训练集的图片进行标记，记录缺陷目标的位置和类别信息，使用训练集进行训练网络，使用测试集验证模型的检测速度和检测精度。
步骤3：构建缺陷检测深度神经网络模型；
本发明使用以ResNet为基础网络的FCOS网络结构，网络框架主要分为特征金字塔网络和逐像素预测分析两部分。逐像素预测分析为边界框回归和预测，特征金字塔网络(Multi.feature fusion pyramid network)是综合考虑低层特征和处理过的高层特征，并且在不同特征层独立进行预测的网络。通过对高层特征进行自顶向下的线路和低层特征进行自底向上的线路再横向连接进行特征融合，生成最终的分辨率图进行预测，缺陷的检测是在特征金字塔不同尺度的特征图上同时进行的，不同尺度的特征图用于检测不同尺度大小的缺陷，逐像素预测法是特征图中每个像素点的位置经过映射得到边界框从而进行分类的方法。
本发明的FCOS网络结构具体结构如下所示：
(1)输入层：分辨率为800×1024像素大小的RGB三通道图像；
(2)基础网络：以ResNet为基础的卷积神经网络结构，用于改变图像像素大小，为后续的多尺度特征融合网络做准备，共4组48个卷积层，其中每一组卷积层分别有1、3、8、36个卷积层。
(3)特征金字塔网络：每层卷积核的大小都是3×3，卷积核的个数逐层增加，分别为64、256、512、1024、2048。其中由ResNet网络中Conv3、Conv4、Conv5是通过1×1卷积层再和高层特征2倍上采样的结果进行融合得到P3、P4、P5，其步幅分别8、16、32，每个特征级都进行逐像素预测。
(4)逐像素预测：逐像素预测是FCOS网络的核心，是利用特征图中每个像素点的位置经过映射得到预测边界框从而进行分类。在特征图中每个像素点坐标为(x，y，c*)，映射到原始图像中对应像素点的坐标为
Figure BDA0002757518170000071
式中s为该层的卷积步长，c*为像素点所属类别。每个像素点都有对应的回归目标h＝(l*，t*，r*，b*)，式中(l*，t*，r*，b*)是该像素点到真实边界框四条边的距离。对每个像素进行回归操作，得到预测边界框并且对边界框进行分类。
(5)损失函数：
FCOS网络的损失函数由两部分构成：目标类别、目标边界框的位置回归，总体损失函数可以表示为：
Figure BDA0002757518170000072
式中：Px，y为真实边框类别，tx，y为真实边界框的坐标，
Figure BDA0002757518170000073
为预测边界框的坐标，/>
Figure BDA0002757518170000074
为预测边界框的类别属于正类的概率Lcls为真实缺陷类别与预测缺陷类别的损失函数，Lreg为真实边界框与预测边界框的交并比损失函数。Npos是正样本的数量，/>
Figure BDA0002757518170000075
表示只有在该像素为正样本时才进行预测。
目标位置回归采用IOU loss，目标函数为：
Figure BDA0002757518170000076
Figure BDA0002757518170000077
目标分类的损失函数采用Focalloss，目标函数为：
Figure BDA0002757518170000078
步骤4：对所建网络模型进一步优化处理；
由于远离图片中心的像素点采用逐像素预测法后会预测出低质量的边界框，预测结果将造成一定的偏差，因此每个像素点预测出边界框后加入中心概率(Center-ness)预测分支；再采用非极大值抑制算法滤出重复边界框，得到缺陷的最佳位置。
具体模型优化步骤如下：
(1)中心概率预测分支公式如下：
Figure BDA0002757518170000079
式中：(l*,t*,r*,b*)是该像素点到真实边界框四条边的距离。通过公式可得出，越远离图片中心位置的像素点中心概率值越接近于0，靠近图片中心位置的像素点中心概率值越接近于1。由此可以筛选处远离图片中心像素点的低质量边界框，低质量边框会影响检测结果，可能导致误判的情况，需要非极大值抑制对其滤除。
(2)非极大值抑制滤除重复边界框：
按照置信度的大小将每个像素点回归得到的预测边界框进行排序；
将置信度最大的边界框筛出，并且将其他边界框与置信度最大的边界框的重叠面积进行计算，若重叠面积大于阈值(本实施例的阈值设置为0.7)，则该边界框视为低质量边界框，删除该边界框；
将每个像素点预测的边界框都与置信度最大的边界框进行重叠面积计算，循环全部的预测边界框处理完毕；
删除重叠边界框，得到最终的预测边界框。
通过以上四个步骤，建立优化后的离合主缸内槽缺陷深度模型，采用该模型对在线缺陷图像进行应用检测，具体检测流程如下：
(1)输入一张彩色图像，图像大小为800×1024×3，3代表图像存在R、G、B三个通道。
(2)将图像输入到FCOS的基础网络中，本发明的基础网络由ResNet卷积网络构成，图像通过ResNet网络分成不同大小的图层，并输入至特征金字塔网络得到不同尺寸的特征图。
(3)不同尺寸的特征图同时进行逐像素预测，得到预测边界框，进行分类和位置回归，其目的是为了能够准确的检测到不同尺寸的缺陷，在不同尺寸的特征图进行预测，可以达到多尺度的目的。
(4)得到的分类和位置回归的结果分别通过中心概率预测和非极大值抑制算法，筛选得到最终的检测结果，输出表面砂眼、划痕、振刀纹等缺陷类别。
砂眼缺陷，在主缸铸造时因混入气泡或杂质产生漏洞；划痕缺陷，主要是在加工制动主缸时产生的刮痕；振刀纹缺陷，因加工工艺中铣刀的振动产生的纹路。三者缺陷在图像特征上表现不一样，根据各自的缺陷特征使用现有的图像识别技术进行图像检测与识别，具体图像特征可见图4(a)-(c)。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形，适用于其他类似铝合金缸体内腔凹槽表面的缺陷检测，这类缸体的缺陷主要就是上述的三种，比如制动主缸的内腔凹槽表面缺陷检测。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (8)

1.一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法，其特征在于：包括以下步骤：
s1、采集主缸凹槽区域图像；
s2、利用s1步骤采集的主缸凹槽图像进行图像预处理，去除干扰信息，减少客观因素带来的影响，构建凹槽表面图像数据集；
s3、利用s2步骤构建的凹槽表面图像数据集，划分为图像训练集和图像测试集；
s4、利用FCOS算法构建缺陷检测深度神经网络模型；
s5、利用中心概率预测法优化s4步骤建立的缺陷检测深度神经网络模型，得到优化后的缺陷检测深度神经网络模型；
s6、利用s3步骤构建的图像训练集对s5步骤所构建的优化后的缺陷检测深度神经网络模型进行迭代训练，得到训练后的缺陷检测深度神经网络模型；
s7、利用s3步骤构建的图像测试集对s6步骤所构建的训练后的缺陷检测深度神经网络模型进行测试，得到检测缺陷的准确率，判断是否符合要求；若不符合，将图像训练集输入至网络继续训练模型；若符合，则执行步骤s8；
s8、利用s7步骤训练后的缺陷检测深度神经网络模型检测实际待检测的主缸凹槽图像，实现自动化缺陷检测与识别；
s9、利用s8步骤输出缺陷检测与识别结果；
所述步骤s2中具体包括以下步骤：
s21、利用步骤s1采集的主缸凹槽图像进行灰度转化，获取垂直方向的所有像素值；
s22、利用步骤s21获得的图像垂直方向像素值，采用像素极大值计算方法获得像素极大值；
s23、利用步骤s22计算获得的像素极大值对原始图像进行分割，设置边缘阈值T，裁剪获得图像ROI区域，得到主缸缺陷图片，构建凹槽表面图像数据集；
所述步骤s4构建表面缺陷检测深度神经网络，采用以ResNet为基础网络的FCOS网络结构，包括输入层、基础网络、特征金字塔网络、逐像素预测和损失函数五部分；
所述输入层为分辨率为800×1024像素大小的RGB三通道图像；
所述基础网络为构建以ResNet为基础的卷积神经网络结构，用于改变图像大小，为后续的多尺度特征融合网络做准备；所述基础网络由4组48个卷积层组成，其中每一组卷积层分别有1、3、8、36个卷积层；
所述特征金字塔网络由4层卷积层自顶向下进行卷积，每层卷积核大小为3×3，卷积核个数逐层增加，分别为64、256、512、1024、2048；其中由ResNet网络中Conv3、Conv4、Conv5是通过1×1卷积层再和高层特征2倍上采样的结果进行融合得到P3、P4、P5，其步幅分别8、16、32，每个特征级都进行逐像素预测；
所述逐像素预测是构建FCOS网络的核心，利用特征图中每个像素点的位置经过映射得到预测边界框从而进行分类；
所述损失函数由目标类别、目标边界框的位置回归两部分构成。
2.根据权利要求1所述的一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法，其特征在于：所述步骤s3具体包括以下步骤：
s31、按4：1的比例将步骤s23获得的凹槽表面图像数据集中的主缸缺陷图片分为训练集和测试集；
s32、利用步骤s31划分的训练集进行标记，记录缺陷的位置和类别信息，使用训练集进行训练网络，使用测试集验证模型的检测速度和检测精度。
3. 根据权利要求1所述的一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法，其特征在于：目标类别的损失函数采用Focal loss函数；所述目标边界框的位置回归函数采用IOU loss函数。
4.根据权利要求1所述的一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法，其特征在于：所述s5步骤用于优化s4步骤建立的神经网络，针对s4步骤中部分远离图片中心的像素点采用逐像素预测法后会预测出低质量的边界框，导致预测结果出现偏差，在每个像素点预测出边界框后加入中心概率（Center-ness）预测分支，采用非极大值抑制算法滤出重复边界框，得到缺陷的最佳位置，具体步骤包括：
s51、利用中心概率预测法获得像素点到真实边界框四条边的距离；若像素点远离图片中心位置则其概率值越接近于0，若像素点接近图片中心位置则其概率值越接近于1；
s52、利用非极大值抑制滤除重复边界框；
s521、按照置信度的大小将每个像素点回归得到的预测边界框进行排序；
s522、利用步骤s521排序的预测边界框筛选出置信度最大的边界框，并将其他边界框与置信度最大的边界框的重叠面积进行计算；
s523、利用步骤s522计算的重叠面积进行预测边界框筛选，设置重叠面积阈值；若计算重叠面积大于阈值，则该边界框视为低质量边界框，删除该低质量边界框；所述重叠面积阈值取值为0.7；
s524、将每个像素点预测的边界框都与置信度最大的边界框进行重叠面积计算，循环所有预测边界框处理直至完毕，获得优化后的神经网络模型。
5.根据权利要求1所述的一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法，其特征在于：所述s6步骤利用s3步骤构建的已标记的图像训练集对s5所构建的优化深度神经网络进行迭代训练；分别得到不同缺陷种类随着迭代次数增加损失函数值和精确度的变化；所述迭代训练过程的停止条件分为两种：一种为损失函数的值小于设定的阈值，另一种为训练次数达到设定次数；所述损失函数阈值取值为0.01；所示训练次数取值为50000。
6.根据权利要求1所述的一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法，其特征在于：所述s7步骤将s6步骤训练后的网络对s3步骤构建的图像测试集进行测试，验证模型缺陷类别识别正确性。
7. 根据权利要求1所述的一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法，其特征在于： 所述s8步骤将s7步骤测试优化后的神经网络用于离合主缸凹槽表面在线缺陷的检测，识别砂眼、划痕、振刀纹表面缺陷类别。
8.根据权利要求7所述的一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法，其特征在于：所述步骤s9利用s8步骤缺陷检测结果，输出缺陷相关特征参数。
CN202011207450.XA 2020-11-03 2020-11-03 一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法 Active CN112419237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011207450.XA CN112419237B (zh) 2020-11-03 2020-11-03 一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011207450.XA CN112419237B (zh) 2020-11-03 2020-11-03 一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN112419237A CN112419237A (zh) 2021-02-26
CN112419237B true CN112419237B (zh) 2023-06-30

Family

ID=74826904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011207450.XA Active CN112419237B (zh) 2020-11-03 2020-11-03 一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN112419237B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592890B (zh) * 2021-05-28 2022-02-11 北京医准智能科技有限公司 一种ct图像肝脏分割方法及装置
CN113392960B (zh) * 2021-06-10 2022-08-30 电子科技大学 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN114972342B (zh) * 2022-07-28 2022-10-21 南通新思迪机电有限公司 一种变速箱齿轮表面缺陷检测方法
CN116481461B (zh) * 2022-11-24 2023-09-22 广州帕卡汽车零部件有限公司 一种汽车隔音隔热零配件成孔切口毛糙度检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109591878A (zh) * 2018-11-26 2019-04-09 吉林大学 一种适用于上肢缺陷驾驶员的多功能汽车转向系统
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110660040A (zh) * 2019-07-24 2020-01-07 浙江工业大学 一种基于深度学习的工业品不规则缺陷检测方法
CN111415329A (zh) * 2020-02-20 2020-07-14 广州中国科学院先进技术研究所 一种基于深度学习的工件表面缺陷检测方法
CN111723786A (zh) * 2020-08-21 2020-09-29 之江实验室 一种基于单模型预测的安全帽佩戴检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109591878A (zh) * 2018-11-26 2019-04-09 吉林大学 一种适用于上肢缺陷驾驶员的多功能汽车转向系统
CN110660040A (zh) * 2019-07-24 2020-01-07 浙江工业大学 一种基于深度学习的工业品不规则缺陷检测方法
CN111415329A (zh) * 2020-02-20 2020-07-14 广州中国科学院先进技术研究所 一种基于深度学习的工件表面缺陷检测方法
CN111723786A (zh) * 2020-08-21 2020-09-29 之江实验室 一种基于单模型预测的安全帽佩戴检测方法及装置

Also Published As

Publication number Publication date
CN112419237A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112419237B (zh) 一种基于深度学习的汽车离合主缸凹槽表面缺陷检测方法
CN111310558B (zh) 一种基于深度学习和图像处理法的路面病害智能提取方法
CN109800824B (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN111292305B (zh) 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN113450307B (zh) 一种产品边缘缺陷检测方法
CN108520274B (zh) 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN104021574B (zh) 路面病害自动识别方法
WO2018107939A1 (zh) 一种基于边缘完备度的图像分割最优识别方法
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN105205821B (zh) 一种焊接图像分割方法
CN110211101A (zh) 一种铁轨表面缺陷快速检测系统及方法
CN105844621A (zh) 一种印刷品质量检测方法
CN111982916A (zh) 一种基于机器视觉的焊缝表面缺陷检测方法及系统
CN108765402B (zh) 无纺布缺陷检测与分类方法
CN115546768B (zh) 基于多尺度机制和注意力机制的路面标线识别方法及系统
CN112465759A (zh) 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN112734761B (zh) 工业品图像边界轮廓提取方法
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN111598856A (zh) 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
TWI745204B (zh) 基於深度學習之高效率光達物件偵測方法
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测系统
CN112614105B (zh) 一种基于深度网络的3d点云焊点缺陷检测方法
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant