CN111429403B - 一种基于机器视觉的汽车齿轮成品缺陷检测方法 - Google Patents

一种基于机器视觉的汽车齿轮成品缺陷检测方法 Download PDF

Info

Publication number
CN111429403B
CN111429403B CN202010121242.1A CN202010121242A CN111429403B CN 111429403 B CN111429403 B CN 111429403B CN 202010121242 A CN202010121242 A CN 202010121242A CN 111429403 B CN111429403 B CN 111429403B
Authority
CN
China
Prior art keywords
image
layer
sampling
gear
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010121242.1A
Other languages
English (en)
Other versions
CN111429403A (zh
Inventor
曾杰
罗喜伶
金晨
彭建鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Innovation Research Institute of Beihang University
Original Assignee
Hangzhou Innovation Research Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Innovation Research Institute of Beihang University filed Critical Hangzhou Innovation Research Institute of Beihang University
Priority to CN202010121242.1A priority Critical patent/CN111429403B/zh
Publication of CN111429403A publication Critical patent/CN111429403A/zh
Application granted granted Critical
Publication of CN111429403B publication Critical patent/CN111429403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉的汽车齿轮成品缺陷检测方法。针对当前采样数字化图像处理技术对汽车齿轮部件缺陷识别精度不高的问题。本发明利用数字图像处理技术对齿轮等零部件轮廓以及边缘部分进行提取，然后将提取后的齿轮边界图像作为先验信息融入改进的UNet网络结构中，进行人为地补充底层特征信息作为网络训练的参考，从而达到更好的信息融合效果。本发明基于UNet网络结构对齿轮图像语义进行分割，能够完全识别出细小的裂缝、污迹等缺陷。

Description

一种基于机器视觉的汽车齿轮成品缺陷检测方法
技术领域
本发明属于机械齿轮检测和诊断技术领域，涉及一种基于机器视觉的汽车齿轮成品缺陷检测方法，其通过机器视觉来对汽车齿轮进行语义识别，从而实现成品缺陷检测。
背景技术
齿轮是重要的汽车传动零部件，发挥着不可或缺的作用。齿轮一旦存在缺陷或故障会直接影响汽车的使用性能与寿命。虽然市面上由很多用来测量齿轮参数的仪器，如三坐标测量机、齿轮检测中心等，但这些检测设备往往价格昂贵，且使用和维修专业性较强，难以得到大面积的推广和使用。因此，大部分的厂商仍然对汽车齿轮部件采用传统人力检视的方法，这种方式往往速度较慢，柔性较差，越来越难以适应于现代工业大批量生产的需求。
近年来，机器视觉技术发展迅速，以其高效、准确和无损等优点在现代测量中得到越来越多的应用。因此，考虑如何将机器视觉与齿轮测量技术相结合来提高制造环节的效率，降低废品率是促进整个行业发展的关键所在。其中，齿轮的检测包括如何准确快速地识别出齿轮轮廓图像和识别齿轮上的微小裂缝及其他油污等。前者是基于只有在轮廓识别的前提下才能进行齿顶圆、齿根圆、齿数等齿轮参数的测量；后者是因为若齿根存在微小裂缝在交变应力作用下,裂缝容易逐步扩大和加深，导致整个齿轮断裂。
现有齿轮缺陷检测技术大部分采用的是数字化图像处理技术，其大致流程是先通过系统标定和图像预处理方法，建立数字图像像素与实际尺寸对应关系；然后是进行图像分割、目标区轮廓提取及优化操作，目标识别和特征提取以图像的分割作为基础，图像分割结果的好坏直接影响着后续特征提取与目标识别；最后进行像素的定位和齿形检测。整体框架如图1所示。
数字图像处理技术的处理方式单一，其本质是对输入的图像进行加工处理来达到检测的目的，是一种以图像输入、图像输出的方法。这种方法能够一定程度地提取齿轮的轮廓，但识别精度有限，主要是通过图像的低级特征进行处理的阶段，经过处理之后图像无法对齿轮存在的毛刺、细微裂痕和污渍等做到有效的识别和分割，如图2所示的齿轮裂缝在数字图像处理技术中无法被检出。同时，现有的齿轮缺陷识别技术仅仅停留在机器视觉对于原始图像预处理的阶段，与齿轮图像上的真正的语义识别还存在较大的差距，处理对象仅限于某个特定的类别。
发明内容
本发明的目的是克服现有技术的不足本发明基于语义分割网络模型对齿轮图像进行语义识别，以光学成像原理为基础，通过齿轮图像采集来提取与齿轮缺陷相关的特征指标，进而能够通过图像特征指标来获取对应的齿轮标准参数和表面缺陷区域，本发明技术方案如下：
本发明基于机器视觉的汽车齿轮成品缺陷检测方法包括如下步骤：
1)Unet网络的下采样过程对齿轮原始图像进行逐层下采样压缩处理，下采样过程由n个下采样特征层组成，每个下采样特征层均包括卷积和池化单元用来展现环境信息；齿轮原始图像经Unet网络的下采样过程后得到各个下采样特征层的输出特征图G1-Gn；同时对齿轮原始图像进行边缘提取得到识别边缘轮廓后的图像；将该图像分别经过单层卷积网络进行尺寸修正得到与下采样各阶段特征层的输出特征图分辨率相一致的图像D1-Dn；
2)特征图G1-Gn分别与步骤1)经尺寸修正后的图像D1-Dn的元素以级联形式生成融合特征图像F1-Fn，以通道的方式添加来加强浅层网络对于图像边缘简单特征的抓取；
3)Unet网络的上采样过程同样由N个上采样层组成，在Unet网络的上采样过程中，将被压缩了n次后得到的特征图Gn进行第一上采样层上采样，上采样后与融合特征图像Fn-1经过第二上采样层的嵌入模块来学习级联融合，嵌入模块的输出作为第二上采样层的输入，第二上采样层上采样后与融合特征图像Fn-2经过第三上采样层的嵌入模块学习级联融合，嵌入模块的输出作为第三上采样层的输入，以此类推；经历n次融合逐层上采样反卷积后，获得各上采样层的特征图；对原始标签图像进行弹性形变达到与每一层输入图像相同的尺寸，作为上采样阶段每一层的标签图像，上采样阶段每层采用softmax作为激活函数，把获得的特征重新映射到标签图像中的每一个像素点，用于每一个像素点的分类；将对数损失函数计算预测值与真实值之间的差值作为上采样每一阶段的损失，整个网络损失函数为各个上采样阶段的总和；将得到的差值前向反馈用来修正各个卷积层和嵌入模块的权重参数；
4)将上采样每个阶段获得的特征图输入到1*1的卷积层，最后通过softmax层，得到与各阶段图像尺寸相一致的各部分分割图像。
本发明针对齿轮的语义识别，能够弥补传统数字图像处理技术的精度问题、识别问题，做到齿轮缺陷的实时识别和故障预测。由模拟结果可知，本发明的方法能够对原始图像进行语义分割，能够完全识别出细小的裂缝、污迹等。
附图说明
图1为传统数字化图像处理技术的流程图；
图2为齿轮裂缝的示意图；
图3为Robers算子和Canny算子提取的齿轮边缘轮廓示意图；
图4为本发明方法Unet网络的结构示意图；
图5为本发明嵌入模块的流程示意图；
图6为仿真模拟结果示意图。
具体实施方式
下面结合具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
本发明基于UNet网络结构，在现有的框架下结合齿轮识别的固有特点进行了边界信息的人为信息融合加强处理。传统的UNet网络优势是编码过程中每经过一个池化层就是一个尺度，通过skip-connection就结合了多尺度的信息。这样简单有效地将编码器的特征图拼接至每个阶段解码器的上采样特征图，从而形成一个U型结构，并通过skip-connection级联架构，而不是简单的求和操作，在每个阶段都允许解码器学习在编码器池化中丢失的相关特性。这种结构主要是能有效地将下采样过程缺失的信息融合进来，从而产生高分辨率的预测图像。将粗糙的高层语义特征与细粒度的底层特征进行融合，实现了端对端的训练。高层特征主要是用来进行类别分类，底层特征主要用来提取精细的边界信息。
Unet网络前半部分主要用来提取底层特征，本发明利用成熟的数字图像处理技术对齿轮等零部件轮廓以及边缘部分进行提取，然后将提取后的齿轮边界图像作为先验信息融入UNet网络结构中，进行人为地补充底层特征信息作为网络训练的参考，从而达到更好的信息融合效果。
语义分割网络框架为了提高识别精度，采用的主要方法是尽可能多的结合图像上下文信息，将不同层级的特征进行融合来提高对细小物体的识别，即将高层信息与底层识别的信息如边界和轮廓等信息结合有利于提升分割准确度。一般来说，图像分割网络中低级特征和高级特征相辅相成。低级特征包含丰富的空间信息，缺乏高级的语义信息，而高级特征则恰好相反。直观的来说，高级特征与那些诸如点、线或者边缘的低级特征直接融合的意义不是很大，因为后者噪音过多，无法提供高分辨率的语义信息。
因此，本发明在基于UNet网络结构对齿轮的语义识别过程中，将低级特征通过skip connection与高级特征的融合阶段上加入嵌入模块，来使高级特征对低级特征实现自我优化，从而达到最佳的融合效果。嵌入模块示意图5所示。具体做法是在UNet网络上采样时，高级特征通过特定的卷积模块，卷积核尺寸可以是3*3、5*5等，经过卷积模块提取特征后，再进行双线性上采样来恢复与融合特征图相一致的尺寸，接着同融合特征图逐元素相乘，最后作为嵌入模块的输出，即下一个上采样阶段的输入。
本发明网络的输入为由摄像机拍摄的齿轮图像，输出的是图像每个像素属于各自类别的概率。在本发明中，主要使用该方法对齿轮进行裂缝和油污的识别，因此输出类别为3类：齿轮、裂缝、污渍。
数据图像处理技术中的边缘检测是指提取齿轮的轮廓边缘，将得到的边缘点坐标为齿轮参数测量提供最原始的实验数据；边缘检测的实质是根据图像中目标与背景之间的交界线存在灰度上的明显变化，根据灰度变化的不同，边缘可分为多种类型。本方法主要采用阶跃型边缘为主，根据图像灰度分布的梯度不同，即灰度变化最大的方向，采用局部图像微分技术来获得边缘检测算子。常见的边缘检测算子有：Roberts算子、Sobel算子和Canny算子等。
其中，Canny算子是一个具有滤波，增强，检测的多阶段优化检测算子。该算子采用高斯滤波对图像进行平滑图像以去除噪声；然后采用一阶偏导的有限差分计算梯度幅值与方向；在处理过程中，Canny算子还将经过一个非极大值抑制的过程，最后使用双阈值检测连接边缘。这样的得到的边缘较为完整，连续性较好，作为本方法的边缘检测算子。Robers算子和Canny算子提取的齿轮边缘轮廓如图3所示。
最后，将识别边缘轮廓后的图像分别进行复制，然后经过n*n的卷积网络进行特征提取和尺寸裁剪至与每个下采样阶段得到的特征图相一致后，进行各个元素的相加处理，处理完后作为上采样的输入，这样得到的特征将边界信息能够最大程度的保留下来。
在Unet网络中，因为使用的是未填充的卷积操作，那么输出的尺寸将会小于输入的尺寸大小。Unet没有采用在网络结构前使用下采样和在网络结构后使用下采样的传统处理，而是使用了Over Tile Strategy的方法，即在边界部分采用镜像的方式来扩充元图像的尺寸，从而达到经过卷积层后图像尺寸不变的目的。但在汽车齿轮零部件的识别中，不同于生物细胞的识别，边缘部分不存在需要识别的对象，因此本发明在整个网络过程中，采用的是对原图进行zero-padding的处理方式来使处理后的图像尺寸保持不变。
相对于传统UNet的损失函数，本发明将损失函数分为各个阶段下不同分辨率特征图的损失和，即融合加嵌入后的图像与原图裁剪后成相同尺寸的特征图相比较来进行训练，这样总的损失包括了不同上采样阶段的损失部分，能够更好地指导深层网络直接学习分割的类别。损失函数公式如下：
Figure BDA0002393022610000051
其中，Li为每个上采样各个阶段的损失部分，N为批处理图片数量，i为类别数目，pi表示当前像素属于类别i类别的概率，使用softmax函数表示当前输入的图片属于类别i的概率。
本发明的具体实现过程如下：
1)利用opencv将输入图像转换为灰度图像，接着为了提高图像清晰度，增强对比度，提升图像的灰度级别；利用5×5高斯滤波器消除噪声，再计算图像在0°/45°/90°/135°这四个方向的梯度，保留局部最大值，其余的设置为0；最后设置canny算子的高低阈值比为2:1；
2)Unet网络分为三部分：第一部分为下采样阶段，用来快速压缩原图信息。每个下采样层包括连续的2次卷积层，卷积选用空洞卷积，卷积核大小为3*3，空洞因子为2，步长为1，然后经过Relu的非线性层，最后通过步长为2的2*2的最大池化层。每次下采样过后，特征图的尺寸缩小，特征通道翻倍增加，来压缩图像得到更多高层特征信息；
3)第二部分为上采样阶段，主要是通过反卷积的方式来实现，每个上采样层包括连续的2*2的反卷积层和2次的3*3卷积层，特征通道逐渐减半，并依次将网络的第6层至第9层和上采样阶段中的第4层至第1层依次结合(本实施例的网络结构中，上采样阶段和下采样阶段各有4层。网络第5层的操作也是先池化然后卷积最后上采样，Unet网络将第6层和第4层依次跳跃连接来加强训练效果)。具体是原图经过边缘检测后得到识别边缘轮廓后的图像，然后该图像分别经过单层卷积网络进行尺寸修正得到与下采样各阶段特征层的输出特征图分辨率相一致的图像D1-DN，接着和下采样各特征层层中最大池化层的特征图G1-GN元素以级联方式融合生成融合特征图像F1-FN；将被压缩了N次后得到的特征图GN进行第一上采样层上采样，上采样后与融合特征图像FN-1经过第二上采样层的嵌入模块来学习级联融合，嵌入模块的输出作为第二上采样层的输入，以此类推，当前第k(k＝1-N)个上采样阶段结合上一层(k-1层)的上采样输出图像与第k个上采样阶段对应的融合特征图像FN-K+1经过嵌入模块后作为第k个上采样阶段的输入，逐层上采样后，获得与原始图像尺寸一致的特征图，最终获得64个特征图。上采样阶段每一层的输入经过卷积后，与原始图像经过尺寸处理后作为每一层的标签图像来进行比较，采用softmax层作为激活函数，将比对结果差值作为每一阶段的损失，网络整个损失函数即为各个部分的总和。
4)第三部分为齿轮各部分概率图谱获得。将64个特征图输入到1*1的卷积层，最后通过softmax层，得到与原始图像维度相一致的各部分分割图像。
如图6所示为本发明的仿真结果，其中图6a为原始输入图像，该原始输入图像中的齿轮轴心左下角部分带有油污(污迹)，齿轮盘面一点钟方向和4点钟方向有细小裂纹。图6b和图6c为两种传统数字图像处理识别后的图像，可见其无法识别油污和裂纹，但传统数字图像处理识别后的图像的齿轮轮廓非常清晰。图6d和图6e为本发明方法识别后的效果图，从图中可见，本发明方法能够完全识别出细小的裂缝、污迹。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于机器视觉的汽车齿轮成品缺陷检测方法，其特征在于包括如下步骤：
1)Unet网络的下采样过程对齿轮原始图像进行逐层下采样压缩处理，下采样过程由n个下采样特征层组成，每个下采样特征层均包括卷积和池化单元用来展现环境信息；齿轮原始图像经Unet网络的下采样过程后得到各个下采样特征层的输出特征图G1-Gn；同时对齿轮原始图像进行边缘提取得到识别边缘轮廓后的图像；将识别边缘轮廓后的图像分别经过单层卷积网络进行尺寸修正得到与下采样各阶段特征层的输出特征图分辨率相一致的图像D1-Dn；
2)特征图G1-Gn分别与步骤1)经尺寸修正后的图像D1-Dn的元素以级联形式生成融合特征图像F1-Fn，以通道的方式添加来加强浅层网络对于图像边缘简单特征的抓取；
3)Unet网络的上采样过程同样由N个上采样层组成，在Unet网络的上采样过程中，将被压缩了n次后得到的特征图Gn进行第一上采样层上采样，上采样后与融合特征图像Fn-1经过第二上采样层的嵌入模块来学习级联融合，嵌入模块的输出作为第二上采样层的输入，第二上采样层上采样后与融合特征图像Fn-2经过第三上采样层的嵌入模块学习级联融合，嵌入模块的输出作为第三上采样层的输入，以此类推；经历n次融合逐层上采样反卷积后，获得各上采样层的特征图；对原始标签图像进行弹性形变达到与每一层输入图像相同的尺寸，作为上采样阶段每一层的标签图像，上采样阶段每层采用softmax作为激活函数，把获得的特征重新映射到标签图像中的每一个像素点，用于每一个像素点的分类；将对数损失函数计算预测值与真实值之间的差值作为上采样每一阶段的损失，整个网络损失函数为各个上采样阶段的总和；将得到的差值前向反馈用来修正各个卷积层和嵌入模块的权重参数；
4)将上采样每个阶段获得的特征图输入到1*1的卷积层，最后通过softmax层，得到与各阶段图像尺寸相一致的各部分分割图像。
2.根据权利要求1所述的基于机器视觉的汽车齿轮成品缺陷检测方法，其特征在于网络整个损失函数表示为：
Figure FDA0003727953660000021
其中，Li为每个上采样各个阶段的损失部分，N为批处理图片数量，i为类别数目，pi和pj分别表示当前像素属于类别i和j类别的概率，使用softmax函数表示当前输入的图片属于类别i的概率。
3.根据权利要求1所述的基于机器视觉的汽车齿轮成品缺陷检测方法，其特征在于所述的嵌入模块具体为：
在UNet网络上采样时，上一层的上采样输出图像U1经过卷积模块提取特征后，再进行双线性上采样来恢复与融合特征图像F1相一致的尺寸，接着同融合特征图像F1逐元素相乘，最后作为下一个上采样阶段的输入。
4.根据权利要求1所述的基于机器视觉的汽车齿轮成品缺陷检测方法，其特征在于：每个下采样层包括连续的2次卷积层，卷积选用空洞卷积，卷积核大小为3*3，空洞因子为2，步长为1，然后经过Relu的非线性层，最后通过步长为2的2*2的最大池化层。
5.根据权利要求1所述的基于机器视觉的汽车齿轮成品缺陷检测方法，其特征在于：每个上采样层包括连续的2*2的反卷积层和2次的3*3卷积层，特征通道逐渐减半。
6.根据权利要求1所述的基于机器视觉的汽车齿轮成品缺陷检测方法，其特征在于：所述的n优选为4。
7.根据权利要求1所述的基于机器视觉的汽车齿轮成品缺陷检测方法，其特征在于：对齿轮原始图像进行边缘提取具体为：
齿轮原始图像转换为灰度图像；为了提高图像清晰度，增强对比度，提升图像的灰度级别；利用5×5高斯滤波器消除噪声，再计算图像在0°/45°/90°/135°这四个方向的梯度，保留局部最大值，其余的设置为0；最后设置canny算子的高低阈值比为2:1，进行边缘提取。
CN202010121242.1A 2020-02-26 2020-02-26 一种基于机器视觉的汽车齿轮成品缺陷检测方法 Active CN111429403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010121242.1A CN111429403B (zh) 2020-02-26 2020-02-26 一种基于机器视觉的汽车齿轮成品缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010121242.1A CN111429403B (zh) 2020-02-26 2020-02-26 一种基于机器视觉的汽车齿轮成品缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111429403A CN111429403A (zh) 2020-07-17
CN111429403B true CN111429403B (zh) 2022-11-08

Family

ID=71547200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010121242.1A Active CN111429403B (zh) 2020-02-26 2020-02-26 一种基于机器视觉的汽车齿轮成品缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111429403B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150410B (zh) * 2020-08-24 2023-12-12 浙江工商大学 一种焊缝缺陷的自动检测方法及其系统
CN112288723B (zh) * 2020-10-30 2023-05-23 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质
CN112329603B (zh) * 2020-11-03 2022-09-13 西南科技大学 一种基于图像级联的坝面裂纹缺陷定位方法
CN112067555B (zh) * 2020-11-12 2021-03-30 山东海德智能科技有限公司 一种可自动视觉识别零件种类的零件检测系统
CN112801912B (zh) * 2021-02-09 2023-10-31 华南理工大学 一种人脸图像复原方法、系统、装置及存储介质
CN113865859B (zh) * 2021-08-25 2024-05-14 西北工业大学 多尺度多源异构信息融合的齿轮箱状态故障诊断方法
CN114612472B (zh) * 2022-05-11 2022-09-13 泉州装备制造研究所 一种基于SegNet改进的皮革缺陷分割网络算法
CN114972355B (zh) * 2022-08-02 2022-10-25 启东市海信机械有限公司 基于视觉感知的零部件表面缺陷定位及测量方法
CN115218798B (zh) * 2022-09-20 2022-12-09 西安中科慧远视觉技术有限公司 测量板材孔和/或槽尺寸的光学测量系统、方法及介质
CN116542971B (zh) * 2023-07-04 2023-08-29 山东四季车网络科技有限公司 一种车辆轮轴缺陷识别方法
CN117197130B (zh) * 2023-11-03 2024-01-26 山东太阳耐磨件有限公司 基于机器视觉的驱动齿角缺陷识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509091A (zh) * 2011-11-29 2012-06-20 北京航空航天大学 一种飞机尾号识别方法
CN110348384A (zh) * 2019-07-12 2019-10-18 沈阳理工大学 一种基于特征融合的小目标车辆属性识别方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110569851A (zh) * 2019-08-28 2019-12-13 广西师范大学 门控多层融合的实时语义分割方法
CN110648334A (zh) * 2019-09-18 2020-01-03 中国人民解放军火箭军工程大学 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN110689525A (zh) * 2019-09-09 2020-01-14 上海中医药大学附属龙华医院 基于神经网络识别淋巴结的方法及装置
CN110706239A (zh) * 2019-09-26 2020-01-17 哈尔滨工程大学 融合全卷积神经网络与改进aspp模块的场景分割方法
CN110717921A (zh) * 2019-09-26 2020-01-21 哈尔滨工程大学 改进型编码解码结构的全卷积神经网络语义分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733419B2 (en) * 2017-08-29 2020-08-04 Georgia Tech Research Corporation Systems and methods for cell membrane identification and tracking, and technique automation using the same

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509091A (zh) * 2011-11-29 2012-06-20 北京航空航天大学 一种飞机尾号识别方法
CN110348384A (zh) * 2019-07-12 2019-10-18 沈阳理工大学 一种基于特征融合的小目标车辆属性识别方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110569851A (zh) * 2019-08-28 2019-12-13 广西师范大学 门控多层融合的实时语义分割方法
CN110689525A (zh) * 2019-09-09 2020-01-14 上海中医药大学附属龙华医院 基于神经网络识别淋巴结的方法及装置
CN110648334A (zh) * 2019-09-18 2020-01-03 中国人民解放军火箭军工程大学 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN110706239A (zh) * 2019-09-26 2020-01-17 哈尔滨工程大学 融合全卷积神经网络与改进aspp模块的场景分割方法
CN110717921A (zh) * 2019-09-26 2020-01-21 哈尔滨工程大学 改进型编码解码结构的全卷积神经网络语义分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Attention U-Net: Learning Where to Look for the Pancreas;Ozan Oktay 等;《https://arxiv.org/abs/1804.03999》;20180520;全文 *
Automatic Recognition of Highway Tunnel Defects Based on an Improved U-Net Model;Xiaokun Miao 等;《IEEE Sensors Journal》;20190812;第19卷(第23期);全文 *
Low Slow Small Aircraft Surveillance System Based on Computer Vision;Yifu Xu 等;《2018 5th International Conference on Information Science and Control Engineering (ICISCE)》;20190117;全文 *
基于ARENA的通航飞行服务流程仿真与优化;方勇 等;《系统管理学报》;20181231;第27卷(第6期);全文 *
应用图像块和全卷积神经网络的肩关节MRI自动分割;刘云鹏 等;《中国图象图形学报》;20181231;第23卷(第10期);全文 *

Also Published As

Publication number Publication date
CN111429403A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111429403B (zh) 一种基于机器视觉的汽车齿轮成品缺陷检测方法
CN109087274B (zh) 基于多维融合及语义分割的电子器件缺陷检测方法及装置
CN109829891B (zh) 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN110956092B (zh) 一种基于深度学习的智能金相检测评级方法及系统
CN113554631B (zh) 一种基于改进网络的芯片表面缺陷检测方法
CN111383209A (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
CN111368825B (zh) 一种基于语义分割的指针定位方法
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及系统
CN110648316B (zh) 一种基于深度学习的钢卷端面边缘检测方法
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN114331869B (zh) 一种坝面裂缝语义分割方法
CN111598858B (zh) 一种基于迁移学习的橡胶手套的检测方法及系统
CN112365478A (zh) 一种基于语义分割的电机换向器表面缺陷检测模型
CN109767407A (zh) 一种去雾过程中大气透射率图像的二次估计方法
CN111325724B (zh) 隧道裂纹区域检测方法和装置
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN115861271A (zh) 基于高分辨率和重参数化的钢材表面缺陷检测方法及系统
CN113763261B (zh) 一种海雾气象条件下的远小目标实时检测方法
CN115587989A (zh) 一种工件ct图像缺陷检测分割方法及系统
CN113034432B (zh) 一种产品缺陷检测方法、系统、装置及存储介质
CN114486916A (zh) 基于机器视觉的手机玻璃盖板缺陷检测方法
CN112508945A (zh) 一种基于计算机视觉的固体火箭发动机无损检测方法
CN111967385B (zh) 基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant