CN105118044A - 一种轮形铸造产品缺陷自动检测方法 - Google Patents

一种轮形铸造产品缺陷自动检测方法 Download PDF

Info

Publication number
CN105118044A
CN105118044A CN201510334740.3A CN201510334740A CN105118044A CN 105118044 A CN105118044 A CN 105118044A CN 201510334740 A CN201510334740 A CN 201510334740A CN 105118044 A CN105118044 A CN 105118044A
Authority
CN
China
Prior art keywords
wheel
image
sample
defect
spoke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510334740.3A
Other languages
English (en)
Other versions
CN105118044B (zh
Inventor
黄茜
颜伟鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201510334740.3A priority Critical patent/CN105118044B/zh
Publication of CN105118044A publication Critical patent/CN105118044A/zh
Priority to US15/736,518 priority patent/US10803573B2/en
Priority to PCT/CN2015/099632 priority patent/WO2016201947A1/zh
Application granted granted Critical
Publication of CN105118044B publication Critical patent/CN105118044B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30116—Casting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种轮形铸造产品缺陷自动检测方法，包括样本预处理、离线训练、在线检测三个阶段，具体步骤包括训练样本的采集；进行样本的预处理；样本分类成轮辐、轮辋和轮轴三大类并进行处理；通过轮辐、轮辋和轮轴三类样本，网络离线学习训练并分别生成在线适用的轮辐、轮辋和轮轴检测器；将训练成功的CNN轮辐缺陷检测器、CNN轮辋缺陷检测器、CNN轮轴缺陷检测器分别载入上位机，并置于自动生产检测线；进行在线全自动缺陷检测；缺陷识别检测的输出方式根据用户的要求输出。本发明的自动检测方法，在缺陷检测过程中对光照、拍摄角度和位置等具有一定的鲁棒性，对缺陷检测准确，无需操作者参与进行繁琐的参数调节，自动化程度高。

Description

一种轮形铸造产品缺陷自动检测方法
技术领域
本发明涉及计算机视觉领域，特别涉及一种轮形铸造产品缺陷自动检测方法。
背景技术
通过铸造加工形成的轮形产品，通常由于工艺设计、材料、设备等影响，使铸件内部产生多种形态的铸造缺陷。国际标准委员会ASTM制定了铸件检测检测国际标准的缺陷参考图像，并根据缺陷图形的外轮廓大小，产品上单位面积中缺陷所占面积的比率，确定了缺陷对产品影响的质量等级。检测时通常通过X射线设备成像对铸件产品成像，将其中出现的缺陷与标准中缺陷图像进行对照比较，当实际缺陷的外形尺寸超过用户选择的质量等级，即缺陷的面积超过了一定的大小，该轮形产品则判为不合格。
铸造产品缺陷分人工检测和机器检测。
人工检测是操作者通过目测判断X射线检测设备是否检测到铸造缺陷，并且缺陷的大小、形状等是否在合格产品的质量等级范围内，这种方法的问题在于检测识别人员长时间工作易疲劳、识别检测效率低、判断标准因人而异、判断结果主观性强等。
目前大部分生产线都还是人工检测，最主要原因是现有机器自动图像识别技术对判断是否存在缺陷、以及是否达到一定的质量等级的准确率不高，尚达不到生产线上控制质量要求。
机器自动检测缺陷也经过了长期的技术发展，现有技术主要体现在两大技术方法方面，一种是基于底层图像特征的图像处理方法，另一种是基于立体视觉的多视角图像融合分析法。
基于底层图像特征的图像处理方法是通过去噪、图像增强、区域划分、边缘提取、封闭轮廓、目标分割、目标填充等图像分析处理方法判断产品图像中是否显示出了铸造缺陷，即是否出现了缺陷目标，从而完成自动检测第一步，然后再根据填充的目标图像区域进行目标的面积计算、轮廓的外周测量、单位产品面积上缺陷面积所占比例的计算等等，完成缺陷等级的判断，并最终判断产品是否达到产品设计的质量标准。这种方法由于完全依赖于图像的底层特征，在使用操作的过程中涉及大量的参数调节，不仅对使用者的专业技术水平要求高，更重要的是参数的反复调节，意味着检测的基准不断变动，造成检测的准确率下降，这类技术方法不足的根本原因是由于铸造缺陷的形态、呈现的灰度是随机变量，底层图像特征无法真正将缺陷的隐形特征、或称高级特征进行描述和表达。另一种方法即多视角图像融合分析方法也经过了长期研究发展，通过空间成像，多角度判断缺陷是否存在，随后更准确地判断缺陷的大小和等级。该方法在理论上仍基于图像的底层特征，分别在不同角度拍摄的图像上进行目标识别，再通过图像融合技术，提高目标识别的准确度，其在原有方法上没有根本性突破，且增加了硬件成本。操作上仍要依赖大量的参数设置和调节。并且由于在单幅图像识别铸造缺陷所用的图像处理技术的方法并不成熟，因此，上述方法仍非可靠的技术方法。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种轮形铸造产品缺陷自动检测方法。
本发明的目的通过以下的技术方案实现：
一种轮形铸造产品缺陷自动检测方法，包括样本预处理、离线训练、在线检测三个阶段，包括如下步骤：
S1.训练样本的采集，样本总量6万张以上，轮辐、轮辋和轮轴每类样本各2万张以上，正负样本比例控制为1:2；
S2.进行样本的预处理；
S3.样本分类成轮辐、轮辋和轮轴三大类并进行处理；
S4.通过轮辐、轮辋和轮轴三类样本，网络离线学习训练并分别生成在线适用的轮辐、轮辋和轮轴检测器；
S5.将训练成功的CNN轮辐缺陷检测器，CNN轮辋缺陷检测器，CNN轮轴缺陷检测器分别载入上位机，并置于自动生产检测线；
S6.进行在线全自动缺陷检测；
S7.缺陷识别检测的输出方式根据用户的要求，或显示图像、或给出报警信号等。
所述步骤S2样本预处理阶段包括以下步骤；
S2-1.使用3×3邻域模板对采集的轮毂图像进行平滑滤波，用来消除轮毂图像在采集过程中产生的图像噪声；
S2-2.利用梯度锐化算法，将图像当前点像素值与其下一个像素值之差的绝对值，加上当前点像素值与其下一行当前像素值之差的绝对值，如果结果大于阈值，则当前点像素值置为此结果，这样使得图像更加突出，以便于分析；
S2-3.对步骤S2-2所得的图像进行直方图均衡化；
S2-4.对步骤S2-3所得的图像归一化处理，以加快训练网络的收敛性。
所述步骤S3将样本分成轮辐、轮辋和轮轴三大类并进行处理，具体处理步骤包括：
S3-1.分别将各类样本分割成的M×M小图像，M可取80、100或120。根据是否包含缺陷将小图像样本分为正样本和负样本；
S3-2：在训练卷积神经网络模型的过程中，为增加轮毂检测器的鲁棒性，对步骤S3-1所得的样本进行随机地微小的尺度变换([0.96,1.08]倍)、对比度变换(对比度系数[0.8,1.2])和旋转变换([-60,+60]度，每次变换5度)；
S3-3：每次调用小批样本时，小批数量可选64个样本，随机对样本进行水平翻转，添加高斯随机噪声，并且从变换后的小样本图像中随机选取出N×N的区域作为卷积神经网络的训练样本，例如对100×100的小图像可以随机取96×96的区域，以增加样本的多样性，提高训练得到的卷积神经网络模型的泛化能力；
所述步骤S4训练生成轮毂缺陷检测神经网络模型即缺陷检测器的过程包括：
S4-1.根据轮辋样本、轮辐样本和轮轴样本，分别采用BP算法训练轮辋缺陷检测神经网络模型、轮辐缺陷检测神经网络模型以及轮轴缺陷检测神经网络模型，每次迭代采用最小批的方式计算网络误差和更新权重；
S4-2.训练时，学习速率设定为0.01；
S4-3.每次迭代输入小批样本，可以输入64个样本，以平均误差更新参数；
S4-4.设计网络模型。轮毂缺陷检测神经网络模型是一个多层卷积神经网络模型，有监督地从大量样本中自动地进行特征学习。输入是一张图像，输出是图像的分类标签。因此，输入层的神经元数量和检测图像的像素数量相等，输出层只有一个神经元节点，直接输出图像的分类结果。轮毂缺陷检测神经网络模型包含两部分：第一部分是一个多阶段的特征提取器，交替地包含卷积层，降采样层和局部响应归一化层，执行卷积、降采样和非线性变换；第二部分是一个分类器，是一个由两个全连接层相互连接组成的全连接神经网络，通过反向传播算法训练一个能够对于第一部分提取出来的轮毂图像特征进行正确分类的分类器。在本方案中设计的轮毂缺陷检测神经网络模型的特征提取有两个阶段。第一阶段是低层特征的提取，例如点和线等，第二阶段通过反向传播算法的训练，对低层特征进行线性组合形成高层特征。
S4-5.轮毂缺陷检测神经网络模型在分类时，将获取到的轮毂图像分割成M×M的小样本图像，当M取100时，取每张100的小样本图像取左上角，左下角，右上角，右下角以及中心5个96×96区域图像，将这5个区域图像通过卷积神经网络模型计算得到5个输出值，并将这5个输出值进行平均，最后根据平均的输出值即可判定轮毂的该区域是否有缺陷。网络输出值的范围为[0,1]，大于设定阈值0.5表示轮毂上相应的区域存在缺陷，反之表示轮毂上相应的区域不存在缺陷。
S4-6.当在测试集上正确率达到所要求的准确率时终止网络训练，最终获得轮毂缺陷检测器。
在线检测时，按照由轮轴至轮辐再到轮辋的全自动检测流程，检测系统依次在不同工位获取在线图像，所述步骤S6进行在线全自动缺陷检测阶段具体流程如下：
S6-1.获取轮毂的轮轴图像，并利用样本离线预处理的方法对获取的轮轴图像进行预处理，调用轮轴缺陷检测检测器对每幅轮轴图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
S6-2.获取轮毂的轮辐图像，并利用样本离线预处理的方法对获取的轮辐图像进行预处理，调用轮辐缺陷检测检测器对每幅轮辐图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
S6-3.获取轮毂的轮辋图像，并利用样本离线预处理的方法对获取的轮辋图像进行预处理，调用轮辋缺陷检测检测器对每幅轮辋图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
S6-4.缺陷识别检测的输出方式根据用户的要求，或显示图像、或给出报警信号等。
S6-5.如果在步骤S6-1至S6-3的任一幅图像中检测出缺陷，则将该轮毂送入不合格产品区，如果没有检测出缺陷，就将该轮毂送入合格产品区。
本发明与现有技术相比，具有如下优点和有益效果：
1、在训练阶段，卷积神经网络从大量不同的轮辐、轮辋、轮轴的正样本和负样本中学习到轮毂缺陷本质的特征，这种特征比从图像人工提取的特征具有更强的可识别性，即可分性；
2、由于卷积神经网络对于识别图像一定程度的位移、缩放以及其他形式的扭曲变形具有一定的鲁棒性，所以训练所得到的轮毂缺陷检测器在实际的轮毂缺陷检测中具有一定的鲁棒性，对形状几乎没有雷同的轮毂缺陷识别分类具有准确性。
3、对环境光照的变化，拍摄角度的变化具有很强的鲁棒性。
4、由于轮毂缺陷检测过程无需人工参与，轮毂生产检测的自动化程度高，生产效率高，操作简单，运行成本低。
附图说明
图1为本发明所述一种轮形铸造产品缺陷自动检测方法的算法模块图；
图2为本发明所述的一种轮形铸造产品缺陷自动检测方法的流程图；
图3为图2所述方法的轮毂缺陷检测神经网络内部联系和结构图；
图4为实测轮辐样本原图；
图5为图4的灰度直方图；
图6为对图4进行预处理后的效果图；
图7为图6的直方图以及对最大和次大峰的标示；
图8-1、8-2、8-3分别为对轮毂的轮辐、轮辋和轮轴图像进行缺陷检测的结果图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
图1示出本发明系统和方法的离线和在线两个工作部分，离线部分给在线部分提供工作基础，在线部分依据离线部分形成的方法和检测器开展持续性在线缺陷识别检测。
基于神经网络的轮形产品缺陷检测系统和方法包括如下步骤：
S1.训练样本的采集，样本总量6万张以上，轮辐、轮辋和轮轴每类样本各2万张以上，正负样本比例控制为1:2；
S2.进行样本的预处理；
S3.样本分类成轮辐、轮辋和轮轴三大类并进行处理；
S4.通过轮辐、轮辋和轮轴三类样本，网络离线学习训练并分别生成在线适用的轮辐、轮辋和轮轴检测器；
S5.将训练成功的CNN轮辐缺陷检测器，CNN轮辋缺陷检测器，CNN轮轴缺陷检测器分别载入上位机，并置于自动生产检测线；
S6.进行在线全自动缺陷检测；
S7.缺陷识别检测的输出方式根据用户的要求，或显示图像、或给出报警信号等。
基于卷积神经网络的轮毂缺陷检测方法具体工作过程如图2所示，包括样本预处理、离线训练和在线检测三个主要阶段，所述的样本预处理阶段包括以下步骤：
S2-1.使用3×3邻域模板对采集的轮毂图像进行平滑滤波，用来消除轮毂图像在采集过程中产生的图像噪声；
S2-2.利用梯度锐化算法，将图像当前点像素值与其下一个像素值之差的绝对值，加上当前点像素值与其下一行当前像素值之差的绝对值，如果结果大于阈值，则当前点像素值置为此结果，这样使得图像更加突出，以便于分析；
S2-3.对步骤S2-2所得的图像进行直方图均衡化；
S2-4.对步骤S2-3所得的图像归一化处理，以加快训练网络的收敛性。
所述的离线训练阶段首先进行样本分类，即将样本分成轮辐、轮辋和轮轴三大类并进行处理，具体处理步骤包括；
S3-1.分别将各类样本分割成的M×M小图像，M可取80、100或120。根据是否包含缺陷将小图像样本分为正样本和负样本；
S3-2.在训练卷积神经网络模型的过程中，为增加轮毂检测器的鲁棒性，对步骤S3-1所得的样本进行随机地微小的尺度变换([0.96,1.08]倍)、对比度变换(对比度系数[0.8,1.2])和旋转变换([-60,+60]度，每次变换5度)；
S3-3.每次调用小批量样本时，即可选64个样本，随机对样本进行水平翻转，添加高斯随机噪声，并且从变换后的小样本图像中随机选取出N×N的区域作为卷积神经网络的训练样本，N可以取96，以增加样本的多样性，提高训练得到的卷积神经网络模型的泛化能力。
训练轮毂缺陷检测神经网络模型即缺陷检测器的包括：
S4-1.根据轮辋样本、轮辐样本和轮轴样本，分别采用BP算法训练轮辋缺陷检测神经网络模型、轮辐缺陷检测神经网络模型以及轮轴缺陷检测神经网络模型，每次迭代采用最小批的方式计算网络误差和更新权重；
S4-2.训练时，学习速率设定为0.01；
S4-3.每次迭代输入64个样本，以平均误差更新参数；
S4-4.设计网络模型。轮毂缺陷检测神经网络模型是一个多层卷积神经网络模型，有监督地从大量样本中自动地进行特征学习。输入是一张图像，输出是图像的分类标签。因此，输入层的神经元数量和检测图像的像素数量相等，输出层只有一个神经元节点，直接输出图像的分类结果。轮毂缺陷检测神经网络模型包含两部分：第一部分是一个多阶段的特征提取器，交替地包含卷积层，降采样层和局部响应归一化层，执行卷积、降采样和非线性变换；第二部分是一个分类器，是一个由两个全连接层相互连接组成的全连接神经网络，通过反向传播算法训练一个能够对于第一部分提取出来的轮毂图像特征进行正确分类的分类器。在本方案中设计的轮毂缺陷检测神经网络模型的特征提取有两个阶段。第一阶段是低层特征的提取，例如点和线等，第二阶段通过反向传播算法的训练，对低层特征进行线性组合形成高层特征；
S4-5.轮毂缺陷检测神经网络模型在分类时，将获取到的轮毂图像分割成M×M的小样本图像，M取100。取每张M×M的小样本图像取左上角，左下角，右上角，右下角以及中心5个96×96区域图像，将这5个区域图像通过卷积神经网络模型计算得到5个输出值，并将这5个输出值进行平均，最后根据平均的输出值即可判定轮毂的该区域是否有缺陷。网络输出值的范围为[0,1]，大于设定阈值0.5表示轮毂上相应的区域存在缺陷，反之表示轮毂上相应的区域不存在缺陷；
S4-6.当在测试集上正确率达到所要求的准确率时终止网络训练，最终获得轮毂缺陷检测器。
所述的在线检测阶段具体流程如下：
在线检测时，按照由轮轴至轮辐再到轮辋的全自动检测流程，检测系统依次在不同工位获取在线图像，具体步骤如下：
S6-1.获取轮毂的轮轴图像，并利用样本离线预处理的方法对获取的轮轴图像进行预处理，调用轮轴缺陷检测检测器对每幅轮轴图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
S6-2.获取轮毂的轮辐图像，并利用样本离线预处理的方法对获取的轮辐图像进行预处理，调用轮辐缺陷检测检测器对每幅轮辐图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
S6-3.获取轮毂的轮辋图像，并利用样本离线预处理的方法对获取的轮辋图像进行预处理，调用轮辋缺陷检测检测器对每幅轮辋图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
S6-4.缺陷识别检测的输出方式根据用户的要求，或显示图像、或给出报警信号等；
S6-5.如果在步骤S6-1至S6-3的任一幅图像中检测出缺陷，则将该轮毂送入不合格产品区，如果没有检测出缺陷，就将该轮毂送入合格产品区。
图3示出本发明轮毂缺陷检测卷积神经网络的完整结构示意图。其中所有卷积层的神经元的输出函数为RELU函数，所有池化层的池化方式为最大池化，最后的输出层采用Softmax层。本发明在实际的轮毂生产线中采集轮毂图像，并利用所述轮毂缺陷检测方法对采集到的轮毂图像进行检测。
图4是实际生产线上采集带缺陷的轮辐样本图像，从图4可以看出，原始图像的缺陷与背景的对比不明显。
图5是本发明的实施例中对样本图像图4进行预处理前的图像灰度直方图，从图5可以看出，原始图像包含比较多的冗余信息。
图6是对实测样本图4进行预处理后的图像，从图6可以看出经过预处理后的图像缺陷与背景的对比更加强烈，缺陷更加明显。
图7示出图6的灰度直方图中的最大和次大峰位置，即原始图像进行灰度变换的范围；图8-1、8-2、8-3分别为本发明的实施例中的对未进行训练的轮毂的轮辐、轮辋和轮轴图像进行缺陷检测的结果图，从图8-1、8-2、8-3中可以看出，训练出的缺陷检测器能够正确地检测并且标识出轮辐，轮轴以及轮辋图像中的缺陷及其位置。从上述实施例的结果图中可以看出，本发明在实际的工程应用中具有比较良好的识别效果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种轮形铸造产品缺陷自动检测方法，其特征在于，包括样本预处理、离线训练、在线检测三个阶段，具体步骤包括：
S1.训练样本的采集；
S2.进行样本的预处理；
S3.样本分类成轮辐、轮辋和轮轴三大类并进行处理；
S4.通过轮辐、轮辋和轮轴三类样本，网络离线学习训练并分别生成在线适用的轮辐、轮辋和轮轴检测器；
S5.将训练成功的CNN轮辐缺陷检测器、CNN轮辋缺陷检测器、CNN轮轴缺陷检测器分别载入上位机，并置于自动生产检测线；
S6.进行在线全自动缺陷检测；
S7.缺陷识别检测的输出方式根据用户的要求输出。
2.根据权利要求1所述的轮形铸造产品缺陷自动检测方法，其特征在于，所述步骤S6，具体包含以下子步骤：
S6-1.获取轮毂的轮轴图像，并利用样本离线预处理的方法对获取的轮轴图像进行预处理，调用轮轴缺陷检测检测器对每幅轮轴图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
S6-2.获取轮毂的轮辐图像，并利用样本离线预处理的方法对获取的轮辐图像进行预处理，调用轮辐缺陷检测检测器对每幅轮辐图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
S6-3.获取轮毂的轮辋图像，并利用样本离线预处理的方法对获取的轮辋图像进行预处理，调用轮辋缺陷检测检测器对每幅轮辋图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
S6-4.缺陷识别检测的输出方式根据用户的要求输出；
S6-5.如果在步骤S6-1至S6-3的任一幅图像中检测出缺陷，则将该轮毂送入不合格产品区，如果没有检测出缺陷，就将该轮毂送入合格产品区。
3.根据权利要求1所述的轮形铸造产品缺陷自动检测方法，其特征在于，所述步骤S2，具体包含以下子步骤：
S2-1.使用3×3邻域模板对采集的轮毂图像进行平滑滤波，用来消除轮毂图像在采集过程中产生的图像噪声；
S2-2.利用梯度锐化算法，将图像当前点像素值与其下一个像素值之差的绝对值，加上当前点像素值与其下一行当前像素值之差的绝对值，如果结果大于阈值，则当前点像素值置为此结果；
S2-3.对步骤S2-2所得的图像进行直方图均衡化；
S2-4.对步骤S2-3所得的图像归一化处理。
4.根据权利要求1所述的轮形铸造产品缺陷自动检测方法，其特征在于，所述步骤S3，具体包含以下子步骤：
S3-1.分别将各类样本分割成的M×M小图像，其中包含缺陷的小图像样本作为负样本，不包含缺陷的小图像样本作为正样本；
S3-2：在训练卷积神经网络模型的过程中，为增加轮毂检测器的鲁棒性，对步骤S3-1所得的样本进行随机地微小的尺度变换、对比度变换和旋转变换；
S3-3：每次调用小批样本时，小批数量选64个样本，随机对样本进行水平翻转，添加高斯随机噪声，并且从变换后的小样本图像中随机选取出N×N的区域作为卷积神经网络的训练样本。
5.根据权利要求4所述的轮形铸造产品缺陷自动检测方法，其特征在于，步骤S3-1中，所述M取80、100、120中的一种。
6.根据权利要求4所述的轮形铸造产品缺陷自动检测方法，其特征在于，步骤S3-1中，所述的正样本、负样本的比例控制为1：2。
7.根据权利要求1所述的轮形铸造产品缺陷自动检测方法，其特征在于，所述步骤S4，具体包含以下子步骤：
S4-1.根据轮毂的轮辋样本、轮辐样本和轮轴样本，分别采用BP算法训练轮辋缺陷检测神经网络模型、轮辐缺陷检测神经网络模型以及轮轴缺陷检测神经网络模型，每次迭代采用最小批的方式计算网络误差和更新权重；
S4-2.训练时，学习速率设定为0.01；
S4-3.每次迭代输入小批样本，输入样本数量为64个；
S4-4.网络模型包括第一阶段是低层特征的提取，第二阶段通过反向传播算法的训练，对低层特征进行线性组合形成高层特征；
S4-5.轮毂缺陷区域检测；
S4-6.当在测试集上正确率达到所要求的准确率时终止网络训练，最终获得轮毂缺陷检测器。
8.根据权利要求1和权利要求4所述的轮形铸造产品缺陷自动检测方法，其特征在于，所述步骤S4-5具体为：轮毂缺陷检测神经网络模型在分类时，将获取到的轮毂图像分割成M×M的小样本图像，当M取100时，取每张100的小样本图像取左上角、左下角、右上角、右下角以及中心5个96×96区域图像，将这5个区域图像通过卷积神经网络模型计算得到5个输出值，并将这5个输出值进行平均，最后根据平均的输出值即可判定轮毂的该区域是否有缺陷；网络输出值的范围为[0,1]，大于设定阈值0.5表示轮毂上相应的区域存在缺陷，反之表示轮毂上相应的区域不存在缺陷。
9.根据权利要求1所述的轮形铸造产品缺陷自动检测方法，其特征在于，所述的样本，其总量在6万张以上；轮辐、轮辋和轮轴每类样本各2万张以上。
CN201510334740.3A 2015-06-16 2015-06-16 一种轮形铸造产品缺陷自动检测方法 Expired - Fee Related CN105118044B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510334740.3A CN105118044B (zh) 2015-06-16 2015-06-16 一种轮形铸造产品缺陷自动检测方法
US15/736,518 US10803573B2 (en) 2015-06-16 2015-12-29 Method for automated detection of defects in cast wheel products
PCT/CN2015/099632 WO2016201947A1 (zh) 2015-06-16 2015-12-29 一种轮形铸造产品缺陷自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510334740.3A CN105118044B (zh) 2015-06-16 2015-06-16 一种轮形铸造产品缺陷自动检测方法

Publications (2)

Publication Number Publication Date
CN105118044A true CN105118044A (zh) 2015-12-02
CN105118044B CN105118044B (zh) 2017-11-07

Family

ID=54666019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510334740.3A Expired - Fee Related CN105118044B (zh) 2015-06-16 2015-06-16 一种轮形铸造产品缺陷自动检测方法

Country Status (3)

Country Link
US (1) US10803573B2 (zh)
CN (1) CN105118044B (zh)
WO (1) WO2016201947A1 (zh)

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
WO2016201947A1 (zh) * 2015-06-16 2016-12-22 华南理工大学 一种轮形铸造产品缺陷自动检测方法
CN106355579A (zh) * 2016-09-14 2017-01-25 南京理工大学 烟条表面褶皱的缺陷检测方法
CN106778604A (zh) * 2015-12-15 2017-05-31 西安电子科技大学 基于匹配卷积神经网络的行人再识别方法
CN106875381A (zh) * 2017-01-17 2017-06-20 同济大学 一种基于深度学习的手机外壳缺陷检测方法
CN106875373A (zh) * 2016-12-14 2017-06-20 浙江大学 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN108021938A (zh) * 2017-11-29 2018-05-11 中冶南方工程技术有限公司 一种冷轧带钢表面缺陷在线检测方法以及检测系统
CN108154072A (zh) * 2016-12-02 2018-06-12 天津工业大学 基于深度卷积神经网络的航拍绝缘子故障自动检测
CN108230318A (zh) * 2018-01-09 2018-06-29 北京百度网讯科技有限公司 钢包缺陷检测分类方法、装置、设备及计算机可读介质
CN108242054A (zh) * 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器
CN108257121A (zh) * 2018-01-09 2018-07-06 北京百度网讯科技有限公司 产品缺陷检测模型更新的方法、装置、存储介质及终端设备
CN108389197A (zh) * 2018-02-26 2018-08-10 上海赛特斯信息科技股份有限公司 基于深度学习的输电线路缺陷检测方法
CN108460761A (zh) * 2018-03-12 2018-08-28 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN108491841A (zh) * 2018-03-21 2018-09-04 东南大学 一种汽车轮毂类型识别监控管理系统及方法
CN108510472A (zh) * 2018-03-08 2018-09-07 北京百度网讯科技有限公司 用于处理图像的方法和装置
US20180260651A1 (en) * 2017-03-10 2018-09-13 TuSimple System and method for vehicle wheel detection
CN108564104A (zh) * 2018-01-09 2018-09-21 北京百度网讯科技有限公司 产品缺陷检测方法、装置、系统、服务器及存储介质
CN108615230A (zh) * 2018-03-16 2018-10-02 北京邮电大学 一种轮毂表面异常检测方法和系统
CN108665057A (zh) * 2018-03-29 2018-10-16 东南大学 一种基于卷积神经网络的多生产点位轮毂图像分类方法
CN109035232A (zh) * 2018-07-24 2018-12-18 桂林电子科技大学 一种基于深度学习和机器视觉融合的夹片缺陷检测方法
CN109087281A (zh) * 2018-07-02 2018-12-25 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
CN109215009A (zh) * 2017-06-29 2019-01-15 上海金艺检测技术有限公司 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法
CN109239075A (zh) * 2018-08-27 2019-01-18 北京百度网讯科技有限公司 电池检测方法及装置
CN109496316A (zh) * 2018-07-28 2019-03-19 合刃科技（深圳）有限公司 图像识别系统
CN109509170A (zh) * 2018-09-11 2019-03-22 韶关学院 一种压铸件缺陷检测方法及装置
CN109615606A (zh) * 2018-11-09 2019-04-12 华南理工大学 一种柔性ic基板点线面缺陷的快速分类方法
CN110033443A (zh) * 2019-04-04 2019-07-19 武汉精立电子技术有限公司 一种特征提取网络及其显示面板缺陷检测方法
CN110264466A (zh) * 2019-06-28 2019-09-20 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法
CN110473178A (zh) * 2019-07-30 2019-11-19 上海深视信息科技有限公司 一种基于多光源融合的外观缺陷检测方法及系统
CN110927171A (zh) * 2019-12-09 2020-03-27 中国科学院沈阳自动化研究所 一种基于机器视觉的轴承滚子倒角面缺陷检测方法
CN111080614A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车轮轮辋及踏面的破损识别方法
CN111260640A (zh) * 2020-01-13 2020-06-09 重庆大学 基于cyclegan的树状生成器网络齿轮点蚀图像测量方法及装置
CN111768357A (zh) * 2019-03-29 2020-10-13 银河水滴科技（北京）有限公司 一种图像检测的方法及装置
CN111837163A (zh) * 2018-03-09 2020-10-27 图森有限公司 用于车辆车轮检测的系统和方法
CN112164144A (zh) * 2020-09-24 2021-01-01 华中科技大学 一种结合d2算子和法向算子的铸件三维模型分类方法
CN112529893A (zh) * 2020-12-22 2021-03-19 郑州金惠计算机系统工程有限公司 基于深度神经网络的轮毂表面瑕疵在线检测方法及系统
CN112766481A (zh) * 2020-03-13 2021-05-07 腾讯科技（深圳）有限公司 神经网络模型的训练方法、装置及图像检测的方法
CN113396444A (zh) * 2019-02-07 2021-09-14 腓特烈斯港齿轮工厂股份公司 用于自动识别产品的产品缺陷和/或用于自动识别产品缺陷的产品缺陷原因的方法和设备
CN113470018A (zh) * 2021-09-01 2021-10-01 深圳市信润富联数字科技有限公司 轮毂缺陷识别方法、电子装置、装置及可读存储介质
CN113538433A (zh) * 2021-09-17 2021-10-22 海门市创睿机械有限公司 基于人工智能的机械铸件缺陷检测方法及系统
CN113610831A (zh) * 2021-08-19 2021-11-05 江西应用技术职业学院 基于计算机图像技术和迁移学习的木材缺陷检测方法
CN114266773A (zh) * 2022-03-02 2022-04-01 成都数联云算科技有限公司 显示面板缺陷定位方法、装置、设备及存储介质
CN114399504A (zh) * 2022-03-25 2022-04-26 济南大学 一种基于工业互联网的智能轮辋检测与跟踪方法及系统
CN114998259A (zh) * 2022-06-02 2022-09-02 苏州香农科技有限公司 一种重力铸造轮毂的检测方法及装置
CN115684175A (zh) * 2022-10-20 2023-02-03 河南科技大学 一种轴承滚子端面外观分选方法及系统
CN115825118A (zh) * 2022-11-18 2023-03-21 华中科技大学 一种铸件x射线探伤装备的自动评片集成系统及方法
WO2023071759A1 (zh) * 2021-10-26 2023-05-04 江苏时代新能源科技有限公司 一种极片打皱检测方法、系统、终端及存储介质

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402688B2 (en) * 2016-12-07 2019-09-03 Kla-Tencor Corporation Data augmentation for convolutional neural network-based defect inspection
EP3596449A4 (en) * 2017-03-14 2021-01-06 University of Manitoba DETECTION OF STRUCTURAL DEFECTS USING AUTOMATIC LEARNING ALGORITHMS
GB201704373D0 (en) 2017-03-20 2017-05-03 Rolls-Royce Ltd Surface defect detection
JP7004145B2 (ja) 2017-11-15 2022-01-21 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
TWI653605B (zh) * 2017-12-25 2019-03-11 由田新技股份有限公司 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
CN109142374A (zh) * 2018-08-15 2019-01-04 广州市心鉴智控科技有限公司 基于超小样本训练高效质检模型的方法及系统
CN109409404A (zh) * 2018-09-13 2019-03-01 西南交通大学 一种基于深度学习的高铁接触网防风拉线故障检测方法
CN109712116B (zh) * 2018-12-04 2023-03-28 华南理工大学 输电线路及其附件的故障识别方法
JP6908019B2 (ja) * 2018-12-28 2021-07-21 Tdk株式会社 画像生成装置及び外観検査装置
CN109840900B (zh) * 2018-12-31 2023-12-19 常州工业职业技术学院 一种应用于智能制造车间的故障在线检测系统及检测方法
CN109859169B (zh) * 2019-01-03 2022-12-16 重庆信息通信研究院 一种基于卷积神经网络的tft-lcd模组白印检测方法
WO2020172366A1 (en) * 2019-02-21 2020-08-27 Canon U.S.A., Inc. Method and system for image searching and evaluation using tags
CN110020691B (zh) * 2019-04-11 2022-10-11 重庆信息通信研究院 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法
CN110503638B (zh) * 2019-08-15 2023-06-02 上海理工大学 螺旋胶质量在线检测方法
CN111047550A (zh) * 2019-11-04 2020-04-21 睿视智觉（厦门）科技有限公司 一种基于机器视觉的产品异常检测方法、装置及设备
CN112288679B (zh) * 2019-11-06 2024-03-29 中北大学 汽车轮毂x射线图像的缺陷区域交互式提取方法及系统
CN110942457B (zh) * 2019-11-30 2023-12-08 天津大学 基于数字图像处理技术的太阳能电池板缺陷检测方法
CN111179223B (zh) * 2019-12-12 2023-05-09 天津大学 基于深度学习的工业自动化缺陷检测方法
CN111062919B (zh) * 2019-12-12 2023-11-03 苏州韦士肯检测科技有限公司 一种轴承套圈外观缺陷检测方法
CN111080636B (zh) * 2019-12-23 2023-08-25 山东安亚金属科技有限公司 彩钢瓦表面缺陷的cnn语义分割自学习检测方法
CN111242890A (zh) * 2019-12-24 2020-06-05 中国航空工业集团公司北京航空精密机械研究所 一种芳纶纸蜂窝涂胶缺陷检测方法
CN111161246B (zh) 2019-12-30 2024-05-14 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111553929B (zh) * 2020-05-12 2022-08-09 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN111798407B (zh) * 2020-05-15 2024-05-21 国网浙江省电力有限公司嘉兴供电公司 一种基于神经网络模型的带电设备故障诊断方法
CN111709936B (zh) * 2020-06-17 2023-10-24 广州麦仑智能科技有限公司 一种基于多级特征比对的令纸缺陷检测方法
CN111833328B (zh) * 2020-07-14 2023-07-25 汪俊 基于深度学习的飞机发动机叶片表面缺陷检测方法
CN112598642B (zh) * 2020-12-22 2024-05-10 苏州睿信诺智能科技有限公司 一种高速高精度视觉检测方法
CN112734742B (zh) * 2021-01-19 2021-11-16 上海微亿智造科技有限公司 用于提高工业质检准确率的方法和系统
CN112801972A (zh) * 2021-01-25 2021-05-14 武汉理工大学 一种桥梁缺陷检测方法、设备、系统及存储介质
CN112907519A (zh) * 2021-01-29 2021-06-04 广州信邦智能装备股份有限公司 一种基于深度学习的金属曲面缺陷分析系统及方法
CN113008998B (zh) * 2021-03-02 2023-01-24 南京审计大学 一种基于pcnn的隐蔽工程内部缺陷判断方法
CN113344857B (zh) * 2021-05-13 2022-05-03 深圳市华汉伟业科技有限公司 缺陷检测网络的训练方法、缺陷检测方法和存储介质
CN113762281A (zh) * 2021-08-04 2021-12-07 浙江跃岭股份有限公司 一种基于机器学习的成型轮毂识别方法
CN113781585B (zh) * 2021-08-27 2024-02-06 华中科技大学 一种增材制造零件表面缺陷在线检测方法及系统
CN114066890A (zh) * 2022-01-14 2022-02-18 成都数联云算科技有限公司 齿轮缺陷检测方法、装置、计算机设备及存储介质
CN114757916A (zh) * 2022-04-15 2022-07-15 西安交通大学 基于特征提取和bp网络的工业ct图像缺陷分类方法
CN114841937B (zh) * 2022-04-21 2023-12-05 燕山大学 一种检测汽车轮毂表面缺陷检测方法
CN114708267B (zh) * 2022-06-07 2022-09-13 浙江大学 一种输电线路上杆塔拉线腐蚀缺陷图像检测处理方法
CN114998593B (zh) * 2022-06-21 2024-08-16 苏州数智源信息技术有限公司 一种小目标识别算法
CN117036344B (zh) * 2023-10-07 2024-01-30 北京阿丘机器人科技有限公司 外观缺陷检测方法、装置、设备及存储介质
CN117058151B (zh) * 2023-10-13 2024-01-05 山东骏程金属科技有限公司 一种基于图像分析的轮毂检测方法及检测系统
CN117197146A (zh) * 2023-11-08 2023-12-08 北京航空航天大学江西研究院 一种铸件内部缺陷自动识别方法
CN117741090B (zh) * 2024-02-19 2024-04-26 如皋市力霸铸造有限公司 一种变速箱精密铸件质量缺陷检测方法
CN118674721A (zh) * 2024-08-23 2024-09-20 博通精密科技(浙江)有限公司 一种基于图像处理的无缝钢管生产用质量分析系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030194124A1 (en) * 2002-04-12 2003-10-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
CN101021491A (zh) * 2006-12-28 2007-08-22 华南理工大学 基于图像理解的轮毂铸造缺陷自动检测方法及装置
CN104458755A (zh) * 2014-11-26 2015-03-25 吴晓军 一种基于机器视觉的多类型材质表面缺陷检测方法
CN104574408A (zh) * 2015-01-16 2015-04-29 东华大学 基于形状特征提取的工业透明薄膜包装检测方法及装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3978712A (en) * 1971-11-17 1976-09-07 Scanning Systems, Inc. Method and apparatus for testing wear, size and residual stress conditions
CA2102140C (en) * 1993-11-01 1999-02-02 Grigory Izbinsky Wayside monitoring of the angle-of-attack of railway vehicle wheelsets
US5636026A (en) * 1995-03-16 1997-06-03 International Electronic Machines Corporation Method and system for contactless measurement of railroad wheel characteristics
US6262573B1 (en) * 1999-09-17 2001-07-17 General Electric Company Electromagnetic system for railroad track crack detection and traction enhancement
US6523411B1 (en) * 2000-03-21 2003-02-25 International Electronic Machines Corp. Wheel inspection system
US6675077B2 (en) * 2000-10-11 2004-01-06 Transportation Technology Center Inc. Wheel-railhead force measurement system and method having cross-talk removed
US6768551B2 (en) * 2001-10-17 2004-07-27 International Electronic Machines Corp. Contactless wheel measurement system and method
US7525667B2 (en) * 2004-05-24 2009-04-28 International Electronic Machines Corp. Portable electronic measurement
RO121293B1 (ro) * 2004-09-30 2007-02-28 Mb Telecom Ltd. - S.R.L. Metodă şi sistem de control neintruziv
WO2006047266A1 (en) * 2004-10-22 2006-05-04 Agrios, Inc. Systems and methods for automated vehicle image acquisition, analysis, and reporting
US8112325B2 (en) * 2005-09-15 2012-02-07 Manheim Investments, Inc. Method and apparatus for automatically capturing multiple images of motor vehicles and other items for sale or auction
US7564569B2 (en) * 2005-09-16 2009-07-21 International Electronic Machines Corp. Optical wheel evaluation
US20090138290A1 (en) * 2006-09-26 2009-05-28 Holden Johnny L Insurance adjustment through digital imaging system and method
US7864309B2 (en) * 2007-05-04 2011-01-04 Burke E. Porter Machinery Company Non contact wheel alignment sensor and method
US8014586B2 (en) * 2007-05-24 2011-09-06 Applied Vision Corporation Apparatus and methods for container inspection
US7684034B2 (en) * 2007-05-24 2010-03-23 Applied Vision Company, Llc Apparatus and methods for container inspection
KR20100138725A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
TW201131556A (en) * 2010-03-10 2011-09-16 Quanta Storage Inc Apparatus and method for testing spoke sensor
BR112014010638A2 (pt) * 2011-11-03 2017-05-09 Neomatix Ltd sistema para estimar o estado da pressão pneumática de pneus para veículos
US9500550B2 (en) * 2011-11-08 2016-11-22 Nomatix Ltd. System, method and application for estimating pneumatic pressure state of vehicle tires using a handheld device
DE102012013626A1 (de) * 2012-07-04 2014-01-09 Hegenscheidt-Mfd Gmbh & Co. Kg Verfahren und Vorrichtung zur Überprüfung von Eisenbahnrädern
US9002095B2 (en) * 2012-12-20 2015-04-07 Wal-Mart Stores, Inc. Faulty cart wheel detection
US9285296B2 (en) * 2013-01-02 2016-03-15 The Boeing Company Systems and methods for stand-off inspection of aircraft structures
EP2979082B1 (fr) * 2013-03-29 2023-04-26 Safran Aircraft Engines Procédé et système de détection de défauts sur un objet
US9625402B2 (en) * 2013-10-10 2017-04-18 Xerox Corporation Method and apparatus for detection of defective brakes
US9400256B2 (en) * 2013-12-06 2016-07-26 Rolls-Royce Corporation Thermographic inspection techniques
BR112017007740A2 (pt) * 2014-11-11 2017-12-26 Nippon Steel & Sumitomo Metal Corp método para medição de desgaste de flange de roda de veículo ferroviário
AU2016206598B2 (en) * 2015-01-16 2019-11-28 International Electronic Machines Corp. Abnormal vehicle dynamics detection
CN105118044B (zh) 2015-06-16 2017-11-07 华南理工大学 一种轮形铸造产品缺陷自动检测方法
GB2542115B (en) * 2015-09-03 2017-11-15 Rail Vision Europe Ltd Rail track asset survey system
US10480939B2 (en) * 2016-01-15 2019-11-19 Fugro Roadware Inc. High speed stereoscopic pavement surface scanning system and method
AU2017357645B2 (en) * 2016-11-08 2022-11-10 Dogtooth Technologies Limited A robotic fruit picking system
US11107306B1 (en) * 2016-12-23 2021-08-31 State Farm Mutual Automobile Insurance Company Systems and methods for machine-assisted vehicle inspection
US10580234B2 (en) * 2017-01-20 2020-03-03 Adesa, Inc. Vehicle documentation system
US20180222504A1 (en) * 2017-02-08 2018-08-09 Intel Corporation Location based railway anomaly detection
WO2018156703A1 (en) * 2017-02-22 2018-08-30 Tetra Tech, Inc. Broken wheel detection system
TWI628414B (zh) * 2017-06-29 2018-07-01 峰安車業股份有限公司 影像檢測裝置以及影像檢測方法
US10564108B2 (en) * 2017-07-03 2020-02-18 Saudi Arabian Oil Company Apparatus and method for nondestructively inspecting fiberglass and nonmetallic pipes
US10607084B1 (en) * 2019-10-24 2020-03-31 Capital One Services, Llc Visual inspection support using extended reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030194124A1 (en) * 2002-04-12 2003-10-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
CN101021491A (zh) * 2006-12-28 2007-08-22 华南理工大学 基于图像理解的轮毂铸造缺陷自动检测方法及装置
CN104458755A (zh) * 2014-11-26 2015-03-25 吴晓军 一种基于机器视觉的多类型材质表面缺陷检测方法
CN104574408A (zh) * 2015-01-16 2015-04-29 东华大学 基于形状特征提取的工业透明薄膜包装检测方法及装置

Cited By (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803573B2 (en) 2015-06-16 2020-10-13 South China University Of Technology Method for automated detection of defects in cast wheel products
WO2016201947A1 (zh) * 2015-06-16 2016-12-22 华南理工大学 一种轮形铸造产品缺陷自动检测方法
CN106778604A (zh) * 2015-12-15 2017-05-31 西安电子科技大学 基于匹配卷积神经网络的行人再识别方法
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
WO2018000731A1 (zh) * 2016-06-28 2018-01-04 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN106127780B (zh) * 2016-06-28 2019-01-18 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN106355579A (zh) * 2016-09-14 2017-01-25 南京理工大学 烟条表面褶皱的缺陷检测方法
CN108154072A (zh) * 2016-12-02 2018-06-12 天津工业大学 基于深度卷积神经网络的航拍绝缘子故障自动检测
CN106875373A (zh) * 2016-12-14 2017-06-20 浙江大学 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN106875373B (zh) * 2016-12-14 2019-12-20 惠州旭鑫智能技术有限公司 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN106875381A (zh) * 2017-01-17 2017-06-20 同济大学 一种基于深度学习的手机外壳缺陷检测方法
CN106875381B (zh) * 2017-01-17 2020-04-28 同济大学 一种基于深度学习的手机外壳缺陷检测方法
US11501513B2 (en) 2017-03-10 2022-11-15 Tusimple, Inc. System and method for vehicle wheel detection
US11967140B2 (en) 2017-03-10 2024-04-23 Tusimple, Inc. System and method for vehicle wheel detection
US20180260651A1 (en) * 2017-03-10 2018-09-13 TuSimple System and method for vehicle wheel detection
CN109215009B (zh) * 2017-06-29 2023-05-12 上海金艺检测技术有限公司 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法
CN109215009A (zh) * 2017-06-29 2019-01-15 上海金艺检测技术有限公司 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法
CN108021938A (zh) * 2017-11-29 2018-05-11 中冶南方工程技术有限公司 一种冷轧带钢表面缺陷在线检测方法以及检测系统
CN108242054A (zh) * 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器
CN108564104A (zh) * 2018-01-09 2018-09-21 北京百度网讯科技有限公司 产品缺陷检测方法、装置、系统、服务器及存储介质
US10769774B2 (en) 2018-01-09 2020-09-08 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor
CN108257121A (zh) * 2018-01-09 2018-07-06 北京百度网讯科技有限公司 产品缺陷检测模型更新的方法、装置、存储介质及终端设备
CN108230318A (zh) * 2018-01-09 2018-06-29 北京百度网讯科技有限公司 钢包缺陷检测分类方法、装置、设备及计算机可读介质
CN108389197A (zh) * 2018-02-26 2018-08-10 上海赛特斯信息科技股份有限公司 基于深度学习的输电线路缺陷检测方法
CN108389197B (zh) * 2018-02-26 2022-02-08 上海赛特斯信息科技股份有限公司 基于深度学习的输电线路缺陷检测方法
CN108510472A (zh) * 2018-03-08 2018-09-07 北京百度网讯科技有限公司 用于处理图像的方法和装置
AU2019241892B2 (en) * 2018-03-09 2024-03-28 Tusimple, Inc. System and method for vehicle wheel detection
CN111837163A (zh) * 2018-03-09 2020-10-27 图森有限公司 用于车辆车轮检测的系统和方法
CN108460761A (zh) * 2018-03-12 2018-08-28 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN108615230A (zh) * 2018-03-16 2018-10-02 北京邮电大学 一种轮毂表面异常检测方法和系统
CN108491841A (zh) * 2018-03-21 2018-09-04 东南大学 一种汽车轮毂类型识别监控管理系统及方法
CN108665057A (zh) * 2018-03-29 2018-10-16 东南大学 一种基于卷积神经网络的多生产点位轮毂图像分类方法
CN109087281A (zh) * 2018-07-02 2018-12-25 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
CN109035232A (zh) * 2018-07-24 2018-12-18 桂林电子科技大学 一种基于深度学习和机器视觉融合的夹片缺陷检测方法
CN109496316B (zh) * 2018-07-28 2022-04-01 合刃科技（深圳）有限公司 图像识别系统
CN109496316A (zh) * 2018-07-28 2019-03-19 合刃科技（深圳）有限公司 图像识别系统
CN109239075A (zh) * 2018-08-27 2019-01-18 北京百度网讯科技有限公司 电池检测方法及装置
CN109509170B (zh) * 2018-09-11 2021-08-17 韶关学院 一种压铸件缺陷检测方法及装置
CN109509170A (zh) * 2018-09-11 2019-03-22 韶关学院 一种压铸件缺陷检测方法及装置
CN109615606B (zh) * 2018-11-09 2023-01-06 华南理工大学 一种柔性ic基板点线面缺陷的快速分类方法
CN109615606A (zh) * 2018-11-09 2019-04-12 华南理工大学 一种柔性ic基板点线面缺陷的快速分类方法
CN113396444B (zh) * 2019-02-07 2023-08-22 腓特烈斯港齿轮工厂股份公司 用于自动识别产品的产品缺陷和/或用于自动识别产品缺陷的产品缺陷原因的方法和设备
CN113396444A (zh) * 2019-02-07 2021-09-14 腓特烈斯港齿轮工厂股份公司 用于自动识别产品的产品缺陷和/或用于自动识别产品缺陷的产品缺陷原因的方法和设备
CN111768357B (zh) * 2019-03-29 2024-03-01 银河水滴科技（北京）有限公司 一种图像检测的方法及装置
CN111768357A (zh) * 2019-03-29 2020-10-13 银河水滴科技（北京）有限公司 一种图像检测的方法及装置
CN110033443A (zh) * 2019-04-04 2019-07-19 武汉精立电子技术有限公司 一种特征提取网络及其显示面板缺陷检测方法
CN110264466B (zh) * 2019-06-28 2021-08-06 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法
CN110264466A (zh) * 2019-06-28 2019-09-20 广州市颐创信息科技有限公司 一种基于深度卷积神经网络的钢筋检测方法
CN110473178A (zh) * 2019-07-30 2019-11-19 上海深视信息科技有限公司 一种基于多光源融合的外观缺陷检测方法及系统
CN110927171A (zh) * 2019-12-09 2020-03-27 中国科学院沈阳自动化研究所 一种基于机器视觉的轴承滚子倒角面缺陷检测方法
CN111080614A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 铁路货车轮轮辋及踏面的破损识别方法
CN111260640A (zh) * 2020-01-13 2020-06-09 重庆大学 基于cyclegan的树状生成器网络齿轮点蚀图像测量方法及装置
CN112766481B (zh) * 2020-03-13 2023-11-24 腾讯科技（深圳）有限公司 神经网络模型的训练方法、装置及图像检测的方法
CN112766481A (zh) * 2020-03-13 2021-05-07 腾讯科技（深圳）有限公司 神经网络模型的训练方法、装置及图像检测的方法
CN112164144A (zh) * 2020-09-24 2021-01-01 华中科技大学 一种结合d2算子和法向算子的铸件三维模型分类方法
CN112164144B (zh) * 2020-09-24 2022-04-19 华中科技大学 一种结合d2算子和法向算子的铸件三维模型分类方法
CN112529893A (zh) * 2020-12-22 2021-03-19 郑州金惠计算机系统工程有限公司 基于深度神经网络的轮毂表面瑕疵在线检测方法及系统
CN113610831A (zh) * 2021-08-19 2021-11-05 江西应用技术职业学院 基于计算机图像技术和迁移学习的木材缺陷检测方法
CN113610831B (zh) * 2021-08-19 2022-03-11 江西应用技术职业学院 基于计算机图像技术和迁移学习的木材缺陷检测方法
CN113470018A (zh) * 2021-09-01 2021-10-01 深圳市信润富联数字科技有限公司 轮毂缺陷识别方法、电子装置、装置及可读存储介质
CN113538433A (zh) * 2021-09-17 2021-10-22 海门市创睿机械有限公司 基于人工智能的机械铸件缺陷检测方法及系统
CN113538433B (zh) * 2021-09-17 2021-11-26 海门市创睿机械有限公司 基于人工智能的机械铸件缺陷检测方法及系统
WO2023071759A1 (zh) * 2021-10-26 2023-05-04 江苏时代新能源科技有限公司 一种极片打皱检测方法、系统、终端及存储介质
CN114266773B (zh) * 2022-03-02 2022-05-20 成都数联云算科技有限公司 显示面板缺陷定位方法、装置、设备及存储介质
CN114266773A (zh) * 2022-03-02 2022-04-01 成都数联云算科技有限公司 显示面板缺陷定位方法、装置、设备及存储介质
CN114399504A (zh) * 2022-03-25 2022-04-26 济南大学 一种基于工业互联网的智能轮辋检测与跟踪方法及系统
CN114998259A (zh) * 2022-06-02 2022-09-02 苏州香农科技有限公司 一种重力铸造轮毂的检测方法及装置
CN115684175A (zh) * 2022-10-20 2023-02-03 河南科技大学 一种轴承滚子端面外观分选方法及系统
CN115825118A (zh) * 2022-11-18 2023-03-21 华中科技大学 一种铸件x射线探伤装备的自动评片集成系统及方法
CN115825118B (zh) * 2022-11-18 2023-09-12 华中科技大学 一种铸件x射线探伤装备的自动评片集成系统及方法

Also Published As

Publication number Publication date
WO2016201947A1 (zh) 2016-12-22
CN105118044B (zh) 2017-11-07
US20180253836A1 (en) 2018-09-06
US10803573B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
CN105118044A (zh) 一种轮形铸造产品缺陷自动检测方法
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN107742099A (zh) 一种基于全卷积网络的人群密度估计、人数统计的方法
CN103604809B (zh) 一种图案布匹瑕疵在线视觉检测方法
CN106875373A (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN110473178A (zh) 一种基于多光源融合的外观缺陷检测方法及系统
CN103927534A (zh) 一种基于卷积神经网络的喷码字符在线视觉检测方法
CN108596880A (zh) 基于图像处理的焊接缺陷特征提取与焊接质量分析方法
CN108492291A (zh) 一种基于cnn分割的太阳能光伏硅片瑕疵检测系统及方法
CN113324864B (zh) 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法
CN108802041B (zh) 一种屏幕检测的小样本集快速换型的方法
CN102621154B (zh) 基于改进差分盒多重分形算法的布匹疵点在线自动检测方法
CN106290375A (zh) 基于激光选区烧结技术的非接触式在线缺陷自动检测系统
CN109886937A (zh) 基于超像素分割图像识别的绝缘子缺陷检测方法
CN110503638A (zh) 螺旋胶质量在线检测方法
CN115908354A (zh) 一种基于双尺度策略和改进的yolov5网络的光伏面板缺陷检测方法
CN107316287A (zh) 一种矩形铁氧体磁片表面的缺陷识别方法
CN113902710A (zh) 基于异常检测算法进行工业零件表面缺陷检测方法及系统
CN115018790A (zh) 一种基于异常检测的工件表面缺陷检测方法
CN118023791B (zh) 一种精密壳体的焊接方法及系统
CN117252815A (zh) 基于2d-3d多模态图像的工业零件缺陷检测方法、系统、设备及存储介质
CN118095896A (zh) 一种基于大数据分析的电力系统线损评估方法
Zhang et al. Fabric defect detection based on visual saliency map and SVM
CN110132246A (zh) 基于残差分区的水深遥感探测方法
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171107

CF01 Termination of patent right due to non-payment of annual fee