CN109308489A - 一种元件电弧焊焊接质量检测方法 - Google Patents

一种元件电弧焊焊接质量检测方法 Download PDF

Info

Publication number
CN109308489A
CN109308489A CN201811018053.0A CN201811018053A CN109308489A CN 109308489 A CN109308489 A CN 109308489A CN 201811018053 A CN201811018053 A CN 201811018053A CN 109308489 A CN109308489 A CN 109308489A
Authority
CN
China
Prior art keywords
sample
image
training set
plumb joint
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811018053.0A
Other languages
English (en)
Other versions
CN109308489B (zh
Inventor
刘忠
冯旸赫
金广垠
黄金才
程光权
马扬
梁星星
周玉珍
王�琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201811018053.0A priority Critical patent/CN109308489B/zh
Publication of CN109308489A publication Critical patent/CN109308489A/zh
Application granted granted Critical
Publication of CN109308489B publication Critical patent/CN109308489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种元件电弧焊焊接质量检测方法，首先采集一定数量的同一元件电弧焊的多种不同类型的焊接头图片，建立样本库。将样本库中的一部分作为训练集，另一部分作为测试集；基于空间相关法的模板匹配算法提取训练集以及测试集中各样本中的目标焊接头区域图片；定义焊接头质量类型，对训练集中的所有图片的焊接头质量类型进行人工标注，基于tensorflow框架搭建卷积神经网络，将训练集中各类别的所有目标焊接头区域图片输入卷积神经网络中，训练机器学习分类器；最后对S测试集中各样本图像中的目标焊接头区域图片分别用训练好的机器学习分类器进行分类，分类结果就是其对应的焊接头质量类型。本发明能够快速的发现图片中元件电弧焊焊接的质量问题。

Description

一种元件电弧焊焊接质量检测方法
技术领域
本发明涉及焊接质量检测技术领域，尤其涉及一种元件电弧焊焊接质量检测方法。
背景技术
元件的焊接质量检测是指对焊接成果的检测，目的是保证焊接结构的完整性、可靠性、安全性和使用性。
传统的人工检测需要根据焊接结构说明书，技术标准，工艺文件，施工图样等进行检测，对于外观质量的检测主要有尺寸检验、几何形状检测、外表伤痕检测几个方面入手，可以采取射线探伤、超声波探伤、着色检验等方法进行辅助检测。
但是传统的人工检测分类存在很多不足，只依靠人眼和一些检验规则进行检测分类难免会出现不少错误并且消耗大量的时间和劳动力在重复性工作上。进行例如射线探伤等辅助检测方法又可能会有较高的成本，所以高效且智能化的元件焊接质量检测分类方法成了当前实际生产中的重要需求。
发明内容
针对现有技术存在的缺陷，本发明提供一种元件电弧焊焊接质量检测方法。
为实现上述技术目的，本发明的技术方案是：
一种元件电弧焊焊接质量检测方法，包括以下步骤：
S1利用相机拍摄，采集一定数量的同一元件电弧焊的多种不同类型的焊接头图片，建立样本库。将样本库中的样本分为两部分，其中一部分作为训练集，训练集用于训练机器学习分类器。另一部分作为测试集，测试集用于识别其所对应的焊接质量类型。如将样本库中70％的样本作为训练集，30％的样本作为测试集。
S2基于空间相关法的模板匹配算法提取训练集以及测试集中各样本(焊接头图片)中的目标焊接头区域图片。
S2.1在样本库中的所有焊接头图片中寻找所有焊接头图片均具有的共同特征，截取其中一个焊接头图片中的共同特征部分的图像作为模板匹配时的模板，即作为焊接头的模板子图像w(x,y)。这样可以用于批量图片的模板匹配。
S2.2基于空间相关性的图像模板匹配；
设样本图像f(x,y)的大小为M*N和模板子图像w(x,y)的大小为J*K，则样本图像与模板子图像的相关表示为：
其中，x＝0,1,2,3.....N-K，y＝0,1,2.....M-J。f(x,y)就是样本图像其第x行，第y列的像素的像素值，取值在[0,255]之间；w(s,t)就是模板子图像中第s行，第t列的像素的像素值，取值[0,255]。
计算相关性c(x,y)的过程就是在图像f(x,y)中逐像素地移动模板子图像w(x,y)的原点像素(即模板子图像中第s行，第t列的像素)，在每一次移动的过程中根据以上公式计算每个像素位置的相关，直到计算出空间相关性最大的位置，该位置即样本图像f(x,y)中共同特征部分所在的位置。
S2.3根据零件尺寸相同的条件，在样本图像f(x,y)中通过S2.2中找到的样本图像f(x,y)中共同特征部分所在的位置定位到所感兴趣的目标焊接头区域部分的位置，并对样本图像f(x,y)中目标焊接头区域部分的图像进行截取，即可得到样本图像f(x,y)中目标焊接头区域图片。
因为零件尺寸相同且零件尺寸是已知的，在样本库中的所有样本图像f(x,y)中共同特征部分所在的位置与所感兴趣的目标焊接头区域部分的位置之间的位置关系是固定的，而且该位置关系是已知的，因此能够在样本图像f(x,y)中通过S2.2中找到的样本图像f(x,y)中共同特征部分所在的位置定位到所感兴趣的目标焊接头区域部分的位置。
S2.4对训练集以及测试集中各样本图像均进行S2.2至S2.3中的操作，得到所有样本图像中的目标焊接头区域图片，完成批量截取。
在进行模板匹配时，可先将给定焊接头的模板子图像w(x,y)以及各样本图片转化成灰度图，这样有利于提高预算速度，再用空间相关法的模板匹配算法在已为灰度图的样本图片中定位出具有模板子图像特征的位置，再进而计算出焊接头部分的位置，最后对图像进行批量截取。
S3定义焊接头质量类型
焊接头不合格类型分为以下五类，不属于这五类的焊接头作为合格品。
不合格类型包括：
虚焊：缠头有进行点焊处理，但焊包未焊入漆包线。
漏焊：缠头漆包线完全未进行点焊处理，无焊包。
杂线：除在线圈正常绕线区域外夹杂或残留着多余的漆包线。
多线头：引脚缠头与绕组连接处有多余漆包线被绕进。
残渣：缠头底部出现材料残渣，挂屑。
S4图像数据增强
对训练集中所有类别中的各目标焊接头区域图片分别进行翻转，缩小，放大，旋转，这样训练集中各种类别中的数据量扩大为原来的四倍。
S5用S3中定义的焊接头质量类型，对图像数据增强后的训练集中的所有图片中所示的焊接头质量类型进行人工标注(即由工作人员对图像数据增强后的训练集中的所有目标焊接头区域图片中所示的焊接头质量类型进行分类)。基于tensorflow框架搭建卷积神经网络，将图像数据增强后的训练集中各类别的所有目标焊接头区域图片输入卷积神经网络中，训练机器学习分类器。
S6对S2中得到的测试集中各样本图像中的目标焊接头区域图片分别用S5中训练好的机器学习分类器进行分类，分类结果就是其对应的焊接头质量类型。
与现有技术相比，本发明能够产生以下技术效果：
深度学习模仿人脑的机制来解释数据，可以不用手动提取特征，可以通过深度网络模型由底层次到高层次逐层自动将特征抽象出来，对于处理线性不可分问题体现出了极大的优势。
电弧焊质量分类中不合格产品的种类较多，主要为漏焊，虚焊，杂线，多线头，残屑五大类，人工提取特征的工作较为麻烦，并且图像颜色皆偏暗色，特征数量也比较多。
卷积神经网络是深度学习中经典的，常用于处理图像分类问题的深层网络模型，可以通过层层卷积的卷积核自动将不同的特征抽象出来，通常与网络的卷积层搭配的是池化层，可以用来提取出每个卷积核中最重要的特征，达到了简化网络参数，提高运算速度的效果。本设计中运用几种不同的卷积神经网络模型(如LeNet-5模型；AlexNet模型；InceotionV3(GoodLeNet)模型)来对电弧焊的质量分类效果测试，所获得模型能够较快的发现图片中元件的质量问题。
附图说明
图1为本发明的流程图。
图2是一实施例中原图以及原图中的目标焊接头区域图片；其中(a)为原图；(b)为目标焊接头区域图片；
图3是一实施例中基于空间相关法的模板匹配算法提取原图中的目标焊接头区域图片的示意图；其中Template为原图；Target为选取的模板子图像；Matching Resultusing tmp为匹配示意图；jietu为最终提取到的原图中的目标焊接头区域图片；
图4是焊接头质量类型示意图；其中(a)为虚焊；(b)为漏焊；(c)为杂线；(d)为多线头；(e)为残渣。
图5是一实施例中经批量截取到的44张目标焊接头区域图片；
图6是经数据增强处理的图片；其中(a)为原图；(b)为翻转后的图片；(c)为缩小为0.8倍的图片；(d)为放大为1.2倍的图片；(e)为旋转30度角后的图片。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
一种元件电弧焊焊接质量检测方法，包括以下步骤：
S1利用相机拍摄，采集一定数量的同一元件电弧焊的多种不同类型的焊接头图片，建立样本库。将样本库中的样本分为两部分，其中一部分作为训练集，训练集用于训练机器学习分类器。另一部分作为测试集，测试集用于识别其所对应的焊接质量类型。如将样本库中70％的样本作为训练集，30％的样本作为测试集。
为了使卷积神经网络运算效率更高，收敛更迅速，会采取一些对待分类图片进行一些预处理，其中提取待分类图片中的目标区域图像是非常重要的一个步骤。若将整张图片都输入网络进行训练会造成训练速度非常缓慢，由于图像中的其他无关成分还可能产生干扰，导致无法得出满意的效果。
对于提取一张图片中的目标区域图像，因为在本发明中目标区域图像(即目标焊接头区域图片)相对比较固定，因此考虑使用基于空间相关的模板匹配算法实现。
S2基于空间相关法的模板匹配算法提取训练集以及测试集中各样本(焊接头图片)中的目标焊接头区域图片，参照图2和图3。
S2.1在样本库中的所有焊接头图片中寻找所有焊接头图片均具有的共同特征，截取其中一个焊接头图片中的共同特征部分的图像作为模板匹配时的模板，即作为焊接头的模板子图像w(x,y)。这样可以用于批量图片的模板匹配。
S2.2基于空间相关性的图像模板匹配；
设样本图像f(x,y)的大小为M*N和模板子图像w(x,y)的大小为J*K，则f(x,y)与w(x,y)的相关表示为：
其中，x＝0,1,2,3.....N-K，y＝0,1,2.....M-J。
计算相关性c(x,y)的过程就是在图像f(x,y)中逐像素地移动模板子图像w(x,y)的原点像素，在每一次移动的过程中根据以上公式计算每个像素位置的相关，直到计算出空间相关性最大的位置，该位置即样本图像f(x,y)中共同特征部分所在的位置。
S2.3根据零件尺寸相同的条件，在样本图像f(x,y)中通过S2.2中找到的样本图像f(x,y)中共同特征部分所在的位置定位到所感兴趣的目标焊接头区域部分的位置，并对样本图像f(x,y)中目标焊接头区域部分的图像进行截取，即可得到样本图像f(x,y)中目标焊接头区域图片。
S2.4对训练集以及测试集中各样本图像均进行S2.2至S2.3中的操作，得到所有样本图像中的目标焊接头区域图片，完成批量截取。参照图5，是一实施例中经批量截取到的44张目标焊接头区域图片。
在进行模板匹配时，可先将给定焊接头的模板子图像w(x,y)以及各样本图片转化成灰度图，这样有利于提高预算速度，再用空间相关法的模板匹配算法在已为灰度图的样本图片中定位出具有模板子图像特征的位置，再进而计算出焊接头部分的位置，最后对图像进行批量截取。
S3定义焊接头质量类型
焊接头不合格类型分为以下五类，不属于这五类的焊接头作为合格品。
参照图4，不合格类型包括：
虚焊：缠头有进行点焊处理，但焊包未焊入漆包线。
漏焊：缠头漆包线完全未进行点焊处理，无焊包。
杂线：除在线圈正常绕线区域外夹杂或残留着多余的漆包线。
多线头：引脚缠头与绕组连接处有多余漆包线被绕进。
残渣：缠头底部出现材料残渣，挂屑。
考虑人工分类问题，若只将焊接头质量类型分类成二分类，即只有合格与不合格之分，由于不合格品的种类较多，之间区别也较大，若全部归于一个类别并不是十分合适，这样不合格品的特征类别过多，导致卷积神经网络在计算时难以提取出有效特征，造成训练难以收敛从而难以将网络训练到一个比较满意的程度。所以最终决定将所有的合格品放在同一个类别中，将次品按照上述分类分成五类。将分好对应类别的图片存入不同的对应的文件夹中，如0号文件夹中存放的皆为合格品，1-5号文件夹中存放的依次为残渣，漏焊，杂线，虚焊，多线头的次品类别图片，这样就完成了对所有图片的分类标注。
之所以将图像通过分成不同的文件夹进行存放作为标注的目的是因为在python中可以通过读取不同文件夹图片的形式将所有图片转化成二进制格式的文件tfrecord形式，有利于在python中通过多线程操作得以快速读取处理，加快神经网络处理图像的速度。在二进制文件中，图片的类别就与当前所分类存放的文件夹类别一致。
深度学习虽然具备可以自动提取学习特征的能力，但是必须提供足够大的数据量才能使神经网络充分学习到某一类别物体的共有特征，若数据量不足则会导致神经网络对图像中特征的学习不够充分，在反复迭代训练中反而容易拟合图像中的噪声数据，从而出现严重的过拟合现象。
若本来提供的图片数据总量本来就较少，则可以考虑对图像数据进行数据增强的预处理，即对同一张图片进行各种变换，例如翻转，平移，缩放等。这样一来就可以让原有的数据量扩大几倍。同时在计算机中对于图像的识别是基于图像的像素数据进行的，在对图像进行上述各种变换时，图像中的可见内容或许没变，但是对于计算机来说，图像的像素数据已经发生了改变，所以在输入卷积神经网络训练的时候是会被作为不同图像处理的。让计算机通过不同的角度去辨识同一特征，这样可以提高训练好的神经网络的泛化性能，降低过拟合的程度。
S4图像数据增强
对训练集中所有类别中的各目标焊接头区域图片分别进行翻转，缩小，放大，旋转，这样训练集中各种类别中的数据量扩大为原来的四倍。如图6所示，为对一图片分别进行翻转，缩小(缩小为0.8倍)，放大(放大为0.2倍)，旋转(旋转30度角)。
S5用S3中定义的焊接头质量类型，对图像数据增强后的训练集中的所有图片进行人工标注(即由工作人员对图像数据增强后的训练集中的所有目标焊接头区域图片中所示的焊接头质量类型进行分类)。基于tensorflow框架搭建卷积神经网络，将图像数据增强后的训练集中各类别的所有目标焊接头区域图片输入卷积神经网络中，训练机器学习分类器。
目前已知的所有的卷积神经网络模型均基于支持python环境的谷歌的开源框架tensorflow搭建。
本发明中将所有的目标焊接头区域图片均被规范成了大小为60*60的RGB图像。在经典的AlexNet卷积神经网络中，将卷积神经网络中的输入层节点设为60*60*3。在原网络模型中，为了提取更多的特征，卷积层的运算深度由最初的RGB的3层深度变为深度96，再转化为深度256，最后变为深度为384的超大张量，由于设计硬件水平限制，卷积深度过深会导致计算机运算时卡死，故本发明中，修正深度参数为初始3，加深至16，再加深至32，最终达到的最大深度为64，最后一个卷积层进行一个降维操作，将深度64降为48，有利于提高全连接层处理效率。
AlexNet卷积神经网络其池化层与卷积层设置：设置输入层节点矩阵大小为60*60，经过第一次池化后得到尺寸为30*30的节点矩阵，第二次池化得到尺寸为15*15的节点矩阵，最后一次池化操作需要进行圆整，则得到8*8的节点矩阵。AlexNet卷积神经网络其池化层与卷积层的重要参数，如表1所示：
结构 输入节点 输出节点 核尺寸 步长
卷积层1 60*60*3 60*60*16 11*11 1
池化层1 60*60*16 30*30*16 2*2 2
卷积层2 30*30*16 30*30*32 5*5 1
池化层2 30*30*32 15*15*32 2*2 2
卷积层3 15*15*32 15*15*64 3*3 1
卷积层3 15*15*64 15*15*48 3*3 1
池化层3 15*15*48 8*8*48 2*2 2
表1
AlexNet卷积神经网络其全连接层和softmax层：
经典AlexNet卷积神经网络结构中最后一层的卷积层输出节点矩阵长宽规格为256*4*4＝4096，第一个全连接层将卷积张量铺平再与下一层4096个节点相连，第二个卷积层是4096个输入节点与1000个输出节点相连，softmax层用来区分1000种不同类别的图像。
而在本发明中，根据实际情况，最后卷积层输出节点矩阵规格为8*8*48，则将第一个全连接层的输出节点定为1024，将地二个全连接层的输出节点定为512个，最后一层的softmax层连接节点为6，意义为将产品0-5分为6类。在全连接层中常用的正则化方法dropout在这里也会用到，设定drop率为0.5，即每次全连接层训练时随机去掉一半的节点，使得训练结构多样化，防止出现过拟合。本发明中的全连接层的结构框架如表2所示：
结构 输入节点 输出节点
全连接层1 8*8*48 1024
全连接层2 1024 512
全连接层3 512 6
表2
在训练一个神经网络的过程中，每个神经元之间的权重连接无疑是最重要的参数之一，如果初始化的权重落在了比较合理的范围内，则整个训练过程会快速收敛，并且容易找到全局最优解，若权重初始化偏离合理范围太多，会造成训练过程的震荡，网络难以收敛，还很容易陷入局部最优。对于权重参数的初始化方法一般是基于正态分布的初始化，但是这种方式有可能会造成少数参数偏差较大从而造成训练的不便，所以可以将随机初始方式修正为截断式的正态分布或者均值初始化，这两种方法都可以移除掉少数偏差较大的权重，留下的权值分布范围都比较集中，方便训练的进行。
S6对S2中得到的测试集中各样本图像中的目标焊接头区域图片分别用S5中训练好的机器学习分类器进行分类，分类结果就是其对应的焊接头质量类型。
以上所述仅为本发明的优选的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种元件电弧焊焊接质量检测方法，其特征在于：包括以下步骤：
S1利用相机拍摄，采集一定数量的同一元件电弧焊的多种不同类型的焊接头图片，建立样本库；将样本库中的样本分为两部分，其中一部分作为训练集，训练集用于训练机器学习分类器；另一部分作为测试集，测试集用于识别其所对应的焊接质量类型；
S2基于空间相关法的模板匹配算法提取训练集以及测试集中各样本中的目标焊接头区域图片；
S3定义焊接头质量类型；
S4对训练集中的所有图片中所示的焊接头质量类型进行人工标注；基于tensorflow框架搭建卷积神经网络，将训练集中各类别的所有目标焊接头区域图片输入卷积神经网络中，训练机器学习分类器；
S5对S2中得到的测试集中各样本图像中的目标焊接头区域图片分别用S4中训练好的机器学习分类器进行分类，分类结果就是其对应的焊接头质量类型。
2.根据权利要求1所述的元件电弧焊焊接质量检测方法，其特征在于：在S4中，还包括图像数据增强步骤，对训练集中所有类别中的各目标焊接头区域图片分别进行翻转，缩小，放大，旋转，这样训练集中各种类别中的数据量扩大为原来的四倍，得到图像数据增强后的训练集；
用S3中定义的焊接头质量类型，对图像数据增强后的训练集中的所有图片中所示的焊接头质量类型进行人工标注；基于tensorflow框架搭建卷积神经网络，将图像数据增强后的训练集中各类别的所有目标焊接头区域图片输入卷积神经网络中，训练机器学习分类器。
3.根据权利要求1或2所述的元件电弧焊焊接质量检测方法，其特征在于：S1中，将样本库中70％的样本作为训练集，30％的样本作为测试集。
4.根据权利要求1或2所述的元件电弧焊焊接质量检测方法，其特征在于：S2通过以下步骤实现：
S2.1在样本库中的所有焊接头图片中寻找所有焊接头图片均具有的共同特征，截取其中一个焊接头图片中的共同特征部分的图像作为模板匹配时的模板，即作为焊接头的模板子图像w(x,y)；
S2.2基于空间相关性的图像模板匹配；
设样本图像f(x,y)的大小为M*N和模板子图像w(x,y)的大小为J*K，则样本图像与模板子图像的相关表示为：
其中，x＝0,1,2,3.....N-K，y＝0,1,2.....M-J；f(x,y)就是样本图像其第x行，第y列的像素的像素值，取值在[0,255]之间；w(s,t)就是模板子图像中第s行，第t列的像素的像素值，取值[0,255]；
计算相关性c(x,y)的过程就是在图像f(x,y)中逐像素地移动模板子图像w(x,y)的原点像素，在每一次移动的过程中根据以上公式计算每个像素位置的相关，直到计算出空间相关性最大的位置，该位置即样本图像f(x,y)中共同特征部分所在的位置；
S2.3根据零件尺寸相同的条件，在样本图像f(x,y)中通过S2.2中找到的样本图像f(x,y)中共同特征部分所在的位置定位到所感兴趣的目标焊接头区域部分的位置，并对样本图像f(x,y)中目标焊接头区域部分的图像进行截取，即可得到样本图像f(x,y)中目标焊接头区域图片；
S2.4对训练集以及测试集中各样本图像均进行S2.2至S2.3中的操作，得到所有样本图像中的目标焊接头区域图片，完成批量截取。
5.根据权利要求4所述的元件电弧焊焊接质量检测方法，其特征在于：在S2进行模板匹配之前，先将给定焊接头的模板子图像w(x,y)以及各样本图片转化成灰度图，再用空间相关法的模板匹配算法在已为灰度图的样本图片中定位出具有模板子图像特征的位置，再进而计算出焊接头部分的位置，最后对图像进行批量截取。
6.根据权利要求1或2所述的元件电弧焊焊接质量检测方法，其特征在于：S3中，焊接头不合格类型分为以下五类，不属于这五类的焊接头作为合格品；
不合格类型包括：
虚焊：缠头有进行点焊处理，但焊包未焊入漆包线；
漏焊：缠头漆包线完全未进行点焊处理，无焊包；
杂线：除在线圈正常绕线区域外夹杂或残留着多余的漆包线；
多线头：引脚缠头与绕组连接处有多余漆包线被绕进；
残渣：缠头底部出现材料残渣，挂屑。
7.根据权利要求1或2所述的元件电弧焊焊接质量检测方法，其特征在于：S5中所采用的卷积神经网络模型为LeNet-5模型、AlexNet模型或InceotionV3模型。
CN201811018053.0A 2018-09-03 2018-09-03 一种元件电弧焊焊接质量检测方法 Active CN109308489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811018053.0A CN109308489B (zh) 2018-09-03 2018-09-03 一种元件电弧焊焊接质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811018053.0A CN109308489B (zh) 2018-09-03 2018-09-03 一种元件电弧焊焊接质量检测方法

Publications (2)

Publication Number Publication Date
CN109308489A true CN109308489A (zh) 2019-02-05
CN109308489B CN109308489B (zh) 2021-09-10

Family

ID=65224386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811018053.0A Active CN109308489B (zh) 2018-09-03 2018-09-03 一种元件电弧焊焊接质量检测方法

Country Status (1)

Country Link
CN (1) CN109308489B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110186375A (zh) * 2019-06-06 2019-08-30 西南交通大学 智能化高铁白车身焊接装配特征检测装置及检测方法
CN110320452A (zh) * 2019-06-21 2019-10-11 河南理工大学 一种串联故障电弧检测方法
CN110570398A (zh) * 2019-08-14 2019-12-13 兰州理工大学 一种基于深度学习技术的线缆接头焊点合格性检测方法
CN111553557A (zh) * 2020-03-30 2020-08-18 徐州徐工挖掘机械有限公司 一种基于深度学习的车间产品质量评估方法
CN111862057A (zh) * 2020-07-23 2020-10-30 中山佳维电子有限公司 图片标注方法、装置、传感器质量检测方法和电子设备
CN112097673A (zh) * 2019-06-18 2020-12-18 上汽通用汽车有限公司 车身部件虚拟匹配方法和系统
CN112171057A (zh) * 2020-09-10 2021-01-05 五邑大学 基于激光焊接的质量检测方法、装置及存储介质
CN112285114A (zh) * 2020-09-29 2021-01-29 华南理工大学 一种基于机器视觉的漆包线点焊质量检测系统及检测方法
CN113256620A (zh) * 2021-06-25 2021-08-13 南京思飞捷软件科技有限公司 基于差值卷积神经网络的车身焊接质量信息评判方法
CN115713499A (zh) * 2022-11-08 2023-02-24 哈尔滨工业大学 一种贴片元件贴装后质量检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751178A (zh) * 2015-03-31 2015-07-01 上海理工大学 基于形状模板匹配结合分类器的肺结节检测装置及方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
US20170106542A1 (en) * 2015-10-16 2017-04-20 Amit Wolf Robot and method of controlling thereof
CN106600600A (zh) * 2016-12-26 2017-04-26 华南理工大学 基于特征匹配的晶圆缺陷检测方法
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751178A (zh) * 2015-03-31 2015-07-01 上海理工大学 基于形状模板匹配结合分类器的肺结节检测装置及方法
US20170106542A1 (en) * 2015-10-16 2017-04-20 Amit Wolf Robot and method of controlling thereof
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN106600600A (zh) * 2016-12-26 2017-04-26 华南理工大学 基于特征匹配的晶圆缺陷检测方法
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LISHA XIAO等: "Scene Classification with Improved AlexNet Model", 《2017 12TH INTERNATIONAL CONFERENCE ON INTELLIGENT SYSTEMS AND KNOWLEDGE ENGINEERING (ISKE) 》 *
方如明等: "《计算机图像处理技术及其在农业工程中的应用》", 31 July 1999 *
覃科等: "基于卷积神经网络的C02焊接熔池图像状态识别方法", 《试验研究 焊接》 *
那彦等: "《基于多分辨分析理论的图像融合方法》", 31 May 2007 *
陈敏: "《认知计算导论》", 31 May 2017 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110186375A (zh) * 2019-06-06 2019-08-30 西南交通大学 智能化高铁白车身焊接装配特征检测装置及检测方法
CN112097673A (zh) * 2019-06-18 2020-12-18 上汽通用汽车有限公司 车身部件虚拟匹配方法和系统
CN110320452A (zh) * 2019-06-21 2019-10-11 河南理工大学 一种串联故障电弧检测方法
CN110570398A (zh) * 2019-08-14 2019-12-13 兰州理工大学 一种基于深度学习技术的线缆接头焊点合格性检测方法
CN111553557A (zh) * 2020-03-30 2020-08-18 徐州徐工挖掘机械有限公司 一种基于深度学习的车间产品质量评估方法
CN111862057B (zh) * 2020-07-23 2021-10-22 中山佳维电子有限公司 图片标注方法、装置、传感器质量检测方法和电子设备
CN111862057A (zh) * 2020-07-23 2020-10-30 中山佳维电子有限公司 图片标注方法、装置、传感器质量检测方法和电子设备
CN112171057A (zh) * 2020-09-10 2021-01-05 五邑大学 基于激光焊接的质量检测方法、装置及存储介质
CN112171057B (zh) * 2020-09-10 2022-04-08 五邑大学 基于激光焊接的质量检测方法、装置及存储介质
CN112285114A (zh) * 2020-09-29 2021-01-29 华南理工大学 一种基于机器视觉的漆包线点焊质量检测系统及检测方法
CN113256620A (zh) * 2021-06-25 2021-08-13 南京思飞捷软件科技有限公司 基于差值卷积神经网络的车身焊接质量信息评判方法
CN115713499A (zh) * 2022-11-08 2023-02-24 哈尔滨工业大学 一种贴片元件贴装后质量检测方法
CN115713499B (zh) * 2022-11-08 2023-07-14 哈尔滨工业大学 一种贴片元件贴装后质量检测方法

Also Published As

Publication number Publication date
CN109308489B (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN109308489A (zh) 一种元件电弧焊焊接质量检测方法
CN109886298B (zh) 一种基于卷积神经网络的焊缝质量检测方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN110310259A (zh) 一种基于改进YOLOv3算法的木结瑕疵检测方法
Buayai et al. End-to-end automatic berry counting for table grape thinning
CN106530271B (zh) 一种红外图像显著性检测方法
CN117115147A (zh) 一种基于机器视觉的纺织品检测方法及系统
Yumang et al. Determination of Shelled Corn Damages using Colored Image Edge Detection with Convolutional Neural Network
Dimililer et al. ICSPI: intelligent classification system of pest insects based on image processing and neural arbitration
CN115601355A (zh) 一种产品表面缺陷检测与分类方法、装置及存储介质
Yumang et al. Detection and classification of defective fresh excelsa beans using mask r-CNN algorithm
CN111161233A (zh) 一种用于冲孔皮革缺陷检测方法及系统
CN112669300A (zh) 瑕疵检测方法及装置、计算机设备和存储介质
Karthika et al. Disease detection in cotton leaf spot using image processing
CN110956656A (zh) 一种基于深度目标检测的纺锤定位方法
Salem et al. Impact of transfer learning compared to convolutional neural networks on fruit detection
CN113888459A (zh) 一种基于自适应纹理特征的纹理图像疵点检测系统及方法
CN113145473A (zh) 一种水果智能分拣系统及方法
Sari et al. Fruit classification quality using convolutional neural network and augmented reality
CN113506242B (zh) 基于yolo的玉米黄曲霉素检测方法
US20040013306A1 (en) Generating processing sequences for image-based decision systems
CN112115824B (zh) 果蔬检测方法、装置、电子设备以及计算机可读介质
Tan et al. Automated tomato grading system using computer vision (CV) and deep neural network (DNN) algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant