CN110570398A - 一种基于深度学习技术的线缆接头焊点合格性检测方法 - Google Patents

一种基于深度学习技术的线缆接头焊点合格性检测方法 Download PDF

Info

Publication number
CN110570398A
CN110570398A CN201910748878.6A CN201910748878A CN110570398A CN 110570398 A CN110570398 A CN 110570398A CN 201910748878 A CN201910748878 A CN 201910748878A CN 110570398 A CN110570398 A CN 110570398A
Authority
CN
China
Prior art keywords
welding spot
image
cable joint
welding
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910748878.6A
Other languages
English (en)
Inventor
赵宏
杨旭光
雷晓强
王孝通
孔东一
田光毅
党育
常兆斌
张�浩
刘向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Helu Electronic Technology Co Ltd
Lanzhou University of Technology
Original Assignee
Shandong Helu Electronic Technology Co Ltd
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Helu Electronic Technology Co Ltd, Lanzhou University of Technology filed Critical Shandong Helu Electronic Technology Co Ltd
Priority to CN201910748878.6A priority Critical patent/CN110570398A/zh
Publication of CN110570398A publication Critical patent/CN110570398A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8411—Application to online plant, process monitoring
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/845—Objects on a conveyor
    • G01N2021/8455—Objects on a conveyor and using position detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30116—Casting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习技术的线缆接头焊点合格性检测方法，包括步骤：使用摄像头采集线缆接头焊点图像；在所述线缆接头焊点图像上提取焊点区域；使用labelImg对获得的所述焊点区域的图像进行标注；建立深度神经网络分类模型，使用CNN卷积层提取带标注焊点图像特征，利用Adam优化器最小化分类损失，直至损失函数值达到最小，保存线缆接头焊点合格性检测模型；使用所述线缆接头焊点合格性检测模型对生产线的焊点进行检测。本发明利用softmax实现了焊点缺陷的多分类；利用深度学习方法对焊点缺陷进行分类，相比其它的机器学习方法，其检测准确率更高，速度更快，鲁棒性更好。

Description

一种基于深度学习技术的线缆接头焊点合格性检测方法
技术领域
本发明涉及缺陷检测领域，尤其涉及一种基于深度学习技术的线缆接头焊点合格性检测方法。
背景技术
在电子产品焊接过程中,由于设备误差、人工操作失误等原因可能会导致焊点出现缺陷，例如连锡、虚焊、漏焊、错PIN、PVC后缩过大、芯线外被破损、编织丝漏剪等。如果将此类存在缺陷的数据线应用到电子产品当中，将直接影响电子产品的寿命、稳定性，甚至可能导致整个电子产品报废。因此，焊点的质量直接影响数据线的质量。目前，焊点缺陷检查仍然通过人工目测法来完成，此方法效率低、准确率不足。
现有关于线缆接头焊接合格性检测方法有电阻测量法、电压降检测法、X射线检测法、涡流检测法等。其中，电阻测量法、电压降检测法均利用电气参数来判定焊点的质量，方法简单，但是由于电气参数对焊点内部缺陷类型灵敏度太低，使得焊点质量判定结果准确性不高；X射线检测法操作简单，焊点射线底片信息清晰易辨，能够准确的读取焊点熔核的直径大小及内部的缺陷，但是X线具有放射性危害，对现场操作环境要求较高，在工业生产中难以应用；涡流检测法存在对焊点缺陷的漏检，漏检率较高，无法应用在工业生产中。这些传统的检测方法都没有使用焊点的细微特征，无法判断焊点是否合格以及不合格的分类，对于一些存在微小缺陷的焊点无法准确检测，误判率高、计算复杂度较大且可扩展性差，不能满足现代化生产需要。
发明内容
为克服现有技术的不足，本发明提供一种检测精度高，满足数据线生产线高质量检测要求的焊点合格性检测和不合格分类的方法。本发明的技术方案是这样实现的：
一种基于深度学习技术的线缆接头焊点合格性检测方法，包括步骤
S1：使用摄像头采集线缆接头焊点图像；
S2：在所述线缆接头焊点图像上提取焊点区域；
S3：使用labelImg对获得的所述焊点区域的图像进行标注；
S4：建立深度神经网络分类模型，使用CNN卷积层提取带标注焊点图像特征，利用Adam优化器最小化分类损失，直至损失函数值达到最小，保存线缆接头焊点合格性检测模型；
S5：使用所述线缆接头焊点合格性检测模型对生产线的焊点进行检测。
进一步地，步骤S1包括步骤：对倾斜的图像进行矫正，图像的矫正包括步骤：
S11：利用离散傅里叶变换提取倾斜图像的频域特征，对其特征进行高低频变换、幅度值计算、频域值规范化等操作，获得一条倾斜的直线；
S12：利用Hough直线检测获取倾斜直线，计算其倾斜角，计算图像旋转角度；
S13：利用所述图像旋转角度和仿射变换对原图进行矫正。
进一步地，步骤S4中所述线缆接头焊点合格性检测模型建立的步骤包括
S41：使用多个小卷积核从左到右、自顶向下依次进行扫描，提取焊点图像更精细的特征；
S42：使用截断正态分布对卷积核参数进行初始化，使用Relu激活函数去线性化且有效避免模型过拟合；
S43：使用最大池化层减少参数数量，降低计算量，保持平移不变性、旋转不变性以及尺度不变性，使用softmax分类器对不合格焊点进行多分类，使用交叉熵代价函数加快模型训练速度。
进一步地：所述步骤S5包括步骤
S51：根据线缆接头焊点合格性检测模型对数据线焊点的检测结果，控制数据线的流向，使合格的数据线进入下一个处理流程，不合格的数据线进入相应的分拣容器。
本发明的有益效果在于，与现有技术相比，本发明能够提取焊点图像细微的特征，利用softmax实现了焊点缺陷的多分类；利用MaxPool减少模型参数，使得检测时间更短；利用深度学习方法对焊点缺陷进行分类，相比其它的机器学习方法，其检测准确率更高，速度更快，鲁棒性更好。
附图说明
图1是本发明一种基于深度学习技术的线缆接头焊点合格性检测方法流程图；
图2是本发明一个实施例中进行线缆接头焊点合格性检测的流程图；
图3是本发明一个实施例中线缆接头焊点合格性检测模型训练流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，本发明一种基于深度学习技术的线缆接头焊点合格性检测方法，包括步骤
S1：使用摄像头采集线缆接头焊点图像；
S2：在所述线缆接头焊点图像上提取焊点区域；
S3：使用labelImg对获得的所述焊点区域的图像进行标注；
S4：建立深度神经网络分类模型，使用CNN卷积层提取带标注焊点图像特征，利用Adam优化器最小化分类损失，直至损失函数值达到最小，保存线缆接头焊点合格性检测模型；
S5：使用所述线缆接头焊点合格性检测模型对生产线的焊点进行检测。
请参见图2，在本发明一个具体实施例中，本发明的基于深度学习技术的线缆接头焊点合格性检测系统中包括摄像头传感器、超声波传感器、焊点检测系统和控制系统。焊点合格性检测方法主要用于检测数据线的焊点缺陷检测，其检测的缺陷包括：连锡、虚焊、漏焊、错PIN、PVC后缩过大、芯线外被破损、编织丝漏剪等。本发明使用深度学习的方法对焊点进行检测，生产线上数据线的通过触发超声波传感器，超声波传感器向控制系统发送指令；控制系统接收指令，控制摄像头传感器拍照；焊点检测系统接收采集到的图像并对其进行处理，检测焊点是否合格，对不合格焊点进行分类，并根据检测结果控制数据线的流向；控制系统与摄像头传感器、超声波传感器以及焊点检测系统连接，用于控制摄像头传感器对图像进行采集、焊点检测系统对焊点的缺陷检测以及数据线的流向。
在步骤S1中，如使用摄像头拍摄到的焊点图像有倾斜，则利用离散傅里叶变换、Hough直线检测、仿射变换对拍摄到的倾斜的图像进行矫正。本实施例中，使用离散傅里叶变换提取倾斜图像的频域特征，对其特征进行幅度值计算，由于幅度值的变化范围很大，超过了像素值范围[0,255]，造成特征图像一片漆黑，仅有几个亮点，因此使用log()函数将幅度数值的范围缩小，此时，仍不能保证所有数值落在[0,255]区间上，进而对频域值进行规范化；使用高低频变换，使得频域原点位于图像的中心，从而获得一条倾斜的直线；使用threshold()函数将频域图像进行二值化，利用Hough直线检测获取倾斜直线，计算其倾斜角，计算图像旋转角度；利用旋转角度、仿射变换以及warpAffine()函数对原图进行矫正。
步骤S2中，在矫正后的图像上提取焊点区域包括步骤：将彩色焊点图像进行灰度化、二值化处理，利用findContours()函数提取图像轮廓，对获得的图像轮廓进行形态学操作，包括：移除孤立像素、平滑线条等操作；使用固定大小的核以从左到右、自顶向下的方式扫描二值图像，获取临近焊点上方线条的端点，连接端点，得到一条固定直线，以此直线为基准向下截取固定宽度的焊点区域。
请参见图3，在步骤S4中，线缆接头焊点合格性检测模型训练流程包括以下步骤：使用labelImg对获得的焊点图像进行标注；每张图片生成对应的.xml标签文件，得到训练数据集。
对训练数据集进行预处理：随机打乱焊点图像及对应标签的顺序，对焊点图像进行随机翻转、随机裁剪、添加噪声等操作，提高模型鲁棒性及泛化性；将焊点图像缩放至相同大小，并转化图像数据格式，进而将焊点图像解码为三维矩阵。本实施例中，将焊点图像缩放为168*308，利用tf.cast()函数将其转化为TensorFlow要求的float32位数据格式，利用tf.image.decode_jpeg()函数对float32位图像进行解码操作，获得图像的三维矩阵。
对获得的三维矩阵标准化，加快模型训练速度。本实施例中，标准化计算公式如下：
式中，Xnew为标准化后的像素值，X为原图像的像素值，μ为原图像的均值，其中
式中，σ为原图像像素的标准差，N为原图像像素数量。
本实施例中，使用自定义get_batch()函数将训练数据分为相同大小的批次，防止训练时内存溢出。建立深度神经网络分类模型，使用CNN卷积层提取带标注焊点图像特征，利用Adam优化器最小化分类损失，直至损失函数值达到最小，保存焊点检测模型。Adam优化器利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，每一次迭代学习率都有一个明确的范围，使得参数变化很平稳，其计算公式如下：
式中，mt和vt分别为一阶动量项和二阶动量项，β1和β2为动力值大小，β1＝0.9，β2＝0.999；为修正值；Wt为第t次迭代时模型的参数，表示第t次迭代损失函数关于W的梯度大小；ε是一个极小的数，为了防止分母为0，其取值为1e-8。
本实施例中，使用32个3*3的小卷积核从左到右、自顶向下依次进行扫描，提取焊点图像精细的特征，使用截断正态分布对卷积核参数进行初始化，使用计算量较小的Relu激活函数去线性化，与Sigmoid激活函数相比，Relu激活函数解决了梯度消失问题且有效避免模型过拟合。最大池化层采用3*3的卷积核且步长为1，减少了参数数量，降低了计算量，保持了平移不变性、旋转不变性以及尺度不变性，使用softmax分类器对不合格焊点进行多分类，softmax计算公式如下：
式中，P(i)表示预测为类别i的概率，θ是由权值ω组成的矩阵，x表示输入的图像特征值。
利用交叉熵代价函数加快模型训练速度，其计算公式如下：
式中，p(x)为期望输出，q(x)为实际输出，H(p,q)表示预测值与实际值的交叉熵，其值越小，说明预测值与实际值越接近。
本实施例中的步骤S5中，利用已训练好的模型对生产线上的焊点进行检测，根据检测系统对数据线焊点的检测结果，控制数据线的流向，使合格的数据线进入下一个处理流程，不合格的数据线进入相应的分拣容器。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种基于深度学习技术的线缆接头焊点合格性检测方法，其特征在于，包括步骤
S1：使用摄像头采集线缆接头焊点图像；
S2：在所述线缆接头焊点图像上提取焊点区域；
S3：使用labelImg对获得的所述焊点区域的图像进行标注；
S4：建立深度神经网络分类模型，使用CNN卷积层提取带标注焊点图像特征，利用Adam优化器最小化分类损失，直至损失函数值达到最小，保存线缆接头焊点合格性检测模型；
S5：使用所述线缆接头焊点合格性检测模型对生产线的焊点进行检测。
2.如权利要求1所述的基于深度学习技术的线缆接头焊点合格性检测方法，其特征在于，步骤S1包括步骤：对倾斜的图像进行矫正，图像的矫正包括步骤：
S11：利用离散傅里叶变换提取倾斜图像的频域特征，对其特征进行高低频变换、幅度值计算、频域值规范化等操作，获得一条倾斜的直线；
S12：利用Hough直线检测获取倾斜直线，计算其倾斜角，计算图像旋转角度；
S13：利用所述图像旋转角度和仿射变换对原图进行矫正。
3.如权利要求1所述的基于深度学习技术的线缆接头焊点合格性检测方法，其特征在于，步骤S4中所述线缆接头焊点合格性检测模型建立的步骤包括
S41：使用多个小卷积核从左到右、自顶向下依次进行扫描，提取焊点图像更精细的特征；
S42：使用截断正态分布对卷积核参数进行初始化，使用Relu激活函数去线性化且有效避免模型过拟合；
S43：使用最大池化层减少参数数量，降低计算量，保持平移不变性、旋转不变性以及尺度不变性，使用softmax分类器对不合格焊点进行多分类，使用交叉熵代价函数加快模型训练速度。
4.如权利要求1所述的基于深度学习技术的线缆接头焊点合格性检测方法，其特征在于，所述步骤S5包括步骤
S51：根据线缆接头焊点合格性检测模型对数据线焊点的检测结果，控制数据线的流向，使合格的数据线进入下一个处理流程，不合格的数据线进入相应的分拣容器。
CN201910748878.6A 2019-08-14 2019-08-14 一种基于深度学习技术的线缆接头焊点合格性检测方法 Pending CN110570398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910748878.6A CN110570398A (zh) 2019-08-14 2019-08-14 一种基于深度学习技术的线缆接头焊点合格性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910748878.6A CN110570398A (zh) 2019-08-14 2019-08-14 一种基于深度学习技术的线缆接头焊点合格性检测方法

Publications (1)

Publication Number Publication Date
CN110570398A true CN110570398A (zh) 2019-12-13

Family

ID=68775230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910748878.6A Pending CN110570398A (zh) 2019-08-14 2019-08-14 一种基于深度学习技术的线缆接头焊点合格性检测方法

Country Status (1)

Country Link
CN (1) CN110570398A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111076667A (zh) * 2019-12-23 2020-04-28 长春工程学院 一种金属表面划痕动态快速测量方法
CN111192246A (zh) * 2019-12-27 2020-05-22 苏州班奈特电子有限公司 一种焊点的自动检测方法
CN113538325A (zh) * 2020-04-21 2021-10-22 通用汽车环球科技运作有限责任公司 评估点焊完整性的系统和方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104103047A (zh) * 2014-07-25 2014-10-15 上海理工大学 一种心电图像倾斜度校正方法
WO2014198520A1 (de) * 2013-06-14 2014-12-18 Robert Bosch Gmbh Erfassungssystem zum erfassen einer lötverbindung
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN107657588A (zh) * 2017-09-25 2018-02-02 电子科技大学 用于bga焊点的x射线图像的校正方法
CN108364017A (zh) * 2018-01-24 2018-08-03 华讯方舟科技有限公司 一种图像质量分类方法、系统及终端设备
CN108956653A (zh) * 2018-05-31 2018-12-07 广东正业科技股份有限公司 一种焊点质量检测方法、系统、装置及可读存储介质
CN109001230A (zh) * 2018-05-28 2018-12-14 中兵国铁（广东）科技有限公司 基于机器视觉的焊点缺陷检测方法
CN109035242A (zh) * 2018-08-09 2018-12-18 长安大学 一种基于深度学习的hf-erw焊接状态检测方法及装置
CN109308489A (zh) * 2018-09-03 2019-02-05 中国人民解放军国防科技大学 一种元件电弧焊焊接质量检测方法
CN109460769A (zh) * 2018-11-16 2019-03-12 湖南大学 一种基于表格字符检测与识别的移动端系统与方法
CN109615609A (zh) * 2018-11-15 2019-04-12 北京航天自动控制研究所 一种基于深度学习的焊点瑕疵检测方法
CN109727229A (zh) * 2018-11-28 2019-05-07 歌尔股份有限公司 虚焊检测方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014198520A1 (de) * 2013-06-14 2014-12-18 Robert Bosch Gmbh Erfassungssystem zum erfassen einer lötverbindung
CN104103047A (zh) * 2014-07-25 2014-10-15 上海理工大学 一种心电图像倾斜度校正方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN107657588A (zh) * 2017-09-25 2018-02-02 电子科技大学 用于bga焊点的x射线图像的校正方法
CN108364017A (zh) * 2018-01-24 2018-08-03 华讯方舟科技有限公司 一种图像质量分类方法、系统及终端设备
CN109001230A (zh) * 2018-05-28 2018-12-14 中兵国铁（广东）科技有限公司 基于机器视觉的焊点缺陷检测方法
CN108956653A (zh) * 2018-05-31 2018-12-07 广东正业科技股份有限公司 一种焊点质量检测方法、系统、装置及可读存储介质
CN109035242A (zh) * 2018-08-09 2018-12-18 长安大学 一种基于深度学习的hf-erw焊接状态检测方法及装置
CN109308489A (zh) * 2018-09-03 2019-02-05 中国人民解放军国防科技大学 一种元件电弧焊焊接质量检测方法
CN109615609A (zh) * 2018-11-15 2019-04-12 北京航天自动控制研究所 一种基于深度学习的焊点瑕疵检测方法
CN109460769A (zh) * 2018-11-16 2019-03-12 湖南大学 一种基于表格字符检测与识别的移动端系统与方法
CN109727229A (zh) * 2018-11-28 2019-05-07 歌尔股份有限公司 虚焊检测方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
MARSJHAO: "TensorFlow上实现卷积神经网络CNN", 《HTTPS://BLOG.CSDN.NET/MARSJHAO/ARTICLE/DETAILS/71249290》 *
XIUYUN ZHOU 等: "Detection of small-size solder ball defects through heat conduction analysis", 《REVIEW OF SCIENTIFIC INSTRUMENTS》 *
其他: "python+opencv实现基于傅里叶变换的旋转文本校正", 《HTTPS://WWW.CODETD.COM/ARTICLE/1475189》 *
火星辉: "TensorFlow per_image_standardization", 《HTTPS://BLOG.CSDN.NET/ZULIANG001/ARTICLE/DETAILS/84534457》 *
零钱币: "基于傅里叶变换的旋转文本图像矫正", 《HTTPS://BLOG.CSDN.NET/LINQIANBI/ARTICLE/DETAILS/78863839》 *
魏雷 等: "一种镀锌板电阻点焊质量的无损评判方法", 《电焊机》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111076667A (zh) * 2019-12-23 2020-04-28 长春工程学院 一种金属表面划痕动态快速测量方法
CN111076667B (zh) * 2019-12-23 2021-07-30 长春工程学院 一种金属表面划痕动态快速测量方法
CN111192246A (zh) * 2019-12-27 2020-05-22 苏州班奈特电子有限公司 一种焊点的自动检测方法
CN111192246B (zh) * 2019-12-27 2023-06-13 苏州班奈特电子有限公司 一种焊点的自动检测方法
CN113538325A (zh) * 2020-04-21 2021-10-22 通用汽车环球科技运作有限责任公司 评估点焊完整性的系统和方法
CN113538325B (zh) * 2020-04-21 2023-09-15 通用汽车环球科技运作有限责任公司 评估点焊完整性的系统和方法

Similar Documents

Publication Publication Date Title
CN112949564B (zh) 一种基于深度学习的指针式仪表自动读数方法
CN110070536B (zh) 一种基于深度学习的pcb板元器件检测方法
CN111008961B (zh) 一种输电线路设备缺陷检测方法及其系统、设备、介质
CN110570398A (zh) 一种基于深度学习技术的线缆接头焊点合格性检测方法
US9558403B2 (en) Chemical structure recognition tool
JPH0726836B2 (ja) テキスト方位決定方法
US11348349B2 (en) Training data increment method, electronic apparatus and computer-readable medium
CN109389105B (zh) 一种基于多任务的虹膜检测和视角分类方法
CN113516619B (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
CN111310826A (zh) 样本集的标注异常检测方法、装置及电子设备
CN110927167A (zh) 一种禽蛋检测方法、装置、电子设备及存储介质
CN116228741A (zh) 一种pcba元器件缺陷检测方法及装置
CN114882039A (zh) 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法
CN115775246A (zh) 一种pcb元器件缺陷检测的方法
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN112017154A (zh) 基于Mask R-CNN模型的一种射线缺陷检测方法
CN113469944A (zh) 一种产品质检方法、装置和电子设备
CN115457276B (zh) 基于视觉检测的输配电变压器高压绕组缠绕角度检测方法
CN111539931A (zh) 一种基于卷积神经网络和边界限定优化的外观异常检测方法
CN116259008A (zh) 一种基于计算机视觉的水位实时监测方法
CN115272340A (zh) 工业产品缺陷检测方法和装置
CN113506290A (zh) 一种线路绝缘子缺陷检测方法及装置
CN114494142A (zh) 一种基于深度学习的移动终端中框缺陷检测方法及装置
CN114283319A (zh) 一种机车轮对踏面剥离识别方法
CN112270323B (zh) 智能医疗复检控制方法、系统、介质、计算机设备及应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213