CN105891215B - 基于卷积神经网络的焊接视觉检测方法及装置 - Google Patents
基于卷积神经网络的焊接视觉检测方法及装置 Download PDFInfo
- Publication number
- CN105891215B CN105891215B CN201610202750.6A CN201610202750A CN105891215B CN 105891215 B CN105891215 B CN 105891215B CN 201610202750 A CN201610202750 A CN 201610202750A CN 105891215 B CN105891215 B CN 105891215B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolutional neural
- output
- neural network
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 74
- 238000003466 welding Methods 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 230000007547 defect Effects 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000007689 inspection Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 26
- 210000002569 neuron Anatomy 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 239000002893 slag Substances 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000005336 cracking Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims 1
- 210000004205 output neuron Anatomy 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 18
- 238000004458 analytical method Methods 0.000 abstract description 12
- 230000009194 climbing Effects 0.000 abstract 1
- 230000009193 crawling Effects 0.000 description 21
- 229910000831 Steel Inorganic materials 0.000 description 20
- 239000010959 steel Substances 0.000 description 20
- 239000011521 glass Substances 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000011179 visual inspection Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000009658 destructive testing Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000009659 non-destructive testing Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于卷积神经网络的焊接视觉检测方法，包括如下步骤：第一步，训练阶段，将训练样本输入卷积神经网络，获得卷积神经网络的连接权值和偏置值；第二步，测试阶段，读入焊接图像，对焊接图像采用数字图像处理技术进行预处理，提取出感兴趣区域，然后将感兴趣区域图像尺寸进行归一化处理后作为卷积神经网络的输入。以及提供一种基于卷积神经网络的焊接视觉检测装置，包括爬行机构、动力传动机构、视觉检测设备和焊缝缺陷检测分析系统。本发明提供一种提升自动化和智能化水平、有效提高检测的精度和速度的基于卷积神经网络的焊接视觉检测方法及装置。
Description
技术领域
本发明属于爬行器、全方位视觉传感器、无线通信、深度学习以及计算机视觉技术在焊缝缺陷识别检测中的应用，涉及一种焊接视觉检测方法及装置。
背景技术
在制造业中，焊接是许多加工制造方法的基础，其质量好坏决定了产品的可靠性。焊接质量检测是保证焊接质量的重要手段，目前环节质量检测方法主要有：破坏性检测和非破坏性检测等。破坏性检测与非破坏性检测相比，可靠性更高，但是工件必然受到破坏。视觉检测方法作为最广泛采用的非破坏性检测方法，能够实现对焊缝表面形貌、表面几何形状以及表面存在的不连续性或缺陷的质量分析。
中国发明专利申请号201310133509.9公开了一种机器人焊接质量视觉检测装置及其检测方法。该专利机器人焊接质量视觉检测装置包括连接于机器人焊接臂上的焊接头、视觉枪及视觉系统，其中视觉枪连接于焊接臂上跟随焊枪头运动，对焊接点进行检测并将扫描的图片信息传送到视觉系统，视觉系统将接收的图片信息与标准配方数据进行比对，对焊接前焊接拼接误差、焊接后的焊点质量及焊接过程进行实时检测和判断。该装置提供了一种不需要设计和安装额外的伺服随动装置，节省了大量的辅助设备投入。这个发明主要存在的问题是，焊接效果好坏的判断是通过视觉系统将焊接过程中、焊接后的焊点图片信息与焊接过程中、焊接后的焊点标准配方数据进行比对，无法保证精度的要求。
中国发明专利申请号201410256520.9公开了一种焊缝焊接质量自动检测装置。该专利包含了视觉检测器、超声波检测头和驱动部件。该装置不管焊缝位于任何位置，都可通过可自动移动的超声波检测头进行检测，提高了检测装置的通用性和自动化程度。但没有说明检测的具体方法。
Gatera等提出了用于X射线焊缝图像缺陷提取的两步法，首先，基于缺陷灰度的变化特性，快速确定缺陷所在大致区域，然后，运用序列相似性检测算法或阈值算法完成对缺陷的识别，该方法能有效提取一些相对明显的缺陷，但有时存在缺陷漏检的问题。
Jacobsen等提出了使用神经网络检测数字化底片中裂纹缺陷的方法，方法先对射线图像进行形态学滤波、高斯滤波、GWIMV滤波、FFT滤波、小波变换等 处理，再对各线灰度波形在滤波效果中提取特征并采用设计网络判别该线灰度波形是否包含裂纹缺陷，该方法对纵向裂纹的检测效果相对较好，但可靠性还不高。
在国内，大连理工大学提出了基于多阈值和支持向量机的裂纹缺陷检测方法，方法首先逐块区域使用多阈值提取特征，并通过支持向量机判断区域是否包含裂纹缺陷，然后针对包含缺陷的大致区域，采用Hough变换检测缺陷，实验表明该方法能够较好的分割定位纵向裂纹缺陷，但方法比较复杂而且并未讨论对不规则裂纹缺陷的检测效果。
中国矿业大学刘元祥等提出应用支持向量机(SVM)进行射线检测焊接缺陷识别的方法。该方法首先对图像进行预处理，并根据缺陷特点提取、选择8个参数作为特征参数，将焊缝内常见缺陷分为6类，根据有限的学习样本，建立影响缺陷类别的条件、因素和类别之间的一种非线性映射，对测试的样本进行识别。
但上述一些视觉检测的图像分析主要还是人工评定，其存在有评判结果的不确定性、操作麻烦等缺点。同时焊缝图像中缺陷特征和缺陷类别关系比较复杂，也存在着正确识别率不高的问题。针对焊接缺陷自动提取和识别问题，国内外研究人员已提出了许多方法，但现在还未达到可以应用的水平。随着计算机图像处理技术和人工智能技术的发展，为提高效率和准确率，减轻检测人员的劳动强度，保证评判结果的一致性，提高识别稳定性，一般性地解决该问题还需要结合图像处理和机器学习的新发展进一步研究。
由于焊缝缺陷影像差异和变化较大，每种焊缝缺陷影像不仅与缺陷自身形态有关，而且与工件厚度、焊接方法、工件焊接位置、透照角度、底片质量等许多因素有关，因此焊缝缺陷影像不能用简单的规则和分类器方法进行分类。同时，目前主流的分类方式几乎都是基于统计特征的，这就意味着在进行分辨前必须提取某些特征。然而，显式的特征提取并不容易，在一些应用问题中也并非总是可靠的。
发明内容
为了克服已有的焊接检测方法的自动化和智能化水平低、难以对焊缝的缺陷进行高精度的自动分析和评估等不足，本发明提供一种提升自动化和智能化水平、有效提高检测的精度和速度的基于卷积神经网络的焊接视觉检测方法及装置。
本发明解决其技术问题所采用的技术方案是：
一种基于卷积神经网络的焊接视觉检测方法，所述方法包括如下步骤：
第一步，训练阶段，将训练样本输入卷积神经网络，获得卷积神经网络的连接权值和偏置值；
第二步，测试阶段，读入焊接图像，对焊接图像采用数字图像处理技术进行预处理，提取出感兴趣区域，然后将感兴趣区域图像尺寸进行归一化处理后作为卷积神经网络的输入；
所述卷积神经网络的结构为6层，包括依次连接的输入层，C1层、S2层、C3层、S4层和输出层，C1层、C3层为卷积层，S2层、S4层为下采样层，输入层为大小为28*28像素的图像，C1层由6个大小为24*24像素的特征map构成，S2层由6个大小为12*12像素的特征map构成，C3层由12个大小为8*8像素的特征map构成，S4层由12个大小为4*4像素的特征map构成，输出层包括6个一维向量，分别表示6类焊缝缺陷：(1)裂纹；(2)未焊透；(3)未熔合；(4)条状夹渣；(5)球状夹渣；(6)气孔。
进一步，所述训练样本有1万张图片，在这1万张样本中，有500张为焊接缺陷图片，剩余9500张为前述500张焊接缺陷图片经加入高斯白噪声、图片旋转、颜色变换、平移、对比度拉伸、翻转图像处理方法得到的焊接缺陷图片，然后将感兴趣区域图像尺寸进行归一化处理后作为卷积神经网络的输入；所述的训练样本包括输入向量和理想输出向量，当输入向量输入CNN中后经过逐层变换，传送到输出层，得到实际输出向量。
再进一步，C1层经过5×5的卷积模板卷积后，6个特征图的大小均为24*24，特征图中每个神经元与输入中5×5的卷积模板相连，每个滤波器5×5共25个元参数和一个偏置参数，共6个滤波器，共6×(5×5+1)＝156个可训练参数，共有156×(24×24)＝89856个连接；
S2层经下采样后得到6个12×12的特征图，特征图中的每个单元与C1中对 应特征图的2×2邻域连接，S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置；结果通过Sigmoid函数计算，函数如下：
下采样相当于模糊图像，使用2×2模板时不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4(行和列各1/2)。每一个子采样特征图需要训练2个参数，S2共有6×2＝12个参数需要训练，共有6×(2×2+1)×(12×12)＝4320个连接；
C3层也是一个卷积层，它跟C1有类似的地方，但也有一定的差别。它同样通过5×5的卷积核去卷积层S2，然后得到的特征map就只有8×8个神经元，但是它有12种不同的卷积核，所以就存在12个特征map了。这里需要注意的一点是：C3中的每一个特征map是连接到S2中的所有6个或者几个特征map的，表示每一层的特征map是上一层提取到的特征map的不同组合。如表1所示，C3层共有12个特征图，其中5个特征图抽取S2层中3个相邻的特征图子集信息；4个特征图抽取S2中4个相邻特征图子集信息；2个抽取不相邻的4个特征图子集信息，1个抽取S2中所有特征图组合信息，最理想的是12个特征图抽取的特征是互补的；这样C3层有(5×5)×45+12＝1137个可训练参数和1137×8×8＝72768个连接；
S4层是一个下采样层，由16个4×4大小的特征图构成。特征图中的每个单元与C3中相应特征图的2×2邻域相连接，跟C1和S2之间的连接一样。S4层有2×12＝24个可训练参数和(2×2+1)×12×(5×5)＝1500个连接；
输出层是与S4的一个全连接层。S4有12×4×4＝192个神经元，每一个神经元都与输出的一个神经元相连，输出层共有6个神经元(焊缝缺陷种类)，所以共有192×6＝1152个连接。
更进一步，所述第一步中，训练过程包括4步，这4步被分为两个阶段：
第一阶段，向前传播阶段：
1.1.1)从样本集中取一个样本(X,Yp)，将X输入网络；
1.1.2)计算相应的实际输出Op；
在此阶段，信息从输入层经过逐级的变换，传送到输出层，网络执行的是计算：
Op＝Fn(...(F2(F1(XpW(1))W(2))...)W(n)) (2)
在计算过程中，都是用Sigmoid作为激活函数；
第二阶段，向后传播阶段：
1.2.1)计算实际输出Op与相应的理想输出Yp的差；
1.2.2)按极小化误差的方法反向传播调整权矩阵；
向后传播阶段也是卷积神经网络中最复杂的地方，基本思想是跟反向传播算法(BP算法)一样，都是通过最小化残差来调整权重和偏置，但是卷积神经网络的网络结构并不像反向传播算法那样单一，对不同的结构处理方式也不一样，而且因为权重共享，使得计算残差变得更加困难。所述的反向传播算法是一种计算偏导数的有效方法，它的基本原理是：利用前向传播最后输出的结果来计算误差的偏导数，再用这个偏导数和前面的各层进行加权求和，如此一层一层的向后传下去，直到输入层(不计算输入层)，最后利用每个节点求出的偏导数来更新权重。
输出层到S4层的残差＝-(输出值-样本值)*激活函数的导数，隐藏层的残差＝(右层每个节点的残差加权求和)*激活函数；
其中，残差全部计算好后，就可以更新权重了：
(1)输入层：权重增加＝输入值*右层对应节点的残差*学习率；
(2)隐藏层：权重增加＝当前节点的Sigmoid*右层对应节点的残差*学习率；
(3)偏移值的权重增加＝右层对应节点的残差*学习率；
其中，隐藏层表示除输入层、输出层以外的其他各层，学习率是一个预先设置好的参数，用于控制每次更新的幅度；此后，对全部数据都反复进行这样的计算，直到输出的误差达到一个很小的值为止；
在卷积神经网络中，输出层的残差是输出值与样本值的差值，而中间各层的残差来源于下一层的残差的加权和，输出层的残差计算如下：
其中，(第nl层表示输出层)为输出层的残差，yi表示输出值，表示前向传播中输出层的输入值，表示激活函数的导数；
下一层为采样层的卷积层的残差的计算可以对采样层的残差与一个2×2的全1矩阵进行克罗内克积进行扩充，因为从卷积神经网络的结构图看出，采样层的map大小是卷积层的但这两层的map个数是一样的，卷积层的某个map中的4个单元与采样层对应map的一个单元关联，扩充之后使得采样层的残差的维度与上一层的输出map的维度一致；
下一层为卷积层的采样层的残差的计算比较麻烦一点，因为采样层到卷积层直接的连接是有权重和偏置参数的，因此不像卷积层到采样层那样简单。当采样层L的下一层是卷积层(L+1)，并假设我们已经计算出L+1层的残差，再假设L层第j个map Mj与L+1层的M2j关联，按照反向传播算法的原理，L层的残差Dj是L+1层残差D2j的加权和，M2j与Mj的关联关系采用将卷积核矩阵进行180度旋转，使之一一对应；
残差计算出来后，就是更新权重和偏置参数。
在完成卷积神经网络的训练后，便进入了测试阶段，测试阶段用来测试所使用的卷积神经网络用于焊缝缺陷识别的精度和速度是否可靠，其过程为：读取检测图像，将这些疑似焊缝缺陷归一化为同尺寸灰度图，然后将这些图像输入训练好的卷积神经网络中进行测试，利用卷积神经网络进行分类，分类的结果为上述的6类焊缝缺陷，进而获取误差率。
一种基于卷积神经网络的焊接视觉检测装置，所述装置包括爬行机构、动力传动机构、视觉检测设备和焊缝缺陷分析系统；
所述的爬行机构分为前后两组，每组由相隔120°的3个轮子构成，前组起导向，后组为驱动；爬行机构具有足够摩擦力，防止在内膛打滑，由弹簧刚度保证；爬行脚具有设定宽度，采用耐磨橡胶轮；
所述的动力传动机构位于爬行装置的后部；采用步进电机为动力源，经齿轮传动后，将动力传递给爬行脚，以驱动爬行装置在钢管内爬行；
所述的视觉检测设备配置在所述的爬行机构前方，主要包括无线通信单元、主动式全景视觉传感器和电源；
所述的焊缝缺陷检测分析系统分为系统软硬件，系统硬件包括无线通信单元、计算单元、存储单元和显示单元；系统软件包括全景视频图像接收单元、全景视频图像展开单元和卷积神经网络处理单元。
进一步，所述的全景视觉传感器包括全方位视觉传感器和LED带光源；所述的全方位视觉传感器包括凹圆弧镜面、凹圆弧镜面盖、透光玻璃、固定螺钉、外罩和摄像单元；
所述的凹圆弧镜面的轴心线上开有一个螺纹孔；所述的透光玻璃的中心开有一个小孔；所述的外罩由两个半圆柱型相合而成，半圆柱型上的雌雄扣相配合；装配时首先将透光玻璃嵌入到一个半圆柱型的外罩中，然后对准两半圆柱型的雌雄扣，并在其各自外壁上施加外力使其合成为一个固定了透光玻璃的外罩；所述的外罩下部开有一个摄像镜头孔；接着用固定螺钉穿过所述的透光玻璃的小孔与凹圆弧镜面上的螺纹孔进行连接；所述的摄像单元的镜头固定在所述的外罩摄像镜头孔中；所述的凹圆弧镜面盖中心开有一个小孔；
所述的LED带光源环绕在所述的全方位视觉传感器的下固定座上。
所述的全方位视觉传感器的设计指标是尽可能大的垂直视场和尽可能短的成像焦距，并满足轻量化和低成本设计要求，所述的全方位视觉传感器的采用塑料模具成型加工。
再进一步，所述的全景视频图像展开单元，用于对钢管内壁全景图像进行展开处理得到钢管内壁全景展开图；根据全景图像的中心坐标以及图像的内外圆半径，将全景图像的中心坐标设定平面坐标系的原点O**(0,0)、X*轴、Y*轴、全景图像的内径为r、外径为R，用r1＝(r+R)/2设定中间圆的半径，方位角为β＝tan-1(y*/x*)；全景柱状展开图像以坐标原点O**(0,0)、X**轴、Y**轴为平面坐标系，将全景图像中的内径为r与X*轴的交点(r,0)作为坐标原点O**(0,0)，以方位角β顺时针方向展开；建立全景柱状展开图像中任意一点象素坐标P**(x**,y**)与全景图像中的象素坐标Q*(x*,y*)的对应关系，其计算式为：
x*＝y*/(tan(360x**/π(R+r))) (4)
y*＝(y**+r)cosβ (5)
式中，x**,y**为全景柱状展开图像的象素坐标值，x*，y*为全景图像的象素坐标值，R为圆形全景图像的外径，r为圆形全景图像的内径，β为圆形全景图像坐标的方位角；这里规定采用时钟时针位置来描述焊缝缺陷出现在钢管内壁环向的位置。
本发明的技术构思为：卷积神经网络CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。
卷积神经网络避免了显式的特征取样，隐式地从训练数据中进行学习。这使得卷积神经网络明显有别于其他基于神经网络的分类器，通过结构重组和减少权 值将特征提取功能融合进多层感知器。它可以直接处理灰度图片，能够直接用于处理基于图像的分类。
卷积网络较一般神经网络在图像处理方面有如下优点：a)输入图像和网络的拓扑结构能很好的吻合；b)特征提取和模式分类同时进行，并同时在训练中产生；c)权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。
为了能够提高焊接视觉检测的精度和速度，必须要解决几个核心问题：(1)实现一种适合钢管内进行稳定行走的爬行机构；(2)实现一种具有无线视频图像传输能力、并能快速且高精度获得实际焊缝图像信息的全景视觉传感器；(3)实现一种含有对焊接缺陷进行分类功能的卷积神经网络；(4)实现一批可以用于卷积神经网络训练用的焊接缺陷样本数据。
本发明的有益效果主要表现在：1)提供了一种高性价比的、轻型的、能快速获取全景图像的全方位视觉传感器；与焊缝缺陷检测分析系统配合实现了“采集-识别-判定”全过程的自动运行，真正实现了焊缝检测的自动化；2)本发明采用卷积神经网络作为焊接缺陷检测的分类器，由于卷积神经网络权值共享的网络结构，降低了网络结构的复杂度，减少了权值的数量，所以由它进行分类的速度快，另外，使用带有疑似缺陷样本进行训练，让卷积神经网络自动学习6类样本复杂的类条件密度，避免了人为假设类条件密度函数所带来的问题，提高了检测精度；3)本发明在测试过程中将测试样本进行分批处理，加快了测试的速度，减少了测试时间；4)提供了一种小型化、无线化的钢管内壁焊缝缺陷自动检测的手段，极大的降低了焊缝缺陷检测的工作负荷，提高了检测效率；5)本发明采用卷积神经网络和分批处理的测试方法，提高了焊接检测的精度和速度，非常适用于工业生产等实时性要求高的系统，因此具有巨大前景。
附图说明
图1是本发明卷积神经网络训练阶段流程图；
图2是本发明卷积神经网络测试阶段流程图；
图3是本发明卷积神经网络结构图；
图4是本发明卷积神经网络训练过程；
图5是本发明中归一化后的同尺寸焊接缺陷图像；
图6为一种微型无线全景视觉传感器进行焊缝缺陷检测的总体宏观示意图；
图7为一种全方位视觉传感器的结构图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图7，一种基于卷积神经网络的焊接视觉检测方法，包括如下过程：
训练阶段，首先需要搜集训练样本，在本实施例中，一共搜集1万张训练样本，在这1万张样本中，有500张为焊接缺陷图片，剩余9500张为前述500张焊接缺陷图片经加入高斯白噪声、图片旋转、颜色变换、平移、对比度拉伸、翻转等图像处理方法得到的焊接缺陷图片。然后将这些样本输入卷积神经网络中进行训练，获得卷积神经网络的连接权值和偏置值。
在本实施例中，卷积神经网络的结构采用图3所示的结构，该卷积神经网络共有6层，包括依次连接的输入层、C1层、S2层、C3层、S4层和输出层。输入层为训练样本，其大小为28*28像素。C1层是一个卷积层，由6个大小为24*24像素的特征map构成，特征map中的每个神经元与输入层中5×5的邻域相连接，C1层共有6×(5×5+1)＝156个参数，即输入层和C1层共有156×(24×24)＝89856个连接。
S2层是一个下采样层，下采样可以利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息。S2层有6个12×12的特征图。特征图中的每个单元与C1中相对应特征图的2×2邻域相连接。S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过Sigmoid函数计算。可训练系数和偏置控制着Sigmoid函数的非线性程度。如果系数比较小，那么运算近似于线性运算，下采样相当于模糊图像。如果系数比较大，根据偏置的大小下采样可以被看成是有噪声的“或”运算或者有噪声的“与”运算。每个单元的2×2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4(行和列各1/2)。每一个子采样特征图需要训练2个参数，S2共有6×2＝12个参数需要训练，共有6×(2×2+1)×(12×12)＝4320个连接。表1是S2层与C3层神经元连接方式表。
表1
C3层也是一个卷积层，它跟C1有类似的地方，但也有一定的差别。它同样通过5×5的卷积核去卷积层S2，然后得到的特征map就只有8×8个神经元，但是它有12种不同的卷积核，所以就存在12个特征map了。这里需要注意的一点是：C3中的每一个特征map是连接到S2中的所有6个或者几个特征map的，表示每一层的特征map是上一层提取到的特征map的不同组合。如表1所示，C3层共有12个特征图，其中5个特征图抽取S2层中3个相邻的特征图子集信息；4个特征图抽取S2中4个相邻特征图子集信息；2个抽取不相邻的4个特征图子集信息，1个抽取S2中所有特征图组合信息，最理想的是12个特征图抽取的特征是互补的。这样C3层有(5×5)×45+12＝1137个可训练参数和1137×8×8＝72768个连接。
S4层是一个下采样层，由16个4×4大小的特征图构成。特征图中的每个单元与C3中相应特征图的2×2邻域相连接，跟C1和S2之间的连接一样。S4层有2×12＝24个可训练参数和(2×2+1)×12×(5×5)＝1500个连接。
输出层是与S4的一个全连接层。S4有12×4×4＝192个神经元，每一个神经元都与输出的一个神经元相连，输出层共有6个神经元(焊缝缺陷种类)，所以共有192×6＝1152个连接。这里可以将S4看作一个192维的线性向量，而S4到输出层的映射相当于使用该向量进行分类，这个分类器共有1152个参数，因此具有很强的描述能力。输出层包括6个单元，分别表示6类焊缝缺陷：(1)裂纹；(2)未焊透；(3)未熔合；(4)条状夹渣；(5)球状夹渣；(6)气孔。
神经网络用于模式识别的主流是有监督学习，无监督学习更多的是用于聚类分析。对于有监督的模式识别，由于任一样本的类别是已知的，样本在空间的分布不再是依据其自然分布倾向来划分，而是要根据同类样本在空间的分布及不同类样本之间的分离程度找一种适当的空间划分方法，或者找到一个分类边界，使得不同样本分别位于不同的区域内。这就需要一个长时间且复杂的学习过程，不 断调整用以划分样本空间的分类边界的位置，使尽可能少的样本被划分到非同类区域中。
卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确数学表达式，只要用已知的模式对卷积神经网络加以训练，网络就具有输入对输出之间的映射能力。在开始训练前，所有的权值都应该用一些不同的小随机数进行初始化，比如[0,1]之间分布的随机数。“小随机数”用来保证网络不会因权值过大而进入饱和状态，从而导致训练失败；“不同”用来保证网络可以正常地学习。实际上，如果用相同的数去初始化权矩阵，则具有对称性，导致每一层的卷积核都相同，则网络无能力学习。
卷积神经网络的训练过程如图4所示，主要包括4步，这4步被分为两个阶段：
第一阶段，向前传播阶段：
(1)从样本集中取一个样本(X,Yp)，将X输入网络；
(2)计算相应的实际输出Op。
在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算(实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果)：
Op＝Fn(...(F2(F1(XpW(1))W(2))...)W(n)) (2)
在计算过程中，都是用Sigmoid作为激活函数。
第二阶段，向后传播阶段：
(1)计算实际输出Op与相应的理想输出Yp的差；
(2)按极小化误差的方法反向传播调整权矩阵。
向后传播阶段也是卷积神经网络中最复杂的地方，基本思想是跟反向传播算法(BP算法)一样，都是通过最小化残差来调整权重和偏置，但是卷积神经网络的网络结构并不像反向传播算法那样单一，对不同的结构处理方式也不一样，而且因为权重共享，使得计算残差变得更加困难。所述的反向传播算法是一种计算偏导数的有效方法，它的基本原理是：利用前向传播最后输出的结果来计算误差的偏导数，再用这个偏导数和前面的各层进行加权求和，如此一层一层的向后 传下去，直到输入层(不计算输入层)，最后利用每个节点求出的偏导数来更新权重。其中，为了便于理解，后面我们用“残差”这个词来表示误差的偏导数。
其中，输出层到S4层的残差＝-(输出值-样本值)*激活函数的导数，隐藏层的残差＝(右层每个节点的残差加权求和)*激活函数。
其中，残差全部计算好后，就可以更新权重：
(1)输入层：权重增加＝输入值*右层对应节点的残差*学习率
(2)隐藏层：权重增加＝当前节点的Sigmoid*右层对应节点的残差*学习率
(3)偏移值的权重增加＝右层对应节点的残差*学习率
其中，隐藏层表示除输入层、输出层以外的其他各层。学习率是一个预先设置好的参数，用于控制每次更新的幅度。此后，对全部数据都反复进行这样的计算，直到输出的误差达到一个很小的值为止。
在卷积神经网络中，输出层的残差是输出值与样本值的差值，而中间各层的残差来源于下一层的残差的加权和。输出层的残差计算如下：
其中，(第nl层表示输出层)为输出层的残差，yi表示输出值，表示前向传播中输出层的输入值，表示激活函数的导数。
下一层为采样层的卷积层的残差的计算可以对采样层的残差与一个2×2的全1矩阵进行克罗内克积进行扩充，因为从卷积神经网络的结构图看出，采样层的map大小是卷积层的但这两层的map个数是一样的，卷积层的某个map中的4个单元与采样层对应map的一个单元关联，扩充之后使得采样层的残差的维度与上一层的输出map的维度一致。
下一层为卷积层的采样层的残差的计算比较麻烦一点，因为采样层到卷积层直接的连接是有权重和偏置参数的，因此不像卷积层到采样层那样简单。当采样层L的下一层是卷积层(L+1)，并假设我们已经计算出L+1层的残差，再假设L层第j个map Mj与L+1层的M2j关联，按照反向传播算法的原理，L层的残差Dj是L+1层残差D2j的加权和，M2j与Mj的关联关系采用将卷积核矩阵进行180度旋转，使之一一对应。
残差计算出来后，就是更新权重和偏置参数。
在完成卷积神经网络的训练后，便进入了测试阶段，测试阶段用来测试所使用的卷积神经网络用于焊缝缺陷识别的精度和速度是否可靠。其过程为：读取检测图像，如图5所示，将这些疑似焊缝缺陷归一化为同尺寸灰度图，然后将这些图像输入训练好的卷积神经网络中进行测试，利用卷积神经网络进行分类，分类的结果为上述的6类焊缝缺陷，进而可以获取误差率。
一种基于全景视觉的焊缝缺陷检测装置主要由爬行机构、动力传动机构、视觉检测设备、焊缝缺陷检测分析系统；爬行机构由动力传动机构驱动，爬行机构携带着视觉检测设备在钢管内(如图6所示)爬行，视觉检测设备在爬行过程中采集钢管内的视频图像，采集后的视频图像通过无线通信单元发送给焊缝缺陷检测分析系统，在焊缝缺陷检测分析系统中进行缺陷自动检测，最后将检测结果显示在显示设备上；
所述的爬行机构位于爬行装置的中部，如图7所示，分为前后两组，前组起导向，后组为驱动；爬行机构具有足够摩擦力，防止在钢管内打滑，由弹簧刚度保证；爬行脚具有一定宽度，确保在钢管内直线爬行，采用耐磨橡胶轮，以减小对钢管内壁的磨损；
所述的动力传动机构位于爬行装置的后部；采用步进电机为动力源，经齿轮传动后，将动力传递给爬行脚，以驱动爬行装置在钢管内爬行；
所述的视觉检测设备主要包括无线通信单元、全景视觉传感器和电源；
所述的焊缝缺陷检测分析系统主要分为系统软硬件，系统硬件主要包括无线通信单元、计算单元、存储单元和显示单元；系统软件主要包括全景视频图像接收单元、全景视频图像展开单元、卷积神经网络处理单元；
所述的主动式全景视觉传感器主要包括全方位视觉传感器、LED带光源；
所述的全方位视觉传感器包括凹圆弧镜面2、凹圆弧镜面盖1、透光玻璃3、固定螺钉4、外罩5和摄像单元7；如图7所示，所述的凹圆弧镜面的轴心线上开有一个螺纹孔；所述的透光玻璃的中心开有一个小孔；所述的外罩由两个半圆柱型相合而成，半圆柱型上的雌雄扣相配合；装配时首先将透光玻璃嵌入到一个半圆柱型的外罩中，然后对准两半圆柱型的雌雄扣，并在其各自外壁上施加外力使其合成为一个固定了透光玻璃的外罩；所述的外罩下部开有一个摄像镜头孔；接着用固定螺钉穿过所述的透光玻璃的小孔与凹圆弧镜面上的螺纹孔进行连接；所述的摄像单元的镜头固定在所述的外罩摄像镜头孔中；所述的凹圆弧镜面盖中心开有一个小孔8；
基于全景视觉的焊缝缺陷检测原理是：爬行机构由动力传动机构驱动，爬行机构携带着视觉检测设备在钢管内爬行，视觉检测设备在爬行过程中采集钢管内的全景视频图像；采集后的全景视频图像通过无线通信单元发送给焊缝缺陷检测分析系统，在焊缝缺陷检测分析系统中进行缺陷自动检测及识别，最后将检测结果显示在显示设备上；
所述的全景视频图像接收单元，用于接收从所述的视觉检测设备发送过来的钢管内壁全景视频图像；根据LED带光源照射得到的是钢管内壁全景图像；这里将接收单元接收到的钢管内壁全景图像用爬行距离Zm为文件名保存在存储单位中；
所述的全景视频图像展开单元，用于对钢管内壁全景图像进行展开处理得到钢管内壁全景展开图；根据全景图像的中心坐标以及图像的内外圆半径，将全景图像的中心坐标设定平面坐标系的原点O**(0,0)、X*轴、Y*轴、全景图像的内径为r、外径为R，用r1＝(r+R)/2设定中间圆的半径，方位角为β＝tan-1(y*/x*)；全景柱状展开图像以坐标原点O**(0,0)、X**轴、Y**轴为平面坐标系，将全景图像中的内径为r与X*轴的交点(r,0)作为坐标原点O**(0,0)，以方位角β顺时针方向展开；建立全景柱状展开图像中任意一点象素坐标P**(x**,y**)与全景图像中的象素坐标Q*(x*,y*)的对应关系，其计算式为：
x*＝y*/(tan(360x**/π(R+r))) (4)
y*＝(y**+r)cosβ (5)
式中，x**,y**为全景柱状展开图像的象素坐标值，x*，y*为全景图像的象素坐标值，R为圆形全景图像的外径，r为圆形全景图像的内径，β为圆形全景图像坐标的方位角；这里规定采用时钟时针位置来描述焊缝缺陷出现在钢管内壁环向的位置。
Claims (5)
1.一种基于卷积神经网络的焊接视觉检测方法，其特征在于：所述方法包括如下步骤：
第一步，训练阶段，将训练样本输入卷积神经网络，获得卷积神经网络的连接权值和偏置值；
第二步，测试阶段，读入焊接图像，对焊接图像采用数字图像处理技术进行预处理，提取出感兴趣区域，然后将感兴趣区域图像尺寸进行归一化处理后作为卷积神经网络的输入；
所述卷积神经网络的结构为6层，包括依次连接的输入层，C1层、S2层、C3层、S4层和输出层，C1层、C3层为卷积层，S2层、S4层为下采样层，输入层为大小为28*28像素的图像，C1层由6个大小为24*24像素的特征map构成，S2层由6个大小为12*12像素的特征map构成，C3层由12个大小为8*8像素的特征map构成，S4层由12个大小为4*4像素的特征map构成，输出层包括6个一维向量，分别表示6类焊缝缺陷：(1)裂纹；(2)未焊透；(3)未熔合；(4)条状夹渣；(5)球状夹渣；(6)气孔；
C1层经过5×5的卷积模板卷积后，6个特征图的大小均为24*24，特征图中每个神经元与输入中5×5的卷积模板相连，每个滤波器5×5共25个元参数和一个偏置参数，共6个滤波器，共6×(5×5+1)＝156个可训练参数，共有156×(24×24)＝89856个连接；
S2层经下采样后得到6个12×12的特征图，特征图中的每个单元与C1中对应特征图的2×2邻域连接，S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置；结果通过Sigmoid函数计算，函数如下：
下采样相当于模糊图像，使用2×2模板时不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4；每一个子采样特征图需要训练2个参数，S2共有6×2＝12个参数需要训练，共有6×(2×2+1)×(12×12)＝4320个连接；
C3层也是一个卷积层，它跟C1有类似的地方，但也有一定的差别，它同样通过5×5的卷积核去卷积层S2，然后得到的特征map就只有8×8个神经元，但是它有12种不同的卷积核，所以就存在12个特征map，这里需要注意的一点是：C3中的每一个特征map是连接到S2中的所有6个或者几个特征map的，表示每一层的特征map是上一层提取到的特征map的不同组合，C3层共有12个特征图，其中5个特征图抽取S2层中3个相邻的特征图子集信息；4个特征图抽取S2中4个相邻特征图子集信息；2个抽取不相邻的4个特征图子集信息，1个抽取S2中所有特征图组合信息，最理想的是12个特征图抽取的特征是互补的；这样C3层有(5×5)×45+12＝1137个可训练参数和1137×8×8＝72768个连接；
S4层是一个下采样层，由16个4×4大小的特征图构成，特征图中的每个单元与C3中相应特征图的2×2邻域相连接，跟C1和S2之间的连接一样，S4层有2×12＝24个可训练参数和(2×2+1)×12×(5×5)＝1500个连接；
输出层是与S4的一个全连接层，S4有12×4×4＝192个神经元，每一个神经元都与输出的一个神经元相连，输出层共有6个神经元(焊缝缺陷种类)，所以共有192×6＝1152个连接。
2.如权利要求1所述的基于卷积神经网络的焊接视觉检测方法，其特征在于：所述训练样本有1万张图片，在这1万张样本中，有500张为焊接缺陷图片，剩余9500张为前述500张焊接缺陷图片经加入高斯白噪声、图片旋转、颜色变换、平移、对比度拉伸、翻转图像处理方法得到的焊接缺陷图片，然后将感兴趣区域图像尺寸进行归一化处理后作为卷积神经网络的输入；所述的训练样本包括输入向量和理想输出向量，当输入向量输入CNN中后经过逐层变换，传送到输出层，得到实际输出向量。
3.如权利要求1或2所述的基于卷积神经网络的焊接视觉检测方法，其特征在于：所述第一步中，训练过程包括4步，这4步被分为两个阶段：
第一阶段，向前传播阶段：
1.1.1)从样本集中取一个样本(X,Yp)，将X输入网络；
1.1.2)计算相应的实际输出Op；
在此阶段，信息从输入层经过逐级的变换，传送到输出层，网络执行的是计算：
Op＝Fn(…(F2(F1(XpW(1))W(2))…)W(n)) (2)
在计算过程中，都是用Sigmoid作为激活函数；
第二阶段，向后传播阶段：
1.2.1)计算实际输出Op与相应的理想输出Yp的差；
1.2.2)按极小化误差的方法反向传播调整权矩阵。
4.如权利要求1或2所述的基于卷积神经网络的焊接视觉检测方法，其特征在于：输出层到S4层的残差＝-(输出值-样本值)*激活函数的导数，隐藏层的残差＝(右层每个节点的残差加权求和)*激活函数；
其中，残差全部计算好后，更新权重：
(1)输入层：权重增加＝输入值*右层对应节点的残差*学习率；
(2)隐藏层：权重增加＝当前节点的Sigmoid*右层对应节点的残差*学习率；
(3)偏移值的权重增加＝右层对应节点的残差*学习率；
其中，隐藏层表示除输入层、输出层以外的其他各层，学习率是一个预先设置好的参数，用于控制每次更新的幅度；此后，对全部数据都反复进行这样的计算，直到输出的误差达到一个很小的值为止；
在卷积神经网络中，输出层的残差是输出值与样本值的差值，而中间各层的残差来源于下一层的残差的加权和，输出层的残差计算如下：
其中，为输出层的残差，第ni层表示输出层，yi表示输出值，表示前向传播中输出层的输入值，表示激活函数的导数；
下一层为采样层的卷积层的残差的计算可以对采样层的残差与一个2×2的全1矩阵进行克罗内克积进行扩充，因为从卷积神经网络的结构图看出，采样层的map大小是卷积层的但这两层的map个数是一样的，卷积层的某个map中的4个单元与采样层对应map的一个单元关联，扩充之后使得采样层的残差的维度与上一层的输出map的维度一致；
下一层为卷积层的采样层的残差的计算比较麻烦一点，因为采样层到卷积层直接的连接是有权重和偏置参数的，因此不像卷积层到采样层那样简单，当采样层L的下一层是卷积层(L+1)，并假设我们已经计算出L+1层的残差，再假设L层第j个map Mj与L+1层的M2j关联，按照反向传播算法的原理，L层的残差Dj是L+1层残差D2j的加权和，M2j与Mj的关联关系采用将卷积核矩阵进行180度旋转，使之一一对应；
残差计算出来后，就是更新权重和偏置参数。
5.如权利要求1或2所述的基于卷积神经网络的焊接视觉检测方法，其特征在于：在完成卷积神经网络的训练后，便进入了测试阶段，测试阶段用来测试所使用的卷积神经网络用于焊缝缺陷识别的精度和速度是否可靠，其过程为：读取检测图像，将这些疑似焊缝缺陷归一化为同尺寸灰度图，然后将这些图像输入训练好的卷积神经网络中进行测试，利用卷积神经网络进行分类，分类的结果为上述的6 类焊缝缺陷，进而获取误差率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610202750.6A CN105891215B (zh) | 2016-03-31 | 2016-03-31 | 基于卷积神经网络的焊接视觉检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610202750.6A CN105891215B (zh) | 2016-03-31 | 2016-03-31 | 基于卷积神经网络的焊接视觉检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105891215A CN105891215A (zh) | 2016-08-24 |
| CN105891215B true CN105891215B (zh) | 2019-01-29 |
Family
ID=57013292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610202750.6A Active CN105891215B (zh) | 2016-03-31 | 2016-03-31 | 基于卷积神经网络的焊接视觉检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105891215B (zh) |
Families Citing this family (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106530284A (zh) * | 2016-10-21 | 2017-03-22 | 广州视源电子科技股份有限公司 | 基于图像识别的焊点类型检测和装置 |
| CN107977596A (zh) * | 2016-10-25 | 2018-05-01 | 杭州海康威视数字技术股份有限公司 | 一种车牌状态识别方法及装置 |
| CN108022231A (zh) * | 2016-10-31 | 2018-05-11 | 兰州交通大学 | 一种基于萤火虫神经网络的工件内部缺陷识别方法 |
| CN108154072A (zh) * | 2016-12-02 | 2018-06-12 | 天津工业大学 | 基于深度卷积神经网络的航拍绝缘子故障自动检测 |
| CN106815835A (zh) * | 2017-01-10 | 2017-06-09 | 北京邮电大学 | 损伤识别方法及装置 |
| CN106841216A (zh) * | 2017-02-28 | 2017-06-13 | 浙江工业大学 | 基于全景图像cnn的隧道病害自动识别装置 |
| CN107016396B (zh) * | 2017-04-11 | 2020-06-02 | 广州市华颉电子科技有限公司 | 一种装配连接件图像特征深度学习与识别方法 |
| US10445871B2 (en) * | 2017-05-22 | 2019-10-15 | General Electric Company | Image analysis neural network systems |
| CN107730905A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法 |
| CN107153072A (zh) * | 2017-06-21 | 2017-09-12 | 苏州卡睿知光电科技有限公司 | 一种镜片疵病检测方法及装置 |
| CN107316298B (zh) * | 2017-07-10 | 2020-06-02 | 北京深度奇点科技有限公司 | 一种焊接间隙的实时测量方法、装置及电子设备 |
| CN107451997A (zh) * | 2017-07-31 | 2017-12-08 | 南昌航空大学 | 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法 |
| WO2019036845A1 (en) * | 2017-08-21 | 2019-02-28 | Nokia Technologies Oy | METHOD, SYSTEM AND APPARATUS FOR PATTERN RECOGNITION |
| CN107563999A (zh) * | 2017-09-05 | 2018-01-09 | 华中科技大学 | 一种基于卷积神经网络的芯片缺陷识别方法 |
| CN107610111B (zh) * | 2017-09-12 | 2019-12-10 | 武汉大学 | 一种基于深度学习的焊点图像检测方法 |
| CN107607554A (zh) * | 2017-09-26 | 2018-01-19 | 天津工业大学 | 一种基于全卷积神经网络的镀锌冲压件的瑕疵检测与分类方法 |
| CN107657444A (zh) * | 2017-09-28 | 2018-02-02 | 深圳市鑫汇达机械设计有限公司 | 一种基于指纹识别的pos机快捷支付系统 |
| CN108021938A (zh) * | 2017-11-29 | 2018-05-11 | 中冶南方工程技术有限公司 | 一种冷轧带钢表面缺陷在线检测方法以及检测系统 |
| CN108009581A (zh) * | 2017-11-30 | 2018-05-08 | 中国地质大学（武汉） | 一种基于cnn的裂纹识别方法、设备及存储设备 |
| CN107944505A (zh) * | 2017-12-19 | 2018-04-20 | 青岛科技大学 | 一种金属失效类型自动化判断方法 |
| CN108304916B (zh) * | 2018-01-10 | 2020-06-09 | 湖北工业大学 | 结合注意机制与深度可分解卷积的卷积神经网络优化方法 |
| CN108257180B (zh) * | 2018-02-07 | 2023-08-04 | 北京深度奇点科技有限公司 | 焊接间隙定位方法和装置 |
| EP3761013A4 (en) * | 2018-02-26 | 2021-05-12 | Koh Young Technology Inc | COMPONENT MOUNT STATUS INSPECTION PROCESS, PRINTED CIRCUIT BOARD INSPECTION APPARATUS AND COMPUTER READABLE RECORDING MEDIA |
| CN108596871A (zh) * | 2018-03-08 | 2018-09-28 | 中北大学 | 一种基于深度学习的bga气泡缺陷图像检测方法 |
| CN108460761A (zh) * | 2018-03-12 | 2018-08-28 | 北京百度网讯科技有限公司 | 用于生成信息的方法和装置 |
| CN108346151A (zh) * | 2018-03-12 | 2018-07-31 | 湖南大学 | 一种判断激光焊接熔透性的方法 |
| CN108921017B (zh) * | 2018-05-24 | 2021-05-18 | 苏州飞搜科技有限公司 | 人脸检测方法及系统 |
| CN109001211A (zh) * | 2018-06-08 | 2018-12-14 | 苏州赛克安信息技术有限公司 | 基于卷积神经网络的长输管道焊缝检测系统及方法 |
| CN108898213B (zh) * | 2018-06-19 | 2021-12-17 | 浙江工业大学 | 一种面向深度神经网络的自适应激活函数参数调节方法 |
| CN108881254B (zh) * | 2018-06-29 | 2021-08-06 | 中国科学技术大学苏州研究院 | 基于神经网络的入侵检测系统 |
| CN108960413A (zh) * | 2018-07-11 | 2018-12-07 | 天津工业大学 | 一种应用于螺钉表面缺陷检测的深度卷积神经网络方法 |
| CN109031954B (zh) * | 2018-08-03 | 2021-06-25 | 北京深度奇点科技有限公司 | 基于强化学习的焊接参数确定方法、焊接方法和设备 |
| CN109308489B (zh) * | 2018-09-03 | 2021-09-10 | 中国人民解放军国防科技大学 | 一种元件电弧焊焊接质量检测方法 |
| CN109300116A (zh) * | 2018-09-03 | 2019-02-01 | 广东工业大学 | 基于机器学习的激光焊接在线缺陷识别方法 |
| CN110930347B (zh) * | 2018-09-04 | 2022-12-27 | 京东方科技集团股份有限公司 | 卷积神经网络的训练方法、焊点缺陷的检测方法及装置 |
| WO2020049637A1 (ja) * | 2018-09-04 | 2020-03-12 | 日本電気株式会社 | 学習装置 |
| CN109509170B (zh) * | 2018-09-11 | 2021-08-17 | 韶关学院 | 一种压铸件缺陷检测方法及装置 |
| CN109342456B (zh) * | 2018-09-14 | 2021-05-11 | 广东工业大学 | 一种焊点缺陷检测方法、装置、设备及可读存储介质 |
| CN109472358B (zh) * | 2018-10-17 | 2021-10-19 | 深圳市微埃智能科技有限公司 | 基于神经网络的焊接工艺参数推荐方法、装置及机器人 |
| CN109332928B (zh) * | 2018-10-23 | 2021-07-23 | 江苏山扬智能装备有限公司 | 基于深度学习在线检测的路灯灯杆自动焊接系统及焊接方法 |
| DE102018129425B4 (de) * | 2018-11-22 | 2020-07-30 | Precitec Gmbh & Co. Kg | System zur Erkennung eines Bearbeitungsfehlers für ein Laserbearbeitungssystem zur Bearbeitung eines Werkstücks, Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls umfassend dasselbe und Verfahren zur Erkennung eines Bearbeitungsfehlers eines Laserbearbeitungssystems zur Bearbeitung eines Werkstücks |
| CN109657718B (zh) * | 2018-12-19 | 2023-02-07 | 广东省智能机器人研究院 | 一种数据驱动的smt生产线上spi缺陷类别智能识别方法 |
| WO2020129618A1 (ja) | 2018-12-19 | 2020-06-25 | パナソニックＩｐマネジメント株式会社 | 溶接システム及びそれを用いたワークの溶接方法 |
| JP7308461B2 (ja) * | 2018-12-19 | 2023-07-14 | パナソニックＩｐマネジメント株式会社 | 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法 |
| CN109886298B (zh) * | 2019-01-16 | 2023-06-16 | 成都戎盛科技有限公司 | 一种基于卷积神经网络的焊缝质量检测方法 |
| CN109740965A (zh) * | 2019-01-22 | 2019-05-10 | 北京市天元网络技术股份有限公司 | 一种工程验证分析方法及装置 |
| CN109919907A (zh) * | 2019-01-23 | 2019-06-21 | 华灿光电（浙江）有限公司 | 发光二极管外延片缺陷检测的方法和装置 |
| CN109800759B (zh) * | 2019-01-25 | 2020-04-21 | 北京戴纳实验科技有限公司 | 一种视觉识别处理系统和处理方法 |
| CN109900706B (zh) * | 2019-03-20 | 2021-08-17 | 易思维（杭州）科技有限公司 | 一种基于深度学习的焊缝及焊缝缺陷检测方法 |
| CN109977948A (zh) * | 2019-03-20 | 2019-07-05 | 哈尔滨工业大学 | 一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法 |
| JP7231464B2 (ja) | 2019-04-09 | 2023-03-01 | 株式会社日立製作所 | 物体認識システム及び物体認識方法 |
| CN110135513A (zh) * | 2019-05-22 | 2019-08-16 | 广东工业大学 | 一种基于深度学习的焊接机器人的焊缝识别方法 |
| CN110502898B (zh) * | 2019-07-31 | 2022-07-05 | 达闼机器人股份有限公司 | 审计智能合约的方法、系统、装置、存储介质和电子设备 |
| CN110570398A (zh) * | 2019-08-14 | 2019-12-13 | 兰州理工大学 | 一种基于深度学习技术的线缆接头焊点合格性检测方法 |
| CN110434516A (zh) * | 2019-08-28 | 2019-11-12 | 浙江大学城市学院 | 一种智能焊接机器人系统及焊接方法 |
| CN110687120A (zh) * | 2019-09-18 | 2020-01-14 | 浙江工商大学 | 法兰外观质量检测系统 |
| CN111091550A (zh) * | 2019-12-12 | 2020-05-01 | 创新奇智(北京)科技有限公司 | 多尺寸自适应的pcb锡膏区域检测系统及检测方法 |
| CN113510411B (zh) * | 2020-04-09 | 2022-07-01 | 上海发那科机器人有限公司 | 一种管道机器人焊接系统及方法 |
| CN111665247A (zh) * | 2020-07-08 | 2020-09-15 | 浙江力驰雷奥环保科技有限公司 | 一种板式翅片的焊缝检测方法及采用该方法的检测工装 |
| CN111912910A (zh) * | 2020-08-12 | 2020-11-10 | 上海核工程研究设计院有限公司 | 聚乙烯管道热熔焊缝混合超声扫描缺陷智能识别方法 |
| CN112285114A (zh) * | 2020-09-29 | 2021-01-29 | 华南理工大学 | 一种基于机器视觉的漆包线点焊质量检测系统及检测方法 |
| CN112766460A (zh) * | 2021-01-12 | 2021-05-07 | 上海电机学院 | 一种基于子区域和bp神经网络的焊缝识别方法 |
| CN112819824B (zh) * | 2021-03-03 | 2024-04-26 | 科为升视觉技术（苏州）有限公司 | 视觉检测系统的神经网络、及包含它的检测系统和方法 |
| CN113269720B (zh) * | 2021-04-16 | 2024-02-02 | 张家港华程机车精密制管有限公司 | 一种直缝焊管的缺陷检测方法、系统和可读介质 |
| CN113222949B (zh) * | 2021-05-19 | 2022-08-02 | 云南电网有限责任公司电力科学研究院 | 一种电力设备导体插接位置的x射线影像自动检测方法 |
| CN113256620B (zh) * | 2021-06-25 | 2021-09-28 | 南京思飞捷软件科技有限公司 | 基于差值卷积神经网络的车身焊接质量信息评判方法 |
| CN113751920B (zh) * | 2021-08-04 | 2022-07-22 | 华南理工大学 | 一种锁孔tig焊焊接质量实时检测的嵌入式装置及方法 |
| CN113870260B (zh) * | 2021-12-02 | 2022-04-12 | 苏芯物联技术(南京)有限公司 | 一种基于高频时序数据的焊接缺陷实时检测方法及系统 |
| CN114557292A (zh) * | 2022-03-11 | 2022-05-31 | 安徽大学 | 一种用于奶牛行为检测的方法及电子项圈 |
| CN116664561B (zh) * | 2023-07-28 | 2023-10-17 | 风凯换热器制造(常州)有限公司 | 一种换热器管头焊接质量ai智能检测系统及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5479252A (en) * | 1993-06-17 | 1995-12-26 | Ultrapointe Corporation | Laser imaging system for inspection and analysis of sub-micron particles |
| JP2000146855A (ja) * | 1998-11-12 | 2000-05-26 | Fuji Photo Film Co Ltd | 光情報記録媒体の欠陥検査装置及びその方法並びに欠陥サイズ決定方法 |
| CN101493425A (zh) * | 2008-10-31 | 2009-07-29 | 东莞康视达自动化科技有限公司 | 微观表面缺陷全自动紫外光学检测方法及其系统 |
| US20120086927A1 (en) * | 2007-05-30 | 2012-04-12 | Nikon Corporation | Detection device, movable body apparatus, pattern formation apparatus and pattern formation method, exposure apparatus and exposure method, and device manufacturing method |
| CN102854191A (zh) * | 2012-07-18 | 2013-01-02 | 湖南大学 | 高速铁轨表面缺陷的实时视觉检测与识别方法 |
| CN104730079A (zh) * | 2015-03-10 | 2015-06-24 | 盐城市圣泰阀门有限公司 | 缺陷检测系统 |
| CN104977313A (zh) * | 2014-04-09 | 2015-10-14 | 四川省特种设备检验研究院 | 一种焊缝x射线图像缺陷检测与识别方法和装置 |
-
2016
- 2016-03-31 CN CN201610202750.6A patent/CN105891215B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5479252A (en) * | 1993-06-17 | 1995-12-26 | Ultrapointe Corporation | Laser imaging system for inspection and analysis of sub-micron particles |
| JP2000146855A (ja) * | 1998-11-12 | 2000-05-26 | Fuji Photo Film Co Ltd | 光情報記録媒体の欠陥検査装置及びその方法並びに欠陥サイズ決定方法 |
| US20120086927A1 (en) * | 2007-05-30 | 2012-04-12 | Nikon Corporation | Detection device, movable body apparatus, pattern formation apparatus and pattern formation method, exposure apparatus and exposure method, and device manufacturing method |
| CN101493425A (zh) * | 2008-10-31 | 2009-07-29 | 东莞康视达自动化科技有限公司 | 微观表面缺陷全自动紫外光学检测方法及其系统 |
| CN102854191A (zh) * | 2012-07-18 | 2013-01-02 | 湖南大学 | 高速铁轨表面缺陷的实时视觉检测与识别方法 |
| CN104977313A (zh) * | 2014-04-09 | 2015-10-14 | 四川省特种设备检验研究院 | 一种焊缝x射线图像缺陷检测与识别方法和装置 |
| CN104730079A (zh) * | 2015-03-10 | 2015-06-24 | 盐城市圣泰阀门有限公司 | 缺陷检测系统 |
Non-Patent Citations (3)
| Title |
|---|
| 一种新型的小型无线主动式全景视觉传感器设计;汤一平等;《仪器仪表学报》;20160331;第37卷(第3期);第2、3节 * |
| 基于卷积神经网络的注塑制品短射缺陷识别;程文博等;《塑料工业》;20150731;第43卷(第7期);第3.1节 * |
| 基于卷积神经网络的遥感图像分类方法研究;赵爽;《中国优秀硕士学位论文全文数据库 基础科学辑》;20160215(第02期);第3.4.2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105891215A (zh) | 2016-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105891215B (zh) | 基于卷积神经网络的焊接视觉检测方法及装置 | |
| CN106841216A (zh) | 基于全景图像cnn的隧道病害自动识别装置 | |
| CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN104977313A (zh) | 一种焊缝x射线图像缺陷检测与识别方法和装置 | |
| Thirumavalavan et al. | An improved teaching–learning based robust edge detection algorithm for noisy images | |
| CN110569926B (zh) | 一种基于局部边缘特征增强的点云分类方法 | |
| CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
| CN112634365B (zh) | 一种微结构特征的位姿高精度跟踪与检测方法 | |
| Fang et al. | Laser stripe image denoising using convolutional autoencoder | |
| CN115984550A (zh) | 一种眼睛虹膜色素斑纹理自动分割方法 | |
| CN115775236A (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 | |
| Hou et al. | A pointer meter reading recognition method based on YOLOX and semantic segmentation technology | |
| Mlyahilu et al. | Morphological geodesic active contour algorithm for the segmentation of the histogram‐equalized welding bead image edges | |
| CN116993612A (zh) | 一种鱼眼镜头非线性畸变校正方法 | |
| CN115471749A (zh) | 地外探测无监督学习的多视角多尺度目标识别方法及系统 | |
| CN109919215B (zh) | 基于聚类算法改进特征金字塔网络的目标检测方法 | |
| CN111578956A (zh) | 一种基于深度学习的视觉slam定位方法 | |
| CN116630637A (zh) | 基于多模态对比学习的光学-sar图像联合解译方法 | |
| CN114140524B (zh) | 一种多尺度特征融合的闭环检测系统及方法 | |
| Wang et al. | Deep monocular visual odometry for ground vehicle | |
| Wang et al. | So-perm: Pose estimation and robust measurement for small objects | |
| Yuan et al. | Realtime CNN-based keypoint detector with Sobel filter and CNN-based descriptor trained with keypoint candidates | |
| CN114120129A (zh) | 基于无人机图像和深度学习的滑坡滑移面的三维识别方法 | |
| Azad et al. | Improving FHB Screening in Wheat Breeding Using an Efficient Transformer Model | |
| CN112001896A (zh) | 一种甲状腺边界不规则度检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |