CN109300116A - 基于机器学习的激光焊接在线缺陷识别方法 - Google Patents
基于机器学习的激光焊接在线缺陷识别方法 Download PDFInfo
- Publication number
- CN109300116A CN109300116A CN201811021307.4A CN201811021307A CN109300116A CN 109300116 A CN109300116 A CN 109300116A CN 201811021307 A CN201811021307 A CN 201811021307A CN 109300116 A CN109300116 A CN 109300116A
- Authority
- CN
- China
- Prior art keywords
- welding
- layer
- laser
- machine learning
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003466 welding Methods 0.000 title claims abstract description 99
- 230000007547 defect Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000010801 machine learning Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 21
- 230000005855 radiation Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 10
- 238000002474 experimental method Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000001537 neural effect Effects 0.000 claims description 7
- 230000000644 propagated effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 239000011521 glass Substances 0.000 claims description 3
- 230000001681 protective effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 210000004218 nerve net Anatomy 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 230000007812 deficiency Effects 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 abstract description 2
- 239000000463 material Substances 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005422 blasting Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000010534 mechanism of action Effects 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000013528 metallic particle Substances 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 230000000649 photocoagulation Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002463 transducing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Robotics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Laser Beam Processing (AREA)
Abstract
本发明公开了一种基于机器学习的激光焊接在线缺陷识别方法和装置，利用对焊接过程的金属蒸汽、激光反射、匙孔面积焊接现象的检测与机器学习技术，实现神经网络驱动的多传感激光焊接在线缺陷识别，以辅助焊接参数的在线调整，抑制缺陷的出现。与现有技术相比，本发明以机器学习与多传感融合检测进行在线焊接缺陷检测，提高了焊接缺陷的检测效率，有效避免了传统缺陷识别的人为误差对检测效果的影响与单一传感检测性能上的不足，并具有较好的抗干扰能力。
Description
技术领域
本发明涉及一种激光焊接在线缺陷识别方法，具体地涉及一种利用多传感检测，获取焊接过程的金属蒸汽、激光反射、匙孔大小特征信号，通过机器学习进行激光焊接在线缺陷识别的方法。
背景技术
激光焊接因其高精度、深穿透、适应性强、焊接速度快，焊缝窄、变形小的优点，被广泛应用在汽车、船舶、航空航天、电子制造领域。其为通过激光束与两连接板的边缘材料作用，加热融熔结合实现所需结合效果。但由于激光焊接过程复杂的作用机制，工艺参数与环境的细微波动会对焊接质量产生耦合影响，甚至是焊接过程自身的物理动态变化过程都可能导致焊接缺陷的产生，包括未融透，爆裂，咬边，塌陷，焊瘤、气孔。对此，国内外学者及企业对焊接缺陷形成机制、焊接缺陷控制进行了深入研究，并提出控制方法。如发明专利CN201210395941.0提出对焊接部位进行喷砂处理提高表面光洁度，从而提高焊接熔深；使用专利CN201721216822.9利用侧吹保护气减小了焊缝根部的咬边倾向；发明专利CN201510039722.2利用将金属颗粒被送入激光焊接熔池后沿，辅以压缩空气的喷射，提高金属溶液的流动性以抑制飞溅的产生；发明专利CN201710588858.8利用两台激光器，一台对产生的激光束对材料表面进行预热处理并除去表面产生的氧化膜后，利用两台激光器一起发出两条激光束融化材料进行焊接，减少焊接产生的气孔。
现有的激光焊接质量控制方法，离线控制调整焊接参数以提高焊接质量居多，即寻找对于目前材料焊接质量好的参数进行焊接。但由于激光焊接的内部作用机制的复杂性，固定焊接参数的焊接下，往往也会出现作用过程的突变，导致焊接缺陷的出现。因此激光焊接的在线缺陷识别引导在线参数控制来控制焊接质量尤为重要。
焊接参数在线控制需要对焊接质量进行有效的在线检测。对此，现有技术常用单一传感器对激光焊接过程中的金属蒸汽、匙孔大小、激光反射信号进行检测，并通过划分信号强度阈值进行焊接缺陷识别。但这种阈值划分对研究者的经验依赖高，且由于激光焊接的内部作用的复杂耦合过程，根据阈值划定引导缺陷识别的方式抗外界干扰能力不足。
发明内容：
本发明主要解决的技术问题为提供一种抗干扰能力强的激光焊接在线缺陷检测方法，以辅助焊接参数的在线调整抑制缺陷的出现。为解决现有技术的不足，本项目从多传感融合检测出发，进行焊接试验，分析各种信号在缺陷发生前后的信号特征，寻求抗干扰性能强的在线焊接缺陷识别的实现方式。分析发现，光电信号与机器视觉均能在一定程度上识别信号组合缺陷识别。由于人为对各信号进行阈值划分获得的检测效果存在人为误差，而采用机器学习方式可有效避免人为误差并实现多传感信号耦合检测。
据此，本发明提供一种基于机器学习的激光焊接在线缺陷识别方法。本发明的技术方案是这样实现的：
搭建一个用于激光焊接缺陷识别的机器学习平台，包括
一个激光焊接伺服平台；
一个安装在伺服平台支架上的激光头；
一个光辐射检测装置安装在激光头的扩展光路结构上；
一个数据采集模块与光辐射检测装置相连，对光电信号进行数模转换；
工件放置于激光头正下方；
一个安装在激光头上的工业摄像头，并从上方对准工件焊接区域进行拍摄；
一个旁轴放置的工业摄像头安装在伺服平台上，并从侧面对准工件焊接区域进行拍摄；
一台工控机与上述两个工业摄像头既数据采集模块相连，汇总此三种传感器获取的信号并以此构建缺陷识别神经网络。
另外，上述的激光头内部光路结构由一片垂直激光束放置的扩束镜、一片与激光束成45度倾角的二向色镜、一片垂直激光束放置的聚焦镜、一片垂直激光束放置的保护镜依次排列，并在二向色镜的相邻位置设有与之平行放置的反射镜，实现激光输出与进入激光头的同轴光的采集、反射及输出；
上述的光辐射检测装置，内部光路结构由若干片准直镜，若干片二向色镜及若干片滤光镜组成，并在装置的光路末端安装有光电传感器，从而实现不同光谱段的光信号检测；
上述的数据采集模块包括A/D转换模块，运算放大器、低通滤波器及电信号输出端子；
上述的两个个工业摄像头的镜头前方，设有可见光波段的带通滤光片。
本发明的实施步骤如下：
步骤1：在激光焊接伺服平台上，预设可以焊穿当前工件的工艺参数进行机器学习所需的激光焊接实验；
步骤2：在步骤1的实验中，利用光辐射检测装置采集可见光辐射信号与激光反射信号；在工件上方放置工业摄像机拍摄工件上方观测的焊接过程；在垂直于激光轴与焊接方向放置工业摄像机拍摄旁轴观测的焊接过程；
步骤3：利用工控机接收步骤2获得的可见光辐射信号与激光反射信号、两个工业摄像机的拍摄图像，并利用图像处理技术在线提取来自工业摄像机拍摄图像的特征。优选的，提取匙孔面积、上下蒸汽角度及蒸汽面积、飞溅总面积及数量。在计算飞溅时，分为上下飞溅数量和总面积，而对于下飞溅会分为0°～60°，60°～120°，120°～180°三个ROI区域，并且对每一个区域进行飞溅数量和总面积的统计；
步骤4：利用步骤3获得的数据，将这些数据放进一个向量作为神经网络的输入：x＝[x1，x2，x3...xi]；对于各组实验进行神经网络输出标注，且标注出焊接缺陷与焊接稳定的区域。出现缺陷标标注数据为1，焊接稳定为0；将实验组的所有焊缝对应的所有数据作为神经网络训练数据。并对数据进行了归一化处理，令其对网络的贡献度最大化；构建网络结构，包括前向传播网络结构与后向传播网络结构。
步骤4(i)：其中前向传播网络结构使用一个输入层，一个隐藏层和一个输出层，网络进行如下计算：
z[i]＝W[i]Ta[i-1]+b[i]，a[i]＝g[i](z[i])
z[i]为第i层的输出，W[i]和b[i]分别为第i层的权重weight和偏倚bias，a[i-1]为上一层的输出，a[i]为第i层的输出，g[i](·)为第i层使用的激活函数。
隐藏层使用的激活函数为tanh函数，输出层使用sigmoid函数，计算过程如下：
z[1]＝W[1]Tx+b[1]
a[1]＝tanh(z[1])
z[2]＝W[2]Tx+b[2]
a[2]＝sigmoid(z[2])
X即为A[0]；
使用损失函数如下：
对于所有数据，通过计算成本，m是训练样本总数；
步骤4(ii)：后向传播网络结构把输出对于成本的梯度向前面的层传导，使得前面的层利用梯度来更新权重。更新权重的方法为：使用计算成本函数对于每一个权重w的导数更新权值；
步骤5：利用步骤4构建的神经网络，针对步骤1中的试验进行神经网络训练和测试获得权重矩阵；
步骤6：进行激光焊接加工，利用步骤5中神经网络训练获得的权重矩阵和工控机在线检测的多维信号驱动焊接系统实现焊接在线缺陷识别。
实施本发明的有益效果主要有：
1、本发明为激光焊接在线缺陷检测，有力地辅助焊接参数在线调整以抑制缺陷发生的进行，能有效提高激光焊接的生产效率；
2、本发明以机器学习手段进行在线焊接缺陷检测，相比于人为阈值划定的在线缺陷检测，可有效避免人为误差对检测效果的影响，并具有较好的抗干扰能力；
3、本发明的多维度信号检测，相比于单一传感器检测，有效提高了焊接缺陷的检测效率，并有效避免了不同的单一传感器检测性能上的不足。
附图说明
图1为本发明的实现过程流程图；
图2为本发明的其中一个实施例的硬件系统图，该实例接头方式为对接焊；
图中，1-旁轴工业摄像机、2-激光头、21-激光、3-光辐射检测装置、4-工控机、5-工件上方工业摄像机、6-工件、61-上方金属蒸汽、62-下方金属蒸汽；
图3为本发明的一焊接缺陷检测实例。该焊缝主要缺陷为焊偏。
具体实施方式
下面将结合发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于机器学习的激光焊接在线缺陷识别方法。本发明的实现过程流程图如图1所示。
本发明的实施例硬件系统与图2相似，包括一个激光焊接伺服平台；一个安装在伺服平台支架上的激光头2；一个光辐射检测装置3安装在激光头的扩展光路结构上；一个数据采集模块与光辐射检测装置相连，对光电信号进行数模转换；工件6放置于激光头正下方；一个安装在激光头上的工业摄像头5，并从上方对准工件焊接区域进行拍摄；一个旁轴放置的工业摄像头1安装在伺服平台上，并从侧面对准工件焊接区域进行拍摄；一台工控机4与上述两个工业摄像头既数据采集模块相连，汇总此三种传感器获取的信号并以此构建缺陷识别神经网络。
另外，上述的激光头2内部光路结构由一片垂直激光束放置的扩束镜、一片与激光束成45度倾角的二向色镜、一片垂直激光束放置的聚焦镜、一片垂直激光束放置的保护镜依次排列，并在二向色镜的相邻位置设有与之平行放置的反射镜，实现激光输出与进入激光头的同轴光的采集、反射及输出；光辐射检测装置3的内部光路结构由一片准直镜，一片在800nm处分光的二向色镜及减光镜组成，并在装置的两个光路末端安装有光电传感器，从而实现可见光信号与激光反射信号检测；数据采集模块包括A/D转换模块，运算放大器、低通滤波器及电信号输出端子。
本实例的缺陷检测焊接接头形式为对接焊。实施例识别的主要缺陷为激光焊偏状态。实施步骤如下：
本实例在焊接前，预设8组焊接实验，其中预设的工艺参数令工件实现穿透焊接，且焊接方向与结合缝隙交错，令焊接过程同时出现焊偏与对中焊的情况。据此进行缺陷检测所需的机器学习；
焊接过程中，激光21与工件6作用产生工件上方的金属蒸汽61与下方金属蒸汽62，另外有部分激光被工件反射到激光头内部。
此时工件上方的可见光辐射与激光反射被附加在激光头上的光辐射检测装置3采集与光电转换，经过数据采集模块后，向工控机4输出可见光辐射信号与激光反射信号。本实例使用光电检测模块采样频率为2000fps。
工件上方放置的工业摄像机5拍摄上方观察的焊接过程。拍摄图像传入工控机3同时，被在线提取出匙孔大小。旁轴放置的工业摄像机1拍摄旁轴观测的焊接过程。拍摄图像传入工控机3同时，被在线提取出上下蒸汽角度及蒸汽面积、飞溅总面积及数量，并统计上下飞溅数量和总面积，根据飞溅角度对于下飞溅为0°～60°，60°～120°，120°～180°三个ROI区域统计其飞溅数量和总面积。由此获得共12组视觉信号。本实例的两个工业摄像机拍摄频率为1500fps。
据此，工控机中利用所获得的实验组数据，先对可见光辐射信号与激光反射信号进行数据重采样，令各维数据量保持时间上的统一。并由此构建一个14维的向量作为神经网络的输入：
x＝[x1，x2，x3...x14]
为了使网络的输出是激光是否有偏移，对每组实验进行标注。设定一个阈值，当激光偏移量超过这个阈值，则认定激光有偏移，否则视为正常。对于有激光偏移的焊缝段，我们对其标1，无偏移的标0。每一个标注数据为y。
重采样后，对于每一条焊缝的每一中信号，均采样到9000个样本。因此各焊接实验组所产生的数据，均有(14，9000)的维度。在8组实验中，每组实验选取3000个样本的区域，总共有(14,24000)个训练数据：
x＝[x1，x2，x3...xi...x24000]
其中xi代表了第i个采样的数据。
标记数据类似：
y＝[y1，y2，y3...yi...y24000]
其中yi代表了第i个采样的标记。
由于在网络中使用的梯度下降，gradient descent来更新网络权值，若训练数据未归一化，例如x1＝2000而x2＝0.5，对于两个数据，其梯度更新相差就会太大，对于网络的收敛很不利，使迭代速度变慢。
另外归一化对于模型精度的提升体现在，网络中计算欧氏距离时，上述的x2参数相对于x1对距离所带来的影响，会变得很小，所以两个参数所带来的贡献不一样。归一化可以使数据对网络的贡献最大化。
为了使网络在训练的时候可以更快的收敛且提升模型的精度，对数据进行了归一化处理，把数据压缩到(0,1)的空间，以及把有量纲表达式变为无量纲表达式。
据此，本实例构建网络结构如下：
前向传播Forward propagation
神经网络使用一个输入层，一个隐藏层和一个输出层，每一层的大小分别为14,5,1。网络进行如下计算：
z[i]＝W[i]Ta[i-1]+b[i]，a[i]＝g[i](z[i])
z[i]为第i层的输出，W[i]和b[i]分别为第i层的权重weight和偏倚bias，a[i-1]为上一层的输出，a[i]为第i层的输出，g[i](·)为第i层使用的激活函数。
本实例中，隐藏层使用的激活函数为tanh函数，输出层使用sigmoid函数，计算过程如下：
z[1]＝W[1]Tx+b[1]
a[1]＝tanh(z[1])
z[2]＝W[2]Tx+b[2]
a[2]＝sigmoid(z[2])
X即为A[0]；
损失函数是机器学习中的目标函数，反映网络的预测值与标准值的偏差，当预测值与标准值相近，损失函数的值应该会小，若预测值与标准值较远，则损失函数的值应该偏大。本实例使用的损失函数如下：
对于所有数据，通过计算成本，m是训练样本总数，在本例中为24000；
后向传播Backward propagation
后向传播用来把输出对于成本的梯度向前面的层传导，使得前面的层可以利用梯度来更新权重，即W。
本实例选用的更新权重的方法为：使用计算成本函数对于每一个权重w的导数更新权值，具体地包括；
(1)计算导数
利用导数的链式法则，每一个权重和偏倚的导数计算如下：
为了方便，对于导数简单地记为dx，
dz[2]＝a[2]-y
dW[2]＝dz[2]a[1]T
db[2]＝dz[2]
dz[1]＝W[2]Tdz[2]*(1-a[1])2
dW[1]＝dz[1]x[T]
db[1]＝dz[1]
(2)更新权值
利用计算好的梯度，利用以下方式来更新权值：
W[1]＝W[1]-αdW[1]
b[1]＝b[1]-αdb[1]
W[2]＝W[2]-αdW[2]
b[2]＝b[2]-αdb[2]
其中，α为学习率(learning rate)，每次迭代都更新一次权值，直至成本函数收敛，或到达最大的迭代次数。
根据所构建的网络与训练数据进行神经网络训练，网络训练使用学习率α＝0.1，迭代次数iter＝800000，训练完成获得权重矩阵。
据此进行神经网络训练结果的测试。再次进行激光焊接，同样地设置工艺参数令工件实现穿透焊接，且焊接方向与结合缝隙交错，根据网络训练获得的权重矩阵和工控机在线检测的多维信号驱动焊接系统进行焊接在线缺陷识别。其中一组焊偏缺陷识别结果、焊缝及部分检测数据如图3所示。该结果显示网络正确率为98％，证实发明的本实例能有效识别焊接缺陷。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (9)
1.一种基于机器学习的激光焊接在线缺陷识别方法，按照下列步骤进行：
步骤1：用于激光焊接缺陷识别的机器学习平台上，预设可焊穿当前工件的工艺参数进行机器学习所需的激光焊接实验；
步骤2：在步骤1的实验中，利用光辐射检测装置采集可见光辐射信号与激光反射信号；在工件上方放置工业摄像机拍摄工件上方观测的焊接过程；在垂直于激光轴与焊接方向放置工业摄像机拍摄旁轴观测的焊接过程；
步骤3：利用工控机接收步骤2获得的可见光辐射信号与激光反射信号、两个工业摄像机的拍摄图像，并利用图像处理技术在线提取来自工业摄像机拍摄图像的特征；
步骤4：利用步骤3获得的数据，将这些数据放进一个向量作为神经网络的输入：x＝[x1，x2，x3...xi]；对于各组实验进行神经网络输出标注，且标注出焊接缺陷与焊接稳定的区域，出现缺陷标标注数据为1，焊接稳定为0；将实验组的所有焊缝对应的所有数据作为神经网络训练数据，并对数据进行了归一化处理，令其对网络的贡献度最大化；构建网络结构，包括前向传播网络结构与后向传播网络结构；
步骤5：利用步骤4构建的神经网络，针对步骤1中的试验进行神经网络训练和测试获得权重矩阵；
步骤6：进行激光焊接加工，利用步骤5中神经网络训练获得的权重矩阵和工控机在线检测的多维信号驱动焊接系统实现焊接在线缺陷识别。
2.根据权利要求1所述的一种基于机器学习的激光焊接在线缺陷识别方法，其特征在于，在所述的步骤3中，图像特征提取具体操作为，提取匙孔面积大小、上下蒸汽角度及蒸汽面积、飞溅总面积及数量，并在计算飞溅时，分为上下飞溅数量和总面积，而对于下飞溅会分为0°～60°，60°～120°，120°～180°三个ROI区域，并且对每一个区域进行飞溅数量和总面积的统计。
3.根据权利要求1所述的一种基于机器学习的激光焊接在线缺陷识别方法，其特征在于，在所述的步骤4中，实施方法如下：
(i)：前向传播网络结构使用一个输入层，一个隐藏层和一个输出层，网络进行如下计算：
z[i]＝W[i]Ta[i-1]+b[i]，a[i]＝g[i](z[i])
z[i]为第i层的输出，W[i]和b[i]分别为第i层的权重weight和偏倚bias，a[i-1]为上一层的输出，a[i]为第i层的输出，g[i](·)为第i层使用的激活函数。
其中，隐藏层使用的激活函数为tanh函数，输出层使用sigmoid函数，计算过程如下：
z[1]＝W[1]Tx+b[1]
a[1]＝tanh(z[1])
z[2]＝W[2]Tx+b[2]
a[2]＝sigmoid(z[2])
X即为A[0]；
所使用的损失函数如下：
对于所有数据，通过计算成本，m是训练样本总数；
(ii)：后向传播网络结构把输出对于成本的梯度向前面的层传导，使得前面的层利用梯度来更新权重，更新权重的方法为：使用计算成本函数对于每一个权重w的导数更新权值。
4.根据权利要求1-3任一所述的基于机器学习的激光焊接在线缺陷识别方法的装置，其特征在于，包括，
一个用于激光焊接的三轴联动机械伺服平台；
一个安装在伺服平台支架上的激光头；
一个光辐射检测装置安装在激光头的扩展光路结构上，一个数据采集模块与光辐射检测装置相连，对从光辐射检测装置获得的光电信号进行数模转换；
一个安装在激光头上的工业摄像头，从工件上方对准工件焊接区域进行拍摄；
一个旁轴放置的工业摄像头安装在伺服平台上，从工件侧面对准件焊接区域进行拍摄；
一台工控机与上述两个工业摄像头及数据采集模块相连，汇总三种传感器获取的信号并以此构建缺陷识别神经网络。
5.根据权利要求4中所述的基于机器学习的激光焊接在线缺陷识别方法的装置，其特征在于，所述的激光头内部光路结构由一片垂直激光束放置的扩束镜、一片与激光束成45度倾角的二向色镜、一片垂直激光束放置的聚焦镜、一片垂直激光束放置的保护镜依次排列，并在二向色镜的相邻位置设有与之平行放置的反射镜，实现激光输出与进入激光头的同轴光的采集、反射及输出。
6.根据权利要求4中所述的基于机器学习的激光焊接在线缺陷识别方法的装置，其特征在于，所述的光辐射检测装置，内部光路结构由若干片准直镜，若干片二向色镜及若干片滤光镜组成，并在装置的光路末端安装有光电传感器。
7.根据权利要求4中所述的基于机器学习的激光焊接在线缺陷识别方法的装置，其特征在于，所述的数据采集模块包括A/D转换模块，运算放大器、低通滤波器及电信号输出端子。
8.根据权利要求4中所述的基于机器学习的激光焊接在线缺陷识别方法的装置，其特征在于，所述的两个个工业摄像头的镜头前方，设有可见光波段的带通滤光片。
9.根据权利要求4中所述的基于机器学习的激光焊接在线缺陷识别方法的装置，其特征在于，所述的工控机内部的缺陷识别神经网络，其结构包括前向传播网络结构与后向传播网络结构，其中，
前向传播网络结构使用一个输入层，一个隐藏层和一个输出层，网络进行如下计算：
z[i]＝W[i]Ta[i-1]+b[i]，a[i]＝g[i](z[i])
z[i]为第i层的输出，W[i]和b[i]分别为第i层的权重weight和偏倚bias，a[i-1]为上一层的输出，a[i]为第i层的输出，g[i](·)为第i层使用的激活函数。
其中，隐藏层使用的激活函数为tanh函数，输出层使用sigmoid函数，计算过程如下：
z[1]＝W[1]Tx+b[1]
a[1]＝tanh(z[1])
z[2]＝W[2]Tx+b[2]
a[2]＝sigmoid(z[2])
X即为A[0]；
所使用的损失函数如下：
对于所有数据，通过计算成本，m是训练样本总数；
后向传播网络结构把输出对于成本的梯度向前面的层传导，使得前面的层利用梯度来更新权重，更新权重的方法为：使用计算成本函数对于每一个权重w的导数更新权值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811021307.4A CN109300116A (zh) | 2018-09-03 | 2018-09-03 | 基于机器学习的激光焊接在线缺陷识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811021307.4A CN109300116A (zh) | 2018-09-03 | 2018-09-03 | 基于机器学习的激光焊接在线缺陷识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109300116A true CN109300116A (zh) | 2019-02-01 |
Family
ID=65166111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811021307.4A Pending CN109300116A (zh) | 2018-09-03 | 2018-09-03 | 基于机器学习的激光焊接在线缺陷识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109300116A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110441329A (zh) * | 2019-08-12 | 2019-11-12 | 广东工业大学 | 一种基于深度学习的激光焊接缺陷识别方法、装置及设备 |
| CN110458828A (zh) * | 2019-08-12 | 2019-11-15 | 广东工业大学 | 一种基于多模态融合网络的激光焊接缺陷识别方法及装置 |
| CN111429423A (zh) * | 2020-03-19 | 2020-07-17 | 南通大学 | 基于四元数多自由度神经元的多光谱焊接图像识别方法 |
| CN112719646A (zh) * | 2020-12-23 | 2021-04-30 | 睿驰隆科技(武汉)有限公司 | 一种对连续激光焊接过程中焊接质量的实时监测方法 |
| CN113210903A (zh) * | 2021-05-21 | 2021-08-06 | 苏州德擎光学科技有限公司 | 一种激光加工检测方法、装置和系统 |
| CN114096368A (zh) * | 2019-07-11 | 2022-02-25 | 株式会社V技术 | 激光修复方法、激光修复装置 |
| CN114523203A (zh) * | 2022-03-13 | 2022-05-24 | 扬州沃盛车业制造有限公司 | 一种激光智能焊接方法及系统 |
| CN115922066A (zh) * | 2022-12-27 | 2023-04-07 | 中国重汽集团济南动力有限公司 | 一种基于实时同轴视觉监测的焊接熔透控制方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1709631A (zh) * | 2005-07-04 | 2005-12-21 | 中国航空工业第一集团公司北京航空制造工程研究所 | 一种高能束流焊接过程多信号融合监测仪 |
| CN1793860A (zh) * | 2005-12-31 | 2006-06-28 | 浙江大学 | 激光共焦扫描结合图像拼接的生物芯片成像方法及其装置 |
| CN103698393A (zh) * | 2013-12-03 | 2014-04-02 | 广东工业大学 | 焊接缺陷磁光成像无损检测方法 |
| CN103978310A (zh) * | 2014-05-07 | 2014-08-13 | 大连理工大学 | 一种金属结构件表面微小裂纹修复方法和装置 |
| CN105651742A (zh) * | 2016-01-11 | 2016-06-08 | 北京理工大学 | 基于激光诱导击穿光谱的爆炸物实时远距离检测方法 |
| CN105891215A (zh) * | 2016-03-31 | 2016-08-24 | 浙江工业大学 | 基于卷积神经网络的焊接视觉检测方法及装置 |
| CN105938563A (zh) * | 2016-04-14 | 2016-09-14 | 北京工业大学 | 一种基于图像纹理的焊缝表面缺陷识别方法 |
| CN107300540A (zh) * | 2017-05-19 | 2017-10-27 | 西安交通大学 | 一种液体光致击穿及空化效应的研究系统 |
| CN107340328A (zh) * | 2017-09-08 | 2017-11-10 | 广东工业大学 | 一种焊件缺陷检测系统以及检测方法 |
| CN209343404U (zh) * | 2018-09-03 | 2019-09-03 | 广东工业大学 | 基于机器学习的激光焊接在线缺陷识别装置 |
-
2018
- 2018-09-03 CN CN201811021307.4A patent/CN109300116A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1709631A (zh) * | 2005-07-04 | 2005-12-21 | 中国航空工业第一集团公司北京航空制造工程研究所 | 一种高能束流焊接过程多信号融合监测仪 |
| CN1793860A (zh) * | 2005-12-31 | 2006-06-28 | 浙江大学 | 激光共焦扫描结合图像拼接的生物芯片成像方法及其装置 |
| CN103698393A (zh) * | 2013-12-03 | 2014-04-02 | 广东工业大学 | 焊接缺陷磁光成像无损检测方法 |
| CN103978310A (zh) * | 2014-05-07 | 2014-08-13 | 大连理工大学 | 一种金属结构件表面微小裂纹修复方法和装置 |
| CN105651742A (zh) * | 2016-01-11 | 2016-06-08 | 北京理工大学 | 基于激光诱导击穿光谱的爆炸物实时远距离检测方法 |
| CN105891215A (zh) * | 2016-03-31 | 2016-08-24 | 浙江工业大学 | 基于卷积神经网络的焊接视觉检测方法及装置 |
| CN105938563A (zh) * | 2016-04-14 | 2016-09-14 | 北京工业大学 | 一种基于图像纹理的焊缝表面缺陷识别方法 |
| CN107300540A (zh) * | 2017-05-19 | 2017-10-27 | 西安交通大学 | 一种液体光致击穿及空化效应的研究系统 |
| CN107340328A (zh) * | 2017-09-08 | 2017-11-10 | 广东工业大学 | 一种焊件缺陷检测系统以及检测方法 |
| CN209343404U (zh) * | 2018-09-03 | 2019-09-03 | 广东工业大学 | 基于机器学习的激光焊接在线缺陷识别装置 |
Non-Patent Citations (3)
| Title |
|---|
| 游德勇: "大功率激光焊接过程状态复合驱动在线检测方法研究", 《中国博士学位论文全文数据库 工程科技Ⅰ辑》 * |
| 游德勇: "大功率激光焊接过程状态复合驱动在线检测方法研究", 中国博士/硕士学位论文全文数据库 * |
| 游德勇: "大功率激光焊接过程状态复合驱动在线检测方法研究", 博士学位论文 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114096368A (zh) * | 2019-07-11 | 2022-02-25 | 株式会社V技术 | 激光修复方法、激光修复装置 |
| CN110441329B (zh) * | 2019-08-12 | 2022-02-15 | 广东工业大学 | 一种基于深度学习的激光焊接缺陷识别方法、装置及设备 |
| CN110458828A (zh) * | 2019-08-12 | 2019-11-15 | 广东工业大学 | 一种基于多模态融合网络的激光焊接缺陷识别方法及装置 |
| CN110458828B (zh) * | 2019-08-12 | 2023-02-10 | 广东工业大学 | 一种基于多模态融合网络的激光焊接缺陷识别方法及装置 |
| CN110441329A (zh) * | 2019-08-12 | 2019-11-12 | 广东工业大学 | 一种基于深度学习的激光焊接缺陷识别方法、装置及设备 |
| WO2021068982A1 (zh) * | 2020-03-19 | 2021-04-15 | 南通大学 | 基于四元数多自由度神经元的多光谱焊接图像识别方法 |
| CN111429423A (zh) * | 2020-03-19 | 2020-07-17 | 南通大学 | 基于四元数多自由度神经元的多光谱焊接图像识别方法 |
| CN112719646A (zh) * | 2020-12-23 | 2021-04-30 | 睿驰隆科技(武汉)有限公司 | 一种对连续激光焊接过程中焊接质量的实时监测方法 |
| CN113210903A (zh) * | 2021-05-21 | 2021-08-06 | 苏州德擎光学科技有限公司 | 一种激光加工检测方法、装置和系统 |
| CN114523203A (zh) * | 2022-03-13 | 2022-05-24 | 扬州沃盛车业制造有限公司 | 一种激光智能焊接方法及系统 |
| CN114523203B (zh) * | 2022-03-13 | 2022-11-29 | 扬州沃盛车业制造有限公司 | 一种激光智能焊接方法及系统 |
| CN115922066A (zh) * | 2022-12-27 | 2023-04-07 | 中国重汽集团济南动力有限公司 | 一种基于实时同轴视觉监测的焊接熔透控制方法及系统 |
| CN115922066B (zh) * | 2022-12-27 | 2024-02-13 | 中国重汽集团济南动力有限公司 | 一种基于实时同轴视觉监测的焊接熔透控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109300116A (zh) | 基于机器学习的激光焊接在线缺陷识别方法 | |
| CN209343404U (zh) | 基于机器学习的激光焊接在线缺陷识别装置 | |
| CN107000119B (zh) | 用于将两个工件在重叠接合点处进行连接的方法和装置 | |
| CN110472698B (zh) | 基于深度和迁移学习的金属增材成形熔深实时预测方法 | |
| CN104297218B (zh) | 远距离冶金液态金属成分的原位、在线检测装置及方法 | |
| CN102699534B (zh) | 基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法 | |
| CN103998177B (zh) | 激光焊接的焊接位置检测装置和焊接位置检测方法 | |
| CN102441737B (zh) | 用于确定焊缝端部的形状的设备和方法 | |
| CN108340088A (zh) | 激光精密加工视觉在线监测方法及系统 | |
| CN105033408A (zh) | Gma增材制造双被动视觉传感检测装置及其检测方法 | |
| CN103506756A (zh) | 基于熔池图像视觉传感的激光搭接焊间隙检测系统及方法 | |
| CN108247179B (zh) | 基于熔池图像的i形坡口co2焊接偏差检测方法和装置 | |
| CN110441329B (zh) | 一种基于深度学习的激光焊接缺陷识别方法、装置及设备 | |
| CN108381034B (zh) | 一种激光自动聚焦清障系统及控制方法 | |
| CN115631138A (zh) | 一种锆合金板材激光切割质量监检测方法与装置 | |
| CN111203639B (zh) | 一种基于高速摄像下的双激光束双侧同步焊接填丝熔滴过渡监控系统及方法 | |
| CN112756783A (zh) | 一种激光焊接跟踪过程中焊接匙孔偏移量确定方法 | |
| CN107783242A (zh) | 自动对焦装置及采用该装置的块状物libs在线检测装置 | |
| CN109269985A (zh) | 金属移动熔池内部缺陷的高频超声在线监测方法 | |
| CN108067714A (zh) | 一种薄壁环缝端接质量在线监测与缺陷定位系统及方法 | |
| CN107803606A (zh) | 一种基于全过程标记的焊缝质量检测方法和装置 | |
| CN206567687U (zh) | 一种脉冲激光激振tig熔池检测振荡频率的熔透控制装置 | |
| CN114140439A (zh) | 基于深度学习的激光焊接焊缝特征点识别方法及装置 | |
| Gao et al. | Multi-sensor information fusion for monitoring disk laser welding | |
| CN112183665A (zh) | 一种基于卷积神经网络的co2焊接熔池图像识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190201 |