CN115922066A - 一种基于实时同轴视觉监测的焊接熔透控制方法及系统 - Google Patents
一种基于实时同轴视觉监测的焊接熔透控制方法及系统 Download PDFInfo
- Publication number
- CN115922066A CN115922066A CN202211685006.8A CN202211685006A CN115922066A CN 115922066 A CN115922066 A CN 115922066A CN 202211685006 A CN202211685006 A CN 202211685006A CN 115922066 A CN115922066 A CN 115922066A
- Authority
- CN
- China
- Prior art keywords
- keyhole
- real
- image
- frequency
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003466 welding Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000035515 penetration Effects 0.000 title claims abstract description 78
- 230000000007 visual effect Effects 0.000 title claims abstract description 67
- 238000012544 monitoring process Methods 0.000 title claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 40
- 238000007781 pre-processing Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000003709 image segmentation Methods 0.000 claims abstract description 16
- 230000001360 synchronised effect Effects 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 241001292396 Cirrhitidae Species 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000009966 trimming Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000012010 growth Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Laser Beam Processing (AREA)
Abstract
本发明提供一种基于实时同轴视觉监测的焊接熔透控制方法及系统，涉及激光焊接领域，实时采集视觉图像信息；对采集的视觉图像信息进行预处理，预处理后再进行匙孔的图像分割，并提取匙孔特征；基于匙孔频率模型计算得出当前的匙孔频率，触发同步信号，并将匙孔频率作为输入参数输入到模糊PID控制器，计算出激光功率，将激光功率下发至激光器。通过本发明建立的匙孔频率模型可以实时地计算出当前的匙孔频率，即获取当前的熔透状态，同时基于实时视觉的图像采集和处理，有效克服了因丢帧导致频率识别精度不高的问题。解决了激光焊接过程中熔透难以监控、熔透位置识别精度差、无法保证实时工艺参数调整的问题。
Description
技术领域
本发明涉及激光焊接领域，尤其涉及一种基于实时同轴视觉监测的焊接熔透控制方法及系统。
背景技术
激光焊接是激光加工技术中应用最广泛的技术之一。在焊接领域，激光焊接利用高能量密度的激光束作为热源，具有能量密度高、损伤变形小以及加工速度快等优点，使其成为了一种高效精密焊接加工方法。
由于激光焊接具有巨大的发展前景，因此激光焊接的系统性优化尤其是针对激光焊接的熔透监测得到了广泛关注。激光焊接是一个耦合性强并且对实时性要求高的复杂过程，因此，如何获取实时的、全面的焊接熔透信息，如何对激光焊接过程中的熔透状态进行实时监控等问题成为推动激光焊接技术发展的关键。激光焊接的熔透状态是衡量焊接质量的一个重要标准之一。
经对现有技术文献的检索发现，张旭东等人在《焊接学报》(2004(4)：01-04)上发表的“CO2激光焊接的同轴检测与熔透控制”中介绍的熔透状态的分类与监测方法具有一定的代表性，分析了焊接过程中的光信号与热输入的变化关系，但发明人发现，上述文献仅通过辨识熔透状态与分析光信号给出激光功率变化趋势，无法实现在焊接过程中实时的功率调控。
对于现有专利文件(公开号CN111061231A)提供一种焊接装配间隙和错边前馈的熔透监测方案，将间隙、错边信息与熔池特征等作为后续预测模型的输入参数，将背面熔宽作为输出建立了熔透预测模型，然而上述专利文件在建立熔透预测模型之后并未对下一步地焊接过程进行优化调控。
此外，专利文件(公开号CN101224519A)提供了一种基于视觉传感的弧焊机器人焊接监控系统方案，通过上述专利文件处理图像所获得的监测结果，在机器人的运动响应方面具有滞后性，无法保证实时的轨迹修调与优化。
发明内容
本发明提供一种基于实时同轴视觉监测的焊接熔透控制方法，方法是为了解决激光焊接过程中熔透难以监控、熔透位置识别精度差、无法保证实时工艺参数调整的问题。
方法包括：
步骤1，实时采集视觉图像信息；
步骤2，对采集的视觉图像信息进行预处理，预处理后再进行匙孔的图像分割，并提取匙孔特征；
步骤3，基于匙孔频率模型计算得出当前的匙孔频率，触发同步信号，并将匙孔频率作为输入参数输入到模糊PID控制器，计算出激光功率，将激光功率下发至激光器。
进一步需要说明的是，步骤2中的图像预处理是将采集的视觉图像信息先从空域图像变换成频域图像进行低通滤波处理，频域分析后再经过反变换到空域下。
进一步需要说明的是，图像预处理方式具体包括如下步骤：
设图像像素点灰度值为f(x,y)，图像尺寸为，进行傅里叶变换，其变换公式为：
基于巴特沃斯陷波滤波器产生的公式描述为：
经过巴特沃斯陷波滤波器处理后，再使用傅里叶反变换，获取滤波后匙孔空域图，傅里叶反变换获得滤除等离子干扰的图像，变换公式为：
进一步需要说明的是，步骤2中的图像分割是基于区域生长的方法对图像进行固定二值化，确定生长区域种子的大体位置；根据二值化图像提取边缘轮廓，计算每个边缘轮廓形成的封闭面积，查找封闭最大面积；
计算最大面积的重心作为生长区域的种子，生长区域的截止条件为根据统计直方图获得的分割阈值。
进一步需要说明的是，步骤2中的提取匙孔特征方式包括如下步骤：
对分割后的图像轮廓提取；
由最大闭合面积的轮廓分割出响应的ROI；
针对区域图像计算轮廓数量；
如果轮廓数量大于2，则判定焊接过程出现匙孔；
若轮廓数量小于2对原图像进行闭运算的形态学操作；
对形态学操作后的图像重新进行匙孔特征提取，若图像轮廓仍然小于2个，即判定为未出现匙孔。
进一步需要说明的是，步骤3还包括：
采用ARX模型辨识模糊PID控制器的输入-输出数据变化趋势；
将匙孔频率作为ARX模型的输出参数，将激光焊接功率设定为ARX模型的输入参数，配置符合单入单出的ARX模型；
进一步需要说明的是，单输入单输出的线性差分方程为：
A(z-1)y(k)＝B(z-1)u(k)+e(k)
其中u(K)和y(K)为焊接过程的输入输出信号，分别是激光功率和匙孔出现频率A(z),多项式参数如下式所示：
建立匙孔频率与焊接功率之间的关系模型：
n和m为模型的阶次，d为模型的时滞。
进一步需要说明的是，将模型阶次m，n从1-10进行遍历，d从1-5进行遍历，对比模型阶次和延迟参数以均方差误差和最总预报误差为评价指标；
确定n＝2，m＝1，d＝0，A＝[a0，a1，a3]＝[1，-1.0964，0.09926]，B＝[b0]＝[2.137e-06]。
进一步需要说明的是，步骤2中调用Windows平台上的Halcon和OpenCV实现图像处理功能。
本发明还提供一种基于实时同轴视觉监测的焊接熔透控制系统，系统包括：视觉采集模块、图像预处理模块以及熔透控制模块；
视觉采集模块采用工业相机实时采集视觉图像信息；所述工业相机配备滤波片和辅助光源；
图像预处理模块，用于对采集的视觉图像信息进行预处理，预处理后再进行匙孔的图像分割，并提取匙孔特征；
熔透控制模块基于匙孔频率模型计算得出当前的匙孔频率，触发同步信号，并将匙孔频率作为输入参数输入到模糊PID控制器，计算出激光功率，将激光功率下发至激光器。
从以上技术方案可以看出，本发明具有以下优点：
本发明涉及的基于实时同轴视觉监测的焊接熔透控制方法基于实时视觉图像采集任务获取的图像流，并经过实时视觉图像处理任务挖掘匙孔特征信息，连续采集与处理10帧视觉图像，通过本发明建立的匙孔频率模型可以实时地计算出当前的匙孔频率，即获取当前的熔透状态。
本发明实时视觉图像采集与实时视觉图像处理是一个连续循环的过程，由于系统内核实时性的保障，可以确保当前处理的图像信息一直是最新采集的图像信息，不会出现采集与处理不同步的问题，有效克服了因丢帧导致频率识别精度不高的问题。
本发明基于模糊PID控制方法，以匙孔频率为控制模型输入，以激光功率为控制模型输出，并通过反馈机制优化输出，实现激光功率按照预设激光焊接熔透率逐步修调，并且得益于实时内核的实时性，可以快速准确完成修调，实现熔透控制目标。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为熔透监测与控制方法实施例架构图；
图2为本发明的匙孔图像预处理流程图；
图3为本发明的匙孔图像分割流程图；
图4为本发明的匙孔特征提取流程图；
图5为本发明的辨识模型偏差图；
图6为本发明的激光焊接熔透模糊PID控制系统流程图；
图7为模糊PID控制后焊缝实物图；
图8为未进行控制焊缝的正面实物图；
图9为未进行控制焊缝背面实物图；
图10为激光焊接熔透监控系统示意图。
具体实施方式
本发明提供的基于实时同轴视觉监测的焊接熔透控制方法是为了解决激光焊接过程中不等厚区域焊接熔透识别与控制难题。焊接熔透控制方法中既有硬件层面的技术也有软件层面的技术。焊接熔透控制方法还可以调用Windows平台上的Halcon和OpenCV实现图像处理功能。
本发明的焊接熔透控制方法充分挖掘匙孔特征的视觉信息；基于视觉信息构建焊接工艺参数与熔透之间的相关性模型；基于相关性模型进行设计与开发熔透控制系统；最后，通过该控制系统实现焊接过程熔透状态的实时优化与调控。有效地监测控制激光焊接实时熔透状态。有效解决了现了激光焊接过程中熔透难以监控、熔透位置识别精度差、无法保证实时工艺参数调整的问题。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于实时同轴视觉监测的焊接熔透控制方法包括：
步骤1，实时采集视觉图像信息；
本发明的实施例为有效检测激光焊接过程的动态信息，搭建实时同轴视觉的视觉采集模块。视觉采集模块可以采用工业相机，工业相机配备滤波片和辅助光源。还可以采用滤波片，滤波片选择窄带滤波片。窄带滤波片选择中心波段808nm的窄带滤波片。辅助光源为激光光源波长频段在808nm与滤波片配合使用。
其中，本发明采用的工业相机的采集频率为200fps，图像传输协议使用的是GigEVision。
步骤2，对采集的视觉图像信息进行预处理，预处理后再进行匙孔的图像分割，并提取匙孔特征；
本发明的实施例中，，对采集的视觉图像信息的预处理、分割以及提取是运行在操作系统实时内核拓展套件的实时环境，还可以调用Windows平台上的Halcon和OpenCV实现图像处理功能。
本实施例的图像预处理过程中，尽管使用滤波装置滤除了大量弧光和等离子体等蒸汽干扰，仍会存在部分匙孔不清晰的情况，为此本发明将匙孔图像先从空域图像变换成频域图像进行低通滤波处理，频域分析后再经过反变换到空域下。
本发明还对预处理之后的图像进行匙孔的图像分割。图像分割采用基于区域生长的分割方法，并对输入生长区与算法进行了改进，优先计算区域分割的起始点位置，将区域分割的判定标准与直方图相结合，使匙孔图像分割算法更具有一般性。
分割之后提取匙孔特征，这是基于出现匙孔状态下采集的图像采用经典的轮廓提取即可以进行轮廓的筛选，筛选后对轮廓外的噪点进行滤除，并且获得相应的ROI，在对区域图像计算轮廓数量时，如果轮廓数量大于2则判定焊接过程出现匙孔；
如果数量小于2，本发明提供了二次判定机制，先对原图像进行形态学操作，再对形态学操作后的图像重新进行轮廓提取，若图像轮廓仍然小于2，那么即可以判定未出现匙孔。
考虑到焊接过程的复杂性，实时视觉图像采集任务采集的每一帧图像并不会全部含有匙孔；因此，本发明为评估焊接过程的熔透状态设计了一种匙孔频率模型，即在一定范围内匙孔频率越高，熔透程度越高。
本实施例的匙孔频率模型是采集10帧视觉图像作为事件的样本容量，在上述10帧视觉图像内匙孔出现的次数作为事件的频数；匙孔频率定义频数与样本容量的比值。
步骤3，基于匙孔频率模型计算得出当前的匙孔频率，触发同步信号，并将匙孔频率作为输入参数输入到模糊PID控制器，计算出激光功率，将激光功率下发至激光器。
具体来讲，熔透控制与图像采集处理程序均运行在实时环境，可以使用套件的同步控制实现数据交互和同步控制功能。相比总线和I/O传输图像处理方式，这种方式的数据交互的速度更快、同步控制更好。
本发明对实时视觉图像处理任务连续完成10帧视觉图像的处理任务后基于匙孔频率模型计算得出当前的匙孔频率，并触发同步信号。实时熔透控制任务捕捉到同步信号，该匙孔频率将作为输入参数输入进模糊PID控制器，计算出相应的激光功率，将激光功率下发至激光器。根据本发明设计的模糊PID控制器，实验验证了突变式变截面板激光焊接效果较好。
这样，本发明能够实时对视觉图像信息进行采集，并对焊接熔透进行控制，有效的提升焊接熔透精度。还能够对焊接视觉图像信息高效率进行处理，可以基于焊接状态实现过程监控。提高焊接加工的质量和效能，实时内核的实时性，可以快速准确完成修调，实现熔透控制目标，从而实现焊接全过程监督、管理和控制的及时性和科学性。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，如图1所示为本发明提供的焊接熔透控制方法的架构图，采集方式涉及光纤激光器1、激光头2、伺服工作台3、工业相机4、滤光片5、辅助光源6、旁轴保护气7、气瓶8、光源控制器10和电脑9。激光焊接过程中工业相机实时采集匙孔图像，为获取最优的图像，本发明对滤波片进行了严格的选型，实验验证得到中心波长808nm的窄带滤光片抵抗等离子体、金属蒸汽产生的干扰效果最佳，通过该型号的滤波片可以获取相较更为清晰的匙孔图像；为更优的解决上述问题，本发明外加辅助激光光源，在激光光源照射下采集熔池效果，本发明采用的是波长频段在808nm与滤光片相吻合的激光光源。
在实时视觉监测的焊接熔透控制方法前，需要对控制图像特征与焊接状态进行相关性分析。为了研究不同工艺参数对匙孔熔池特征和焊接质量的影响规律，进行一系列不同的工艺试验，共计9组，如表1所示，
表1
其中，test1-test3组主要改变激光功率，其他参数保护不变；实验1-3分析指出：匙孔出现的频率与激光功率具有明显的正相关性，但是匙孔的面积与激光功率相关性不明显。
test4-test6组主要改变焊接速度，其他参数保持不；实验4-6分析指出：匙孔出现的频率与焊接速度具有明显的负相关性，但是匙孔的面积与焊接速度相关性不明显。test7-test9组主要改变气流量大小，其他的参数保持不变；实验7-9分析指出：匙孔出现的频率与焊接时的气流量不具有明显的相关性。
通过实时视觉图像采集任务采集到清晰的匙孔图像之后，下一步执行实时视觉图像处理任务。
上述实时视觉图像处理任务分为三步：
(1)进行图像预处理。如图2所示，假设图像像素点灰度值为f(x,y)，图像尺寸为，进行傅里叶变换，其变换公式为：
图像经过的傅里叶变换映射到频域空间后，频谱图像中每个的区域都对应了空间域中的某一特定的频率成分，可以获取原始图像的频率分布。
为削弱对应频域能量峰值，消除相应的等离子体亮度干扰，设计陷波滤波器削弱特定范围频域区域的能量。
本发明选用了巴特沃斯陷波滤波器，巴特沃斯陷波滤波器产生的公式描述为：
经过巴特沃斯陷波滤波器处理后，再经过傅里叶反变换获取滤波后匙孔空域图，傅里叶反变换获得滤除等离子干扰的图像，该变换公式为：
(2)预处理后再进行匙孔的图像分割。
如图3所示，本发明图像分割选择区域生长的方法，对图像进行固定二值化，确定生长区域种子的大体位置。根据二值化图像进行边缘轮廓提取获得,计算每个边缘轮廓形成的封闭面积，查找封闭最大面积，计算最大面积的重心作为生长区域的种子，生长区域的截止条件为根据统计直方图获得的分割阈值。
(3)提取匙孔特征。如图4所示，首先对分割后的图像轮廓提取，由图像形态可以确定当出现匙孔状态是图像轮廓应该存在两个轮廓，由此对分割后的图像进行边缘轮廓提取；由最大闭合面积的轮廓分割出响应的ROI，针对该区域图像计算轮廓数量，如果轮廓数量大于2则判定焊接过程出现匙孔，若轮廓数量小于2对原图像进行闭运算的形态学操作，对形态学操作后的图像重新进行上述操作，若图像轮廓仍然小于2个，那么即可判定为未出现匙孔。
经过上述实时视觉图像处理任务之后，计算匙孔频率。根据每一帧的图像信息可知当前是否存在匙孔，由于匙孔状态是不稳定的，无法在熔透状态下实现每一帧均包含匙孔。匙孔信号的出现为随机事件。
本发明匙孔频率的定义是指在一个匙孔频率计算周期内匙孔出现的次数为事件的频率，一个匙孔频率计算周期的总帧数为事件的样本容量，上述频率与样本容量的比值即为匙孔频率。上述匙孔频率计算周期为所述工业相机采集10帧图像与处理上述10帧图像的总时间。
本发明在进行设计控制器之前，对激光焊接过程进行了系统辨识，主要用于获取模糊PID控制器的输入-输出数据变化趋势。辨识方式本发明采用了经典的有源自回归(ARX)模型，将匙孔频率作为ARX模型的输出参数，将激光焊接功率设定为ARX模型的输入参数，设计符合单入单出的ARX模型方案。
ARX模型作为BOX-Jenkines模型的特例，是一种时间序列分析方法，具有计算简单，计算量小的优点，易于在计算机上实现。单输入单输出的线性差分方程为：
A(z-1)y(k)＝B(z-1)u(k)+e(k)
其中u(K)和y(K)为焊接过程的输入输出信号，分别是激光功率和匙孔出现频率A(z),多项式参数如下式所示：
本发明以此建立了匙孔频率与焊接功率之间的关系模型：
具体的，n和m为模型的阶次，d为模型的时滞。
一般模型的阶次不会太大，模型阶次太大会增加模型的复杂程度，输入到输出的滞后是比较小的一个数，故将模型阶次m，n从1-10进行遍历，d从1-5进行遍历，对比模型阶次和延迟参数以均方差误差(MSE)和最总预报误差(FPE)为评价指标，结合模型的稳定性，确定了n＝2，m＝1，d＝0，A＝[a0，a1，a3]＝[1，-1.0964，0.09926]，B＝[b0]＝[2.137e-06]。
本发明利用Matlab进行系统辨识得到过程模型的辨识误差，如图5，最终预报误差为0.001419，均方差误差为0.001396，满足系统辨识精度要求。本发明在建立匙孔频率与激光振镜焊接工艺参数的关系模型后，基于PID控制器的调控思想，设计经典PID控制器算法如下：
p(k)＝p(k-1)+Kp[e(k)-e(k-1)+e(k)]T/Ti+
Td(e(k)-2e(k-1)+e(k-2)/T]
其中，T为采样时间，Kp，Ti，Td分别为PID的比例、积分、微分参数。e(k)＝f*(k)-f(k)是匙孔频率期望值f*(k)和实际值f(k)的跟踪误差。
如图6所示，描述了激光焊接过程的熔透PID控制系统，其中f*(x)为预设匙孔频率期望值，f(x)为实际匙孔频率，p(x)输入工艺参数。因PID控制器只适用于线性、结构非时变的系统，而基于实时视觉监测的焊接熔透控制系统具有非线性、多变量和不确定性等特点；因此，本发明在PID控制器设计的基础上引入模糊控制方式。使用模糊控制理论需要确定模糊控制器的输入和输出变量，选择当前采集的匙孔频率与设定匙孔频率之间的差值、差值变化率作为模糊控制的输入，用E、EC表示，将经典PID控制器的三个参数的控制参数作为模糊控制器的输出变量，即Kp、Ki、Kd作为模糊控制器优化变量。
在实际控制过程中，由实测到的匙孔概率计算得到偏差信号和偏差变化量信号即可通过查表得到PID控制器的Kp、Ki、Kd取值，在现场可以通过调整量化因子和比例因子来调节控制的强度。
本发明针对上述模糊PID控制器准确性首先进行了仿真实验，具体的：
(1)根据已知的输入输出数据以及辨识算法，计算的模型阶数。
(2)设定匙孔出现的目标频率，实时获取当前时刻的误差值e(k)，计算出输出功率。
(3)将获得的激光功率输入辨识模型中，继而获得实际的匙孔出现的概率；循环上述操作直至仿真结束。
仿真的输出为匙孔的频率，输入为激光焊接的功率，期望输入匙孔频率为0.6Hz，控制器调节时间为0.76s,最大超调量为9.8％，通过结果发现，超调量有所下降。由于引进了模糊控制表，因此对一定的工艺窗口存在自适应性。根据本发明设计的模糊PID控制算法，基于仿真实验数据信息进行实际的熔透控制实验，为进一步验证控制算法的有效性，开展了突变式变截面板实验研究，实验结果如图7-9所示，根据实验结果可以发现，进行模糊PID控制后的焊接效果明显优于未进行控制的效果；因此，本发明提出的模糊PID控制算法在实时视觉监测的焊接熔透控制方面有应用效果良好。
以下是本发明实施例提供的基于实时同轴视觉监测的焊接熔透控制系统的实施例，该系统与上述各实施例的基于实时同轴视觉监测的焊接熔透控制方法属于同一个发明构思，在基于实时同轴视觉监测的焊接熔透控制系统的实施例中未详尽描述的细节内容，可以参考上述基于实时同轴视觉监测的焊接熔透控制方法的实施例。
本发明的系统是基于实时同轴视觉监测的焊接熔透控制，执行的任务包括非实时任务和实时任务，非实时任务主要是通过人机交互界面对系统参数进行配置和个性化设计，实时任务包括图像采集、图像处理以及激光功率控制，非实时层和实时层任务之间通过共享内存进行数据通信。
考虑到计算机操作系统为非实时系统，通过操作系统实时内核拓展套件为操作系统提供实时性能。还对操作系统中部分系统内核进行锁核处理，被锁定的内核又称实时核，用于执行实时任务，包括图像采集、图像处理以及激光功率控制；未锁定的系统内核又称非实时核，用于执行非实时任务，如人机交互任务。
系统具体包括：视觉采集模块、图像预处理模块以及熔透控制模块；
视觉采集模块采用工业相机，实时采集视觉图像信息；所述工业相机配备滤波片和辅助光源；
图像预处理模块，用于对采集的视觉图像信息进行预处理，预处理后再进行匙孔的图像分割，并提取匙孔特征；
熔透控制模块基于匙孔频率模型计算得出当前的匙孔频率，触发同步信号，并将匙孔频率作为输入参数输入到模糊PID控制器，计算出激光功率，将激光功率下发至激光器。
本发明中视觉采集模块、图像预处理模块以及熔透控制模块均运行在实时内核中。其中实时图像采集子系统得益于实时核的实时性，通过设置大容量存储器以及实时网络驱动器能够可靠地防止数据包丢失，在图像传入后几微秒内即时在实时内核内触发即时的实时任务。
当完整采集一帧图像后，触发实时图像处理任务，在实时内核中的图像处理任务运算耗时相较于非实时内核的抖动性大幅减小。
图像处理任务结束后触发激光功率控制，由于激光功率控制也在实时内核中完成，功率控制的延时和抖动也会大幅减小。
在激光功率控制系统中，通过实时视觉系统获取的匙孔频率特征，由模糊PID控制器计算实时功率修正值，激光功率通过模拟量控制，通过在实时内核给激光器下发控制模拟量，确保了功率的调整的响应速度。
如图10所示，系统开始时，在非实时层初始化KRTS驱动并加载内核主循环任务。在实时内核下，首先进行实时图像采集，完整采集到一帧图像后，进行图像预处理、图像分割、匙孔特征提取，采集与处理10帧视觉图像后进行匙孔频率计算。将得到的匙孔频率传输到模糊PID控制器中输出激光功率，对激光功率进行实时修调，直至最终达到预设的熔透效果。
本发明的基于实时同轴视觉监测的焊接熔透控制系统中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于实时同轴视觉监测的焊接熔透控制方法，其特征在于，方法包括：
步骤1，实时采集视觉图像信息；
步骤2，对采集的视觉图像信息进行预处理，预处理后再进行匙孔的图像分割，并提取匙孔特征；
步骤3，基于匙孔频率模型计算得出当前的匙孔频率，触发同步信号，并将匙孔频率作为输入参数输入到模糊PID控制器，计算出激光功率，将激光功率下发至激光器。
2.根据权利要求1所述的基于实时同轴视觉监测的焊接熔透控制方法，其特征在于，
步骤2中的图像预处理是将采集的视觉图像信息先从空域图像变换成频域图像进行低通滤波处理，频域分析后再经过反变换到空域下。
3.根据权利要求2所述的基于实时同轴视觉监测的焊接熔透控制方法，其特征在于，图像预处理方式具体包括如下步骤：
设图像像素点灰度值为f(x,y)，图像尺寸为，进行傅里叶变换，其变换公式为：
基于巴特沃斯陷波滤波器产生的公式描述为：
经过巴特沃斯陷波滤波器处理后，再使用傅里叶反变换，获取滤波后匙孔空域图，傅里叶反变换获得滤除等离子干扰的图像，变换公式为：
4.根据权利要求1所述的基于实时同轴视觉监测的焊接熔透控制方法，其特征在于，
步骤2中的图像分割是基于区域生长的方法对图像进行固定二值化，确定生长区域种子的大体位置；根据二值化图像提取边缘轮廓，计算每个边缘轮廓形成的封闭面积，查找封闭最大面积；
计算最大面积的重心作为生长区域的种子，生长区域的截止条件为根据统计直方图获得的分割阈值。
5.根据权利要求1或4所述的基于实时同轴视觉监测的焊接熔透控制方法，其特征在于，步骤2中的提取匙孔特征方式包括如下步骤：
对分割后的图像轮廓提取；
由最大闭合面积的轮廓分割出响应的ROI；
针对区域图像计算轮廓数量；
如果轮廓数量大于2，则判定焊接过程出现匙孔；
若轮廓数量小于2对原图像进行闭运算的形态学操作；
对形态学操作后的图像重新进行匙孔特征提取，若图像轮廓仍然小于2个，即判定为未出现匙孔。
6.根据权利要求1或2所述的基于实时同轴视觉监测的焊接熔透控制方法，其特征在于，步骤3还包括：
采用ARX模型辨识模糊PID控制器的输入-输出数据变化趋势；
将匙孔频率作为ARX模型的输出参数，将激光焊接功率设定为ARX模型的输入参数，配置符合单入单出的ARX模型。
7.根据权利要求6所述的基于实时同轴视觉监测的焊接熔透控制方法，其特征在于，
单输入单输出的线性差分方程为：
A(z-1)y(k)＝B(z-1)u(k)+e(k)
其中u(K)和y(K)为焊接过程的输入输出信号，分别是激光功率和匙孔出现频率A(z),多项式参数如下式所示：
建立匙孔频率与焊接功率之间的关系模型：
n和m为模型的阶次，d为模型的时滞。
8.根据权利要求7所述的基于实时同轴视觉监测的焊接熔透控制方法，其特征在于，
将模型阶次m，n从1-10进行遍历，d从1-5进行遍历，对比模型阶次和延迟参数以均方差误差和最总预报误差为评价指标；
确定n＝2，m＝1，d＝0，A＝[a0，a1，a3]＝[1，-1.0964，0.09926]，B＝[b0]＝[2.137e-06]。
9.根据权利要求1或2所述的基于实时同轴视觉监测的焊接熔透控制方法，其特征在于，
步骤2中调用Windows平台上的Halcon和OpenCV实现图像处理功能。
10.一种基于实时同轴视觉监测的焊接熔透控制系统，其特征在于，系统采用如权利要求1至9任意一项所述的基于实时同轴视觉监测的焊接熔透控制方法；
系统包括：视觉采集模块、图像预处理模块以及熔透控制模块；
视觉采集模块采用工业相机，实时采集视觉图像信息；所述工业相机配备滤波片和辅助光源；
图像预处理模块，用于对采集的视觉图像信息进行预处理，预处理后再进行匙孔的图像分割，并提取匙孔特征；
熔透控制模块基于匙孔频率模型计算得出当前的匙孔频率，触发同步信号，并将匙孔频率作为输入参数输入到模糊PID控制器，计算出激光功率，将激光功率下发至激光器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211685006.8A CN115922066B (zh) | 2022-12-27 | 2022-12-27 | 一种基于实时同轴视觉监测的焊接熔透控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211685006.8A CN115922066B (zh) | 2022-12-27 | 2022-12-27 | 一种基于实时同轴视觉监测的焊接熔透控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115922066A true CN115922066A (zh) | 2023-04-07 |
| CN115922066B CN115922066B (zh) | 2024-02-13 |
Family
ID=86557607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211685006.8A Active CN115922066B (zh) | 2022-12-27 | 2022-12-27 | 一种基于实时同轴视觉监测的焊接熔透控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115922066B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4611111A (en) * | 1985-01-22 | 1986-09-09 | General Electric Company | Method to determine weld puddle area and width from vision measurements |
| GB9321866D0 (en) * | 1993-10-22 | 1993-12-15 | Kinsman Grant | Fuzzy logic control of laser welding |
| US5449882A (en) * | 1993-03-15 | 1995-09-12 | Reliant Laser Corporation | Mirror-based laser-processing system with temperature and position control of moving laser spot |
| CA2792209A1 (en) * | 2012-02-06 | 2013-08-06 | C.R.F. Societa Consortile Per Azioni | A method for monitoring the quality of industrial processes and system therefrom |
| CN107378281A (zh) * | 2017-08-23 | 2017-11-24 | 华中科技大学 | 一种激光焊接熔池与匙孔内部动态行为特征的监测方法 |
| CN109300116A (zh) * | 2018-09-03 | 2019-02-01 | 广东工业大学 | 基于机器学习的激光焊接在线缺陷识别方法 |
| CN111965171A (zh) * | 2020-07-22 | 2020-11-20 | 江苏大学 | 一种基于闭环联合测控系统制备功能梯度材料的方法 |
| CN112756783A (zh) * | 2021-01-06 | 2021-05-07 | 广东工业大学 | 一种激光焊接跟踪过程中焊接匙孔偏移量确定方法 |
| CN112894138A (zh) * | 2021-03-04 | 2021-06-04 | 武汉逸飞激光股份有限公司 | 软包电池极耳焊接方法及系统 |
| CN113927165A (zh) * | 2021-10-20 | 2022-01-14 | 中北大学 | 一种机器人填丝激光熔覆缺陷快速定位修复方法与系统 |
| WO2022188482A1 (zh) * | 2021-03-12 | 2022-09-15 | 湖北文理学院 | 基于主被动视觉结合的焊接偏差检测系统及检测方法 |
-
2022
- 2022-12-27 CN CN202211685006.8A patent/CN115922066B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4611111A (en) * | 1985-01-22 | 1986-09-09 | General Electric Company | Method to determine weld puddle area and width from vision measurements |
| US5449882A (en) * | 1993-03-15 | 1995-09-12 | Reliant Laser Corporation | Mirror-based laser-processing system with temperature and position control of moving laser spot |
| GB9321866D0 (en) * | 1993-10-22 | 1993-12-15 | Kinsman Grant | Fuzzy logic control of laser welding |
| CA2792209A1 (en) * | 2012-02-06 | 2013-08-06 | C.R.F. Societa Consortile Per Azioni | A method for monitoring the quality of industrial processes and system therefrom |
| CN107378281A (zh) * | 2017-08-23 | 2017-11-24 | 华中科技大学 | 一种激光焊接熔池与匙孔内部动态行为特征的监测方法 |
| CN109300116A (zh) * | 2018-09-03 | 2019-02-01 | 广东工业大学 | 基于机器学习的激光焊接在线缺陷识别方法 |
| CN111965171A (zh) * | 2020-07-22 | 2020-11-20 | 江苏大学 | 一种基于闭环联合测控系统制备功能梯度材料的方法 |
| CN112756783A (zh) * | 2021-01-06 | 2021-05-07 | 广东工业大学 | 一种激光焊接跟踪过程中焊接匙孔偏移量确定方法 |
| CN112894138A (zh) * | 2021-03-04 | 2021-06-04 | 武汉逸飞激光股份有限公司 | 软包电池极耳焊接方法及系统 |
| WO2022188482A1 (zh) * | 2021-03-12 | 2022-09-15 | 湖北文理学院 | 基于主被动视觉结合的焊接偏差检测系统及检测方法 |
| CN113927165A (zh) * | 2021-10-20 | 2022-01-14 | 中北大学 | 一种机器人填丝激光熔覆缺陷快速定位修复方法与系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李晓斌1: "真空钎焊温度的建模与解耦控制", 《真空科学与技术学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115922066B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738690A (zh) | 一种基于多目标追踪框架的无人机视频中车速校正方法 | |
| Khan et al. | An improved K-means clustering algorithm based on an adaptive initial parameter estimation procedure for image segmentation | |
| CN110555870B (zh) | 基于神经网络的dcf跟踪置信度评价与分类器更新方法 | |
| CN111815555A (zh) | 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置 | |
| CN116423005B (zh) | 一种提高焊接精度的锡焊工艺优化方法及系统 | |
| CN103246896A (zh) | 一种鲁棒性车辆实时检测与跟踪方法 | |
| CN113344967B (zh) | 一种复杂背景下的动态目标识别追踪方法 | |
| CN111178261B (zh) | 一种基于视频编码技术的人脸检测加速方法 | |
| CN111353496B (zh) | 一种红外弱小目标实时检测方法 | |
| CN111061231A (zh) | 焊接装配间隙和错边前馈的熔池监控系统及熔透监测方法 | |
| CN114862802A (zh) | 基于图像处理的钢结构的切割控制方法 | |
| Mao et al. | Multi-source fusion for weak target images in the Industrial Internet of Things | |
| CN102129689B (zh) | 自动增益场景下基于相机响应函数的背景建模方法 | |
| CN113077423B (zh) | 基于卷积神经网络的激光选区熔化熔池图像分析系统 | |
| CN113084193B (zh) | 一种激光选区熔化技术原位质量综合评价方法 | |
| García-Moreno | A fast method for monitoring molten pool in infrared image streams using gravitational superpixels. | |
| CN115922066A (zh) | 一种基于实时同轴视觉监测的焊接熔透控制方法及系统 | |
| CN113643206A (zh) | 一种奶牛呼吸情况检测方法 | |
| CN115035363B (zh) | 一种深度神经网络模型的在线训练方法 | |
| US20230177324A1 (en) | Deep-learning-based real-time process monitoring system, and method therefor | |
| CN114842178A (zh) | 一种基于电子产品的在线可视化交互系统及方法 | |
| Liu et al. | A deep learning approach to defect detection in additive manufacturing of titanium alloys | |
| CN112465865A (zh) | 一种基于背景建模和IoU匹配的多目标跟踪方法 | |
| Lin et al. | Heterogeneous feature fusion-based optimal face image acquisition in visual sensor network | |
| CN112465861B (zh) | 一种基于自适应掩膜的相关滤波视觉目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |