CN102699534A - 基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法 - Google Patents
基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法 Download PDFInfo
- Publication number
- CN102699534A CN102699534A CN2012102133719A CN201210213371A CN102699534A CN 102699534 A CN102699534 A CN 102699534A CN 2012102133719 A CN2012102133719 A CN 2012102133719A CN 201210213371 A CN201210213371 A CN 201210213371A CN 102699534 A CN102699534 A CN 102699534A
- Authority
- CN
- China
- Prior art keywords
- welding
- welding bead
- image
- point
- groove
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法,它涉及一种焊接方法,以解决现有基于结构光视觉传感的焊接方法只能用于简单的浅坡口激光焊缝跟踪任务,用于厚板窄间隙深坡口的焊缝焊接时,易出现遮蔽现象,坡口设别精度较低,以及只能实现实时焊缝对中校准,不能实现窄间隙深坡口的激光多层焊焊道规划和焊接的问题,方法的具体步骤为:步骤一、选定坡口形式;步骤二、由图像扫描单元扫描待焊厚板工件坡口截面图像,步骤三、对采集的坡口截面图像进行图像算法处理得到焊缝图像数据;步骤四、拟合计算;步骤五、逐层完成焊道的焊接。本发明用于厚板深坡口焊缝的焊接。
Description
技术领域
本发明涉及一种焊接方法,具体涉及一种基于扫描式激光视觉传感的厚板窄间隙深坡口多层焊实时跟踪与焊道规划的激光自动化焊接方法,属于自动化焊接领域。
背景技术
目前,激光及激光-电弧复合焊作为高效焊接方法已开始广泛应用于厚板深坡口焊接生产行业,常采用焊接机床或机器人示教或离线编程的方式进行路径规划和运动控制。实际激光多层焊焊接厚板时,由于热变形和热应力等因素的影响,每焊一道焊缝就要重新示教或编程以保证焊枪相对工件位置以及焊枪姿态的准确性(离焦量),导致调整时间几倍甚至几十倍于真正焊接时间,大大降低了激光焊接生产效率。
经文献检索,中国专利号200910012657.9的发明专利提出了一种激光焊接焊缝跟踪系统及控制方法,该跟踪系统为集成结构光视觉传感系统,用这种方法能完成简单坡口的激光焊缝跟踪任务,但是用于厚板窄间隙深坡口的焊道时,易出现遮蔽现象,且由于坡口表面与坡口底部光强相差较大,影响设别精度,而且,该方法仅能实现实时焊缝对中校准,不能实现窄间隙深坡口的激光多层焊焊道规划和焊接,不能结合实际工况和焊接条件对当前使用的焊接参数进行调整。
经文献检索,申请人申报的登记号为2012SR049109的计算机软件著作权提供了一种软件:基于激光传感的焊缝坡口信息识别系统1.0,该软件基于激光视觉传感技术,通过实时检测——反馈——调整的反馈机制,能有效进行坡口特征信息的提取与处理,并实现实时显示和跟踪控制,有利于多层焊自动化路径规划和焊接。
发明内容
本发明的目的是为解决现有基于结构光视觉传感的焊接方法只能用于简单的浅坡口激光焊缝跟踪任务,用于厚板窄间隙深坡口的焊缝焊接时,易出现遮蔽现象,坡口设别精度较低,以及只能实现实时焊缝对中校准,不能实现窄间隙深坡口的激光多层焊焊道规划和焊接的问题,进而提供与基于激光传感的焊缝坡口信息识别系统配合使用的一种基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法。
本发明为解决上述问题采取的技术方案是:
本发明的基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法的具体步骤为:
步骤一、选定坡口形式为V形坡口,通过参数设置和控制单元设置参数;
步骤二、由图像扫描单元扫描待焊厚板工件坡口截面图像,每次扫描得到一组512个点的阵列,横坐标范围为0~511,纵坐标范围为1~1024,点阵列按横坐标依次排列即为该次扫描得到的焊缝坡口二维图像;
步骤三、由图像采集、处理和计算单元对扫描的V形坡口截面图像进行实时同步采集,显示截面图像,并对采集的坡口截面图像进行图像算法处理得到焊缝图像数据;
步骤四、由多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,进而得到焊接下一焊道需达到的等面积时激光焦点应处的位置,输出焊接时焊枪的高度偏移量的位置信息;
步骤五、焊接运动控制单元接受并实时同步处理上述多层焊焊道规划单元输出信息,向伺服电机控制箱终端的伺服电机以及焊接机器人控制箱终端的焊接机器人发送运动控制指令,实现焊枪对焊道高度位置的校正,实现逐层完成焊道的焊接,直至完成所有焊接任务。
本发明的基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法的具体步骤为:
步骤一、选定坡口形式为I形坡口,通过参数设置和控制单元设置参数;
步骤二、由图像扫描单元扫描待焊厚板工件坡口截面图像,每次扫描得到一组512个点的阵列,横坐标范围为0~511,纵坐标范围为1~1024,点阵列按横坐标依次排列,即为该次扫描得到的焊缝坡口二维图像;
步骤三、由图像采集、处理和计算单元对扫描的I形坡口截面图像进行实时同步采集,显示截面图像,并对采集的坡口截面图像进行图像算法处理得到焊缝图像数据;
步骤四、由多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,进而得到焊接下一焊道需达到的等面积时激光焦点应处的位置,输出焊接时焊枪的高度偏移量的位置信息;
步骤五、焊接运动控制单元接受并实时同步处理上述多层焊焊道规划单元输出信息,向伺服电机控制箱终端的伺服电机以及焊接机器人控制箱终端的焊接机器人发送运动控制指令,实现焊枪对下层焊道高度位置的校正,实现逐层完成焊道的焊接,直至完成所有焊接任务。
本发明的基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法的具体步骤为:
步骤一、选定坡口形式为Y形坡口,通过参数设置和控制单元设置参数;
步骤二、由图像扫描单元扫描待焊厚板工件坡口截面图像,每次扫描得到一组512个点的阵列,横坐标范围为0~511,纵坐标范围为1~1024,点阵列按横坐标依次排列即为该次扫描得到的焊缝坡口二维图像;
步骤三、由图像采集、处理和计算单元对扫描的Y形坡口截面图像进行实时同步采集,显示截面图像,并对采集的坡口截面图像进行图像算法处理得到焊缝图像数据;
步骤四、由多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,进而得到焊接下一焊道需达到的等面积时激光焦点应处的位置,输出焊接时焊枪的高度偏移量的位置信息;
步骤五、焊接运动控制单元接受并实时同步处理上述多层焊焊道规划单元输出信息,向伺服电机控制箱终端的伺服电机以及焊接机器人控制箱终端的焊接机器人发送运动控制指令,实现焊枪对焊道高度位置的校正,实现逐层完成焊道的焊接,直至完成所有焊接任务。
本发明的有益效果是:本发明采用的一体式扫描式激光传感器能实时同步跟踪并连续扫描焊接过程,利用基于激光传感的焊缝坡口信息识别系统,相比结构光视觉传感不仅能完成简单坡口的激光焊缝跟踪任务,在用于厚板窄间隙深坡口的焊缝时,不存在坡口表面与坡口底部光强相差较大的问题,扫描图像真实清晰可见,无遮蔽死角,扫描图像设别精度高,由于采用扫描式激光传感器扫描焊缝坡口,进行焊缝图像算法处理时,不需要对滤波后的图像实施膨胀和腐蚀的形态学处理,无边缘提取和中心线提取,焊接过程简捷易行;本发明能够适应V形,I形和Y形等焊缝坡口形式的激光焊缝图像扫描、采集、处理,能够实现不同坡口焊缝的特征点提取计算(斜率-截距法、最大斜率法以及最大斜率法和斜率-截距法相结合的拐点求解算法),计算的焊缝坡口特征参数为焊枪的高度位置实时调整提供依据,以保证正确的离焦量,针对不同焊缝坡口形式的多层焊焊道的特点,提出了近似简化为等面积的拟合算法,进而实现多层焊焊道规划,完成厚板窄间隙深坡口的不同焊缝的多层焊的激光自动化焊接;本发明的焊接方法具有适应性好,可移植性强,灵活性和独立性较高、识别精度高、焊道定位准确和焊接过程简捷易行的优点;本发明的焊接方法还具有相比现有采用焊接机床或机器人示教或离线编程的方式进行路径规划和运动控制,大大减少了激光焊接示教时间,提高了焊接效率和焊接质量。
附图说明
图1是本发明结合的激光多层焊自动化焊接装置的结构示意图,图2是本发明的焊接方法控制流程框图,图3是本发明V形坡口扫描的图像示意图,图4是本发明I形坡口扫描的图像示意图,图5是本发明Y形坡口扫描图像示意图,图6是采用斜率-截距法算法提取V形破口的特征点的示意图,图7是采用最大斜率法提取I形坡口的特征点的示意图,图8是采用最大斜率法和斜率-截距法相结合先用最大斜率法提取Y形坡口的特征点的示意图,图9是采用最大斜率法和斜率-截距法相结合再用斜率-截距法提取Y形坡口的特征点的示意图,图10是多层焊焊道构成的焊缝示意图,图11是图1中多层焊焊道均简化近似为等面积的梯形的示意图,图12是V形破口的焊道特征点规划提取及简化近似为等面积的梯形示意图,图13是I形破口的焊道特征点规划提取及简化近似为等面积的梯形示意图,图14是Y形破口的焊道特征点规划提取及简化近似为等面积的梯形示意图。
具体实施方式
具体实施方式一:结合图1、图2、图3、图6和图12说明本实施方式,本实施方式的基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法的具体步骤为:
步骤一、选定坡口形式为V形坡口,通过参数设置和控制单元设置参数;
步骤二、由图像扫描单元扫描待焊厚板工件坡口截面图像,每次扫描得到一组512个点的阵列,横坐标范围为0~511,纵坐标范围为1~1024,点阵列按横坐标依次排列即为该次扫描得到的焊缝坡口二维图像;
步骤三、由图像采集、处理和计算单元对扫描的V形坡口截面图像进行实时同步采集,显示截面图像,并对采集的坡口截面图像进行图像算法处理得到焊缝图像数据;
步骤四、由多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,进而得到焊接下一焊道需达到的等面积时激光焦点应处的位置,输出焊接时焊枪的高度偏移量的位置信息;
步骤五、焊接运动控制单元接受并实时同步处理上述多层焊焊道规划单元输出信息,向伺服电机控制箱终端的伺服电机以及焊接机器人控制箱终端的焊接机器人发送运动控制指令,实现焊枪对焊道高度位置的校正,实现逐层完成焊道的焊接,直至完成所有焊接任务。
本实施方式结合的多层焊激光自动化焊接装置的结构示意图如图1所标示,图中标号为:1、焊接机器人,2、伺服电机控制箱,3、激光焊接系统控制箱,4、线缆,5、焊接机器人控制手柄,6、主控制PC机(内置软件:基于激光传感的焊缝坡口信息识别系统1.0),7、伺服电机控制手柄,8、焊接机器人控制箱,9、一体式扫描激光传感器控制箱,10、待焊工件,11、伺服电机,12、焊枪,13、一体式扫描激光传感器。
本实施方式的步骤四输出焊接时焊枪的高度偏移量的位置信息,以保证正确的离焦量。
本实施方式的一体式扫描激光传感器在焊接过程的工作模式为连续扫描。
本实施方式的焊接方法的的过程控制单元包括图像扫描单元15、图像采集、处理和计算单元16、多层焊焊道规划单元17和焊接运动控制单元18。具体如下:
图像扫描单元
扫描待焊工件坡口截面图像,并实时传输至图像采集、处理和计算单元;所述图像扫描单元包括一体式扫描激光传感器控制箱9和一体式扫描激光传感器13,一体式扫描激光传感器控制箱9和一体式扫描激光传感器13通讯连接;
图像采集、处理和计算单元
实时采集扫描的坡口图像,对采集的坡口图像进行处理并算法得到焊缝图像特征数据,所述图像采集、处理和计算单元为主控制PC机中的基于激光传感的焊缝坡口信息识别系统中的图像采集、处理与计算模块;
多层焊焊道规划单元
计算由图像采集、处理和计算单元得到的特征参数和预设焊缝层数得到下次焊道等填充面积时的焊枪的高度偏移量(离焦量)位置信息,最终实现焊枪对焊道位置的跟踪校正;所述多层焊焊道规划单元为主控制PC机中的基于激光传感的焊缝坡口信息识别系统软件中的多层焊焊道规划模块;
焊接运动控制单元
接受并处理上述多层焊焊道规划单元输出信息,向运动执行机构发送运动控制指令,所述焊接运动控制单元包括伺服电机控制箱2、伺服电机11、焊接机器人控制箱8、焊接机器人1、激光焊接系统控制箱3和焊枪12,所述伺服电机控制箱2和能微调高度的伺服电机11通讯连接;所述伺服电机11具有能微调高度的伺服电机;焊接机器人控制箱8和焊接机器人1通讯连接,激光焊接系统控制箱3和焊枪12通讯连接;
参数设置和控制单元
设置图像采集、处理参数和激光焊接参数,所述参数包括扫描式传感器的功率、帧数和扫描范围,激光焊接的坡口型式、激光功率、离焦量、焊接速度和焊缝层数;所述参数设置和控制单元为主控制PC机中的软件:基于激光传感的焊缝坡口信息识别系统1.0,参数设置和控制单元分别与图像扫描单元和焊接运动控制单元通讯连接。
本实施方式的一体扫描式激光激光传感器的激光光源的波长为650nm~699nm,激光功率为2mW~30mW;本实施方式的采样频率4帧/秒,即每秒得到4组512点阵列。
本实施方式采用的软件:基于激光传感的焊缝坡口信息识别系统1.0,主要功能包括:①人机交互界面;②传感系统初始化;③扫描光的开启关闭;④扫描区域设定;⑤图像在屏幕上的实时显示、实时采集至内存;⑥自定义扫描图像处理;⑦坡口特征信息计算;⑧图像与特征值的保存与输出。
本软件基于激光视觉传感跟踪技术,采用自主开发的图像处理和计算算法,能有效识别焊接生产中常用坡口形式(V型、I型和Y型等)的特征信息;同时集成软、硬件滤波技术,保证数据采集的稳定性和特征计算的精确性。系统人机界面采用工业控制面板形式设计,操作方便,简洁。
本实施方式步骤三中图像算法采用拐点求解算法,可计算得到V形焊缝坡口的坡口宽度、坡口高度、坡口角度、坡口面积和错边量等特征参数。
具体实施方式二:结合图1、图2、图3、图6和图12说明本实施方式,本实施方式的步骤三中所述对采集的坡口截面图像进行图像算法处理得到焊缝图像数据,具体过程是:(1)、对采集的坡口截面图像进行五点中值滤波去噪算法处理得到滤波后的图像,(2)、对滤波后的图像采用斜率-截距算法提取特征点,首先:先遍历滤波后的V形截面图像上的所有点并找到最低点,即为焊缝第一特征点b,将点b与二维坐标系X轴的坐标点0对应的Y轴的坐标点n相连作直线,斜率为Kbn=(yb-yn)/xb,过点b和点n之间的滤波后的图像上的所有点作与直线bn相平行的直线,比较所有的平行直线在Y轴上的截距Bi,其中Bi=yi-Kbn×xi,截距最大所对应的点即为焊缝第二特征点a,然后,将点b与二维坐标系X轴的坐标点为511对应的Y轴的坐标点m相连作直线,斜率为Kbm=(ym-yb)/(x511-xb),过点b和点m之间的滤波后的V形截面图像上的所有点作直线bm的平行直线,比较所有的平行直线在Y轴上的截距Bp,其中Bp=yp-kbm×xp,截距最大所对应的点即为焊缝第三特征点c。
本实施方式的五点中值滤波去噪算法:y’i=Med(yi-2,yi-1,yi,yi+1,yi+2)。
本实施方式采用直接标定法,通过标准试块测量计算机二维像素坐标点与测量光面内实际三维世界坐标点之间的对应关系,建立两者联系的“索引表”。实际标定时,输入二维像素坐标值,通过“索引表”寻找与其对应的三维世界坐标值,以此完成标定过程。
本实施方式图像算法采用拐点求解算法,可计算得到V形焊缝坡口的坡口宽度、坡口高度、坡口角度、坡口面积和错边量等特征参数。
具体实施方式三:结合图6和图12说明本实施方式,本实施方式的步骤四中多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,其拟合算法为:焊道特征点提取,从V形截面图像上的第二特征点a和第三特征点c向二者之间经采集单元采集到的当前焊道图像上的点进行遍历,找到当前焊道中两个最低点为焊道第一特征点i1和焊道第二特征点k1,再遍历i1和k1两点之间的点,找到其中的最高点即为焊道第三特征点j1,(2)当前焊道等填充面积的高度偏移量确定,即与焊道等面积的梯形的高度确定,焊道第一特征点i1、焊道第二特征点k1和焊道第三特征点j1确定后,根据公式计算得到与当前层焊道等填充面积的近似梯形的高度h1,其中:σ1为修正系数,σ1的取值范围为0.1-0.9,hi1为当前层焊道上的点i1至X轴的距离,hk1为当前层焊道上的点k1至X轴的距离,hj1为当前层焊道上的点j1至X轴的距离。
本实施方式采用直接标定法,通过标准试块测量计算机二维像素坐标点与测量光面内实际三维世界坐标点之间的对应关系,。建立两者联系的“索引表”。实际标定时,输入二维像素坐标值,通过“索引表”寻找与其对应的三维世界坐标值,以此完成标定过程。
具体实施方式四:结合图1、图2、图4、图7和图13说明本实施方式,本实施方式的基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法的具体步骤为:
步骤一、选定坡口形式为I形坡口,通过参数设置和控制单元设置参数;
步骤二、由图像扫描单元扫描待焊厚板工件坡口截面图像,每次扫描得到一组512个点的阵列,横坐标范围为0~511,纵坐标范围为1~1024,点阵列按横坐标依次排列,即为该次扫描得到的焊缝坡口二维图像;
步骤三、由图像采集、处理和计算单元对扫描的I形坡口截面图像进行实时同步采集,显示截面图像,并对采集的坡口截面图像进行图像算法处理得到焊缝图像数据;
步骤四、由多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,进而得到焊接下一焊道需达到的等面积时激光焦点应处的位置,输出焊接时焊枪的高度偏移量的位置信息;
步骤五、焊接运动控制单元接受并实时同步处理上述多层焊焊道规划单元输出信息,向伺服电机控制箱终端的伺服电机以及焊接机器人控制箱终端的焊接机器人发送运动控制指令,实现焊枪对下层焊道高度位置的校正,实现逐层完成焊道的焊接,直至完成所有焊接任务。
本实施方式结合的多层焊激光自动化焊接装置的结构示意图如图1所标示,图中标号为:1、焊接机器人,2、伺服电机控制箱,3、激光焊接系统控制箱,4、线缆,5、焊接机器人控制手柄,6、主控制PC机(内置软件:基于激光传感的焊缝坡口信息识别系统1.0),7、伺服电机控制手柄,8、焊接机器人控制箱,9、一体式扫描激光传感器控制箱,10、待焊工件,11、伺服电机,12、焊枪,13、一体式扫描激光传感器。
本实施方式的步骤四输出焊接时焊枪的高度偏移量的位置信息,以保证正确的离焦量。
本实施方式的一体式扫描激光传感器在焊接过程的工作模式为连续扫描。
本实施方式的焊接方法的的过程控制单元包括图像扫描单元15、图像采集、处理和计算单元16、多层焊焊道规划单元17和焊接运动控制单元18。具体如下:
图像扫描单元
扫描待焊工件坡口截面图像,并实时传输至图像采集、处理和计算单元;所述图像扫描单元包括一体式扫描激光传感器控制箱9和一体式扫描激光传感器13,一体式扫描激光传感器控制箱9和一体式扫描激光传感器13通讯连接;
图像采集、处理和计算单元
实时采集扫描的坡口图像,对采集的坡口图像进行处理并算法得到焊缝图像特征数据,所述图像采集、处理和计算单元为主控制PC机中的基于激光传感的焊缝坡口信息识别系统中的图像采集、处理与计算模块;
多层焊焊道规划单元
计算由图像采集、处理和计算单元得到的特征参数和预设焊缝层数得到下次焊道等填充面积时的焊枪的高度偏移量(离焦量)位置信息,最终实现焊枪对焊道位置的跟踪校正;所述多层焊焊道规划单元为主控制PC机中的基于激光传感的焊缝坡口信息识别系统软件中的多层焊焊道规划模块;
焊接运动控制单元
接受并处理上述多层焊焊道规划单元输出信息,向运动执行机构发送运动控制指令,所述焊接运动控制单元包括伺服电机控制箱2、伺服电机11、焊接机器人控制箱8、焊接机器人1、激光焊接系统控制箱3和焊枪12,所述伺服电机控制箱2和能微调高度的伺服电机11通讯连接;所述伺服电机11具有能微调高度的伺服电机;焊接机器人控制箱8和焊接机器人1通讯连接,激光焊接系统控制箱3和焊枪12通讯连接;
参数设置和控制单元
设置图像采集、处理参数和激光焊接参数,所述参数包括扫描式传感器的功率、帧数和扫描范围,激光焊接的坡口型式、激光功率、离焦量、焊接速度和焊缝层数;所述参数设置和控制单元为主控制PC机中的软件:基于激光传感的焊缝坡口信息识别系统1.0,参数设置和控制单元分别与图像扫描单元和焊接运动控制单元通讯连接。
本实施方式的一体扫描式激光激光传感器的激光光源的波长为650nm~699nm,激光功率为2mW~30mW;本实施方式的采样频率4帧/秒,即每秒得到4组512点阵列。
本实施方式采用的软件:基于激光传感的焊缝坡口信息识别系统1.0,主要功能包括:①人机交互界面;②传感系统初始化;③扫描光的开启关闭;④扫描区域设定;⑤图像在屏幕上的实时显示、实时采集至内存;⑥自定义扫描图像处理;⑦坡口特征信息计算;⑧图像与特征值的保存与输出。
本软件基于激光视觉传感跟踪技术,采用自主开发的图像处理和计算算法,能有效识别焊接生产中常用坡口形式(V型、I型和Y型等)的特征信息;同时集成软、硬件滤波技术,保证数据采集的稳定性和特征计算的精确性。系统人机界面采用工业控制面板形式设计,操作方便,简洁。
本实施方式步骤三中图像算法采用拐点求解算法,可计算得到I形焊缝坡口的坡口宽度、坡口高度、坡口角度、坡口面积和错边量等特征参数。
具体实施方式五:结合图1、图2、图4、图7和图13说明本实施方式,本实施方式的步骤三中所述对采集的坡口截面图像进行图像算法处理得到焊缝图像数据,具体过程是:(1)、对采集的坡口截面图像进行三点汉明滤波去噪算法处理得到滤波后的图像,(2)、对滤波后的图像采用最大斜率法提取特征点,首先:先遍历滤波后的I形截面图像上的所有点并找到多个最低点,任取其中一个最低点,记为点e,将点e与I形截面图像上的e点左侧的所有点相连作直线,比较各直线的斜率的绝对值|k1|=|(yi-ye)×(xi-xe)|,斜率的绝对值最大值所在的点,即为焊缝第一特征点W,过焊缝第一特征点W的垂线垂直于X轴所对应的点为第二特征点E,将点e与I形截面图像上的e点右侧的所有点相连作直线,比较各直线的斜率的绝对值|k2|=|(yt-ye)×(xt-xe)|,斜率的绝对值最大值所在的点,即为焊缝第三特征点Z,过焊缝第三特征点Z的垂线垂直于X轴所对应的点为第四特征点S。
本实施方式的三点汉明滤波去噪算法处理为:y’i=0.07yi-1+0.86yi+0.07yi+1
本实施方式采用直接标定法,通过标准试块测量计算机二维像素坐标点与测量光面内实际三维世界坐标点之间的对应关系,建立两者联系的“索引表”。实际标定时,输入二维像素坐标值,通过“索引表”寻找与其对应的三维世界坐标值,以此完成标定过程。
本实施方式的图像算法采用拐点求解算法,可计算得到I形焊缝坡口的坡口宽度、坡口高度、坡口角度、坡口面积和错边量等特征参数。
具体实施方式六:结合图7和图13说明本实施方式,本实施方式的步骤四中多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,其拟合算法为:焊道特征点提取,从V形截面图像上的第一特征点W和第三特征点Z向二者之间经采集单元采集到的当前焊道图像上的点进行遍历,找到当前焊道中两个最低点为焊道第一特征点i2和焊道第二特征点k2,再遍历i2点和k2点之间的所有点,找到其中的最高点即为焊道第三特征点j2,(2)当前焊道等填充面积的高度偏移量确定,即与焊道等面积的梯形的高度确定,焊道第一特征点i2、焊道第二特征点k2和焊道第三特征点j2确定后,根据公式计算得到与当前层焊道等填充面积的近似梯形的高度h2,其中:σ2为修正系数,σ2的取值范围为0.1-0.9,hi2为当前层焊道上的点i2至X轴的距离,hk2为当前层焊道上的点k2至X轴的距离,hj2为当前层焊道上的点j2至X轴的距离。
本实施方式采用直接标定法,通过标准试块测量计算机二维像素坐标点与测量光面内实际三维世界坐标点之间的对应关系,建立两者联系的“索引表”。实际标定时,输入二维像素坐标值,通过“索引表”寻找与其对应的三维世界坐标值,以此完成标定过程。
具体实施方式七:结合图1、图2、图5、图8、图9和图10、图11和图14说明本实施方式,本实施方式的基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法的具体步骤为:
步骤一、选定坡口形式为Y形坡口,通过参数设置和控制单元设置参数;
步骤二、由图像扫描单元扫描待焊厚板工件坡口截面图像,每次扫描得到一组512个点的阵列,横坐标范围为0~511,纵坐标范围为1~1024,点阵列按横坐标依次排列即为该次扫描得到的焊缝坡口二维图像;
步骤三、由图像采集、处理和计算单元对扫描的Y形坡口截面图像进行实时同步采集,显示截面图像,并对采集的坡口截面图像进行图像算法处理得到焊缝图像数据;
步骤四、由多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,进而得到焊接下一焊道需达到的等面积时激光焦点应处的位置,输出焊接时焊枪的高度偏移量的位置信息;
步骤五、焊接运动控制单元接受并实时同步处理上述多层焊焊道规划单元输出信息,向伺服电机控制箱终端的伺服电机以及焊接机器人控制箱终端的焊接机器人发送运动控制指令,实现焊枪对焊道高度位置的校正,实现逐层完成焊道的焊接,直至完成所有焊接任务。本实施方式结合的多层焊激光自动化焊接装置的结构示意图如图1所标示,图中标号为:1、焊接机器人,2、伺服电机控制箱,3、激光焊接系统控制箱,4、线缆,5、焊接机器人控制手柄,6、主控制PC机(内置软件:基于激光传感的焊缝坡口信息识别系统1.0),7、伺服电机控制手柄,8、焊接机器人控制箱,9、一体式扫描激光传感器控制箱,10、待焊工件,11、伺服电机,12、焊枪,13、一体式扫描激光传感器。
本实施方式的步骤四输出焊接时焊枪的高度偏移量的位置信息,以保证正确的离焦量。
本实施方式的一体式扫描激光传感器在焊接过程的工作模式为连续扫描。
本实施方式的焊接方法的的过程控制单元包括图像扫描单元15、图像采集、处理和计算单元16、多层焊焊道规划单元17和焊接运动控制单元18。具体如下:
图像扫描单元
扫描待焊工件坡口截面图像,并实时传输至图像采集、处理和计算单元;所述图像扫描单元包括一体式扫描激光传感器控制箱9和一体式扫描激光传感器13,一体式扫描激光传感器控制箱9和一体式扫描激光传感器13通讯连接;
图像采集、处理和计算单元
实时采集扫描的坡口图像,对采集的坡口图像进行处理并算法得到焊缝图像特征数据,所述图像采集、处理和计算单元为主控制PC机中的基于激光传感的焊缝坡口信息识别系统中的图像采集、处理与计算模块;
多层焊焊道规划单元
计算由图像采集、处理和计算单元得到的特征参数和预设焊缝层数得到下次焊道等填充面积时的焊枪的高度偏移量(离焦量)位置信息,最终实现焊枪对焊道位置的跟踪校正;所述多层焊焊道规划单元为主控制PC机中的基于激光传感的焊缝坡口信息识别系统软件中的多层焊焊道规划模块;
焊接运动控制单元
接受并处理上述多层焊焊道规划单元输出信息,向运动执行机构发送运动控制指令,所述焊接运动控制单元包括伺服电机控制箱2、伺服电机11、焊接机器人控制箱8、焊接机器人1、激光焊接系统控制箱3和焊枪12,所述伺服电机控制箱2和能微调高度的伺服电机11通讯连接;所述伺服电机11具有能微调高度的伺服电机;焊接机器人控制箱8和焊接机器人1通讯连接,激光焊接系统控制箱3和焊枪12通讯连接;
参数设置和控制单元
设置图像采集、处理参数和激光焊接参数,所述参数包括扫描式传感器的功率、帧数和扫描范围,激光焊接的坡口型式、激光功率、离焦量、焊接速度和焊缝层数;所述参数设置和控制单元为主控制PC机中的软件:基于激光传感的焊缝坡口信息识别系统1.0,参数设置和控制单元分别与图像扫描单元和焊接运动控制单元通讯连接。
本实施方式的一体扫描式激光激光传感器的激光光源的波长为650nm~699nm,激光功率为2mW~30mW;本实施方式的采样频率4帧/秒,即每秒得到4组512点阵列。
本实施方式采用的软件:基于激光传感的焊缝坡口信息识别系统1.0,主要功能包括:①人机交互界面;②传感系统初始化;③扫描光的开启关闭;④扫描区域设定;⑤图像在屏幕上的实时显示、实时采集至内存;⑥自定义扫描图像处理;⑦坡口特征信息计算;⑧图像与特征值的保存与输出。
本软件基于激光视觉传感跟踪技术,采用自主开发的图像处理和计算算法,能有效识别焊接生产中常用坡口形式(V型、I型和Y型等)的特征信息;同时集成软、硬件滤波技术,保证数据采集的稳定性和特征计算的精确性。系统人机界面采用工业控制面板形式设计,操作方便、简洁。
本实施方式步骤三中图像算法采用拐点求解算法,可计算得到Y形焊缝坡口的坡口宽度、坡口高度、坡口角度、坡口面积和错边量等特征参数。
具体实施方式八:结合图1、图2、图5、图8和图9说明本实施方式,本实施方式的步骤三中所述对采集的坡口截面图像进行图像算法处理得到焊缝图像数据,具体过程是:(1)、对采集的坡口截面图像先采用三点汉明滤波去噪算法处理,再采用五点中值滤波去噪算法处理,并得到滤波后的图像,(2)、对滤波后的图像先采用最大斜率法,在采用斜率-截距算法提取特征点,首先:先遍历滤波后的Y形截面图像上的所有点并找到多个最低点,任取其中一个最低点,记为点g,将点g与Y形截面图像上的点g左侧的所有点相连作直线,比较各直线的斜率的绝对值|k3|=|(yi-yg)×(xi-xg)|,斜率的绝对值最大所在的点,即为焊缝第一特征点F,过焊缝第一特征点F的垂线垂直于X轴所对应的点为第二特征点T,将点g与Y形截面图像上的g点左侧的所有点相连作直线,比较各直线的斜率的绝对值|k4|=|(yt-yg)×(xt-xg)|,斜率的绝对值最大所在的点,即为焊缝第三特征点R,过焊缝第三特征点R的垂线垂直于X轴所对应的点为第四特征点K;然后,将第一特征点F与二维坐标系X轴的坐标点0对应的Y轴的坐标点N相连作直线,斜率为KFN=(yN-yF)/xF,过点F和点N之间的滤波后的图像上的所有点作与直线FN相平行的直线,比较所有的平行直线在Y轴上的截距Bi,其中Bi=yi-kNF×xi,截距最大所对应的点即为焊缝第五特征点A,然后,将第三特征点R与二维坐标系X轴的坐标点为511对应的Y轴的坐标点M相连作直线,斜率为KR511=(y511-yR)/(x511-xR),过点R和点M之间的滤波后的Y形截面图像上的所有点作直线RM的平行直线,比较所有的平行直线在Y轴上的截距Bp,其中Bp=yp-kR511×xp,截距最大所对应的点即为焊缝第六特征点D。
本实施方式的坡口截面图像先采用三点汉明滤波去噪算法处理,再采用五点中值滤波去噪算法处理为:y’i=Med(yi-2,yi-1,yi,yi+1,yi+2);y’i=0.07yi-1+0.8yi+0.07yi+1。
本实施方式采用直接标定法,通过标准试块测量计算机二维像素坐标点与测量光面内实际三维世界坐标点之间的对应关系,建立两者联系的“索引表”。实际标定时,输入二维像素坐标值,通过“索引表”寻找与其对应的三维世界坐标值,以此完成标定过程。
本实施方式步骤三中图像算法采用拐点求解算法,可计算得到Y形焊缝坡口的坡口宽度、坡口高度、坡口角度、坡口面积和错边量等特征参数。
具体实施方式九:结合图8、图9和图14说明本实施方式,本实施方式的步骤四中所述多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,其拟合算法为:焊道特征点提取,从Y形截面图像上的第五特征点A和第六特征点D向二者之间经采集单元采集到的当前焊道图像上的点进行遍历,找到当前焊道中两个最低点为焊道第一特征点i3和焊道第二特征点k3,再遍历点i3和点k3之间的所有点,找到其中的最高点即为焊道第三特征点j3,(2)当前焊道等填充面积的高度偏移量确定,即与焊道等面积的梯形的高度确定,焊道第一特征点i3、焊道第二特征点k3和焊道第三特征点j3确定后,根据公式计算得到与当前层焊道等填充面积的近似梯形的高度h3,其中:σ3为修正系数,σ3的取值范围为0.1-0.9,hi3为当前层焊道上的点i3至X轴的距离,hk3为当前层焊道上的点k3至X轴的距离,hj3为当前层焊道上的点j3至X轴的距离。
本实施方式采用直接标定法,通过标准试块测量计算机二维像素坐标点与测量光面内实际三维世界坐标点之间的对应关系,建立两者联系的“索引表”。实际标定时,输入二维像素坐标值,通过“索引表”寻找与其对应的三维世界坐标值,以此完成标定过程。
Claims (9)
1.基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法,其特征在于:所述焊接方法的具体步骤为:
步骤一、选定坡口形式为V形坡口,通过参数设置和控制单元设置参数;
步骤二、由图像扫描单元扫描待焊厚板工件坡口截面图像,每次扫描得到一组512个点的阵列,横坐标范围为0~511,纵坐标范围为1~1024,点阵列按横坐标依次排列即为该次扫描得到的焊缝坡口二维图像;
步骤三、由图像采集、处理和计算单元对扫描的V形坡口截面图像进行实时同步采集,显示截面图像,并对采集的坡口截面图像进行图像算法处理得到焊缝图像数据;
步骤四、由多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,进而得到焊接下一焊道需达到的等面积时激光焦点应处的位置,输出焊接时焊枪的高度偏移量的位置信息;
步骤五、焊接运动控制单元接受并实时同步处理上述多层焊焊道规划单元输出信息,向伺服电机控制箱终端的伺服电机以及焊接机器人控制箱终端的焊接机器人发送运动控制指令,实现焊枪对焊道高度位置的校正,实现逐层完成焊道的焊接,直至完成所有焊接任务。
2.根据权利要求1所述的基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法,其特征在于:步骤三中所述对采集的坡口截面图像进行图像算法处理得到焊缝图像数据,具体过程是:(1)、对采集的坡口截面图像进行五点中值滤波去噪算法处理得到滤波后的图像,(2)、对滤波后的图像采用斜率-截距算法提取特征点,首先:先遍历滤波后的V形截面图像上的所有点并找到最低点,即为焊缝第一特征点b,将点b与二维坐标系X轴的坐标点0对应的Y轴的坐标点n相连作直线,斜率为Kbn=(yb-yn)/xb,过点b和点n之间的滤波后的图像上的所有点作与直线bn相平行的直线,比较所有的平行直线在Y轴上的截距Bi,其中Bi=yi-kbn×xi,截距最大所对应的点即为焊缝第二特征点a,然后,将点b与二维坐标系X轴的坐标点为511对应的Y轴的坐标点m相连作直线,斜率为Kbm=(ym-yb)/(x511-xb),过点b和点m之间的滤波后的V形截面图像上的所有点作直线bm的平行直线,比较所有的平行直线在Y轴上的截距Bp,其中Bp=yp-kbm×xp,截距最大所对应的点即为焊缝第三特征点c。
3.根据权利要求1所述的基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法,其特征在于:步骤四中多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,其拟合算法为:焊道特征点提取,从V形截面图像上的第二特征点a和第三特征点c向二者之间经采集单元采集到的当前焊道图像上的点进行遍历,找到当前焊道中两个最低点为焊道第一特征点i1和焊道第二特征点k1,再遍历i1和k1两点之间的点,找到其中的最高点即为焊道第三特征点j1,(2)当前焊道等填充面积的高度偏移量确定,即与焊道等面积的梯形的高度确定,焊道第一特征点i1、焊道第二特征点k1和焊道第三特征点j1确定后,根据公式计算得到与当前层焊道等填充面积的近似梯形的高度h1,其中:σ1为修正系数,σ1的取值范围为0.1-0.9,hi1为当前层焊道上的点i1至X轴的距离,hk1为当前层焊道上的点k1至X轴的距离,hj1为当前层焊道上的点j1至X轴的距离。
4.基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法,其特征在于:所述焊接方法的具体步骤为:
步骤一、选定坡口形式为I形坡口,通过参数设置和控制单元设置参数;
步骤二、由图像扫描单元扫描待焊厚板工件坡口截面图像,每次扫描得到一组512个点的阵列,横坐标范围为0~511,纵坐标范围为1~1024,点阵列按横坐标依次排列,即为该次扫描得到的焊缝坡口二维图像;
步骤三、由图像采集、处理和计算单元对扫描的I形坡口截面图像进行实时同步采集,显示截面图像,并对采集的坡口截面图像进行图像算法处理得到焊缝图像数据;
步骤四、由多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,进而得到焊接下一焊道需达到的等面积时激光焦点应处的位置,输出焊接时焊枪的高度偏移量的位置信息;
步骤五、焊接运动控制单元接受并实时同步处理上述多层焊焊道规划单元输出信息,向伺服电机控制箱终端的伺服电机以及焊接机器人控制箱终端的焊接机器人发送运动控制指令,实现焊枪对下层焊道高度位置的校正,实现逐层完成焊道的焊接,直至完成所有焊接任务。
5.根据权利要求4所述的基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法,其特征在于:步骤三中所述对采集的坡口截面图像进行图像算法处理得到焊缝图像数据,具体过程是:(1)、对采集的坡口截面图像进行三点汉明滤波去噪算法处理得到滤波后的图像,(2)、对滤波后的图像采用最大斜率法提取特征点,首先:先遍历滤波后的I形截面图像上的所有点并找到多个最低点,任取其中一个最低点,记为点e,将点e与I形截面图像上的e点左侧的所有点相连作直线,比较各直线的斜率的绝对值|k1|=|(yi-ye)×(xi-xe)|,斜率的绝对值最大值所在的点,即为焊缝第一特征点W,过焊缝第一特征点W的垂线垂直于X轴所对应的点为第二特征点E,将点e与I形截面图像上的e点右侧的所有点相连作直线,比较各直线的斜率的绝对值|k2|=|(yt-ye)×(xt-xe)|,斜率的绝对值最大值所在的点,即为焊缝第三特征点Z,过焊缝第三特征点Z的垂线垂直于X轴所对应的点为第四特征点S。
6.根据权利要求4所述的基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法,其特征在于:步骤四中多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,其拟合算法为:焊道特征点提取,从V形截面图像上的第一特征点W和第三特征点Z向二者之间经采集单元采集到的当前焊道图像上的点进行遍历,找到当前焊道中两个最低点为焊道第一特征点i2和焊道第二特征点k2,再遍历i2点和k2点之间的所有点,找到其中的最高点即为焊道第三特征点j2,(2)当前焊道等填充面积的高度偏移量确定,即与焊道等面积的梯形的高度确定,焊道第一特征点i2、焊道第二特征点k2和焊道第三特征点j2确定后,根据公式计算得到与当前层焊道等填充面积的近似梯形的高度h2,其中:σ2为修正系数,σ2的取值范围为0.1-0.9,hi2为当前层焊道上的点i2至X轴的距离,hk2为当前层焊道上的点k2至X轴的距离,hj2为当前层焊道上的点j2至X轴的距离。
7.基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法,其特征在于:所述焊接方法的具体步骤为:
步骤一、选定坡口形式为Y形坡口,通过参数设置和控制单元设置参数;
步骤二、由图像扫描单元扫描待焊厚板工件坡口截面图像,每次扫描得到一组512个点的阵列,横坐标范围为0~511,纵坐标范围为1~1024,点阵列按横坐标依次排列即为该次扫描得到的焊缝坡口二维图像;
步骤三、由图像采集、处理和计算单元对扫描的Y形坡口截面图像进行实时同步采集,显示截面图像,并对采集的坡口截面图像进行图像算法处理得到焊缝图像数据;
步骤四、由多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,进而得到焊接下一焊道需达到的等面积时激光焦点应处的位置,输出焊接时焊枪的高度偏移量的位置信息;
步骤五、焊接运动控制单元接受并实时同步处理上述多层焊焊道规划单元输出信息,向伺服电机控制箱终端的伺服电机以及焊接机器人控制箱终端的焊接机器人发送运动控制指令,实现焊枪对焊道高度位置的校正,实现逐层完成焊道的焊接,直至完成所有焊接任务。
8.根据权利要求7所述的基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法,其特征在于:步骤三中所述对采集的坡口截面图像进行图像算法处理得到焊缝图像数据,具体过程是:(1)、对采集的坡口截面图像先采用三点汉明滤波去噪算法处理,再采用五点中值滤波去噪算法处理,并得到滤波后的图像,(2)、对滤波后的图像先采用最大斜率法,在采用斜率-截距算法提取特征点,首先:先遍历滤波后的Y形截面图像上的所有点并找到多个最低点,任取其中一个最低点,记为点g,将点g与Y形截面图像上的点g左侧的所有点相连作直线,比较各直线的斜率的绝对值|k3|=|(yi-yg)×(xi-xg)|,斜率的绝对值最大所在的点,即为焊缝第一特征点F,过焊缝第一特征点F的垂线垂直于X轴所对应的点为第二特征点T,将点g与Y形截面图像上的g点左侧的所有点相连作直线,比较各直线的斜率的绝对值|k4|=|(yt-yg)×(xt-xg)|,斜率的绝对值最大所在的点,即为焊缝第三特征点R,过焊缝第三特征点R的垂线垂直于X轴所对应的点为第四特征点K;然后,将第一特征点F与二维坐标系X轴的坐标点0对应的Y轴的坐标点N相连作直线,斜率为KFN=(yN-yF)/xF,过点F和点N之间的滤波后的图像上的所有点作与直线FN相平行的直线,比较所有的平行直线在Y轴上的截距Bi,其中Bi=yi-kNF×xi,截距最大所对应的点即为焊缝第五特征点A,然后,将第三特征点R与二维坐标系X轴的坐标点为511对应的Y轴的坐标点M相连作直线,斜率为KR511=(y511-yR)/(x511-xR),过点R和点M之间的滤波后的Y形截面图像上的所有点作直线RM的平行直线,比较所有的平行直线在Y轴上的截距Bp,其中Bp=yp-kR511×xp,截距最大所对应的点即为焊缝第六特征点D。
9.根据权利要求7所述的基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法,其特征在于:步骤四中所述多层焊焊道规划单元根据图像采集、处理和计算单元得到的特征参数和预设的焊缝层数进行多层焊焊道近似简化为等面积的梯形拟合计算,其拟合算法为:焊道特征点提取,从Y形截面图像上的第五特征点A和第六特征点D向二者之间经采集单元采集到的当前焊道图像上的点进行遍历,找到当前焊道中两个最低点为焊道第一特征点i3和焊道第二特征点k3,再遍历点i3和点k3之间的所有点,找到其中的最高点即为焊道第三特征点j3,(2)当前焊道等填充面积的高度偏移量确定,即与焊道等面积的梯形的高度确定,焊道第一特征点i3、焊道第二特征点k3和焊道第三特征点j3确定后,根据公式计算得到与当前层焊道等填充面积的近似梯形的高度h3,其中:σ3为修正系数,σ3的取值范围为0.1-0.9,hi3为当前层焊道上的点i3至X轴的距离,hk3为当前层焊道上的点k3至X轴的距离,hj3为当前层焊道上的点j3至X轴的距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210213371.9A CN102699534B (zh) | 2012-06-26 | 2012-06-26 | 基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210213371.9A CN102699534B (zh) | 2012-06-26 | 2012-06-26 | 基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102699534A true CN102699534A (zh) | 2012-10-03 |
CN102699534B CN102699534B (zh) | 2014-10-15 |
Family
ID=46892743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210213371.9A Expired - Fee Related CN102699534B (zh) | 2012-06-26 | 2012-06-26 | 基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102699534B (zh) |
Cited By (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102990180A (zh) * | 2012-10-23 | 2013-03-27 | 廖怀宝 | 一种提高自动焊锡机器人阵列焊点精度的方法 |
CN102990177A (zh) * | 2012-10-19 | 2013-03-27 | 廖怀宝 | 一种提高自动焊锡机器人编程速度和精度的方法 |
CN103817439A (zh) * | 2014-03-13 | 2014-05-28 | 机械科学研究院哈尔滨焊接研究所 | 可显著改善接头组织及应力状态的预制焊材激光焊接方法 |
CN103934571A (zh) * | 2014-04-11 | 2014-07-23 | 上海交通大学 | 厚板机器人焊接系统及多层多道焊缝实时跟踪、规划方法 |
CN104002051A (zh) * | 2014-06-03 | 2014-08-27 | 湖南大学 | 一种用于激光焊接的垂直检测装置和检测方法 |
CN104400279A (zh) * | 2014-10-11 | 2015-03-11 | 南京航空航天大学 | 基于ccd的管道空间焊缝自动识别与轨迹规划的方法及系统 |
CN104416251A (zh) * | 2013-08-27 | 2015-03-18 | 泰科电子公司 | 自动焊接系统和自动焊接方法 |
CN104551403A (zh) * | 2014-12-26 | 2015-04-29 | 广东省工业技术研究院(广州有色金属研究院) | 一种厚板窄间隙激光扫描填丝焊接方法 |
CN105149786A (zh) * | 2015-10-19 | 2015-12-16 | 哈尔滨工业大学 | 一种基于预制焊材的窄间隙激光扫描多层自熔焊接方法 |
CN105328699A (zh) * | 2014-08-05 | 2016-02-17 | 罗伯特·博世有限公司 | 智能机器人焊接系统和方法 |
CN105643158A (zh) * | 2016-03-22 | 2016-06-08 | 哈尔滨工业大学 | 自适应焊缝激光扫描装置及控制方法 |
CN105983802A (zh) * | 2015-03-06 | 2016-10-05 | 扬州中集通华专用车有限公司 | 一种焊接机器人控制系统和方法 |
CN106001971A (zh) * | 2016-05-25 | 2016-10-12 | 东方电气集团东方汽轮机有限公司 | 一种汽轮机阀门大壁厚接管2g焊位窄间隙自动焊接方法 |
CN106002014A (zh) * | 2016-07-15 | 2016-10-12 | 上海发那科机器人有限公司 | 一种适用于直角焊缝激光跟踪的焊接系统及其焊接方法 |
CN106238969A (zh) * | 2016-02-23 | 2016-12-21 | 南京中建化工设备制造有限公司 | 基于结构光视觉的非标件自动化焊接加工系统 |
CN106271281A (zh) * | 2016-09-27 | 2017-01-04 | 华南理工大学 | 一种复杂异型工件自动焊接轨迹生成系统及方法 |
CN106312397A (zh) * | 2016-10-12 | 2017-01-11 | 华南理工大学 | 一种激光视觉引导的焊接轨迹自动跟踪系统及方法 |
CN107598367A (zh) * | 2017-09-28 | 2018-01-19 | 惠州市洛玛科技有限公司 | 焊接设备及其焊接方法 |
CN107755937A (zh) * | 2017-08-31 | 2018-03-06 | 中建钢构有限公司 | 变幅摆动焊接方法、装置及焊接机器人 |
CN107914084A (zh) * | 2017-11-16 | 2018-04-17 | 惠州市契贝科技有限公司 | 曲面薄板及其激光焊接方法、激光焊接系统 |
CN107914081A (zh) * | 2017-11-16 | 2018-04-17 | 惠州市契贝科技有限公司 | 二氧化碳激光焊接的方法及焊接装置 |
CN107931830A (zh) * | 2017-11-16 | 2018-04-20 | 惠州市契贝科技有限公司 | 激光焊接方法、铝板及激光焊接设备 |
CN108168448A (zh) * | 2018-02-07 | 2018-06-15 | 大连誉洋工业智能有限公司 | 一种基于机器人辅助相机定位检测工件高度的方法 |
CN108188548A (zh) * | 2017-12-28 | 2018-06-22 | 江苏杰瑞科技集团有限责任公司 | 一种机器人多层多道焊接方法 |
CN108453356A (zh) * | 2018-03-29 | 2018-08-28 | 江苏新时代造船有限公司 | 一种复杂中组立机器人压缩电弧mag焊接方法 |
CN108515264A (zh) * | 2018-03-30 | 2018-09-11 | 北京石油化工学院 | 一种用于提高超窄间隙激光焊接效率的方法 |
CN108907455A (zh) * | 2018-08-04 | 2018-11-30 | 苏州佩恩机器人有限公司 | 一种基于激光-可见光融合视觉技术的焊缝跟踪系统与方法 |
CN108994488A (zh) * | 2018-07-13 | 2018-12-14 | 上海拓璞数控科技股份有限公司 | 焊缝跟踪方法、系统、装置以及可读存储介质 |
CN109523548A (zh) * | 2018-12-21 | 2019-03-26 | 哈尔滨工业大学 | 一种基于临界阈值的窄间隙焊缝特征点提取方法 |
CN109604767A (zh) * | 2019-01-30 | 2019-04-12 | 浙江师范大学 | 用于厚板窄间隙gma机器人的智能焊接控制系统及方法 |
CN109894776A (zh) * | 2018-12-30 | 2019-06-18 | 上海新朋联众汽车零部件有限公司 | 焊缝轨迹的自动补偿方法 |
CN110052692A (zh) * | 2019-05-31 | 2019-07-26 | 山东大学 | V型坡口机器人焊接路径规划方法及系统 |
CN110076497A (zh) * | 2019-04-25 | 2019-08-02 | 大族激光科技产业集团股份有限公司 | 待焊接区跟踪装置、方法及其焊接设备、系统 |
CN110091039A (zh) * | 2019-05-31 | 2019-08-06 | 山东大学 | 单边v型坡口多层多道焊接路径规划方法及系统 |
CN111055054A (zh) * | 2020-01-13 | 2020-04-24 | 北京博清科技有限公司 | 一种焊缝识别方法、装置、焊接机器人及储存介质 |
CN111633358A (zh) * | 2020-05-25 | 2020-09-08 | 西咸新区大熊星座智能科技有限公司 | 基于激光的焊缝参数测量方法及装置 |
CN112222569A (zh) * | 2020-09-30 | 2021-01-15 | 北京博清科技有限公司 | 一种焊缝跟踪方法、装置、机器人和储存介质 |
CN112292915A (zh) * | 2018-06-29 | 2021-01-29 | 罗伯特·博世有限公司 | 电子器件用的壳体的制造方法 |
CN112935538A (zh) * | 2021-01-25 | 2021-06-11 | 广西建工集团第一安装有限公司 | 一种拼接厚板高效焊接方法 |
CN114274158A (zh) * | 2021-12-31 | 2022-04-05 | 北京博清科技有限公司 | 爬行焊接机器人的控制方法、控制器以及焊接系统 |
CN114383559A (zh) * | 2022-01-13 | 2022-04-22 | 中国铁建重工集团股份有限公司 | 一种焊缝坡口形貌的采集方法及系统 |
CN115351450A (zh) * | 2022-08-16 | 2022-11-18 | 武汉理工大学 | 坡口焊接路径规划方法、装置、电子设备及存储介质 |
CN115945767A (zh) * | 2022-11-15 | 2023-04-11 | 厦门航天思尔特机器人系统股份公司 | 一种坡口焊的自适应焊接系统、方法和装置 |
CN116021119A (zh) * | 2023-03-29 | 2023-04-28 | 中建安装集团有限公司 | 石化工艺管道机器人焊接组对错边量检测系统及方法 |
CN116213884A (zh) * | 2023-05-10 | 2023-06-06 | 南京理工大学 | 管-法兰微分阵列式划分及自适应焊接路径规划方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61111792A (ja) * | 1984-11-07 | 1986-05-29 | Kawasaki Steel Corp | レ−ザ溶接による仮付け溶接法 |
JP2003094183A (ja) * | 2001-09-19 | 2003-04-02 | Sanyo Electric Co Ltd | レーザ溶接方法およびレーザ溶接装置 |
CN1511676A (zh) * | 2002-12-27 | 2004-07-14 | 中国科学院自动化研究所 | 激光结构光视觉传感装置 |
KR100500973B1 (ko) * | 1997-08-28 | 2005-10-04 | 삼성중공업 주식회사 | 용접선 추적용 레이저 빈젼 센서 |
CN1782659A (zh) * | 2004-12-02 | 2006-06-07 | 中国科学院自动化研究所 | 一种基于激光结构光的焊缝跟踪视觉传感器 |
CN101966617A (zh) * | 2010-08-30 | 2011-02-09 | 东南大学 | 一种用于焊接机器人连续运动的视图模型简约描述方法 |
CN202278307U (zh) * | 2011-08-19 | 2012-06-20 | 广州有色金属研究院 | 一种可调式双线结构光焊缝跟踪视觉传感系统 |
-
2012
- 2012-06-26 CN CN201210213371.9A patent/CN102699534B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61111792A (ja) * | 1984-11-07 | 1986-05-29 | Kawasaki Steel Corp | レ−ザ溶接による仮付け溶接法 |
KR100500973B1 (ko) * | 1997-08-28 | 2005-10-04 | 삼성중공업 주식회사 | 용접선 추적용 레이저 빈젼 센서 |
JP2003094183A (ja) * | 2001-09-19 | 2003-04-02 | Sanyo Electric Co Ltd | レーザ溶接方法およびレーザ溶接装置 |
CN1511676A (zh) * | 2002-12-27 | 2004-07-14 | 中国科学院自动化研究所 | 激光结构光视觉传感装置 |
CN1782659A (zh) * | 2004-12-02 | 2006-06-07 | 中国科学院自动化研究所 | 一种基于激光结构光的焊缝跟踪视觉传感器 |
CN101966617A (zh) * | 2010-08-30 | 2011-02-09 | 东南大学 | 一种用于焊接机器人连续运动的视图模型简约描述方法 |
CN202278307U (zh) * | 2011-08-19 | 2012-06-20 | 广州有色金属研究院 | 一种可调式双线结构光焊缝跟踪视觉传感系统 |
Cited By (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102990177B (zh) * | 2012-10-19 | 2014-10-29 | 廖怀宝 | 一种提高自动焊锡机器人编程速度和精度的方法 |
CN102990177A (zh) * | 2012-10-19 | 2013-03-27 | 廖怀宝 | 一种提高自动焊锡机器人编程速度和精度的方法 |
CN102990180B (zh) * | 2012-10-23 | 2014-06-25 | 廖怀宝 | 一种提高自动焊锡机器人阵列焊点精度的方法 |
CN102990180A (zh) * | 2012-10-23 | 2013-03-27 | 廖怀宝 | 一种提高自动焊锡机器人阵列焊点精度的方法 |
CN104416251A (zh) * | 2013-08-27 | 2015-03-18 | 泰科电子公司 | 自动焊接系统和自动焊接方法 |
CN103817439B (zh) * | 2014-03-13 | 2017-01-11 | 机械科学研究院哈尔滨焊接研究所 | 可显著改善接头组织及应力状态的预制焊材激光焊接方法 |
CN103817439A (zh) * | 2014-03-13 | 2014-05-28 | 机械科学研究院哈尔滨焊接研究所 | 可显著改善接头组织及应力状态的预制焊材激光焊接方法 |
CN103934571A (zh) * | 2014-04-11 | 2014-07-23 | 上海交通大学 | 厚板机器人焊接系统及多层多道焊缝实时跟踪、规划方法 |
CN104002051A (zh) * | 2014-06-03 | 2014-08-27 | 湖南大学 | 一种用于激光焊接的垂直检测装置和检测方法 |
CN105328699A (zh) * | 2014-08-05 | 2016-02-17 | 罗伯特·博世有限公司 | 智能机器人焊接系统和方法 |
CN104400279A (zh) * | 2014-10-11 | 2015-03-11 | 南京航空航天大学 | 基于ccd的管道空间焊缝自动识别与轨迹规划的方法及系统 |
CN104551403A (zh) * | 2014-12-26 | 2015-04-29 | 广东省工业技术研究院(广州有色金属研究院) | 一种厚板窄间隙激光扫描填丝焊接方法 |
CN105983802A (zh) * | 2015-03-06 | 2016-10-05 | 扬州中集通华专用车有限公司 | 一种焊接机器人控制系统和方法 |
CN105983802B (zh) * | 2015-03-06 | 2018-01-05 | 扬州中集通华专用车有限公司 | 一种焊接机器人控制系统和方法 |
CN105149786A (zh) * | 2015-10-19 | 2015-12-16 | 哈尔滨工业大学 | 一种基于预制焊材的窄间隙激光扫描多层自熔焊接方法 |
CN106238969A (zh) * | 2016-02-23 | 2016-12-21 | 南京中建化工设备制造有限公司 | 基于结构光视觉的非标件自动化焊接加工系统 |
CN105643158A (zh) * | 2016-03-22 | 2016-06-08 | 哈尔滨工业大学 | 自适应焊缝激光扫描装置及控制方法 |
CN106001971A (zh) * | 2016-05-25 | 2016-10-12 | 东方电气集团东方汽轮机有限公司 | 一种汽轮机阀门大壁厚接管2g焊位窄间隙自动焊接方法 |
CN106002014A (zh) * | 2016-07-15 | 2016-10-12 | 上海发那科机器人有限公司 | 一种适用于直角焊缝激光跟踪的焊接系统及其焊接方法 |
CN106002014B (zh) * | 2016-07-15 | 2019-04-02 | 上海发那科机器人有限公司 | 一种适用于直角焊缝激光跟踪的焊接系统及其焊接方法 |
CN106271281A (zh) * | 2016-09-27 | 2017-01-04 | 华南理工大学 | 一种复杂异型工件自动焊接轨迹生成系统及方法 |
CN106312397A (zh) * | 2016-10-12 | 2017-01-11 | 华南理工大学 | 一种激光视觉引导的焊接轨迹自动跟踪系统及方法 |
CN106312397B (zh) * | 2016-10-12 | 2018-04-13 | 华南理工大学 | 一种激光视觉引导的焊接轨迹自动跟踪系统及方法 |
CN107755937A (zh) * | 2017-08-31 | 2018-03-06 | 中建钢构有限公司 | 变幅摆动焊接方法、装置及焊接机器人 |
WO2019041984A1 (zh) * | 2017-08-31 | 2019-03-07 | 中建钢构有限公司 | 变幅摆动焊接方法、装置及焊接机器人 |
CN107598367A (zh) * | 2017-09-28 | 2018-01-19 | 惠州市洛玛科技有限公司 | 焊接设备及其焊接方法 |
CN107914084A (zh) * | 2017-11-16 | 2018-04-17 | 惠州市契贝科技有限公司 | 曲面薄板及其激光焊接方法、激光焊接系统 |
CN107931830A (zh) * | 2017-11-16 | 2018-04-20 | 惠州市契贝科技有限公司 | 激光焊接方法、铝板及激光焊接设备 |
CN107914081A (zh) * | 2017-11-16 | 2018-04-17 | 惠州市契贝科技有限公司 | 二氧化碳激光焊接的方法及焊接装置 |
CN108188548A (zh) * | 2017-12-28 | 2018-06-22 | 江苏杰瑞科技集团有限责任公司 | 一种机器人多层多道焊接方法 |
CN108168448A (zh) * | 2018-02-07 | 2018-06-15 | 大连誉洋工业智能有限公司 | 一种基于机器人辅助相机定位检测工件高度的方法 |
CN108453356A (zh) * | 2018-03-29 | 2018-08-28 | 江苏新时代造船有限公司 | 一种复杂中组立机器人压缩电弧mag焊接方法 |
CN108515264A (zh) * | 2018-03-30 | 2018-09-11 | 北京石油化工学院 | 一种用于提高超窄间隙激光焊接效率的方法 |
CN112292915B (zh) * | 2018-06-29 | 2023-02-17 | 罗伯特·博世有限公司 | 电子器件用的壳体的制造方法 |
CN112292915A (zh) * | 2018-06-29 | 2021-01-29 | 罗伯特·博世有限公司 | 电子器件用的壳体的制造方法 |
CN108994488A (zh) * | 2018-07-13 | 2018-12-14 | 上海拓璞数控科技股份有限公司 | 焊缝跟踪方法、系统、装置以及可读存储介质 |
CN108907455A (zh) * | 2018-08-04 | 2018-11-30 | 苏州佩恩机器人有限公司 | 一种基于激光-可见光融合视觉技术的焊缝跟踪系统与方法 |
CN109523548A (zh) * | 2018-12-21 | 2019-03-26 | 哈尔滨工业大学 | 一种基于临界阈值的窄间隙焊缝特征点提取方法 |
CN109894776A (zh) * | 2018-12-30 | 2019-06-18 | 上海新朋联众汽车零部件有限公司 | 焊缝轨迹的自动补偿方法 |
CN109604767B (zh) * | 2019-01-30 | 2021-01-26 | 浙江师范大学 | 用于厚板窄间隙gma机器人的智能焊接控制系统及方法 |
CN109604767A (zh) * | 2019-01-30 | 2019-04-12 | 浙江师范大学 | 用于厚板窄间隙gma机器人的智能焊接控制系统及方法 |
CN110076497A (zh) * | 2019-04-25 | 2019-08-02 | 大族激光科技产业集团股份有限公司 | 待焊接区跟踪装置、方法及其焊接设备、系统 |
CN110076497B (zh) * | 2019-04-25 | 2022-05-06 | 大族激光科技产业集团股份有限公司 | 待焊接区跟踪装置、方法及其焊接设备、系统 |
CN110091039A (zh) * | 2019-05-31 | 2019-08-06 | 山东大学 | 单边v型坡口多层多道焊接路径规划方法及系统 |
CN110052692A (zh) * | 2019-05-31 | 2019-07-26 | 山东大学 | V型坡口机器人焊接路径规划方法及系统 |
CN111055054A (zh) * | 2020-01-13 | 2020-04-24 | 北京博清科技有限公司 | 一种焊缝识别方法、装置、焊接机器人及储存介质 |
CN111055054B (zh) * | 2020-01-13 | 2021-11-16 | 北京博清科技有限公司 | 一种焊缝识别方法、装置、焊接机器人及储存介质 |
CN111633358B (zh) * | 2020-05-25 | 2021-11-09 | 西咸新区大熊星座智能科技有限公司 | 基于激光的焊缝参数测量方法及装置 |
CN111633358A (zh) * | 2020-05-25 | 2020-09-08 | 西咸新区大熊星座智能科技有限公司 | 基于激光的焊缝参数测量方法及装置 |
CN112222569A (zh) * | 2020-09-30 | 2021-01-15 | 北京博清科技有限公司 | 一种焊缝跟踪方法、装置、机器人和储存介质 |
CN112222569B (zh) * | 2020-09-30 | 2021-11-23 | 北京博清科技有限公司 | 一种焊缝跟踪方法、装置、机器人和储存介质 |
CN112935538A (zh) * | 2021-01-25 | 2021-06-11 | 广西建工集团第一安装有限公司 | 一种拼接厚板高效焊接方法 |
CN114274158B (zh) * | 2021-12-31 | 2024-02-02 | 北京博清科技有限公司 | 爬行焊接机器人的控制方法、控制器以及焊接系统 |
CN114274158A (zh) * | 2021-12-31 | 2022-04-05 | 北京博清科技有限公司 | 爬行焊接机器人的控制方法、控制器以及焊接系统 |
CN114383559A (zh) * | 2022-01-13 | 2022-04-22 | 中国铁建重工集团股份有限公司 | 一种焊缝坡口形貌的采集方法及系统 |
CN115351450A (zh) * | 2022-08-16 | 2022-11-18 | 武汉理工大学 | 坡口焊接路径规划方法、装置、电子设备及存储介质 |
CN115351450B (zh) * | 2022-08-16 | 2023-07-18 | 武汉理工大学 | 坡口焊接路径规划方法、装置、电子设备及存储介质 |
CN115945767A (zh) * | 2022-11-15 | 2023-04-11 | 厦门航天思尔特机器人系统股份公司 | 一种坡口焊的自适应焊接系统、方法和装置 |
CN116021119A (zh) * | 2023-03-29 | 2023-04-28 | 中建安装集团有限公司 | 石化工艺管道机器人焊接组对错边量检测系统及方法 |
CN116213884A (zh) * | 2023-05-10 | 2023-06-06 | 南京理工大学 | 管-法兰微分阵列式划分及自适应焊接路径规划方法 |
CN116213884B (zh) * | 2023-05-10 | 2023-08-22 | 南京理工大学 | 管-法兰微分阵列式划分及自适应焊接路径规划方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102699534B (zh) | 2014-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102699534B (zh) | 基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法 | |
CN210046133U (zh) | 基于激光结构光的焊缝视觉跟踪系统 | |
CN104985289B (zh) | 基于激光传感器的焊缝自动跟踪测试装置及其测试方法 | |
CN102615390B (zh) | 基于摆动电弧的多层多道焊焊缝跟踪系统及识别方法 | |
CN103759648B (zh) | 一种基于激光双目视觉的复杂角焊缝位置检测方法 | |
CN104708239B (zh) | 基于ccd的大型海洋管道起始点识别与定位方法 | |
CN104588838B (zh) | 一种焊枪自动跟踪控制并在线修正系统及其控制方法 | |
CN102303190B (zh) | 线激光视觉跟踪平面对接焊缝方法 | |
CN108971704B (zh) | 基于视觉及旋转电弧复合传感的三维焊缝跟踪方法及系统 | |
KR20200085274A (ko) | 액티브 레이저 비전 용접이음 추적 시스템 및 용접이음 위치 검측 방법 | |
CN104084669B (zh) | 一种基于解耦检测的环缝视觉检测方法 | |
CN105458462B (zh) | 一种变间隙梯形焊缝多参数同步视觉检测跟踪方法 | |
WO2015120734A1 (zh) | 基于机器视觉的焊接轨迹校正专用测试装置及方法 | |
CN108344693B (zh) | 一种面向自动焊接的薄板焊缝错边量视觉测量方法 | |
CN108127217B (zh) | 螺旋板式换热器端面焊缝自动引导焊接的焊接装置和方法 | |
CN110480127A (zh) | 一种基于结构光视觉传感的焊缝跟踪系统及方法 | |
CN102279190A (zh) | 一种激光焊接不等厚板焊缝表面缺陷图像检测方法 | |
CN113465511A (zh) | 一种钢卷尺寸在线测量及全方位端面缺陷在线检测方法 | |
CN203973025U (zh) | 一种基于解耦检测的环缝视觉检测装置 | |
CN102284769A (zh) | 基于单目视觉传感的机器人初始焊位识别系统及方法 | |
CN106378514B (zh) | 基于机器视觉的不锈钢非均匀细微多焊缝视觉检测系统和方法 | |
CN109702290A (zh) | 基于视觉识别的钢板坡口切割方法 | |
CN111397529A (zh) | 一种基于双目视觉结构光的复杂表面形状检测方法 | |
CN114769962B (zh) | 一种基于视觉传感的移动焊接机器人的焊缝识别跟踪系统 | |
Ye et al. | Weld seam tracking based on laser imaging binary image preprocessing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141015 Termination date: 20210626 |
|
CF01 | Termination of patent right due to non-payment of annual fee |