CN108637435B - 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法 - Google Patents

一种基于视觉与弧压传感的三维焊缝跟踪系统及方法 Download PDF

Info

Publication number
CN108637435B
CN108637435B CN201810466558.7A CN201810466558A CN108637435B CN 108637435 B CN108637435 B CN 108637435B CN 201810466558 A CN201810466558 A CN 201810466558A CN 108637435 B CN108637435 B CN 108637435B
Authority
CN
China
Prior art keywords
welding
arc
personal computer
industrial personal
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810466558.7A
Other languages
English (en)
Other versions
CN108637435A (zh
Inventor
石永华
刘炜聪
顾盛勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG FUWEIDE WELDING CO Ltd
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810466558.7A priority Critical patent/CN108637435B/zh
Publication of CN108637435A publication Critical patent/CN108637435A/zh
Application granted granted Critical
Publication of CN108637435B publication Critical patent/CN108637435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • B23K9/1272—Geometry oriented, e.g. beam optical trading
    • B23K9/1274—Using non-contact, optical means, e.g. laser means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/133—Means for feeding electrodes, e.g. drums, rolls, motors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/24—Features related to electrodes
    • B23K9/28—Supporting devices for electrodes
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Abstract

本发明公开了一种基于视觉与弧压传感的三维焊缝跟踪系统及方法，所述系统包括图像采集与处理模块、弧压传感模块及机器人控制模块；所述图像采集模块负责拍摄焊接过程中电弧、熔池、焊缝图像，并将图像传输到工控机，工控机通过图像处理算法计算得到焊接偏差。弧压传感模块负责采集焊接过程中电弧电压值，并将弧压值传到工控机，工控机根据弧压‑弧长关系保持焊接过程中弧长的稳定，达到高度方向控制的效果。机器人控制模块负责机器人运动纠偏和焊枪姿态控制。

Description

一种基于视觉与弧压传感的三维焊缝跟踪系统及方法
技术领域
本发明涉及焊接技术领域，尤其涉及一种基于视觉与弧压传感的三维焊缝跟踪系统及方法。
背景技术
在现有的焊接机器人中，大多数采用的是示教再现式焊接机器人，在面对工件的尺寸误差、定位误差和焊接过程中的热变形，不能改变其焊接轨迹，导致焊枪不能精确地沿着焊缝行走，影响焊接过程的稳定和焊接质量。此外，在处理多道焊或者复杂形状曲线时，需要工人花大量的时间进行示教，导致生产效率低下。焊缝跟踪技术通过传感器获取焊接偏差或焊缝位置从而指导焊枪执行机构沿着焊缝行走对于高效率的焊接生产有着重要意义。
目前，主流的焊缝跟踪技术有基于弧压传感的焊缝跟踪技术、基于主动视觉的焊缝跟踪技术、基于被动视觉的焊缝跟踪技术。基于弧压传感的焊缝跟踪技术通过摆动、旋转传感器获取周期变化的弧压波形，通过波形形状推测焊接偏差。这种方法处理信息量少、实现简单，但是所跟踪的焊缝必须开坡口。基于主动视觉的焊缝跟踪技术通过发射激光条纹打在工件焊缝上，然后依据不同的焊缝结构计算相应的特征点从而计算出焊接偏差，但是激光条纹与焊缝相交的点距离焊枪中心在工件的投影点距离较大，焊枪的跟踪控制具有一定的超前性，不利于应对突发情况发生。基于被动视觉的焊缝跟踪技术通过摄像机拍摄熔池和焊缝图像，不依赖辅助光源，直接拍摄熔池和焊缝能够获取较前两种方法多的信息。
现有的被动视觉焊缝跟踪技术主要采用二值化和边缘检测方法来获取熔池和焊缝的形状和位置信息，从而计算获得焊接偏差。但该方法需要对图像像素进行多次遍历，所花费时间较大，容易受到无关图像信息的干扰。所以，许多学者通过划定感兴趣区域的方法来截取部分图像出来进行焊接偏差计算，如文献“Ma H,Wei S,Sheng Z,et al.Robotwelding seam tracking method based on passive vision for thin plate closed-gap butt welding[J].International Journal of Advanced ManufacturingTechnology,2010,48(9-12):945-953.”但是，所定义的感兴趣区域大多是通过经验采用固定位置和大小的窗口来截取图像的，这样若熔池和焊缝在焊接过程中部分或完全移出感兴趣区域，后续算法会出现较大的误差，不利于控制焊枪准测地跟踪焊缝。
现有的基于被动视觉的焊缝跟踪技术大多还停留在二维平面的焊缝跟踪，无法满足焊接复杂焊缝的需求。经过文献检索，文献“Xu Y,Lv N,Zhong J,et al.Research onthe Real-time Tracking Information of Three-dimensionWelding Seamin RoboticGTAW Process Based on Composite Sensor Technology[J].Journal of Intelligent&Robotic Systems,2012,68(2):89-103.”、“Wei S,Kong M,Lin T,et al.Three‐dimensional weld seam tracking for robotic welding by composite sensingtechnology[J].Industrial Robot,2011,38(5):500-508.”中都是在二维焊缝跟踪的基础上通过弧压传感器来获取电弧弧长从而对焊接过程中的电弧弧长进行控制。然而，文献中的运动控制并不涉及焊枪的姿态控制，且焊接前只是对平面工件进行相机标定，在三维控制过程中，不能准确得到曲面工件上的坐标到相机成像平面坐标的映射关系，必然造成经由图像处理算法获得的焊接偏差的误差较大。
发明内容
为解决上述技术问题，本发明的目的是提供一种基于视觉与弧压传感的三维焊缝跟踪系统及方法。
本发明的目的通过以下的技术方案来实现：
一种基于视觉与弧压传感的三维焊缝跟踪系统，包括：图像采集与处理模块、弧压传感模块及机器人控制模块；所述
图像采集与处理模块，由CCD摄像机和工控机组成，用于采集焊接过程中熔池焊缝图像，并将图像传输到工控机，由工控机通过图像处理方法计算得到焊接偏差；
弧压传感模块，由弧压传感器、A/D转换模块和工控机组成，用于采集焊接过程中的电弧电压，并将采集的电弧电压数据传输到工控机，由工控机调节电弧长度，以保证焊接过程的稳定；
机器人控制模块，由六轴机器人、控制柜和工控机组成；工控机将接收到的焊接偏差数据和电弧电压数据通过算法转换成六轴机器人水平方向焊接偏差、高度方向焊接偏差和焊枪姿态角度偏差，并将偏差数据以OPC协议方式传输到控制柜中，由控制柜指导机器人运动，完成三维焊缝跟踪运动纠偏。
一种基于视觉与弧压传感的三维焊缝跟踪方法，包括：
步骤10对相机进行标定，包括对垂直于焊枪的水平平面工件的表面平面进行标定及对焊枪中心线同一平面与世界坐标系x轴垂直的平面进行标定；
步骤20获取摄像机拍摄的熔池焊缝图像；
步骤30对获取的图像进行滤波，所述滤波采用双边滤波法；
步骤40a选取电弧区域作为感兴趣区域；
步骤40b对感兴趣区域图像进行Otsu+二值化，并对二值化后图像采用Canny边缘检测得到电弧顶端边缘；
步骤40c采用最小二乘法拟合电弧端边缘，及通过弧压传感模块获取电弧长度，并通过焊枪所在平面到相机成像平面的映射关系得到电弧末端在相机平面的位置，并将此点作为焊枪中心在工件的投影点；
步骤50a自适应选取熔池前端和焊缝感兴趣区域，扫描区域中每一个局部图像特征，并判断所述局部图像是否为所需的熔池焊缝区域；
步骤50b将步骤50a得到的局部图像进行二值化+Canny边缘检测，得到熔池前端边缘；
步骤50c计算熔池前端边缘曲率最大的点作为焊缝所在的位置；
步骤60将焊枪中心在工件的投影点与焊缝位置在横向上的差值作为焊接偏差。
与现有技术相比，本发明的一个或多个实施例可以具有如下优点：
在进行图像特征计算前进行自适应感兴趣区域选取，并通过强化学习提供感兴趣区域扫描策略，能够减少后续图像处理输入图像的大小，大幅度减少整体图像处理算法的处理时间，并在后续图像处理中避免了图像中感兴趣区域外的干扰。
通过机器人行走的后验坐标数据，构建三次曲面来估计并预测工件形状，用于实时改变工件表面坐标到相机成像平面坐标的映射关系并指导焊枪姿态的调整。本发明能够只在水平放置的工件平面上进行相机标定的情况下进行水平放置的工件、斜放置的工件、弯曲的工件进行焊缝跟踪，自动完成焊接任务。在焊接过程中，实时调整焊枪姿态，保证焊接过程的稳定，适应多种工件的焊接需求。
附图说明
图1是基于视觉与弧压传感的三维焊缝跟踪系统结构图；
图2是机器人控制模块的具体实现方法流程图；
图3是基于视觉与弧压传感的三维焊缝跟踪方法流程图；
图4CCD摄像机拍摄的熔池焊缝图像；
图5HOG特征计算原理图；
图6按行扫描与DQN指导扫描策略对比图；
图7电弧抛物线拟合结果图；
图8熔池前端特征提取过程；
图9三维偏差计算与姿态控制原理图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。
如图1所示，展示了基于视觉与弧压传感的三维焊缝跟踪系统，该系统由三部分组成：图像采集与处理模块、弧压传感模块及机器人控制模块；所述图像采集与处理模块，由CCD摄像机1和工控机4组成，用于采集焊接过程中熔池焊缝图像，并将图像传输到工控机，由工控机通过图像处理方法计算得到焊接偏差；弧压传感模块，由弧压传感器5、A/D转换模块和工控机4组成，用于采集焊接过程中的电弧电压，并将采集的电弧电压数据传输到工控机，由工控机调节电弧长度，以保证焊接过程的稳定；机器人控制模块，由六轴机器人7、控制柜6和工控机4组成；工控机将接收到的焊接偏差数据和电弧电压数据通过算法转换成六轴机器人水平方向焊接偏差、高度方向焊接偏差和焊枪姿态角度偏差，并将偏差数据以OPC协议方式传输到控制柜中，由控制柜指导机器人运动，完成三维焊缝跟踪运动纠偏。
在图像采集与处理模块中，CCD摄像机1负责拍摄焊接过程中焊接方向上的熔池和焊缝图像，并将图像传输到工控机；工控机对接收到的图像采用图像处理技术进行处理，计算得到焊接偏差。工控机从CCD摄像机采集得到的图像一般存在噪声的影响，并且后续图像处理如果对整张图片进行处理需要耗费大量的时间，不利于实时控制，因此要对图像进行图像预处理，该处理方法采用对获取的图像进行滤波，所述滤波采用双边滤波法。
所述CCD摄像机安装在机器人末端位置和焊枪头上前方向上；
所述弧压传感器、A/D转换模块和工控机；所述弧压传感器与工控机连接；
所述六轴机器人、控制柜和工控机，所述工控机通过控制柜与所述六轴机器人连接。
如图2所示，上述机器人控制模块的具体实现方法包括：
第一步骤，记录焊接过程中机器人Z轴方向上的坐标，对每记录的十个坐标点数据用三次多项式进行曲线拟合，并横向延展成曲面；
第二步骤，根据曲面到相机成像平面和工件标定平面到相机成像平面的关系计算标定平面坐标到曲面坐标的关系；
第三步骤，将水平方向焊接偏差通过第二步骤的关系得到真实的水平方向焊接偏差；
第四步骤，通过弧压传感器获取电弧电压值，换算成电弧长度，并与需要跟踪的电弧长度作比较得到高度方向焊接偏差；
第五步骤，将焊缝所在位置通过第二步骤的关系映射到曲面上的位置，并计算曲面位置点的曲面法线，经法线作为焊枪姿态；
第六步骤，将所述水平方向焊接偏差、高度方向焊接偏差及焊枪姿态发送到控制柜，并通过控制柜接收到的水平方向焊接偏差、高度方向焊接偏差及焊枪姿态指导六轴机器人的运动。
本实施例还提供了一种基于视觉与弧压传感的三维焊缝跟踪方法(如图3所示)，包括如下步骤：
步骤10对相机进行标定，包括对垂直于焊枪的水平平面工件的表面平面进行标定及对焊枪中心线同一平面与世界坐标系x轴垂直的平面进行标定；
步骤20获取摄像机拍摄的熔池焊缝图像(如图4所示)；
步骤30对获取的图像进行滤波，所述滤波采用双边滤波法；
步骤40a选取电弧区域作为感兴趣区域；
步骤40b对感兴趣区域图像进行Otsu+二值化，并对二值化后图像采用Canny边缘检测得到电弧顶端边缘；
步骤40c采用最小二乘法拟合电弧端边缘，及通过弧压传感模块获取电弧长度，并通过焊枪所在平面到相机成像平面的映射关系得到电弧末端在相机平面的位置，并将此点作为焊枪中心在工件的投影点；
步骤50a自适应选取熔池前端和焊缝感兴趣区域，扫描区域中每一个局部图像特征，并判断所述局部图像是否为所需的熔池焊缝区域；
步骤50b将步骤50a得到的局部图像进行二值化+Canny边缘检测，得到熔池前端边缘；
步骤50c计算熔池前端边缘曲率最大的点作为焊缝所在的位置；
步骤60将焊枪中心在工件的投影点与焊缝位置在横向上的差值作为焊接偏差。
一般的图像滤波方法中有中值滤波、高斯滤波等。这些方法根据像素点领域信息来改变该点像素灰度值，虽然能达到滤波去噪的效果，但是也弱化了边缘信息。本实施例采用双边滤波方法对获取的图像进行处理，双边滤波一方面能够达到滤波去噪的效果，另一方面能够保留有用的边缘信息。在双边滤波中，像素点的灰度由该像素点领域的灰度分布和领域灰度与该像素点之差共同决定的，采用卷积核对像素点的领域进行卷积运算可以起到对该像素点的领域灰度平滑作用，若该像素点与领域灰度差别过大，则可以认为是边缘，可以减少平滑卷积运算中的卷积核系数，起到保护边缘的效果。
为了减少算法计算量，加强算法实时性，本申请文件采用提取感兴趣窗口的方法提取电弧感兴趣窗口和熔池感兴趣窗口。在焊接过程中，电弧在图像中的位置相对固定，可以采取固定窗口的形式获取电弧区域图像，而熔池和电弧在焊接过程中变化较大，若采取固定窗口形式容易产生窗口没有完全包含熔池焊缝的信息，若窗口尺寸过大，则造成算法计算量大，不利于算法实时性。基于此，本实施例采用HOG-SVM算法来选取感兴趣区域。HOG算法是通过梯度算子获取图像梯度幅值和方向，并将梯度方向直方图作为HOG特征，而支持向量机是一种二元分类算法，将HOG特征作为输入，输出为局部区域图像是否为感兴趣区域。在实际操作中，如图5所示，设定感兴趣区域大小为128*64，将感兴趣区域中8*8像素大小的区域作为一个cell,通过梯度算子计算每一个cell内的梯度幅值和方向，并统计得到每一个cell的梯度方向直方图。由于局部区域受亮度、干扰的影响，使得cell之间梯度幅值变化很大，因此需要对cell进行归一化处理。通过将2*2cell组合成一个block，对每一个block进行归一化处理，最终得到每一个block的HOG特征。SVM算法是一种线性分类器，能够对样本进行线性分类，通过核函数SVM甚至可以对样本进行非线性分类。一般二维平面上数据可以通过构建一条直线来进行线性分类，在高维数据，如本发明的HOG特征样本，SVM通过构建超平面对样本进行线性分类，输入为HOG特征，输出为1或0，1代表该128*64区域为感兴趣区域，0则相反。最终通过HOG-SVM算法对图像遍历得到熔池和焊缝感兴趣区域。
为了减少Hog特征和SVM分类的计算时间，本实施例采用的是Mnih V所提出的强化学习方法Deep Q Learning来指导Block扫描的扫描策略。如图6所示每计算完一次Hog特征和SVM分类判断该窗口是否为感兴趣区域后，通过强化学习中值函数Q来估计下一步动作之后的回报值，并采用贪婪算法算去值函数值最大的方向扫描。在该方法中，Hog特征计算和SVM分类不需要在整幅图像中每个128*64局部图像进行，只需要在扫描路径上的128*64局部图像中进行。这样可以减少算法计算次数，从而减少算法的计算时间。值函数不采用表格形式，而是采用BP神经网络的形式，这样更能应对更多情况下下一步动作的选择问题，避免了表格形式的维度爆炸问题。上述值函数由Q(s，a)表示，代表一系列决策下的累计回报，s代表状态，在本发明中代表当前128*64局部图像像素，a代表动作，在本实施例中代表扫描方向上、下、左、右。Q(s，a)在训练中是以时间差分的形式表示Q(si，ai)＝ri+γmaxQ(si+1，ai+1)，其中ri为i时刻状态si，动作ai下的瞬时回报，Y为折损因子(0≤Y≤1)。训练是离线训练，需要制作样本和标签。样本是两个一对保存的，即当前的状态、动作与下一状态、下一动作，标签为认为设定的回报。本发明中回报设置为r＝-d+w，其中d为扫描窗口已走的步数，
Figure BDA0001662213600000081
训练的代价函数设置为min Y＝(ri+Q(si+1，ai+1)-Q(si，ai))2。
由于弧光的影响，焊枪钨针不容易检测，而电弧是从钨针尖端发出的，可以认为电弧中心线和钨针中心线处于同一直线上。本发明通过检测电弧来得到焊枪中心线。在电弧区域图像中，电弧灰度与背景灰度有着明显的差异，采用二值化能够简单有效地将电弧从背景中提取出来。二值化有一个重要参数是阈值的选择，这关系到二值化分割的质量。本发明采用Otsu最大类间方差法求取电弧区域二值化阈值。如图7所示，得到的电弧边缘是不平滑的，不利于作数学分析，因此采用最小二乘法对电弧边缘进行抛物线拟合，拟合公式为s(x)＝a0+a1x+a2x2，最后在抛物线极值点作线段，线段长度为弧压传感模块检测的电弧长度通过焊枪竖直面的标定关系映射到相机成像平面的长度。可以认为线段末端的点为焊枪中心在工件的投影点。
对熔池焊缝区域的图像采用Canny边缘检测算法检测熔池和焊缝边缘。熔池会在焊缝处沉积，在图像上会看到熔池在焊缝处有突出点，可以通过检测该突出点作为焊缝检测点，如图8所示。焊接偏差为焊枪中心在工件的投影点与焊缝位置在横向上的差值。通过Canny算法检测到的熔池边缘在焊缝检测点处曲率较大，可以通过离散曲率公式求得。Canny边缘检测算法步骤包括：
(1)分别计算图像G(x，y)在x、y方向的梯度
Figure BDA0001662213600000091
(2)计算得到图像剃度幅值
Figure BDA0001662213600000092
和方向
Figure BDA0001662213600000093
Figure BDA0001662213600000094
其中，M(x，y)表示在点(x，y)的灰度梯度方向，
Figure BDA0001662213600000095
表示在点(x，y)的灰度梯度方向。
(3)对梯度幅值进行非极大值抑制，若当前像素的梯度幅值大于梯度方向上相邻像素的梯度幅值，则保留该像素点的梯度幅值，否则令该像素点的梯度幅值M(x，y)＝0。
(4)采用1、2、3步骤得到的图像可能存在伪边缘，为了消除伪边缘采用双阈值法消除。设定两个梯度阈值，高阈值T_h，低阈值T_l，若梯度幅值M(x，y)＞T_h，则该点为边缘点，若M(x，y)＜T_l，则该点为伪边缘点，若T_l＜M(x，y)＜T_h，则该点有可能为边缘点也有可能为伪边缘点，称为弱边缘点。如果弱边缘与边缘点连通，则认为该弱边缘为边缘，否则为伪边缘。
(5)去除所有的伪边缘，得到的图像为最后的边缘检测图像。
在实际的焊接过程中，多数焊缝具有一定的三维空间形状，通过图像处理检测焊接偏差并对机器人控制只能实现二维平面上的焊缝跟踪。由于弧长与电弧电压存在一定的关系，本发明通过设计弧压控制器AVC(Automatic Voltage Controller)对弧压进行控制从而实现对弧长的控制，达到焊枪Z方向上的控制效果。首先，通过实验构建弧长与电弧电压的关系模型。利用弧长与电弧电压的关系模型选定一个所要跟踪的电弧电压值。然后，将采集到的电弧电压信号与给定电弧电压值进行比较得到弧压偏差。
获得弧压偏差后，虽然可以控制焊枪进行高度方向上的运动，但是无法将焊枪姿态调整为垂直于焊接点出的切平面。本实施例根据机器人已经行走过的点来估计和预测局部工件的曲面形状。在焊接过程中，不断记录机器人Z轴方向上的坐标，对于每10个数据点用三次多项式进行曲线拟合，并向横向延展成曲面10。如图9所示，由前面的相机标定可以得到标定平面9的点到相机成像平面8中点的映射关系，并得到相机的相对于世界坐标系的关系、相机的有效焦距(光心o到相机成像平面的距离)、相机内参和畸变参数。由已知的延展曲面10方程和相机的有效焦距、内参可以计算得到延展曲面10的点到成像平面8的关系。将所检测的焊缝位置相对于相机成像平面坐标系的坐标换算成对应曲面上的点相对于世界坐标系的坐标，并根据该点位置计算该点在曲面10的法线，将法线作为下一步焊枪姿态。将该点于焊枪中心在曲面的投影点的横向偏差作为机器人焊缝跟踪的焊接偏差。
上述实施例针对现有被动视觉焊缝跟踪采用固定ROI存在的问题，提出了一种自适应选取ROI算法，通过计算图像HOG特征和SVM分类判断该窗口是否为所需的ROI，并采用强化学习DQN指导窗口扫描策略，减少HOG特征计算次数，提高算法效率。针对现有被动视觉三维焊缝跟踪中的相机标定问题和焊枪姿态控制问题，本实施例提出的方法实时修正工件表面上的点到相机成像平面的映射关系，并控制焊枪姿态始终垂直于工件表面。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (5)

1.一种基于视觉与弧压传感的三维焊缝跟踪系统，其特征在于，所述系统包括图像采集与处理模块、弧压传感模块及机器人控制模块；所述
图像采集与处理模块，由CCD摄像机和工控机组成，用于采集焊接过程中熔池焊缝图像，并将图像传输到工控机，由工控机通过图像处理方法计算得到焊接偏差；
弧压传感模块，由弧压传感器、A/D转换模块和工控机组成，用于采集焊接过程中的电弧电压，并将采集的电弧电压数据传输到工控机，由工控机调节电弧长度，以保证焊接过程的稳定；
机器人控制模块，由六轴机器人、控制柜和工控机组成；工控机将接收到的焊接偏差数据和电弧电压数据通过算法转换成六轴机器人水平方向焊接偏差、高度方向焊接偏差和焊枪姿态角度偏差，并将偏差数据以OPC协议方式传输到控制柜中，由控制柜指导机器人运动，完成三维焊缝跟踪运动纠偏；
所述机器人控制模块的具体实现方法包括：
S1记录焊接过程中机器人Z轴方向上的坐标，对每记录的十个坐标点数据用三次多项式进行曲线拟合，并横向延展成曲面；
S2根据曲面到相机成像平面和工件标定平面到相机成像平面的关系计算标定平面坐标到曲面坐标的关系；
S3将水平方向焊接偏差通过步骤S2的关系得到真实的水平方向焊接偏差；
S4通过弧压传感器获取电弧电压值，换算成电弧长度，并与需要跟踪的电弧长度作比较得到高度方向焊接偏差；
S5将焊缝所在位置通过步骤S2的关系映射到曲面上的位置，并计算曲面位置点的曲面法线，经法线作为焊枪姿态；
S6将所述水平方向焊接偏差、高度方向焊接偏差及焊枪姿态发送到控制柜，并通过控制柜接收到的水平方向焊接偏差、高度方向焊接偏差及焊枪姿态指导六轴机器人的运动。
2.如权利要求1所述的基于视觉与弧压传感的三维焊缝跟踪系统，其特征在于，
所述CCD摄像机安装在机器人末端位置和焊枪头上前方向上；
所述弧压传感器、A/D转换模块和工控机；所述弧压传感器与工控机连接；
所述六轴机器人、控制柜和工控机，所述工控机通过控制柜与所述六轴机器人连接。
3.一种基于视觉与弧压传感的三维焊缝跟踪方法，其特征在于，所述方法包括：
步骤10对相机进行标定，包括对垂直于焊枪的水平平面工件的表面平面进行标定及对焊枪中心线同一平面与世界坐标系x轴垂直的平面进行标定；
步骤20获取摄像机拍摄的熔池焊缝图像；
步骤30对获取的图像进行滤波，所述滤波采用双边滤波法；
步骤40a选取电弧区域作为感兴趣区域；
步骤40b对感兴趣区域图像进行Otsu+二值化，并对二值化后图像采用Canny边缘检测得到电弧顶端边缘；
步骤40c采用最小二乘法拟合电弧端边缘，及通过弧压传感模块获取电弧长度，并通过焊枪所在平面到相机成像平面的映射关系得到电弧末端在相机平面的位置，并将此点作为焊枪中心在工件的投影点；
步骤50a自适应选取熔池前端和焊缝感兴趣区域，扫描区域中每一个局部图像特征，并判断所述局部图像是否为所需的熔池焊缝区域；
步骤50b将步骤40a得到的局部图像进行二值化+Canny边缘检测，得到熔池前端边缘；
步骤50c计算熔池前端边缘曲率最大的点作为焊缝所在的位置；
步骤60将焊枪中心在工件的投影点与焊缝位置在横向上的差值作为焊接偏差。
4.如权利要求3所述的基于视觉与弧压传感的三维焊缝跟踪方法，其特征在于，所述步骤50a中，采用Hog特征方法计算扫描图像中每一个128*64局部图像的Hog特征，并通过SVM分类来判断该局部图像是否为所需的熔池焊缝区域。
5.如权利要求3所述的基于视觉与弧压传感的三维焊缝跟踪方法，其特征在于，所述步骤50a中，扫描策略按照已经训练好的强化学习网络DQN执行，将当前局部图像的信息作为输入，输出为下一步扫描窗口的行走方向。
CN201810466558.7A 2018-05-16 2018-05-16 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法 Active CN108637435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810466558.7A CN108637435B (zh) 2018-05-16 2018-05-16 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810466558.7A CN108637435B (zh) 2018-05-16 2018-05-16 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法

Publications (2)

Publication Number Publication Date
CN108637435A CN108637435A (zh) 2018-10-12
CN108637435B true CN108637435B (zh) 2020-07-28

Family

ID=63755933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810466558.7A Active CN108637435B (zh) 2018-05-16 2018-05-16 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法

Country Status (1)

Country Link
CN (1) CN108637435B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109604776A (zh) * 2018-11-28 2019-04-12 芜湖常瑞汽车部件有限公司 一种机器人自动焊接焊缝跟踪检测方法
CN109741311B (zh) * 2018-12-28 2022-09-02 西南交通大学 带伪边缘的铝合金熔焊背面熔宽检测方法
CN109949346B (zh) * 2019-03-04 2022-12-13 天津科技大学 基于方向梯度直方图粒子滤波的焊缝跟踪方法
CN109877421A (zh) * 2019-03-19 2019-06-14 昆山华恒焊接股份有限公司 焊枪控制方法及其控制系统
CN109949327B (zh) * 2019-03-22 2020-12-15 大连大学 一种激光拼焊待焊件图像中直线边缘上圆形域灰度计算方法
CN109877496A (zh) * 2019-03-30 2019-06-14 哈尔滨理工大学 一种基于图像传感技术的焊缝定位检测系统
CN110360973B (zh) * 2019-08-28 2021-02-05 合肥工业大学 一种面向微型工件测量的自动引导方法
CN110653460B (zh) * 2019-11-12 2023-04-25 吉林大学 基于激光视觉的新型tig焊装置及焊接方法
CN110773840B (zh) * 2019-11-12 2021-09-24 湖北文理学院 焊接偏差测定方法、装置和自动焊接系统
CN111168196B (zh) * 2020-01-07 2021-11-05 北京博清科技有限公司 爬行焊接机器人的控制方法、机器人及存储介质
JPWO2021177436A1 (zh) * 2020-03-05 2021-09-10
CN112792450B (zh) * 2021-02-01 2021-12-07 深圳大学 用于激光加工的光纤自动聚焦方法、及自动聚焦系统
CN112975060B (zh) * 2021-02-26 2022-07-01 宁波博视达焊接机器人有限公司 一种焊接起弧前自动对缝系统
CN113664403B (zh) * 2021-08-18 2023-02-10 中国第一汽车股份有限公司 一种自适应汽车车架焊接方法及系统
CN113828892B (zh) * 2021-10-29 2022-05-10 广东福维德焊接股份有限公司 基于hdr图像的熔池中心识别系统及焊缝跟踪方法
CN114654047A (zh) * 2022-05-12 2022-06-24 新疆大学 一种数控短电弧加工监测装置及其监测方法
CN114888488B (zh) * 2022-05-16 2023-09-29 华南理工大学 一种用于焊接纠偏与焊缝表面质量检测的结构光传感器
CN115106621B (zh) * 2022-05-20 2023-05-23 华南理工大学 一种全位置机器人深熔k-tig焊接系统及控制方法
CN117086519B (zh) * 2023-08-22 2024-04-12 京闽数科(北京)有限公司 基于工业互联网的联网设备数据分析及评估系统、方法
CN117020361B (zh) * 2023-08-30 2024-02-09 鹤山市福维德智能设备有限公司 一种机械制造自动检测装置及检测方法
CN117428297B (zh) * 2023-09-01 2024-04-16 广东福维德焊接技术研究院有限公司 一种k-tig焊枪短路、焊缝全自动实时检测装置及控制系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1300654A (zh) * 1999-12-21 2001-06-27 林肯环球公司 电弧焊机及其焊炬
JP2002144036A (ja) * 2000-11-14 2002-05-21 Daihen Corp 溶接線倣い溶接用溶接電源装置
CN102151949A (zh) * 2010-12-29 2011-08-17 郑州华创机电技术有限公司 利用钨极氩弧焊接电弧摆动进行双方向自动跟踪的方法和装置
CN103341685A (zh) * 2013-07-17 2013-10-09 湘潭大学 一种基于磁控电弧与激光视觉传感的焊缝自动跟踪控制方法及系统
CN104588838A (zh) * 2015-02-07 2015-05-06 芜湖安普机器人产业技术研究院有限公司 一种焊枪自动跟踪控制并在线修正系统及其控制方法
CN107186320A (zh) * 2017-07-19 2017-09-22 南昌航空大学 一种流水孔焊缝自动识别跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1300654A (zh) * 1999-12-21 2001-06-27 林肯环球公司 电弧焊机及其焊炬
JP2002144036A (ja) * 2000-11-14 2002-05-21 Daihen Corp 溶接線倣い溶接用溶接電源装置
CN102151949A (zh) * 2010-12-29 2011-08-17 郑州华创机电技术有限公司 利用钨极氩弧焊接电弧摆动进行双方向自动跟踪的方法和装置
CN103341685A (zh) * 2013-07-17 2013-10-09 湘潭大学 一种基于磁控电弧与激光视觉传感的焊缝自动跟踪控制方法及系统
CN104588838A (zh) * 2015-02-07 2015-05-06 芜湖安普机器人产业技术研究院有限公司 一种焊枪自动跟踪控制并在线修正系统及其控制方法
CN107186320A (zh) * 2017-07-19 2017-09-22 南昌航空大学 一种流水孔焊缝自动识别跟踪方法

Also Published As

Publication number Publication date
CN108637435A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
CN108637435B (zh) 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法
CN109035204B (zh) 一种焊缝目标实时检测方法
CN109226967B (zh) 一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统
CN210046133U (zh) 基于激光结构光的焊缝视觉跟踪系统
CN107798330A (zh) 一种焊缝图像特征信息提取方法
Dinham et al. Autonomous weld seam identification and localisation using eye-in-hand stereo vision for robotic arc welding
CN112529858A (zh) 一种基于机器视觉的焊缝图像处理方法
CN113427168A (zh) 一种焊接机器人实时焊缝跟踪装置及方法
CN113894481B (zh) 复杂空间曲线焊缝的焊接位姿调整方法及装置
CN114714355B (zh) 自主移动焊接机器人嵌入式视觉跟踪控制系统
CN111192307A (zh) 基于激光切割三维零部件的自适应纠偏方法
CN114140439A (zh) 基于深度学习的激光焊接焊缝特征点识别方法及装置
CN110189375B (zh) 一种基于单目视觉测量的图像目标识别方法
CN113634964A (zh) 一种大型构件龙门式机器人焊接装备及焊接工艺
CN116423005B (zh) 一种提高焊接精度的锡焊工艺优化方法及系统
CN112365439B (zh) 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法
CN112238292A (zh) 一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法
CN109434251A (zh) 一种基于粒子滤波的焊缝图像跟踪方法
CN110930368B (zh) 一种薄板搭接焊缝实时焊接图像特征提取方法
Xu et al. Image processing and visual control method for arc welding robot
CN113909689B (zh) 一种激光光条的管道焊接坡口特征提取方法
CN113551599A (zh) 一种基于结构光导向的焊缝位置偏差视觉跟踪方法
Lin et al. Intelligent seam tracking of an ultranarrow gap during K-TIG welding: a hybrid CNN and adaptive ROI operation algorithm
CN109671059A (zh) 一种基于OpenCV的电池盒图像处理方法及系统
CN114932292B (zh) 一种窄间隙被动视觉焊缝跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220624

Address after: Room 203, unit 2, building 2, No. 11, Guangfa Middle Road, Huangpu District, Guangzhou, Guangdong 510663

Patentee after: GUANGDONG FUWEIDE WELDING Co.,Ltd.

Address before: 510640 five mountain road, Guangzhou, Guangdong, Tianhe District, South China University of Technology

Patentee before: SOUTH CHINA University OF TECHNOLOGY