CN116912513A - 焊接图像特征提取方法和自动焊接机 - Google Patents
焊接图像特征提取方法和自动焊接机 Download PDFInfo
- Publication number
- CN116912513A CN116912513A CN202310877481.3A CN202310877481A CN116912513A CN 116912513 A CN116912513 A CN 116912513A CN 202310877481 A CN202310877481 A CN 202310877481A CN 116912513 A CN116912513 A CN 116912513A
- Authority
- CN
- China
- Prior art keywords
- welding
- image
- center
- welding gun
- gun
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003466 welding Methods 0.000 title claims abstract description 282
- 238000000605 extraction Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 38
- 239000011324 bead Substances 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000012937 correction Methods 0.000 claims description 19
- 238000012216 screening Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000036544 posture Effects 0.000 claims description 3
- 230000002035 prolonged effect Effects 0.000 claims description 3
- 230000035772 mutation Effects 0.000 claims description 2
- 230000002349 favourable effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 241001292396 Cirrhitidae Species 0.000 description 1
- PNEYBMLMFCGWSK-UHFFFAOYSA-N aluminium oxide Inorganic materials [O-2].[O-2].[O-2].[Al+3].[Al+3] PNEYBMLMFCGWSK-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种焊接图像特征提取方法和自动焊接机。本发明的焊接图像特征提取方法包括：基于标定板，对自动焊接机上的相机进行标定；在用自动焊接机进行焊接作业的过程中，相机实时地摄取焊接图像；对焊接图像提取出焊枪轮廓图像特征；对焊接图像提取出焊道上下坡口图像特征；基于焊枪轮廓图像特征和焊道上下坡口图像特征，得出焊枪中心和焊缝中心。本发明的自动焊接机，其纠偏系统中采用上述焊接图像特征提取方法来确定焊枪中心和焊缝中心。本发明的焊接图像特征提取方法和自动焊接机，解决了相机视场畸变的问题；能够消除图像中的干扰，并且准确快速地识别焊接图像的有效特征，有利于准确快速识别焊缝中心和焊枪中心。
Description
技术领域
本发明涉及相机摄取图像的畸变矫正和图像特征提取，尤其涉及一种焊接图像特征提取方法和自动焊接机。
背景技术
随着自动焊接机的普遍应用，一些焊接工作正在变得更加自动化和高效。目前的自动焊接机，其自动焊接过程通常是基于机器视觉技术来实现的。具体来说，现有的自动焊接机上设置有用于摄取焊接图像的相机，而且，自动焊接机还配置有纠偏系统。在自动焊接机对焊件进行自动焊接时，相机实时地对焊道进行图像摄取，从而获取焊接图像，然后纠偏系统依据焊接图像中焊枪与焊缝之间的相对位置来调整焊枪，使其能够始终沿着焊缝中心移动。
目前的问题在于三个方面：
第一方面，由于相机本身存在视场畸变，在焊接领域内，对于相机本身的视场畸变是忽略的，这就造成获取的图像有一定的畸变。
第二方面，由于受焊接环境和焊件的坡口窄且深特点的影响，获取到的图像存在大量干扰。
第三方面，目前对于图像处理的算法没有考虑图像提取的精细化，从而导致算法处理上时效性弱，不能准确快速的识别焊接图像有效特征。
上述的三方面因素均不利于准确识别焊缝与焊枪之间的位置偏差。
发明内容
本发明的目的之一在于提供一种焊接图像特征提取方法，该焊接图像特征提取方法能准确快速识别确定焊缝中心和焊枪中心。
本发明的目的之二在于提供一种自动焊接机，该自动焊接机能够依据上述焊接图像特征提取方法所确定的焊缝中心和焊枪中心来实施纠偏动作。
为了实现上述技术目的，本发明采用如下技术方案：
一种焊接图像特征提取方法，包括：
基于标定板，对自动焊接机上的相机进行标定；
在用自动焊接机进行焊接作业的过程中，相机实时地摄取焊接图像；
对焊接图像提取出焊枪轮廓图像特征；
对焊接图像提取出焊道上下坡口图像特征；
基于焊枪轮廓图像特征和焊道上下坡口图像特征，得出焊枪中心和焊缝中心。
进一步地，所述对自动焊接机上的相机进行标定，其具体实现的方法包括：
预先准备标定板，使相机摄取各种姿态的标定板图像；
在所有摄取的标定板图像中进行标定，当成功识别30张摄取的标定板图像时，生成纠正视场畸变矩阵；
基于所成功识别的30张标定板图像，采用具有标定功能的机器视觉软件来对相机进行标定。
进一步地，所述对焊接图像提取出焊枪轮廓图像特征，其具体实现的方法包括：
对焊接图像进行ROI感兴区域划分，ROI感兴区域分为焊枪上下边缘和焊道，引入高斯算法优化sobel算法来对ROI感兴区域的焊枪上下边缘进行处理，通过轮廓筛选算法来滤除剩余干扰，从焊枪部分的感兴区域中提取出焊枪轮廓图像特征。
进一步地，所述对焊接图像提取出焊道上下坡口图像特征，其具体实现的方法包括：
采用高斯拉普拉斯算法对ROI的焊缝区域进行处理，得出焊件划痕与焊缝在二阶导数的突变特点，采用zero-crossing算法对焊接图像中的焊缝与焊件划痕的特征进行筛选，并且，结合segment轮廓分割和筛选，通过筛选消除焊缝ROI感兴区域内的干扰；通过计数遍历方法对剩余特征线条进行计数遍历，利用长度轮廓筛选得到ROI感兴区域的焊道上下坡口图像特征。
进一步地，所述基于焊枪轮廓图像特征和焊道上下坡口图像特征，得出焊枪中心和焊缝中心，其具体实现的方法包括：
采用加权最小二乘法对焊枪轮廓图像特征以及焊道上下坡口图像特征进行特征拟合；
基于焊枪轮廓图像特征，采用几何推理方法来推导出焊枪中心；
基于推导出的焊枪中心以及焊道上下坡口图像特征，依据焊道上下坡口对焊枪中心的增量来求取平均值，从而得出焊缝中心。
进一步地，所述采用几何推理方法来推导出焊枪中心，其具体实现的方法包括：
基于焊枪上下边缘两侧斜边反向延伸，使两条焊枪上下边缘特征线延长相交于一点，形成两条延长线之间的夹角，对该夹角画出角平分线，该角平分线则就作为焊枪中心。
进一步地，所述标定板的型号为GB025-1。
一种自动焊接机，所述自动焊接机中设置有纠偏系统，所述纠偏系统中采用上述焊接图像特征提取方法来确定焊枪中心和焊缝中心，并依据焊枪中心和焊缝中心来实施纠偏动作。
在本发明的焊接图像特征提取方法中，在进行焊接作业前，对自动焊接机上的非垂直固定的相机进行标定，从而解决了相机视场畸变的问题。
在本发明的焊接图像特征提取方法中，利用引进高斯滤波的sobel算法对焊枪进行处理分析，滤除掉焊枪产生的伪边缘干扰；通过高斯拉普拉斯算法与zero-crossing算法区分出焊件划痕和焊缝的差异，通过计数遍历、轮廓分割和轮廓筛选方法，将焊枪和焊缝特征提取，这样一来，就避免图像中存在干扰。
在本发明的焊接图像特征提取方法中，利用ROI感兴区域处理图像，将焊接图像进行区域化重点分析痛点区域，对非感兴区域忽略处理，这样一来，就提升了算法处理的时效性，从而能够准确快速地识别焊接图像的有效特征。
本发明的焊接图像特征提取方法和自动焊接机相对现有技术，其有益效果在于：解决了相机视场畸变的问题，从而能够获取更为准确的图像；能够消除图像中的干扰，并且准确快速地识别焊接图像的有效特征，有利于准确快速识别焊缝中心和焊枪中心，为自动焊接机中纠偏系统实施纠偏动作提供准确有效的依据。
附图说明
图1为本发明的焊接图像特征提取方法的流程图；
图2为提取焊枪轮廓图像特征过程中算法运用效果展示图；
图3为采用高斯拉普拉斯算法区分焊缝和划痕的效果展示图；
图4为通过计数遍历筛选算法提取出焊缝信息的效果展示图；
图5为运用最小二乘法拟合图像特征获取焊枪焊缝中心特征的效果展示图。
具体实施方式
下面用具体实施例对本发明作进一步说明：
本实施方式提供了一种焊接图像特征提取方法。
本实施方式的焊接图像特征提取方法，其是用于自动焊接机的纠偏系统中。
本领域技术人员可以理解，所述自动焊接机上设置有焊枪以及用于摄取焊接图像的相机，在自动焊接机对焊件进行焊接时，相机实时地对焊道进行图像摄取，从而获取焊接图像，然后纠偏系统依据焊接图像中焊枪与焊缝之间的相对位置来调整焊枪，使其能够始终沿着焊缝中心移动。
本实施方式的焊接图像特征提取方法在纠偏系统中的作用就是有效识别、提取出焊枪中心以及焊缝中心(相当于确定焊枪与焊缝之间的相对位置)，然后纠偏系统依据识别出的焊枪中心以及焊缝中心两者之间的位置偏差量来调整焊枪，保证其不偏离焊缝。
参见图1，本实施方式的焊接图像特征提取方法包括如下步骤S1至S5。
S1，在进行焊接作业前，基于标定板，对自动焊接机上的非垂直固定的相机进行标定，以消除相机造成的视场畸变。
具体来说，对相机进行标定的过程如下S11至S13：
S11，预先准备一块标定板，将标定板放置在自动焊接机装置平台上，使标定板中心与焊枪中心位置大致重合，使相机摄取各种姿态的标定板图像(诸如，倾斜下的标定板、靠近相机或远离相机下的成像)，相机摄取图像须保证2/3以上的标定板处于图像中。
在本实施方式中，所准备的标定板，其型号为GB025-1，该标定板为7*7实心圆点标定板，材质为氧化铝，不反光。
S12，在所有摄取的标定板图像中进行标定，当成功识别约30张摄取的标定板图像时，则认为达到标定完成要求，然后生成纠正视场畸变矩阵。
S13，基于所成功识别的30张标定板图像，采用具有标定功能的机器视觉软件(Halcon)来对非垂直固定的相机进行标定。
S2，在用自动焊接机对焊件之间的焊缝进行焊接作业的过程中，自动焊接机上的相机实时地摄取焊接图像。
所述焊接图像是指，焊枪在焊缝上进行焊接的图像，其中包括有焊枪的图像以及焊缝的图像。
S3，对于相机摄取的焊接图像，
首先，对焊接图像进行ROI感兴区域划分，ROI感兴区域分为焊枪上下边缘和焊道。
所述ROI感兴区域划分，其目的是为了消除无关干扰以及简化算法计算量，从而提高算法时效性。
之后，引入高斯算法优化sobel算法来对ROI感兴区域的焊枪上下边缘进行处理，以实现平滑过滤噪声，消除焊枪边缘产生的伪边缘干扰。基本提取出焊枪上下边缘的轮廓特征。
之后，再通过轮廓筛选算法来滤除剩余下的少量干扰。
最后，从焊枪部分的感兴区域中提取出焊枪轮廓图像特征。
参见图2，该图中，分图a为焊枪经过Sobel处理的图像展示，分图b为经过引入高斯处理的图像展示，分图c为通过轮廓筛选获得焊枪上下特征。
S4，对于相机摄取的焊接图像，采用高斯拉普拉斯算法对ROI的焊缝区域进行处理，以得出“焊件划痕”与“焊缝”两者在二阶导数的突变特点，从而实现对焊接图像中划痕和焊缝的区分，即识别出焊缝；
之后，再采用zero-crossing算法对焊接图像中的焊缝与焊件划痕的特征进行筛选，并且，结合segment轮廓分割和筛选，将干扰特征分割打断重组，在通过筛选消除掉焊缝ROI感兴区域内的大量干扰；
之后，再通过计数遍历方法对剩余下的特征线条进行计数遍历，最终再利用长度轮廓筛选得到ROI感兴区域的焊道上下坡口图像特征。
参见图3，该图中示出了经过高斯拉普拉斯算法来区分焊缝和划痕的效果。
参见图4，该图中示出了通过计数遍历筛选算法提取出的焊缝信息。
S5，采用加权最小二乘法对步骤S3得出的焊枪轮廓图像特征以及步骤S4得出的焊道上下坡口图像特征进行特征拟合，以获取准确的焊枪轮廓图像特征以及焊道上下坡口图像特征。
之后，基于焊枪轮廓图像特征，采用几何推理方法来推导出焊枪中心，然后，基于推导出的焊枪中心以及焊道上下坡口图像特征，依据焊道上下坡口对焊枪中心的增量来求取平均值，从而得出焊缝中心。
需要说明的是，之前提及的“采用几何推理方法来推导出焊枪中心”，其具体的过程如下：
基于焊枪上下边缘两侧斜边反向延伸，使两条焊枪上下边缘特征线延长相交于一点，形成两条延长线之间的夹角，对该夹角画出角平分线，该角平分线则就作为焊枪中心。
参见图5，图中示出了运用最小二乘法拟合图像特征获取焊枪焊缝中心特征。
至此，本实施方式的焊接图像特征提取方法得出了最终的结果，即，从焊接图像中获取了焊枪中心以及焊缝中心，从而为自动焊接机在自动焊接过程实施纠偏动作提供了有效依据。
在本发明的焊接图像特征提取方法中，通过图像标定手眼标定和自动标定相结合的方法解决了相机视场畸变的问题，使获取到的图像更加准确。
在本发明的焊接图像特征提取方法中，通过算法处理解决了图像采集中的大量干扰，为图像处理采集特征提供了准确可靠的特征，并着重分析了划痕与焊缝在二阶导数上的差异，通过高斯拉普拉斯算法消除划痕与焊缝干扰。
此外，本实施方式还提供了一种自动焊接机，该自动焊接机中设置有纠偏系统，该纠偏系统中采用本实施方式所提供的焊接图像特征提取方法来确定焊枪中心和焊缝中心，并据此来实施纠偏动作。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，因此，凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种焊接图像特征提取方法，其特征在于：包括：
基于标定板，对自动焊接机上的相机进行标定；
在用自动焊接机进行焊接作业的过程中，相机实时地摄取焊接图像；
对焊接图像提取出焊枪轮廓图像特征；
对焊接图像提取出焊道上下坡口图像特征；
基于焊枪轮廓图像特征和焊道上下坡口图像特征，得出焊枪中心和焊缝中心。
2.根据权利要求1所述焊接图像特征提取方法，其特征在于：所述对自动焊接机上的相机进行标定，其具体实现的方法包括：
预先准备标定板，使相机摄取各种姿态的标定板图像；
在所有摄取的标定板图像中进行标定，当成功识别30张摄取的标定板图像时，生成纠正视场畸变矩阵；
基于所成功识别的30张标定板图像，采用具有标定功能的机器视觉软件来对相机进行标定。
3.根据权利要求1所述焊接图像特征提取方法，其特征在于：所述对焊接图像提取出焊枪轮廓图像特征，其具体实现的方法包括：
对焊接图像进行ROI感兴区域划分，ROI感兴区域分为焊枪上下边缘和焊道，引入高斯算法优化sobel算法来对ROI感兴区域的焊枪上下边缘进行处理，通过轮廓筛选算法来滤除剩余干扰，从焊枪部分的感兴区域中提取出焊枪轮廓图像特征。
4.根据权利要求3所述焊接图像特征提取方法，其特征在于：所述对焊接图像提取出焊道上下坡口图像特征，其具体实现的方法包括：
采用高斯拉普拉斯算法对ROI的焊缝区域进行处理，得出焊件划痕与焊缝在二阶导数的突变特点，采用zero-crossing算法对焊接图像中的焊缝与焊件划痕的特征进行筛选，并且，结合segment轮廓分割和筛选，通过筛选消除焊缝ROI感兴区域内的干扰；通过计数遍历方法对剩余特征线条进行计数遍历，利用长度轮廓筛选得到ROI感兴区域的焊道上下坡口图像特征。
5.根据权利要求4所述焊接图像特征提取方法，其特征在于：所述基于焊枪轮廓图像特征和焊道上下坡口图像特征，得出焊枪中心和焊缝中心，其具体实现的方法包括：
采用加权最小二乘法对焊枪轮廓图像特征以及焊道上下坡口图像特征进行特征拟合；
基于焊枪轮廓图像特征，采用几何推理方法来推导出焊枪中心；
基于推导出的焊枪中心以及焊道上下坡口图像特征，依据焊道上下坡口对焊枪中心的增量来求取平均值，从而得出焊缝中心。
6.根据权利要求5所述焊接图像特征提取方法，其特征在于：所述采用几何推理方法来推导出焊枪中心，其具体实现的方法包括：
基于焊枪上下边缘两侧斜边反向延伸，使两条焊枪上下边缘特征线延长相交于一点，形成两条延长线之间的夹角，对该夹角画出角平分线，该角平分线则就作为焊枪中心。
7.根据权利要求1所述焊接图像特征提取方法，其特征在于：所述标定板的型号为GB025-1。
8.一种自动焊接机，所述自动焊接机中设置有纠偏系统，其特征在于：所述纠偏系统中采用如权利要求1至7中任一项所述焊接图像特征提取方法来确定焊枪中心和焊缝中心，并依据焊枪中心和焊缝中心来实施纠偏动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310877481.3A CN116912513A (zh) | 2023-07-18 | 2023-07-18 | 焊接图像特征提取方法和自动焊接机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310877481.3A CN116912513A (zh) | 2023-07-18 | 2023-07-18 | 焊接图像特征提取方法和自动焊接机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116912513A true CN116912513A (zh) | 2023-10-20 |
Family
ID=88366311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310877481.3A Pending CN116912513A (zh) | 2023-07-18 | 2023-07-18 | 焊接图像特征提取方法和自动焊接机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912513A (zh) |
-
2023
- 2023-07-18 CN CN202310877481.3A patent/CN116912513A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Computer vision technology for seam tracking in robotic GTAW and GMAW | |
| CN102175700B (zh) | 数字x射线图像焊缝分割和缺陷检测方法 | |
| CN100507938C (zh) | 一种焊接图像的识别方法 | |
| CN111696107A (zh) | 一种实现闭合连通域的熔池轮廓图像提取方法 | |
| CN111127402A (zh) | 一种机器人焊接质量的视觉检测方法 | |
| CN110220481B (zh) | 手持式视觉检测设备及其位姿检测方法 | |
| CN109324056B (zh) | 一种基于机器视觉的缝纫线迹测量方法 | |
| CN110930368B (zh) | 一种薄板搭接焊缝实时焊接图像特征提取方法 | |
| CN111062913B (zh) | 一种激光选区融化成型粉床铺粉质量检测方法 | |
| CN108620714B (zh) | 基于gmaw熔池轮廓特征的焊接偏差检测系统及其检测方法 | |
| Ge et al. | A vision-based algorithm for seam detection in a PAW process for large-diameter stainless steel pipes | |
| CN104966302B (zh) | 一种任意角度激光十字的检测定位方法 | |
| CN108492306A (zh) | 一种基于图像轮廓的x型角点提取方法 | |
| CN111397529A (zh) | 一种基于双目视觉结构光的复杂表面形状检测方法 | |
| JP2013146032A (ja) | ドライバモニタシステム及びその処理方法 | |
| CN116912513A (zh) | 焊接图像特征提取方法和自动焊接机 | |
| KR101712489B1 (ko) | 영상을 이용한 스폿용접 전극팁 오염도 측정방법 | |
| CN112461846A (zh) | 工件缺陷检测方法及装置 | |
| US11235412B2 (en) | Welding tool | |
| CN109741311A (zh) | 带伪边缘的铝合金熔焊背面熔宽检测方法 | |
| CN108076365A (zh) | 人体姿势识别装置 | |
| CN114309889B (zh) | 一种用于焊缝跟踪的激光视觉传感系统及方法 | |
| CN115178837A (zh) | 焊缝偏差量实时检测方法、系统和焊缝偏差纠正方法 | |
| JP3449917B2 (ja) | 溶接開先部の検出方法 | |
| JPH0647541A (ja) | アークの状況判断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |