CN108765419A - 结构光视觉焊缝图像信息自适应提取方法 - Google Patents
结构光视觉焊缝图像信息自适应提取方法 Download PDFInfo
- Publication number
- CN108765419A CN108765419A CN201810636851.3A CN201810636851A CN108765419A CN 108765419 A CN108765419 A CN 108765419A CN 201810636851 A CN201810636851 A CN 201810636851A CN 108765419 A CN108765419 A CN 108765419A
- Authority
- CN
- China
- Prior art keywords
- weld
- image
- point
- extraction
- optical losses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000000605 extraction Methods 0.000 claims abstract description 95
- 230000003287 optical effect Effects 0.000 claims abstract description 84
- 238000003466 welding Methods 0.000 claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000005520 cutting process Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 27
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 abstract description 5
- 230000005484 gravity Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 4
- 238000013499 data model Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 239000000539 dimer Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000003500 flue dust Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
- B23K9/127—Means for tracking lines during arc welding or cutting
- B23K9/1272—Geometry oriented, e.g. beam optical trading
- B23K9/1274—Using non-contact, optical means, e.g. laser means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Plasma & Fusion (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及结构光视觉焊缝图像处理及焊缝信息提取技术，为实现快速而准确的结构光视觉焊缝图像信息提取，本发明，结构光视觉焊缝图像信息自适应提取方法，包括三个步骤，分别为图像预处理、光条中心提取以及焊缝边缘点提取。具体地，首先对焊接过程中采集的原始图像进行图像的裁剪、图像的腐蚀、图像的膨胀以及高斯滤波处理；然后根据焊缝图像的特点，采用高斯曲线拟合法提取光条中心，自适应选择高斯曲线拟合的拟合数据范围；最后采用斜率分析法提取焊缝边缘点，采用最近原则进行焊缝边缘点定位，进而得到焊缝中心的三维坐标，实现焊缝跟踪。本发明主要应用于焊缝信息提取。
Description
技术领域
本发明设计用于结构光视觉焊缝图像处理及焊缝信息提取技术，具体讲,涉及结构光视觉焊缝图像信息自适应提取方法。
背景技术
焊接是机械制造业重要的加工方法之一，由于焊接工作环境恶劣、对工人熟练度要求高，且存在一定的危险性，而使用机器人进行焊接可以有效提高焊接生产率，稳定和保证产品质量，因此采用智能机器人实现自动化焊接已成为发展的必然趋势。
实现快速、有效的焊缝跟踪是提高焊接机器人焊接质量的关键，常见的焊缝跟踪方法有多种，其中,基于结构光的视觉传感式由于其速度快、精度高,且可以实现对焊缝形貌的三维测量而备受青睐。但采用视觉传感器进行焊缝跟踪时,易受到焊接时弧光、飞溅、烟尘以及工件上铁锈、划痕等因素的影响，尤其V形或者倒梯形焊缝对结构光还具有多次反射的干扰作用，因此，焊缝图像处理并提取焊缝信息是准确进行焊缝跟踪的关键。
结构光视觉焊缝图像信息提取分为图像的预处理、结构光光条中心提取以及焊缝边缘点提取三步。
图像的预处理主要是通过滤波减少图像噪声、增强有用信息。常用的滤波算法有均值滤波、中值滤波以及高斯滤波等。其中，均值滤波使用模板内所有像素的平均值代替模板中心像素灰度值，这种方法易收到噪声的干扰，只能相对减弱噪声；中值滤波计算模板内所有像素中的中值代替模板中心像素的灰度值，这种方法对噪声不是那么敏感，能够较好的消除椒盐噪声，但是容易导致图像的不连续性；高斯滤波对图像邻域内像素进行平滑时，邻域内不同位置的像素被赋予不同的权值，其模板参数通过高斯函数计算得出。
结构光光条中心的提取方法主要有：几何中心法、阈值法、细化法、灰度重心法、Hessian矩阵法以及曲线拟合法等。Hessian矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。几何中心法是把结构光光条看成中心对称分布，把结构光光条的几何中心点作为截面的光条中心点，几何中心法处理速度快，但是对图像质量要求比较高；阈值法是利用横截面灰度呈高斯分布的结构光光条图像，其光条截面灰度具有能量集中性与对称性，阈值法处理速度快，但精度不高，且易受噪声干扰；细化法又称为骨架提取，细化过程就是重复的剥去二值图像的边界像素，直到获得一条单一的连通线，细化法处理速度较慢，实时性差；灰度重心法是直接依据光条在某一区域内灰度值的排列，沿横坐标取灰度中心来代表光条中心位置，灰度重心法精度较高，适用于光条强度分布较集中的场合；Hessian矩阵法首先利用Hessian矩阵得到图像光条的发现方向，然后在其法线方向利用泰勒展开求出结构光光条中心的亚像素位置，该算法精度高，但具有较大的运算量，处理速度慢，很难实现实时处理；曲线拟合法是利用峰值点附近的像素点坐标和灰度值拟合曲线方程，其中高斯曲线拟合法是对灰度图像中的光条部分的各列像素点的灰度值进行高斯曲线拟合，求得各列拟合曲线峰值的位置作为光条中心点，曲线拟合法精度较几何中心法、灰度重心法等的精度要高，具有一定的抗干扰能力，但不适合用于窄光条的光条中心的提取。
焊缝边缘点提取一般采用模板匹配法或斜率分析法。模板匹配法是在焊缝图像中搜索已知模板来寻找焊缝边缘点的一种方法，左右两个焊缝边缘点需要使用两个模板，而且对于多层多道焊接需要经常更换模板；斜率分析法是根据管道上的光条斜率的变化来提取焊缝边缘点，易受到噪声干扰，对光条中心的准确提取有较高要求。
发明内容
为克服现有技术的不足，本发明旨在实现快速而准确的结构光视觉焊缝图像信息提取。基于结构光法的视觉传感式的智能焊接机器人在焊接过程中以一定周期采集图像，本发明用于焊缝图像信息提取，通过对采集到的焊缝图像进行实时处理及提取光条信息得到焊缝的高度变化、焊缝的位置偏差等信息，进而进行焊缝跟踪。为此，本发明采用的技术方案是，结构光视觉焊缝图像信息自适应提取方法，包括三个步骤，分别为图像预处理、光条中心提取以及焊缝边缘点提取。具体地，首先对焊接过程中采集的原始图像进行图像的裁剪、图像的腐蚀、图像的膨胀以及高斯滤波处理，增强图像光条特征，便于进行下一步的处理；然后根据焊缝图像的特点，采用高斯曲线拟合法提取光条中心，自适应选择高斯曲线拟合的拟合数据范围，即将上一列像素的光条中心提取结果作为拟合数据中心，而拟合的数据量正比于光条宽度，并根据焊缝边缘点提取的要求，将光条中心点的提取顺序改为从两侧往中间提取两段；最后采用斜率分析法提取焊缝边缘点，采用最近原则进行焊缝边缘点定位，进而得到焊缝中心的三维坐标，实现焊缝跟踪。
具体的光条中心提取方法如下：
首先确定合适的左起点，考虑到相邻两幅图像的光条所在位置十分相近，将上一幅图焊缝左边缘点图像坐标的横坐标减40作为左起点横坐标；并将上一幅图的左起点(xol,yol)纵坐标yol作为当前处理图像左起点的拟合数据范围中心；然后通过分析阈值求出本列像素的光条宽度即光条所占的像素个数d，将光条宽度的1.5倍作为拟合的数据量；将这些点的纵坐标(yol-3d/4)～(yol+3d/4)与它们对应的灰度值g1,g2,...,g3d/2用最小二成法拟合成高斯曲线，考虑到纵坐标数值较大而两点间隔仅为1，拟合结果的系数可能过大或者过小而影响精度，因此先将所有纵坐标同时减去yol再进行拟合，那么左起点纵坐标yol1为：
式中：a1、a2为高斯曲线拟合结果的一次项系数和二次项系数；
结合前面计算的左起点横坐标得到左起点具体坐标，而第一幅图像在焊枪起焊前采集，并根据处理得到的焊缝两边缘点求出焊缝中心，将其三维坐标作为焊缝跟踪的“原点”；
接下来从左起点开始，光条中心的提取以前一列像素的光条中心作为拟合数据范围的中心，也即将前一列像素的光条中心点作为了高斯曲线拟合光条中心粗提取结果，拟合的数据量为本列光条宽度的1.5倍，然后依次准确求出逐列光条中心，考虑实际图像大小以及提高处理速度，连续提取80列像素的光条中心作为左段光条中心的提取结果；
接着以类似于计算左起点的方式获取右起点，相反的是，接下来从右起点往前提取光条中心，即前一列像素的光条中心的提取拟合数据是将后一列像素光条中心作为中心，数据量仍为本列光条宽度的1.5倍，依次求80列像素的光条中心得到右段光条中心的提取结果；
最后将左段光条中心与右段光条中心合到一起作为最终的光条中心提取结果。
最近原则是从斜率分析法提取的所有可能焊缝边缘点中提取出正确的焊缝边缘点，具体的，首先计算光条中心上各点斜率，然后根据位于管道上的光条斜率接近0而位于坡口内的斜率约为0.5～0.8的特点，分析斜率的变化找出所有可能的焊缝边缘点；接下来根据焊缝图像相邻图像光条位置相近的特点，将所有可能的焊缝边缘点中，距离上一幅图像焊缝左边缘点最近的且距离小于3个像素的点作为本幅图像的焊缝左边缘点，距离上一幅图像焊缝右边缘点最近的且距离小于3个像素的点作为本幅图像的焊缝右边缘点；将两个焊缝边缘点中点作为焊缝中心，求出其三维坐标，与“原点”做差可进行垂直焊缝方向和高度方向的焊缝跟踪。
本发明的特点及有益效果是：
本发明采用三个步骤实现焊缝跟踪，尤其所提出的基于高斯曲线拟合法的光条中心快速提取算法，无需进行光条中心的粗提取来确定拟合的数据范围，并可以根据光条宽度自适应拟合的数据量，同时根据焊缝图像的特点采取了从两端往中间提取两段光条中心的方式，具有精度高、提取速度快和抗干扰能力较强的特点，因而适用于焊缝图像的实时处理；最后对提取的光条中心采用斜率分析法与最近原则来进行焊缝边缘点的定位，具有非常高的准确度，而且由于最近原则的选择性，即便在极少数情况下图像处理出现偏差甚至错误，也几乎不会对焊缝跟踪产生影响。因此本发明十分适用于焊接机器人焊缝跟踪的图像处理和焊缝信息提取。
附图说明：
图1结构光视觉焊缝图像信息自适应提取算法流程图。
图2本算法进行焊缝图像信息提取的各步骤结果。图中；
(a)原始图像 (b)预处理结果
(c)光条中心提取结果 (d)焊缝边缘点提取结果
图3部分本算法进行焊缝信息提取的结果。图中；
(a)光条图像较清晰 (b)光条图像较暗淡
(c)光条受弧光严重干扰 (d)光条受飞溅严重干扰
图4本算法与灰度重心法的光条中心提取结果比较。图中；
(a)本算法光条中心提取结果
(b)灰度重心法光条中心提取结果
图5本算法与高斯曲线拟合法光条中心提取所用时间比较。
具体实施方式
本发明设计用于结构光视觉焊缝图像处理及焊缝信息提取，对焊接机器人焊接过程中采集到的图像，通过图像预处理、提取光条中心以及提取焊缝边缘点进行焊缝图像信息提取，进而实现焊接机器人的焊缝跟踪。
本发明分为三步进行焊缝图像信息的提取，分别为图像预处理、光条中心提取以及焊缝边缘点提取。首先对焊接过程中采集的原始图像进行图像的裁剪、图像的腐蚀、图像的膨胀以及高斯滤波等处理，增强图像光条特征，便于进行下一步的处理；然后根据焊缝图像的特点，采用高斯曲线拟合法提取光条中心，自适应选择高斯曲线拟合的拟合数据范围，即将上一列像素的光条中心提取结果作为拟合数据中心，而拟合的数据量正比于光条宽度，并根据焊缝边缘点提取的要求，将光条中心点的提取顺序改为从两侧往中间提取两段，不仅提高了焊缝信息提取的精度和处理速度，而且具有较强的抗干扰能力；最后采用斜率分析法提取焊缝边缘点，并针对斜率分析法易提取出多余特征点的缺点提出一种最近原则准确进行焊缝边缘点定位，进而得到焊缝中心的三维坐标，实现焊缝跟踪。具体的焊缝信息提取算法流程如下所述。
图像的预处理首先选择合适的感兴趣ROI区域，通过图像裁剪减小被处理图片尺寸，提高图像处理速度。接下来进行图像的去噪及平滑处理，考虑到还需要进行后续的结构光光条中心提取以及焊缝边缘点提取，因此进行图像的腐蚀、膨胀后，再进行高斯滤波，滤去一波分噪声的同时，保留更多的图像总体灰度分布特征。
光条中心的提取是焊缝图像处理中重要的一步，它的处理精度与速度将直接影响最终结果的精度与速度。高斯曲线拟合即使用高斯函数对数据点集进行函数逼近的拟合方法，使用高斯曲线拟合法进行光条中心提取时，一般需要先对光条图像进行光条中心的粗提取，得到光条中心所在的大致位置，然后以该位置为中心，取合适的拟合数据量进行高斯曲线拟合得到精确的光条中心点。实际上由于焊缝图像具有弧光、飞溅、坡口反光等诸多干扰因素，因此光条中心的粗提取准确度难以保证，而高斯曲线的峰值若不在拟合的数据范围的中心附近，拟合结果将具有很大的误差；而且粗提取过程也将影响光条中心的提取速度；另外，由于坡口倾斜以及高斯光束本身的特性，焊缝图像上两边管道部分和中间坡口部分的光条宽度不相同，若拟合数据量不合适也将影响高斯拟合的精度。
针对以上问题，本发明提出了一种自适应拟合数据的高斯曲线拟合法提取光条中心，该算法根据相邻两列像素的光条中心相差不超过一个像素，将前一列像素的光条中心作为该列像素高斯曲线拟合的数据范围的中心，而数据长度自适应为该列光条宽度像素个数的1.5倍，并根据光条图像坡口内质量较低而管道上质量较高的特点，将光条中心的提取分成两段，分别从两侧往中间提取，为提高处理速度，只提取焊缝边缘点附近两小段光条的光条中心。具体的光条中心提取方法如下：
首先确定合适的左起点。考虑到相邻两幅图像的光条所在位置十分相近，将上一幅图焊缝左边缘点图像坐标的横坐标减40作为左起点横坐标；并将上一幅图的左起点(xol,yol)纵坐标yol作为当前处理图像左起点的拟合数据范围中心；然后通过分析阈值求出本列像素的光条宽度d，将光条宽度的1.5倍作为拟合的数据量；将这些点的纵坐标(yol-3d/4)～(yol+3d/4)与它们对应的灰度值g1,g2,...,g3d/2用最小二成法拟合成高斯曲线，考虑到纵坐标数值较大而两点间隔仅为1，拟合结果的系数可能过大或者过小而影响精度，因此先将所有纵坐标同时减去yol再进行拟合，那么左起点纵坐标yol1为：
式中：a1、a2为高斯曲线拟合结果的一次项系数和二次项系数。
结合前面计算的左起点横坐标得到左起点具体坐标。而第一幅图像可以在焊枪起焊前采集，由于没有弧光、飞溅等诸多干扰，因此其图像质量很高，光条中心也易于十分准确的提取，保证了后续起点的正确性；并根据处理得到的焊缝两边缘点求出焊缝中心，将其三维坐标作为焊缝跟踪的“原点”。
接下来从左起点开始，光条中心的提取以前一列像素的光条中心作为拟合数据范围的中心，也即将前一列像素的光条中心点作为了高斯曲线拟合光条中心粗提取结果，拟合的数据量为本列光条宽度的1.5倍，然后依次准确求出逐列光条中心。考虑实际图像大小以及提高处理速度，连续提取80列像素的光条中心作为左段光条中心的提取结果。
接着以类似于计算左起点的方式获取右起点，相反的是，接下来从右起点往前提取光条中心，即前一列像素的光条中心的提取拟合数据是将后一列像素光条中心作为中心，数据量仍为本列光条宽度的1.5倍，依次求80列像素的光条中心得到右段光条中心的提取结果。
最后将左段光条中心与右段光条中心合到一起作为最终的光条中心提取结果。
对于光条中心的提取结果，由于焊缝图像光条具有明显的斜率变化，而且斜率分析法速度快，适用性强，在盖面焊时也能有较为理想的提取结果，因此采用斜率分析法进行焊缝边缘点提取。但是该方法对于图像质量不高时会出现一些多余的焊缝边缘点。针对该问题，本算法采用一种最近原则从斜率分析法提取的所有可能焊缝边缘点中提取出正确的焊缝边缘点。首先计算光条中心上各点斜率，然后根据位于管道上的光条斜率接近0而位于坡口内的斜率约为0.5～0.8的特点，分析斜率的变化找出所有可能的焊缝边缘点。接下来根据焊缝图像相邻图像光条位置相近的特点，将所有可能的焊缝边缘点中，距离上一幅图像焊缝左边缘点最近的且距离小于3个像素的点作为本幅图像的焊缝左边缘点，距离上一幅图像焊缝右边缘点最近的且距离小于3个像素的点作为本幅图像的焊缝右边缘点。将两个焊缝边缘点中点作为焊缝中心，求出其三维坐标，与“原点”做差可进行垂直焊缝方向和高度方向的焊缝跟踪。
本发明提出了一种有效提取结构光视觉焊缝图像信息的算法，图1为提取流程图。首先进行焊接前采集图像和图像处理，接下来对于焊接过程中采集到的图像，进行图像裁剪、图像的腐蚀和膨胀、高斯滤波进行图像的预处理，去除一部分噪声的同时保留图像总体灰度分布特征；然后设计了一种基于高斯曲线拟合法的光条中心快速提取算法，无需进行光条中心的粗提取来确定拟合的数据范围，并可以根据光条宽度自适应拟合的数据量，同时根据焊缝图像的特点采取了从两端往中间提取两段光条中心的方式，具有精度高、提取速度快和抗干扰能力较强的特点，可用于焊缝图像的实时处理；最后对提取的光条中心采用斜率分析法与最近原则来进行焊缝边缘点的定位，具有非常高的准确度，而且由于最近原则的选择性，即便在极少数情况下图像处理出现偏差甚至错误，也几乎不会对焊缝跟踪产生影响。因此本算法十分适用于焊接机器人焊缝跟踪的图像处理和焊缝信息提取。
图2是焊缝图像信息提取的各步骤结果，首先对原始图像进行了图像的裁剪、图像的腐蚀和膨胀、高斯滤波等处理，得到了尺寸更小的、光条特征更明显的图像；下一步再对光条进行局部光条中心提取，分为左段和右段；最后根据光条中心提取结果求出左右两个焊缝边缘点。从图3可以看出，无论是光条较清晰还是光条较暗淡或者是被弧光、飞溅等噪声严重干扰，本算法均可对焊缝图像信息进行准确的提取。图4是本算法光条中心提取结果与灰度重心法提取结果比较，可以看出灰度重心法在左侧弧光干扰区域以及右侧焊渣遮挡区域出现误差，而本算法则均可以正确提取,具有很强的抗干扰能力。图5是对10幅图分别采用本算法与高斯曲线拟合法提取光条中心，处理图像所用时间比较，明显看出，由于本算法无需进行光条中心粗提取，并且根据实际情况大大减少了光条中心点的提取数量，因此提取速度有了明显提升，处理一幅图平均只需约0.03s。
一个实例中具体步骤如下，做好焊接前的准备工作后，先采集一幅图像并进行处理，确定下一幅图像光条中心提取的左右两个起点，并将该幅图像的焊缝中心的三维坐标作为焊缝跟踪的“原点”，然后开始焊接；焊接过程中循环进行采集图像、图像预处理、自适应高斯曲线拟合法提取光条中心、斜率分析法与最近原则相结合定位焊缝边缘点、确定焊缝中心并计算其三维坐标、与“原点”做差计算偏移量、进行焊缝跟踪，实现高质量的焊接。
Claims (3)
1.一种结构光视觉焊缝图像信息自适应提取方法，其特征是，包括三个步骤，分别为图像预处理、光条中心提取以及焊缝边缘点提取。具体地，首先对焊接过程中采集的原始图像进行图像的裁剪、图像的腐蚀、图像的膨胀以及高斯滤波处理，增强图像光条特征，便于进行下一步的处理；然后根据焊缝图像的特点，采用高斯曲线拟合法提取光条中心，自适应选择高斯曲线拟合的拟合数据范围，即将上一列像素的光条中心提取结果作为拟合数据中心，而拟合的数据量正比于光条宽度，并根据焊缝边缘点提取的要求，将光条中心点的提取顺序改为从两侧往中间提取两段；最后采用斜率分析法提取焊缝边缘点，采用最近原则进行焊缝边缘点定位，进而得到焊缝中心的三维坐标，实现焊缝跟踪。
2.如权利要求1所述的结构光视觉焊缝图像信息自适应提取方法，其特征是，具体的光条中心提取方法如下：
首先确定合适的左起点，考虑到相邻两幅图像的光条所在位置十分相近，将上一幅图焊缝左边缘点图像坐标的横坐标减40作为左起点横坐标；并将上一幅图的左起点(xol,yol)纵坐标yol作为当前处理图像左起点的拟合数据范围中心；然后通过分析阈值求出本列像素的光条宽度即光条所占的像素个数d，将光条宽度的1.5倍作为拟合的数据量；将这些点的纵坐标(yol-3d/4)～(yol+3d/4)与它们对应的灰度值g1,g2,...,g3d/2用最小二成法拟合成高斯曲线，考虑到纵坐标数值较大而两点间隔仅为1，拟合结果的系数可能过大或者过小而影响精度，因此先将所有纵坐标同时减去yol再进行拟合，那么左起点纵坐标yol1为：
式中：a1、a2为高斯曲线拟合结果的一次项系数和二次项系数；
结合前面计算的左起点横坐标得到左起点具体坐标，而第一幅图像在焊枪起焊前采集，并根据处理得到的焊缝两边缘点求出焊缝中心，将其三维坐标作为焊缝跟踪的“原点”；
接下来从左起点开始，光条中心的提取以前一列像素的光条中心作为拟合数据范围的中心，也即将前一列像素的光条中心点作为了高斯曲线拟合光条中心粗提取结果，拟合的数据量为本列光条宽度的1.5倍，然后依次准确求出逐列光条中心，考虑实际图像大小以及提高处理速度，连续提取80列像素的光条中心作为左段光条中心的提取结果；
接着以类似于计算左起点的方式获取右起点，相反的是，接下来从右起点往前提取光条中心，即前一列像素的光条中心的提取拟合数据是将后一列像素光条中心作为中心，数据量仍为本列光条宽度的1.5倍，依次求80列像素的光条中心得到右段光条中心的提取结果；
最后将左段光条中心与右段光条中心合到一起作为最终的光条中心提取结果。
3.如权利要求1所述的结构光视觉焊缝图像信息自适应提取方法，其特征是，最近原则是从斜率分析法提取的所有可能焊缝边缘点中提取出正确的焊缝边缘点，具体的，首先计算光条中心上各点斜率，然后根据位于管道上的光条斜率接近0而位于坡口内的斜率约为0.5～0.8的特点，分析斜率的变化找出所有可能的焊缝边缘点；接下来根据焊缝图像相邻图像光条位置相近的特点，将所有可能的焊缝边缘点中，距离上一幅图像焊缝左边缘点最近的且距离小于3个像素的点作为本幅图像的焊缝左边缘点，距离上一幅图像焊缝右边缘点最近的且距离小于3个像素的点作为本幅图像的焊缝右边缘点；将两个焊缝边缘点中点作为焊缝中心，求出其三维坐标，与“原点”做差可进行垂直焊缝方向和高度方向的焊缝跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810636851.3A CN108765419B (zh) | 2018-06-20 | 2018-06-20 | 结构光视觉焊缝图像信息自适应提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810636851.3A CN108765419B (zh) | 2018-06-20 | 2018-06-20 | 结构光视觉焊缝图像信息自适应提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108765419A true CN108765419A (zh) | 2018-11-06 |
| CN108765419B CN108765419B (zh) | 2022-09-06 |
Family
ID=63979244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810636851.3A Expired - Fee Related CN108765419B (zh) | 2018-06-20 | 2018-06-20 | 结构光视觉焊缝图像信息自适应提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108765419B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523548A (zh) * | 2018-12-21 | 2019-03-26 | 哈尔滨工业大学 | 一种基于临界阈值的窄间隙焊缝特征点提取方法 |
| CN109514133A (zh) * | 2018-11-08 | 2019-03-26 | 东南大学 | 一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法 |
| CN110148172A (zh) * | 2019-05-20 | 2019-08-20 | 广东工业大学 | 一种焊缝定位方法、装置、设备及计算机可读存储介质 |
| CN110276296A (zh) * | 2019-06-21 | 2019-09-24 | 新疆大学 | 一种基于图像处理的结构光焊缝识别方法 |
| CN110390649A (zh) * | 2019-07-16 | 2019-10-29 | 西安石油大学 | 一种用于油气管道焊缝图像降噪的方法 |
| CN110517313A (zh) * | 2019-08-12 | 2019-11-29 | 上海大学 | 一种基于区域迭代的焊缝中心坐标检测方法 |
| CN111055054A (zh) * | 2020-01-13 | 2020-04-24 | 北京博清科技有限公司 | 一种焊缝识别方法、装置、焊接机器人及储存介质 |
| CN111274939A (zh) * | 2020-01-19 | 2020-06-12 | 北京中交创新投资发展有限公司 | 基于单目摄像头的道路路面坑洼破损自动提取方法 |
| CN111438460A (zh) * | 2020-04-18 | 2020-07-24 | 南昌大学 | 基于视觉的厚板t形接头焊接焊缝成形特征在线测量方法 |
| CN111633358A (zh) * | 2020-05-25 | 2020-09-08 | 西咸新区大熊星座智能科技有限公司 | 基于激光的焊缝参数测量方法及装置 |
| CN112862794A (zh) * | 2021-02-20 | 2021-05-28 | 河北工业大学 | 一种基于结构光的角焊缝外观检测方法 |
| CN113551599A (zh) * | 2021-07-22 | 2021-10-26 | 江苏省特种设备安全监督检验研究院 | 一种基于结构光导向的焊缝位置偏差视觉跟踪方法 |
| CN113947583A (zh) * | 2021-10-20 | 2022-01-18 | 辽宁师范大学 | 基于深度学习二维时间序列图像的焊缝无损检测方法 |
| CN115673628A (zh) * | 2022-09-07 | 2023-02-03 | 广州市机电技师学院(广州市机电高级技工学校、广州市机电高级职业技术培训学院) | 一种焊接机器人智能控制方法 |
| CN117237434A (zh) * | 2023-11-15 | 2023-12-15 | 太原理工大学 | 一种h型钢尺寸测量方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004138400A (ja) * | 2002-10-15 | 2004-05-13 | Frontier System:Kk | 樹脂チューブのシーム不良検査装置 |
| CN102279190A (zh) * | 2011-04-29 | 2011-12-14 | 广州有色金属研究院 | 一种激光焊接不等厚板焊缝表面缺陷图像检测方法 |
| CN104084669A (zh) * | 2014-06-20 | 2014-10-08 | 河北工业大学 | 一种基于解耦检测的环缝视觉检测方法及装置 |
| CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
| CN113042862A (zh) * | 2021-03-12 | 2021-06-29 | 湖北文理学院 | 基于主被动视觉结合的焊接偏差检测系统及检测方法 |
-
2018
- 2018-06-20 CN CN201810636851.3A patent/CN108765419B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004138400A (ja) * | 2002-10-15 | 2004-05-13 | Frontier System:Kk | 樹脂チューブのシーム不良検査装置 |
| CN102279190A (zh) * | 2011-04-29 | 2011-12-14 | 广州有色金属研究院 | 一种激光焊接不等厚板焊缝表面缺陷图像检测方法 |
| CN104084669A (zh) * | 2014-06-20 | 2014-10-08 | 河北工业大学 | 一种基于解耦检测的环缝视觉检测方法及装置 |
| CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
| CN113042862A (zh) * | 2021-03-12 | 2021-06-29 | 湖北文理学院 | 基于主被动视觉结合的焊接偏差检测系统及检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 许敏等: "不等厚激光拼焊板焊缝质量检测图像处理方法", 《焊接技术》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109514133A (zh) * | 2018-11-08 | 2019-03-26 | 东南大学 | 一种基于线结构光感知的焊接机器人3d曲线焊缝自主示教方法 |
| CN109523548A (zh) * | 2018-12-21 | 2019-03-26 | 哈尔滨工业大学 | 一种基于临界阈值的窄间隙焊缝特征点提取方法 |
| CN110148172A (zh) * | 2019-05-20 | 2019-08-20 | 广东工业大学 | 一种焊缝定位方法、装置、设备及计算机可读存储介质 |
| CN110148172B (zh) * | 2019-05-20 | 2023-07-25 | 广东工业大学 | 一种焊缝定位方法、装置、设备及计算机可读存储介质 |
| CN110276296A (zh) * | 2019-06-21 | 2019-09-24 | 新疆大学 | 一种基于图像处理的结构光焊缝识别方法 |
| CN110390649B (zh) * | 2019-07-16 | 2023-03-24 | 西安石油大学 | 一种用于油气管道焊缝图像降噪的方法 |
| CN110390649A (zh) * | 2019-07-16 | 2019-10-29 | 西安石油大学 | 一种用于油气管道焊缝图像降噪的方法 |
| CN110517313B (zh) * | 2019-08-12 | 2023-05-16 | 上海大学 | 一种基于区域迭代的焊缝中心坐标检测方法 |
| CN110517313A (zh) * | 2019-08-12 | 2019-11-29 | 上海大学 | 一种基于区域迭代的焊缝中心坐标检测方法 |
| CN111055054B (zh) * | 2020-01-13 | 2021-11-16 | 北京博清科技有限公司 | 一种焊缝识别方法、装置、焊接机器人及储存介质 |
| CN111055054A (zh) * | 2020-01-13 | 2020-04-24 | 北京博清科技有限公司 | 一种焊缝识别方法、装置、焊接机器人及储存介质 |
| CN111274939A (zh) * | 2020-01-19 | 2020-06-12 | 北京中交创新投资发展有限公司 | 基于单目摄像头的道路路面坑洼破损自动提取方法 |
| CN111274939B (zh) * | 2020-01-19 | 2023-07-14 | 交信北斗科技有限公司 | 基于单目摄像头的道路路面坑洼破损自动提取方法 |
| CN111438460A (zh) * | 2020-04-18 | 2020-07-24 | 南昌大学 | 基于视觉的厚板t形接头焊接焊缝成形特征在线测量方法 |
| CN111633358B (zh) * | 2020-05-25 | 2021-11-09 | 西咸新区大熊星座智能科技有限公司 | 基于激光的焊缝参数测量方法及装置 |
| CN111633358A (zh) * | 2020-05-25 | 2020-09-08 | 西咸新区大熊星座智能科技有限公司 | 基于激光的焊缝参数测量方法及装置 |
| CN112862794A (zh) * | 2021-02-20 | 2021-05-28 | 河北工业大学 | 一种基于结构光的角焊缝外观检测方法 |
| CN113551599A (zh) * | 2021-07-22 | 2021-10-26 | 江苏省特种设备安全监督检验研究院 | 一种基于结构光导向的焊缝位置偏差视觉跟踪方法 |
| CN113947583A (zh) * | 2021-10-20 | 2022-01-18 | 辽宁师范大学 | 基于深度学习二维时间序列图像的焊缝无损检测方法 |
| CN113947583B (zh) * | 2021-10-20 | 2024-04-05 | 辽宁师范大学 | 基于深度学习二维时间序列图像的焊缝无损检测方法 |
| CN115673628A (zh) * | 2022-09-07 | 2023-02-03 | 广州市机电技师学院(广州市机电高级技工学校、广州市机电高级职业技术培训学院) | 一种焊接机器人智能控制方法 |
| CN117237434A (zh) * | 2023-11-15 | 2023-12-15 | 太原理工大学 | 一种h型钢尺寸测量方法及装置 |
| CN117237434B (zh) * | 2023-11-15 | 2024-02-09 | 太原理工大学 | 一种h型钢尺寸测量方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108765419B (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765419A (zh) | 结构光视觉焊缝图像信息自适应提取方法 | |
| CN107798330B (zh) | 一种焊缝图像特征信息提取方法 | |
| CN109191459B (zh) | 连铸坯低倍组织中心偏析缺陷的自动识别与评级方法 | |
| CN110717872B (zh) | 一种激光辅助定位下的v型焊缝图像特征点提取方法及提取系统 | |
| CN111696107B (zh) | 一种实现闭合连通域的熔池轮廓图像提取方法 | |
| CN102156996B (zh) | 一种图像边缘检测的方法 | |
| CN102279190B (zh) | 一种激光焊接不等厚板焊缝表面缺陷图像检测方法 | |
| CN112529858A (zh) | 一种基于机器视觉的焊缝图像处理方法 | |
| CN109272544A (zh) | 管道全位置焊缝的结构光三维测量模型和图像处理方法 | |
| CN107424144A (zh) | 基于激光视觉的焊缝跟踪图像处理算法 | |
| CN101620732A (zh) | 道路行驶线的视觉检测方法 | |
| CN102426649A (zh) | 一种简单的高准确率的钢印数字自动识别方法 | |
| CN110814465B (zh) | 一种自动焊接焊缝轮廓提取的通用方法 | |
| CN105160641A (zh) | 基于图像处理的x射线焊缝区域提取方法 | |
| CN103914827A (zh) | 汽车密封条轮廓缺陷的视觉检测方法 | |
| CN106327464A (zh) | 一种边缘检测方法 | |
| CN108986160A (zh) | 一种含有镜面反射光干扰的图像激光中心线提取方法 | |
| CN114529715B (zh) | 一种基于边缘提取的图像识别方法及系统 | |
| CN113909689B (zh) | 一种激光光条的管道焊接坡口特征提取方法 | |
| CN104732530A (zh) | 一种图像边缘的检测方法 | |
| CN110390649B (zh) | 一种用于油气管道焊缝图像降噪的方法 | |
| CN117372827A (zh) | 一种基于边界约束的声呐图像统计增强算法 | |
| CN117455831A (zh) | 一种基于图像轮廓二阶差分的直角焊缝特征点识别方法 | |
| CN116977893A (zh) | 基于改进sobel和分段线性变换的鱼群状态检测方法 | |
| CN113505811A (zh) | 一种轮毂生产用机器视觉成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220906 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |