CN108765419B - 结构光视觉焊缝图像信息自适应提取方法 - Google Patents

Abstract

本发明涉及结构光视觉焊缝图像处理及焊缝信息提取技术，为实现快速而准确的结构光视觉焊缝图像信息提取，本发明，结构光视觉焊缝图像信息自适应提取方法，包括三个步骤，分别为图像预处理、光条中心提取以及焊缝边缘点提取。具体地，首先对焊接过程中采集的原始图像进行图像的裁剪、图像的腐蚀、图像的膨胀以及高斯滤波处理；然后根据焊缝图像的特点，采用高斯曲线拟合法提取光条中心，自适应选择高斯曲线拟合的拟合数据范围；最后采用斜率分析法提取焊缝边缘点，采用最近原则进行焊缝边缘点定位，进而得到焊缝中心的三维坐标，实现焊缝跟踪。本发明主要应用于焊缝信息提取。

Description

结构光视觉焊缝图像信息自适应提取方法

技术领域

本发明设计用于结构光视觉焊缝图像处理及焊缝信息提取技术，具体讲,涉及结构光视觉焊缝图像信息自适应提取方法。

背景技术

焊接是机械制造业重要的加工方法之一，由于焊接工作环境恶劣、对工人熟练度要求高，且存在一定的危险性，而使用机器人进行焊接可以有效提高焊接生产率，稳定和保证产品质量，因此采用智能机器人实现自动化焊接已成为发展的必然趋势。

实现快速、有效的焊缝跟踪是提高焊接机器人焊接质量的关键，常见的焊缝跟踪方法有多种，其中,基于结构光的视觉传感式由于其速度快、精度高,且可以实现对焊缝形貌的三维测量而备受青睐。但采用视觉传感器进行焊缝跟踪时,易受到焊接时弧光、飞溅、烟尘以及工件上铁锈、划痕等因素的影响，尤其V形或者倒梯形焊缝对结构光还具有多次反射的干扰作用，因此，焊缝图像处理并提取焊缝信息是准确进行焊缝跟踪的关键。

结构光视觉焊缝图像信息提取分为图像的预处理、结构光光条中心提取以及焊缝边缘点提取三步。

图像的预处理主要是通过滤波减少图像噪声、增强有用信息。常用的滤波算法有均值滤波、中值滤波以及高斯滤波等。其中，均值滤波使用模板内所有像素的平均值代替模板中心像素灰度值，这种方法易收到噪声的干扰，只能相对减弱噪声；中值滤波计算模板内所有像素中的中值代替模板中心像素的灰度值，这种方法对噪声不是那么敏感，能够较好的消除椒盐噪声，但是容易导致图像的不连续性；高斯滤波对图像邻域内像素进行平滑时，邻域内不同位置的像素被赋予不同的权值，其模板参数通过高斯函数计算得出。

结构光光条中心的提取方法主要有：几何中心法、阈值法、细化法、灰度重心法、Hessian矩阵法以及曲线拟合法等。Hessian矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。几何中心法是把结构光光条看成中心对称分布，把结构光光条的几何中心点作为截面的光条中心点，几何中心法处理速度快，但是对图像质量要求比较高；阈值法是利用横截面灰度呈高斯分布的结构光光条图像，其光条截面灰度具有能量集中性与对称性，阈值法处理速度快，但精度不高，且易受噪声干扰；细化法又称为骨架提取，细化过程就是重复的剥去二值图像的边界像素，直到获得一条单一的连通线，细化法处理速度较慢，实时性差；灰度重心法是直接依据光条在某一区域内灰度值的排列，沿横坐标取灰度中心来代表光条中心位置，灰度重心法精度较高，适用于光条强度分布较集中的场合；Hessian矩阵法首先利用Hessian矩阵得到图像光条的发现方向，然后在其法线方向利用泰勒展开求出结构光光条中心的亚像素位置，该算法精度高，但具有较大的运算量，处理速度慢，很难实现实时处理；曲线拟合法是利用峰值点附近的像素点坐标和灰度值拟合曲线方程，其中高斯曲线拟合法是对灰度图像中的光条部分的各列像素点的灰度值进行高斯曲线拟合，求得各列拟合曲线峰值的位置作为光条中心点，曲线拟合法精度较几何中心法、灰度重心法等的精度要高，具有一定的抗干扰能力，但不适合用于窄光条的光条中心的提取。

焊缝边缘点提取一般采用模板匹配法或斜率分析法。模板匹配法是在焊缝图像中搜索已知模板来寻找焊缝边缘点的一种方法，左右两个焊缝边缘点需要使用两个模板，而且对于多层多道焊接需要经常更换模板；斜率分析法是根据管道上的光条斜率的变化来提取焊缝边缘点，易受到噪声干扰，对光条中心的准确提取有较高要求。

发明内容

为克服现有技术的不足，本发明旨在实现快速而准确的结构光视觉焊缝图像信息提取。基于结构光法的视觉传感式的智能焊接机器人在焊接过程中以一定周期采集图像，本发明用于焊缝图像信息提取，通过对采集到的焊缝图像进行实时处理及提取光条信息得到焊缝的高度变化、焊缝的位置偏差等信息，进而进行焊缝跟踪。为此，本发明采用的技术方案是，结构光视觉焊缝图像信息自适应提取方法，包括三个步骤，分别为图像预处理、光条中心提取以及焊缝边缘点提取。具体地，首先对焊接过程中采集的原始图像进行图像的裁剪、图像的腐蚀、图像的膨胀以及高斯滤波处理，增强图像光条特征，便于进行下一步的处理；然后根据焊缝图像的特点，采用高斯曲线拟合法提取光条中心，自适应选择高斯曲线拟合的拟合数据范围，即将上一列像素的光条中心提取结果作为拟合数据中心，而拟合的数据量正比于光条宽度，并根据焊缝边缘点提取的要求，将光条中心点的提取顺序改为从两侧往中间提取两段；最后采用斜率分析法提取焊缝边缘点，采用最近原则进行焊缝边缘点定位，进而得到焊缝中心的三维坐标，实现焊缝跟踪。

具体的光条中心提取方法如下：

首先确定合适的左起点，考虑到相邻两幅图像的光条所在位置十分相近，将上一幅图焊缝左边缘点图像坐标的横坐标减40作为左起点横坐标；并将上一幅图的左起点(x_ol,y_ol)纵坐标y_ol作为当前处理图像左起点的拟合数据范围中心；然后通过分析阈值求出本列像素的光条宽度即光条所占的像素个数d，将光条宽度的1.5倍作为拟合的数据量；将这些点的纵坐标(y_ol-3d/4)～(y_ol+3d/4)与它们对应的灰度值g₁,g₂,...,g_3d/2用最小二成法拟合成高斯曲线，考虑到纵坐标数值较大而两点间隔仅为1，拟合结果的系数可能过大或者过小而影响精度，因此先将所有纵坐标同时减去y_ol再进行拟合，那么左起点纵坐标y_ol1为：

式中：a₁、a₂为高斯曲线拟合结果的一次项系数和二次项系数；

结合前面计算的左起点横坐标得到左起点具体坐标，而第一幅图像在焊枪起焊前采集，并根据处理得到的焊缝两边缘点求出焊缝中心，将其三维坐标作为焊缝跟踪的“原点”；

接下来从左起点开始，光条中心的提取以前一列像素的光条中心作为拟合数据范围的中心，也即将前一列像素的光条中心点作为了高斯曲线拟合光条中心粗提取结果，拟合的数据量为本列光条宽度的1.5倍，然后依次准确求出逐列光条中心，考虑实际图像大小以及提高处理速度，连续提取80列像素的光条中心作为左段光条中心的提取结果；

接着以类似于计算左起点的方式获取右起点，相反的是，接下来从右起点往前提取光条中心，即前一列像素的光条中心的提取拟合数据是将后一列像素光条中心作为中心，数据量仍为本列光条宽度的1.5倍，依次求80列像素的光条中心得到右段光条中心的提取结果；

最后将左段光条中心与右段光条中心合到一起作为最终的光条中心提取结果。

最近原则是从斜率分析法提取的所有可能焊缝边缘点中提取出正确的焊缝边缘点，具体的，首先计算光条中心上各点斜率，然后根据位于管道上的光条斜率接近0而位于坡口内的斜率约为0.5～0.8的特点，分析斜率的变化找出所有可能的焊缝边缘点；接下来根据焊缝图像相邻图像光条位置相近的特点，将所有可能的焊缝边缘点中，距离上一幅图像焊缝左边缘点最近的且距离小于3个像素的点作为本幅图像的焊缝左边缘点，距离上一幅图像焊缝右边缘点最近的且距离小于3个像素的点作为本幅图像的焊缝右边缘点；将两个焊缝边缘点中点作为焊缝中心，求出其三维坐标，与“原点”做差可进行垂直焊缝方向和高度方向的焊缝跟踪。

本发明的特点及有益效果是：

本发明采用三个步骤实现焊缝跟踪，尤其所提出的基于高斯曲线拟合法的光条中心快速提取算法，无需进行光条中心的粗提取来确定拟合的数据范围，并可以根据光条宽度自适应拟合的数据量，同时根据焊缝图像的特点采取了从两端往中间提取两段光条中心的方式，具有精度高、提取速度快和抗干扰能力较强的特点，因而适用于焊缝图像的实时处理；最后对提取的光条中心采用斜率分析法与最近原则来进行焊缝边缘点的定位，具有非常高的准确度，而且由于最近原则的选择性，即便在极少数情况下图像处理出现偏差甚至错误，也几乎不会对焊缝跟踪产生影响。因此本发明十分适用于焊接机器人焊缝跟踪的图像处理和焊缝信息提取。

附图说明：

图1结构光视觉焊缝图像信息自适应提取算法流程图。

图2本算法进行焊缝图像信息提取的各步骤结果。图中；

(a)原始图像 (b)预处理结果

(c)光条中心提取结果 (d)焊缝边缘点提取结果

图3部分本算法进行焊缝信息提取的结果。图中；

(a)光条图像较清晰 (b)光条图像较暗淡

(c)光条受弧光严重干扰 (d)光条受飞溅严重干扰

图4本算法与灰度重心法的光条中心提取结果比较。图中；

(a)本算法光条中心提取结果

(b)灰度重心法光条中心提取结果

图5本算法与高斯曲线拟合法光条中心提取所用时间比较。

具体实施方式

本发明设计用于结构光视觉焊缝图像处理及焊缝信息提取，对焊接机器人焊接过程中采集到的图像，通过图像预处理、提取光条中心以及提取焊缝边缘点进行焊缝图像信息提取，进而实现焊接机器人的焊缝跟踪。

本发明分为三步进行焊缝图像信息的提取，分别为图像预处理、光条中心提取以及焊缝边缘点提取。首先对焊接过程中采集的原始图像进行图像的裁剪、图像的腐蚀、图像的膨胀以及高斯滤波等处理，增强图像光条特征，便于进行下一步的处理；然后根据焊缝图像的特点，采用高斯曲线拟合法提取光条中心，自适应选择高斯曲线拟合的拟合数据范围，即将上一列像素的光条中心提取结果作为拟合数据中心，而拟合的数据量正比于光条宽度，并根据焊缝边缘点提取的要求，将光条中心点的提取顺序改为从两侧往中间提取两段，不仅提高了焊缝信息提取的精度和处理速度，而且具有较强的抗干扰能力；最后采用斜率分析法提取焊缝边缘点，并针对斜率分析法易提取出多余特征点的缺点提出一种最近原则准确进行焊缝边缘点定位，进而得到焊缝中心的三维坐标，实现焊缝跟踪。具体的焊缝信息提取算法流程如下所述。

图像的预处理首先选择合适的感兴趣ROI区域，通过图像裁剪减小被处理图片尺寸，提高图像处理速度。接下来进行图像的去噪及平滑处理，考虑到还需要进行后续的结构光光条中心提取以及焊缝边缘点提取，因此进行图像的腐蚀、膨胀后，再进行高斯滤波，滤去一波分噪声的同时，保留更多的图像总体灰度分布特征。

光条中心的提取是焊缝图像处理中重要的一步，它的处理精度与速度将直接影响最终结果的精度与速度。高斯曲线拟合即使用高斯函数对数据点集进行函数逼近的拟合方法，使用高斯曲线拟合法进行光条中心提取时，一般需要先对光条图像进行光条中心的粗提取，得到光条中心所在的大致位置，然后以该位置为中心，取合适的拟合数据量进行高斯曲线拟合得到精确的光条中心点。实际上由于焊缝图像具有弧光、飞溅、坡口反光等诸多干扰因素，因此光条中心的粗提取准确度难以保证，而高斯曲线的峰值若不在拟合的数据范围的中心附近，拟合结果将具有很大的误差；而且粗提取过程也将影响光条中心的提取速度；另外，由于坡口倾斜以及高斯光束本身的特性，焊缝图像上两边管道部分和中间坡口部分的光条宽度不相同，若拟合数据量不合适也将影响高斯拟合的精度。

针对以上问题，本发明提出了一种自适应拟合数据的高斯曲线拟合法提取光条中心，该算法根据相邻两列像素的光条中心相差不超过一个像素，将前一列像素的光条中心作为该列像素高斯曲线拟合的数据范围的中心，而数据长度自适应为该列光条宽度像素个数的1.5倍，并根据光条图像坡口内质量较低而管道上质量较高的特点，将光条中心的提取分成两段，分别从两侧往中间提取，为提高处理速度，只提取焊缝边缘点附近两小段光条的光条中心。具体的光条中心提取方法如下：

首先确定合适的左起点。考虑到相邻两幅图像的光条所在位置十分相近，将上一幅图焊缝左边缘点图像坐标的横坐标减40作为左起点横坐标；并将上一幅图的左起点(x_ol,y_ol)纵坐标y_ol作为当前处理图像左起点的拟合数据范围中心；然后通过分析阈值求出本列像素的光条宽度d，将光条宽度的1.5倍作为拟合的数据量；将这些点的纵坐标(y_ol-3d/4)～(y_ol+3d/4)与它们对应的灰度值g₁,g2,...,g3_d/2用最小二成法拟合成高斯曲线，考虑到纵坐标数值较大而两点间隔仅为1，拟合结果的系数可能过大或者过小而影响精度，因此先将所有纵坐标同时减去y_ol再进行拟合，那么左起点纵坐标y_ol1为：

式中：a₁、a₂为高斯曲线拟合结果的一次项系数和二次项系数。

结合前面计算的左起点横坐标得到左起点具体坐标。而第一幅图像可以在焊枪起焊前采集，由于没有弧光、飞溅等诸多干扰，因此其图像质量很高，光条中心也易于十分准确的提取，保证了后续起点的正确性；并根据处理得到的焊缝两边缘点求出焊缝中心，将其三维坐标作为焊缝跟踪的“原点”。

接下来从左起点开始，光条中心的提取以前一列像素的光条中心作为拟合数据范围的中心，也即将前一列像素的光条中心点作为了高斯曲线拟合光条中心粗提取结果，拟合的数据量为本列光条宽度的1.5倍，然后依次准确求出逐列光条中心。考虑实际图像大小以及提高处理速度，连续提取80列像素的光条中心作为左段光条中心的提取结果。

接着以类似于计算左起点的方式获取右起点，相反的是，接下来从右起点往前提取光条中心，即前一列像素的光条中心的提取拟合数据是将后一列像素光条中心作为中心，数据量仍为本列光条宽度的1.5倍，依次求80列像素的光条中心得到右段光条中心的提取结果。

最后将左段光条中心与右段光条中心合到一起作为最终的光条中心提取结果。

对于光条中心的提取结果，由于焊缝图像光条具有明显的斜率变化，而且斜率分析法速度快，适用性强，在盖面焊时也能有较为理想的提取结果，因此采用斜率分析法进行焊缝边缘点提取。但是该方法对于图像质量不高时会出现一些多余的焊缝边缘点。针对该问题，本算法采用一种最近原则从斜率分析法提取的所有可能焊缝边缘点中提取出正确的焊缝边缘点。首先计算光条中心上各点斜率，然后根据位于管道上的光条斜率接近0而位于坡口内的斜率约为0.5～0.8的特点，分析斜率的变化找出所有可能的焊缝边缘点。接下来根据焊缝图像相邻图像光条位置相近的特点，将所有可能的焊缝边缘点中，距离上一幅图像焊缝左边缘点最近的且距离小于3个像素的点作为本幅图像的焊缝左边缘点，距离上一幅图像焊缝右边缘点最近的且距离小于3个像素的点作为本幅图像的焊缝右边缘点。将两个焊缝边缘点中点作为焊缝中心，求出其三维坐标，与“原点”做差可进行垂直焊缝方向和高度方向的焊缝跟踪。

本发明提出了一种有效提取结构光视觉焊缝图像信息的算法，图1为提取流程图。首先进行焊接前采集图像和图像处理，接下来对于焊接过程中采集到的图像，进行图像裁剪、图像的腐蚀和膨胀、高斯滤波进行图像的预处理，去除一部分噪声的同时保留图像总体灰度分布特征；然后设计了一种基于高斯曲线拟合法的光条中心快速提取算法，无需进行光条中心的粗提取来确定拟合的数据范围，并可以根据光条宽度自适应拟合的数据量，同时根据焊缝图像的特点采取了从两端往中间提取两段光条中心的方式，具有精度高、提取速度快和抗干扰能力较强的特点，可用于焊缝图像的实时处理；最后对提取的光条中心采用斜率分析法与最近原则来进行焊缝边缘点的定位，具有非常高的准确度，而且由于最近原则的选择性，即便在极少数情况下图像处理出现偏差甚至错误，也几乎不会对焊缝跟踪产生影响。因此本算法十分适用于焊接机器人焊缝跟踪的图像处理和焊缝信息提取。

图2是焊缝图像信息提取的各步骤结果，首先对原始图像进行了图像的裁剪、图像的腐蚀和膨胀、高斯滤波等处理，得到了尺寸更小的、光条特征更明显的图像；下一步再对光条进行局部光条中心提取，分为左段和右段；最后根据光条中心提取结果求出左右两个焊缝边缘点。从图3可以看出，无论是光条较清晰还是光条较暗淡或者是被弧光、飞溅等噪声严重干扰，本算法均可对焊缝图像信息进行准确的提取。图4是本算法光条中心提取结果与灰度重心法提取结果比较，可以看出灰度重心法在左侧弧光干扰区域以及右侧焊渣遮挡区域出现误差，而本算法则均可以正确提取,具有很强的抗干扰能力。图5是对10幅图分别采用本算法与高斯曲线拟合法提取光条中心，处理图像所用时间比较，明显看出，由于本算法无需进行光条中心粗提取，并且根据实际情况大大减少了光条中心点的提取数量，因此提取速度有了明显提升，处理一幅图平均只需约0.03s。

一个实例中具体步骤如下，做好焊接前的准备工作后，先采集一幅图像并进行处理，确定下一幅图像光条中心提取的左右两个起点，并将该幅图像的焊缝中心的三维坐标作为焊缝跟踪的“原点”，然后开始焊接；焊接过程中循环进行采集图像、图像预处理、自适应高斯曲线拟合法提取光条中心、斜率分析法与最近原则相结合定位焊缝边缘点、确定焊缝中心并计算其三维坐标、与“原点”做差计算偏移量、进行焊缝跟踪，实现高质量的焊接。

Claims (2)

1.一种结构光视觉焊缝图像信息自适应提取方法，其特征是，包括三个步骤，分别为图像预处理、光条中心提取以及焊缝边缘点提取，具体地，首先对焊接过程中采集的原始图像进行图像的裁剪、图像的腐蚀、图像的膨胀以及高斯滤波处理，增强图像光条特征，便于进行下一步的处理；然后根据焊缝图像的特点，采用高斯曲线拟合法提取光条中心，自适应选择高斯曲线拟合的拟合数据范围，即将上一列像素的光条中心提取结果作为拟合数据中心，而拟合的数据量正比于光条宽度，并根据焊缝边缘点提取的要求，将光条中心点的提取顺序改为从两侧往中间提取两段；最后采用斜率分析法提取焊缝边缘点，采用最近原则进行焊缝边缘点定位，进而得到焊缝中心的三维坐标，实现焊缝跟踪；其中，最近原则是从斜率分析法提取的所有可能焊缝边缘点中提取出正确的焊缝边缘点；其中，采用斜率分析法提取焊缝边缘点，采用最近原则进行焊缝边缘点定位，具体步骤如下：

首先计算光条中心上各点斜率，然后根据位于管道上的光条斜率为0而位于坡口内的斜率为0.5～0.8的特点，分析斜率的变化找出所有可能的焊缝边缘点；接下来根据焊缝图像相邻图像光条位置相近的特点，将所有可能的焊缝边缘点中，距离上一幅图像焊缝左边缘点最近的且距离小于3个像素的点作为本幅图像的焊缝左边缘点，距离上一幅图像焊缝右边缘点最近的且距离小于3个像素的点作为本幅图像的焊缝右边缘点；将两个焊缝边缘点中点作为焊缝中心，求出其三维坐标，与“原点”做差可进行垂直焊缝方向和高度方向的焊缝跟踪。

2.如权利要求1所述的结构光视觉焊缝图像信息自适应提取方法，其特征是，具体的光条中心提取方法如下：

首先确定合适的左起点，考虑到相邻两幅图像的光条所在位置十分相近，将上一幅图焊缝左边缘点图像坐标的横坐标减40作为左起点横坐标；并将上一幅图的左起点(x_ol,y_ol)纵坐标y_ol作为当前处理图像左起点的拟合数据范围中心；然后通过分析阈值求出本列像素的光条宽度即光条所占的像素个数d，将光条宽度的1.5倍作为拟合的数据量；将这些点的纵坐标(y_ol-3d/4)～(y_ol+3d/4)与它们对应的灰度值g₁,g₂,...,g_3d/2用最小二成法拟合成高斯曲线，考虑到纵坐标数值较大而两点间隔仅为1，拟合结果的系数可能过大或者过小而影响精度，因此先将所有纵坐标同时减去y_ol再进行拟合，那么左起点纵坐标y_ol1为：

式中：a₁、a₂为高斯曲线拟合结果的一次项系数和二次项系数；

结合前面计算的左起点横坐标得到左起点具体坐标，而第一幅图像在焊枪起焊前采集，并根据处理得到的焊缝两边缘点求出焊缝中心，将其三维坐标作为焊缝跟踪的“原点”；

接下来从左起点开始，光条中心的提取以前一列像素的光条中心作为拟合数据范围的中心，也即将前一列像素的光条中心点作为了高斯曲线拟合光条中心粗提取结果，拟合的数据量为本列光条宽度的1.5倍，然后依次准确求出逐列光条中心，考虑实际图像大小以及提高处理速度，连续提取80列像素的光条中心作为左段光条中心的提取结果；

接着以类似于计算左起点的方式获取右起点，相反的是，接下来从右起点往前提取光条中心，即前一列像素的光条中心的提取拟合数据是将后一列像素光条中心作为中心，数据量仍为本列光条宽度的1.5倍，依次求80列像素的光条中心得到右段光条中心的提取结果；

最后将左段光条中心与右段光条中心合到一起作为最终的光条中心提取结果。

Images