CN111275634B - 一种熔池形貌检测及弧焊机器人控制方法 - Google Patents

Abstract

本发明公开了一种熔池形貌检测及弧焊机器人控制方法，包括：采集弧焊增材制造熔覆池视频，提取单帧彩色图像，进行灰度变换和噪声滤波；进行掩膜修补，剔除金属液滴区域部分，去除图像多余的部分，利用天牛须搜索自适应阈值算法的边缘检测，进行阈值分割和灰度增强，从而达到对图像进行去噪和增强；通过像素遍历搜寻出熔覆池圆心，再进行区域图像分割、镜像对称和组合，拟合出椭圆，通过圆心遍历出长轴和短轴，对长轴和短轴像素数大小进行计算，判断长轴和短轴的变化量，进而控制弧焊机器人是否继续打印，再根据当前图像是否为最后一帧来决定是否结束循环，进而实现本方法，为弧焊增材制造打印质量提供低成本、高效率的检测分析与控制方法。

Description

一种熔池形貌检测及弧焊机器人控制方法

技术领域

本发明属于弧焊增材制造与图像处理的技术领域，涉及一种熔池形貌检测及弧焊机器人控制方法。

背景技术

弧焊增材制造是以三维CAD模型转换为数字STL模型为基础，通过对其切片处理生成加工路径，然后以逐层叠加的方式完成材料的填充，最终实现目标件成形。其小熔池熔炼与铸造的工艺特点，能解决大型金属构件铸造过程中成分偏析的问题，能低成本、高效率地制造成分均匀、力学性能好的高性能大型金属构件，是金属三维打印的重要发展方向之一。

在弧焊增材制造的过程中，往往需要对金属基材熔化并形成熔池，影响熔池形貌的因素有很多，比如说激光的功率，打印速度等，这些因素也都影响着打印结果，打印结果的好坏就可以通过熔池形貌的变化反应出来，而在弧焊增材制造过程中，其熔池形貌是不断变化的。目前，对熔池形貌的分析识别有通过有经验的工人全程监控，进而调整工艺参数，但是效率较低；也有通过对成形过程中温度场的演变与组织转变行为来监控，这种方法复杂且繁琐，成本较高。通过对熔池形貌的特征提取及识别，针对熔池形貌的平面图像乃至动态图像进行分析，找出一套合理可靠的算法，推算出熔池平面的具体形貌，以及实时的变化情况，甚至于解决在只有单摄像机拍摄下，对熔池形貌边缘大小做出适当的测算，为弧焊增材制造打印质量提供低成本、高效率的检测分析与控制方法。

发明内容

本发明目的在于，实现对弧焊增材制造过程中熔覆池形状和尺寸的实时检测，提供了一种熔池形貌检测及弧焊机器人控制方法，包括如下步骤：

步骤1，采集弧焊增材制造熔覆池视频，从视频中提取单帧熔覆池视频序列帧彩色图像；

步骤2，针对提取的单帧熔覆池视频序列帧彩色图像进行灰度变换得到熔覆池灰度图像，从而减少计算量，降低后续处理的复杂性；

步骤3，由于图像在传输过程中，会有很多噪声，为了减少噪声对后续图像拟合时的影响，对熔覆池灰度图像进行滤波处理。为了让滤波后的图像保留更多的细节和平滑的边缘，对熔覆池灰度图像进行基于多级卷积核加权的噪声滤波，得到熔覆池滤波图像；

步骤4，为了系统能够自动的减少金属液滴区域部分对熔池边缘的影响，对基于多级卷积核加权的噪声滤波图像进行基于阈值处理的掩膜修补方法，去除金属液滴区域部分，得到修补后的熔覆池灰度图像；

步骤5，为了减少边缘检测所用的时间，对修补后的熔覆池灰度图像进行两次区域图像分割，分离出多余的图像，保留核心的部分，得到二次区域分割图像。

步骤6，为了快速而准确的检测出熔覆池图像的边缘部分，对二次区域分割图像进行基于天牛须搜索自适应阈值算法的边缘检测，得到熔覆池边缘检测图像；

步骤7，为了进一步消除非边缘部分以及增强现有的熔覆池边缘形貌视觉效果，对熔覆池边缘检测图像进行阈值分割【可参考夏博文.基于图像处理的覆冰绝缘子覆冰特征与闪络特性研究，天津大学，硕士学位论文，2018，pp.16-18】和基于粒子群算法的伽马变换，进行灰度增强，得到去噪和增强后熔覆池边缘图像；

步骤8，为了后续能够进行椭圆拟合，对去噪和增强后熔覆池边缘图像进行像素遍历，得到熔覆池的圆心像素点坐标；

步骤9，以熔覆池的圆心像素点坐标为基准，进行基于竖轴和横轴的区域图像分割【可参考何俊，葛红，王玉峰.图像分割算法研究综述[J].计算机工程与科学，2019，31(12)：58-59】，再通过右半平面和下半平面进行镜像对称和组合，得到熔覆池的椭圆拟合图像；

步骤10，以熔覆池的圆心像素点坐标为基准，对熔覆池的椭圆拟合图像进行像素遍历，计算出长轴和短轴像素数大小；利用长轴和短轴的变化量判断终止打印或者继续打印。判断当前熔覆池视频序列帧彩色图像是否为最后一帧，如果是，则结束打印，如果不是，则回到步骤1。

步骤2包括：将单帧熔覆池视频序列帧彩色图像中每个像素点进行灰度变换，并利用以下公式重新赋值：

Gray_m＝0.2986*R_m+0.5871*G_m+0.1143*B_m

其中，Gray_m为灰度变换后的灰度值，R_m为单帧熔覆池视频序列帧彩色图像中红色分量的值，G_m为绿色分量的值，B_m为蓝色分量的值，它们的系数是根据人肉眼视觉的色彩感受设定的。

步骤3包括：进行四级卷积核加权，卷积核的尺寸为n×n，取尺寸分别为3×3、5×5、7×7、9×9的四级卷积核，n＝2×k+1，k为正整数，取值范围无穷大，如取1、2、3、4……，将卷积核所覆盖像素中的中值作为中心点的像素值，遍历所有元素，四级卷积核加权公式如下：

dst＝0.4*dst1+0.3*dst2+0.2*dst3+0.1*dst4

其中，dst表示加权后的像素值，dst1、dst2、dst3、dst4分别是卷积核尺寸为3×3、5×5、7×7、9×9作用后的像素值，权重是根据每种尺寸卷积核的重要程度进行选取。

步骤4需要选取阈值进行图像分割，再去除金属液滴区域部分，具体方法为：

步骤4-1，根据熔覆池滤波图像的灰度直方图【可参考林旭鹏.基于车载红外图像的目标检测系统，北京交通大学，硕士学位论文，2019，pp.18-19】，选取170作为图像分割的阈值。使用阈值分割分离出金属液滴区域部分，以金属液滴区域部分构成熔覆池滤波图像的掩膜，也即熔覆池滤波图像的待修复区域。

步骤4-2，对熔覆池滤波图像进行修补，去除金属液滴区域部分，得到修补后的熔覆池灰度图像，修补公式如式：

其中，I(u)为熔覆池滤波图像修补后的灰度值，

为熔覆池滤波图像灰度值的梯度，Ω为待修复区域，x和y分别为像素点的横坐标和纵坐标。

步骤5需要对修补后的图像进行区域图像分割，具体方法为：

步骤5-1，在修补后的熔覆池灰度图像中选取一个矩形，矩形四个顶点的像素坐标分别为(130,125)、(360,125)、(130,20)和(360,20)，遍历所有的像素，如果像素坐标在这个矩形区域内，则像素值不变；如果像素坐标在这个矩形区域外，则把像素值置为0，即黑色，得到初步区域分割图像。

步骤5-2，在初步区域分割图像中选取一个矩形，矩形四个顶点的像素坐标分别为(200,100)、(200,50)、(300,100)和(300,50)，遍历所有的像素，如果像素坐标在这个矩形区域内，像素值置为0，即黑色；如果像素坐标在这个矩形区域外，则像素值不变；得到二次区域分割图像。

步骤6，利用Sobel算子对二次区域分割图像进行卷积计算得到边缘梯度值，对边缘梯度值使用天牛须搜索自适应阈值算法，当边缘梯度值大于自适应阈值时标记为边缘，得到熔覆池边缘检测图像，Sobel算子如下：

Gx＝G_x*A,

Gy＝G_y*A,

|G|＝|Gx|+|Gy|,

其中，Gx及Gy分别代表经过横向边缘检测的图像灰度值和经过纵向边缘检测的图像灰度值，G_x及G_y分别为横坐标x方向需要使用的卷积因子和纵坐标y方向需要使用的卷积因子，A代表二次区域分割图像，|G|为经过Sobel算子计算后的边缘梯度值。

所述天牛须搜索自适应阈值算法包括：

步骤6-1，建立天牛须朝向的随机向量dir并单位化，其方向为从右须指向左须：

其中，rands()代表随机向量，m代表空间维度，在本发明中取2。

步骤6-2，确定天牛左右须的坐标：

右须坐标：

x_rn＝x_n-l*dir/2(n＝0,1,2,…,t)

左须坐标：

x_ln＝x_n+l*dir/2(n＝0,1,2,…,t)

其中，x_ln代表左须坐标，x_rn代表右须坐标，x_n表示在第n次迭代时的质心坐标，n为非负整数，取值范围无穷大，l为左须和右须之间距离。

步骤6-3，通过计算分别得到左、右两须的适应度值f_l和f_r，根据这两个适应度值f_l和f_r的大小关系，判断天牛的前进方向。第n次迭代时行进步长为j_n，x_n+1表示在第n+1次迭代时的质心坐标，此时用下式更新天牛的位置：

步骤7需要对图像进行阈值分割及去噪和增强，方法如下：

步骤7-1，对熔覆池边缘检测图像的灰度直方图使用粒子群算法寻找阈值，进行阈值分割去除熔覆池轮廓图像中非轮廓部分，即对熔覆池边缘检测图像完成去噪处理，得到更精准的熔覆池边缘图像，粒子群算法公式如下：

式中，ω为惯性因子，c₁和c₂代表学习因子，r₁和r₂是[0,1]之间的随机数，P_best-i是第i个粒子已知的历史最优状态，G_best是整个粒子群已知的历史最优状态，

和V_i ^k分别代表k时刻粒子i的位置和速度，

和V_i ^k+1分别代表k+1时刻粒子i的位置和速度。

步骤7-2，对步骤7-1得到更精准的熔覆池边缘图像，使用粒子群算法自适应的选取合适的伽马值，再进行伽马变换进行灰度增强，增加熔覆池边缘图像的对比度，得到去噪和增强后的熔覆池边缘图像，伽马变换的公式如下：

s＝g^Υ,g∈[0,1]

式中，g为输入灰度级，γ为伽马值，可以达到增强低灰度或高灰度部分细节的作用，s为经过伽马变换后的灰度。

步骤8包括，对去噪和增强后的熔覆池边缘图像，利用循环遍历每一个像素点，从下到上依次遍历每一行像素点，寻找第一个非0的像素点，记录其坐标位置Z₁；再从右向左依次遍历每一列像素点，寻找到第一个非0的像素点，记录其坐标位置Z₂；则Z₁的横坐标和Z₂的纵坐标即为熔覆池圆心像素点的横坐标和纵坐标。

步骤9需要拟合出椭圆，具体方法为：

步骤9-1，对去噪和增强后的熔覆池边缘图像，以过熔覆池圆心和Z₁的竖轴为基准，进行区域图像分割，得到只有右半平面的熔覆池边缘图像，再基于右半平面进行镜像对称和组合，得到以竖轴为基准进行组合的熔覆池边缘图像。

步骤9-2，对以竖轴为基准进行组合的熔覆池边缘图像，以过熔覆池圆心和Z₂的横轴为基准，进行区域图像分割，得到只有下半平面的熔覆池边缘图像，再基于下半平面进行镜像对称和组合，得到熔覆池的椭圆拟合图像。

步骤10包括：

步骤10-1：对熔覆池的椭圆拟合图像圆心横坐标轴所在纵轴，基于熔覆池圆心，从上往下寻找第一个像素灰度值非零的点，将熔覆池圆心的纵坐标减去该点的纵坐标，得到椭圆的短轴b；对于熔覆池圆心的纵坐标所在的横轴，从左往右寻找第一个像素灰度值非零的点，将熔覆池圆心的横坐标减去该点的横坐标，得到椭圆的长轴a，最后得到长轴和短轴的像素数大小。

步骤10-2：如果单个轴的大小发生变化，且变化量大于或等于20个像素数，则控制弧焊机器人停止打印；如果改变量小于20个像素数，则控制弧焊机器人继续打印。如果长轴和短轴大小都改变，且|a|+|b|≥30个像素数，则控制弧焊机器人停止打印，如果|a|+|b|＜30个像素数，则控制弧焊机器人继续打印。

步骤10-3：判断熔覆池视频序列帧彩色图像是否为最后一帧，如果是最后一帧，则控制弧焊机器人停止打印；如果不是最后一帧，则回到步骤1，控制弧焊机器人继续打印。

有益效果：本发明与现有技术相比克服了传统弧焊增材制造通过对成形过程中温度场的演变与组织转变行为来监控，这种方法复杂且繁琐，成本较高；也克服了全程用人工的方法监控熔覆池的形貌和尺寸，进而调控工艺参数，这种方法效率低。本发明构建了一种熔池形貌检测及弧焊机器人控制方法，首先利用工业相机系统采集弧焊增材制造熔覆池视频，从视频中提取单帧熔覆池视频序列帧彩色图像；然后对提取的单帧熔覆池视频序列帧彩色图像进行灰度变换，再使用基于多级卷积核加权的噪声滤波去除图像的噪声，使用基于阈值处理的掩膜修补，以去除金属液滴区域部分对熔覆池边缘检测的影响，使用区域图像分割的方法去除多余的图像，减少后续的计算量和复杂性，再进行基于天牛须搜索自适应阈值算法的边缘检测，得到熔覆池图像的边缘形貌，之后基于阈值分割和图像增强的方法对图像进行去噪和增强，进行图像遍历找到圆心，再进行区域图像分割、镜像对称和组合，拟合出椭圆，最后通过圆心遍历出长轴和短轴，对长轴和短轴像素数大小进行计算，判断长轴和短轴的变化量，进而控制弧焊机器人是否继续打印，判断当前图像是否为最后一帧，进而完成熔池形貌检测及弧焊机器人控制方法，实现低成本高效率的检测弧焊增材制造打印质量，为弧焊增材制造实时评价提供依据。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明方法流程图。

图2为弧焊增材制造熔覆池原始图像。

图3为弧焊增材制造熔覆池椭圆拟合图像。

图4为弧焊增材制造熔覆池实际拟合尺寸像素数结果图。

图5为弧焊机器人实物图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本发明的原理是：首先利用工业相机系统采集弧焊增材制造熔覆池视频，从中提取单帧熔覆池视频序列帧彩色图像；然后对提取的单帧熔覆池视频序列帧彩色图像进行灰度变换，再使用基于多级卷积核加权的噪声滤波去除图像的噪声，使用基于阈值处理的掩膜修补，以去除金属液滴对熔覆池边缘检测的影响，使用区域图像分割的方法去除多余的图像，减少后续的计算量和复杂性，再进行基于天牛须搜索自适应阈值算法的边缘检测，得到熔覆池图像的边缘形貌，之后基于阈值分割和图像增强的方法对图像进行去噪和增强，再进行图像遍历找到圆心，以短轴为基准将检测到的图像的左半部分去除，再进行镜像对称和组合，以长轴为基准将检测到的图像的上半部分去除，再进行镜像对称和组合，得到完整的拟合图像，最后以圆心为基准，遍历图像，计算出长轴和短轴的像素数大小，利用长轴和短轴的变化量判断终止打印或者继续打印；判断当前熔覆池视频序列帧彩色图像是否为最后一帧，如果是，则结束打印，如果不是，则循环之前步骤。从而完成熔覆池形状和尺寸视觉检测。具体实施方法如下：

步骤1，利用工业相机系统采集弧焊增材制造熔覆池视频，从视频中提取单帧熔覆池视频序列帧彩色图像；

步骤2，针对提取的单帧熔覆池视频序列帧彩色图像进行灰度变换得到熔覆池灰度图像，从而减少计算量，降低后续处理的复杂性。

步骤2中实现灰度变换的具体方法是将彩色图像中每个像素点通过以下公式重新赋值：

Gray_m＝0.2986*R_m+0.5871*G_m+0.1143*B_m

其中，Gray_m为灰度变换后的灰度值，R_m为单帧熔覆池视频序列帧彩色图像中红色分量的值，G_m为绿色分量的值而B_m为蓝色分量的值，它们的系数是根据人肉眼视觉的色彩感受设定的。

步骤3，由于图像在传输过程中，会有很多噪声，为了减少噪声对后续图像拟合时的影响，对熔覆池灰度图像进行滤波处理。为了让滤波后的图像保留更多的细节和平滑的边缘，对熔覆池灰度图像进行基于多级卷积核加权的噪声滤波，得到熔覆池滤波图像。

步骤3中进行多级卷积核加权，卷积核的尺寸为n×n，取尺寸分别为3×3、5×5、7×7、9×9的卷积核，n＝2×k+1，k为正整数，取值范围无穷大，如取1、2、3、4……，将卷积核所覆盖像素中的中值作为中心点的像素值，遍历所有元素，四级卷积核加权公式如下：

dst＝0.4*dst1+0.3*dst2+0.2*dst3+0.1*dst4

其中，dst表示加权后的像素值，dst1、dst2、dst3、dst4分别是卷积核尺寸为3×3、5×5、7×7、9×9作用后的像素值，权重是根据每种尺寸卷积核的重要程度进行选取。

步骤4，为了系统能够自动的减小金属液滴区域部分对熔池边缘的影响，通过灰度直方图找到合适的阈值进而获得掩膜，对基于多级卷积核加权的噪声滤波图像进行基于掩膜的熔池图像修补，得到修补后的熔覆池灰度图像。步骤4具体方法如下：

步骤4-1，根据熔覆池滤波图像的灰度直方图，选取170作为图像分割的阈值，使用阈值分割分离出金属液滴区域部分，以金属液滴区域部分构成熔覆池滤波图像的掩膜，也即熔覆池滤波图像的待修复区域。

步骤4-2，对熔覆池滤波图像进行修补，去除金属液滴区域部分，得到修补后的熔覆池灰度图像，修补公式如式：

其中，I(u)为熔覆池滤波图像修补后的灰度值，

为熔覆池滤波图像灰度值的梯度，Ω为待修复区域，x和y分别为像素点的横坐标和纵坐标。

步骤5，为了减少边缘检测所用的时间，对修补后的熔覆池图像进行两次区域图像分割，分离出多余的图像，保留核心的部分，得到二次区域分割图像。具体方法如下：

步骤5-1，在修补后的熔覆池灰度图像中选取一个矩形，矩形四个顶点的像素坐标分别为(130,125)、(360,125)、(130,20)和(360,20)，遍历所有的像素，若像素坐标在这个矩形区域内，则像素值不变；若像素坐标在这个矩形区域外，则把像素值置为0，即黑色，得到初步区域分割图像。

步骤5-2，在初步区域分割图像中选取一个矩形，矩形四个顶点的像素坐标分别为(200,100)、(200,50)、(300,100)和(300,50)，遍历所有的像素，若像素坐标在这个矩形区域内，像素值置为0，即黑色；若像素坐标在这个矩形区域外，则像素值不变；得到二次区域分割图像。

步骤6，对二次区域分割图像进行基于天牛须搜索自适应阈值算法的边缘检测，得到熔覆池边缘检测图像。先利用Sobel算子对二次区域分割图像进行卷积计算得到边缘梯度值，再对边缘梯度值使用天牛须搜索自适应阈值算法，当边缘梯度值大于自适应阈值时标记为边缘，得到熔覆池边缘检测图像，Sobel算子如下：

Gx＝G_x*A,

Gy＝G_y*A,

|G|＝|Gx|+|Gy|,

式中：Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，G_x及G_y分别为x和y方向需要使用的卷积因子，A代表二次区域分割图像，|G|为经过Sobel算子计算后的边缘梯度值。

所述天牛须搜索自适应阈值算法包括：

步骤6-1：建立天牛须朝向的随机向量并单位化，即dir，其方向为从右须指向左须。

上式中，rands()代表随机向量，m代表空间维度，在本例中取2。

步骤6-2：确定天牛左右须的坐标：

右须坐标：

x_rn＝x_n-l*dir/2

左须坐标：

x_ln＝x_n+l*dir/2

式中x_ln代表左须坐标，x_rn代表右须坐标，x_n表示在第n次迭代时的质心坐标，n为非负整数，取值范围无穷大，l为两须之间距离。

步骤6-3：通过计算分别得到左右两须的适应度值f_l和f_r，根据这两个适应度值f_l和f_r的大小关系，判断天牛的前进方向。第n次迭代时行进步长为j_n，x_n+1表示在第n+1次迭代时的质心坐标，此时用下式更新天牛的位置。

步骤7，为了进一步消除非边缘部分以及增强现有的熔覆池边缘形貌视觉效果，对熔覆池边缘检测图像进行阈值分割和灰度增强，得到去噪和增强熔覆池边缘图像。具体方法如下：

步骤7-1，对熔覆池边缘检测图像的灰度直方图使用粒子群算法寻找阈值，进行阈值分割去除熔覆池轮廓图像中非轮廓部分，即对熔覆池边缘检测图像完成去噪处理，得到更精准的熔覆池边缘图像。

式中，ω为惯性因子，c₁和c₂代表学习因子，r₁和r₂是[0,1]之间的随机数，P_best-i是第i个粒子已知的历史最优状态，G_best是整个粒子群已知的历史最优状态，

和V_i ^k分别代表k时刻粒子i的位置和速度，

和V_i ^k+1分别代表k+1时刻粒子i的位置和速度。

步骤7-2，对步骤7-1得到更精准的熔覆池边缘图像，使用粒子群算法自适应的选取合适的伽马值，再进行伽马变换进行灰度增强，增加熔覆池边缘图像的对比度，得到去噪和增强后的熔覆池边缘图像，伽马变换的公式如下：

s＝g^Υ,g∈[0,1]

式中，g为输入灰度级，γ为伽马值，可以达到增强低灰度或高灰度部分细节的作用，s为经过伽马变换后的灰度。

步骤8包括，对去噪和增强后的熔覆池边缘图像进行像素遍历，得到熔覆池的圆心像素点坐标。

寻找圆心时，对去噪和增强后的熔覆池边缘图像，利用循环遍历每一个像素点，从下到上依次遍历每一行像素点，寻找第一个非0的像素点，记为坐标Z₁；再从右向左依次遍历每一列像素点，寻找到第一个非0的像素点，记为坐标Z₂；则Z₁的横坐标和Z₂的纵坐标即为熔覆池圆心像素点的横坐标和纵坐标。

步骤9，以熔覆池的圆心像素点坐标为基准，进行基于竖轴和横轴的区域图像分割，再通过右半平面和下半平面进行镜像对称和组合，得到熔覆池的椭圆拟合图像，具体方法如下：

步骤9-1，对去噪和增强后的熔覆池边缘图像，以过熔覆池圆心和Z₁的竖轴为基准，进行区域图像分割，得到只有右半平面的熔覆池边缘图像，再基于右半平面进行镜像对称和组合，得到以竖轴为基准进行组合的熔覆池边缘图像；

步骤9-2，对以竖轴为基准进行组合的熔覆池边缘图像，以过熔覆池圆心和Z₂的横轴为基准，进行区域图像分割，得到只有下半平面的熔覆池边缘图像，再基于下半平面进行镜像对称和组合，得到熔覆池的椭圆拟合图像；

步骤10，需要计算出长轴和短轴的像素数大小，并根据长轴和短轴的变化量决定继续打印与否，判断当前熔覆池视频序列帧彩色图像是否为最后一帧，决定是否打印结束。具体方法如下：

步骤10-1：对熔覆池椭圆拟合图像圆心横坐标轴所在的纵轴，基于熔覆池圆心，从上往下寻找第一个像素灰度值非零的点，将熔覆池圆心的纵坐标减去该点的纵坐标便可得到椭圆的短轴b；而对熔覆池圆心的纵坐标所在的横轴，从左往右寻找第一个像素灰度值非零的点，将熔覆池圆心的横坐标减去该点的横坐标便可得到椭圆的长轴a，最后得到长轴和短轴的像素数大小。

步骤10-2：如果单个轴的大小发生变化，且变化量大于或等于20个像素数，则控制弧焊机器人停止打印；如果改变量小于20个像素数，则控制弧焊机器人继续打印。如果长轴和短轴大小都改变，且|a|+|b|≥30个像素数，则控制弧焊机器人停止打印，如果|a|+|b|＜30个像素数，则控制弧焊机器人继续打印。

步骤10-3：判断熔覆池视频序列帧彩色图像是否为最后一帧，如果是最后一帧，则控制弧焊机器人停止打印；如果不是最后一帧，则回到步骤1，控制弧焊机器人继续打印。

实施例

本实施例应用于弧焊增材制进行产品输出，并对熔池形貌检测及弧焊机器人控制方法进行验证。首先利用工业相机系统采集弧焊增材制造熔覆池视频，从视频中提取单帧熔覆池视频序列帧彩色图像；然后对提取的单帧熔覆池视频序列帧彩色图像进行灰度变换，再使用基于多级卷积核加权的噪声滤波去除图像的噪声，使用基于阈值处理的掩膜修补，以去除金属液滴对熔覆池边缘检测的影响，使用区域图像分割的方法去除多余的图像，减少后续的计算量和复杂性，再进行基于天牛须搜索自适应阈值算法的边缘检测，得到熔覆池图像的边缘形貌，之后基于阈值分割和灰度增强的方法对图像进行去噪和增强，再进行图像遍历找到圆心，以短轴为基准将检测到的图像的左半部分去除，再进行镜像对称和组合，以长轴为基准将检测到的图像的上半部分去除，再进行镜像对称和组合，得到完整的拟合图像，最后以圆心为基准，遍历图像，计算出长轴和短轴的像素数大小，利用长轴和短轴的变化量判断终止打印或者继续打印。判断当前熔覆池视频序列帧彩色图像是否为最后一帧，如果是，则结束打印，如果不是，则循环之前的步骤，从而完成熔覆池形状和尺寸视觉检测。对一种熔池形貌检测及弧焊机器人控制方法进行验证，得出有益的结论，提供熔覆池形状和尺寸视觉检测方法的相关流程图如图1所示。

图1是本发明的一种熔池形貌检测及弧焊机器人控制方法流程图，包括了单帧熔覆池视频序列帧彩色图像的灰度变换、噪声滤波、掩膜修复、边缘检测、阈值分割、去噪和增强、椭圆拟合及熔覆池形状和尺寸特征描述。

图2～图4是本发明对应的一种熔池形貌检测及弧焊机器人控制方法实验结果图，其中图2为弧焊增材制造熔覆池原始图像，即本发明步骤1中的图像，图3为弧焊增材制造熔覆池椭圆拟合图像，即本发明步骤9中的图像。图4为弧焊增材制造熔覆池实际拟合尺寸像素数结果图，即本发明步骤10中的结果。图5为弧焊机器人实物图。由图中可以看出，一种熔池形貌检测及弧焊机器人控制方法能准确对实现弧焊增材制造熔覆池形状和尺寸的视觉检测，当轴的变化在预设的范围时，继续打印，可以取代现阶段依靠熟练工人肉眼识别或监视温度场的演变的现状，能够低成本高效率实时检测和控制。

本发明提供了一种熔池形貌检测及弧焊机器人控制方法，具体实现本发明的方法和途径有很多种，以上所述是本发明目前实现起来最优的一种，对于普通工程技术人员，在不脱离本框架下实现，均视为本发明的保护范围。

Claims (5)

1.一种熔池形貌检测及弧焊机器人控制方法，其特征在于，包括如下步骤：

步骤1，采集弧焊增材制造熔覆池视频，从视频中提取单帧熔覆池视频序列帧彩色图像；

步骤2，针对提取的单帧熔覆池视频序列帧彩色图像进行灰度变换得到熔覆池灰度图像；

步骤3，对熔覆池灰度图像进行基于多级卷积核加权的噪声滤波，得到熔覆池滤波图像；

步骤4，对基于多级卷积核加权的熔覆池滤波图像进行基于阈值处理的掩膜修补，去除金属液滴区域部分，得到修补后的熔覆池灰度图像；

步骤5，对修补后的熔覆池灰度图像进行两次区域图像分割，得到二次区域分割图像；

步骤6，对二次区域分割图像进行基于天牛须搜索自适应阈值算法的边缘检测，得到熔覆池边缘检测图像；

步骤7，对熔覆池边缘检测图像进行阈值分割和基于粒子群算法的伽马变换，进行灰度增强，得到去噪和增强后的熔覆池边缘图像；

步骤8，对去噪和增强后的熔覆池边缘图像进行像素遍历，得到熔覆池的圆心像素点坐标；

步骤9，以熔覆池的圆心像素点坐标为基准，进行基于竖轴和横轴的区域图像分割，再通过右半平面和下半平面进行镜像对称和组合，得到熔覆池的椭圆拟合图像；

步骤10，以熔覆池的圆心像素点坐标为基准，对熔覆池的椭圆拟合图像进行像素遍历，计算出长轴和短轴像素数大小；利用长轴和短轴的变化量判断终止打印或者继续打印；判断当前熔覆池视频序列帧彩色图像是否为最后一帧，如果是，则结束打印，如果不是，则回到步骤1；

步骤2包括：将单帧熔覆池视频序列帧彩色图像中每个像素点进行灰度变换，并利用以下公式重新赋值：

Gray_m＝0.2986*R_m+0.5871*G_m+0.1143*B_m

其中，Gray_m为灰度变换后的灰度值，R_m为单帧熔覆池视频序列帧彩色图像中红色分量的值，G_m为绿色分量的值，B_m为蓝色分量的值；

步骤3包括：进行四级卷积核加权，卷积核的尺寸为n×n，取尺寸分别为3×3、5×5、7×7、9×9的四级卷积核，n＝2×k+1，k为正整数，将卷积核所覆盖像素中的中值作为中心点的像素值，遍历所有元素，四级卷积核加权公式如下：

dst＝0.4*dst1+0.3*dst2+0.2*dst3+0.1*dst4

其中，dst表示加权后的像素值，dst1、dst2、dst3、dst4分别是卷积核尺寸为3×3、5×5、7×7、9×9作用后的像素值；

步骤4包括：

步骤4-1，根据熔覆池滤波图像的灰度直方图，选取170作为图像分割的阈值，使用阈值分割分离出金属液滴区域部分，以金属液滴区域部分构成熔覆池滤波图像的掩膜，也即熔覆池滤波图像的待修复区域；

步骤4-2，对熔覆池滤波图像进行修补，去除金属液滴区域部分，得到修补后的熔覆池灰度图像，修补公式如式：

其中，I(u)为熔覆池滤波图像修补后的灰度值，

为熔覆池滤波图像灰度值的梯度，Ω为待修复区域，x和y分别为像素点的横坐标和纵坐标；

步骤5包括：

步骤5-1，在修补后的熔覆池灰度图像中选取一个矩形，矩形四个顶点的像素坐标分别为(130,125)、(360,125)、(130,20)和(360,20)，遍历所有的像素，如果像素坐标在这个矩形区域内，则像素值不变；如果像素坐标在这个矩形区域外，则把像素值置为0，即黑色，得到初步区域分割图像；

步骤5-2，在初步区域分割图像中选取一个矩形，矩形四个顶点的像素坐标分别为(200,100)、(200,50)、(300,100)和(300,50)，遍历所有的像素，如果像素坐标在这个矩形区域内，像素值置为0，即黑色；如果像素坐标在这个矩形区域外，则像素值不变，得到二次区域分割图像；

步骤6包括：利用Sobel算子对二次区域分割图像进行卷积计算得到边缘梯度值，对边缘梯度值使用天牛须搜索自适应阈值算法，当边缘梯度值大于自适应阈值时标记为边缘，得到熔覆池边缘检测图像，Sobel算子如下：

Gx＝G_x*A,

Gy＝G_y*A,

|G|＝|Gx|+|Gy|,

其中，Gx及Gy分别代表经过横向边缘检测的图像灰度值和经过纵向边缘检测的图像灰度值，G_x及G_y分别为横坐标x方向需要使用的卷积因子和纵坐标y方向需要使用的卷积因子，A代表二次区域分割图像，|G|为经过Sobel算子计算后的边缘梯度值；

所述天牛须搜索自适应阈值算法包括：

步骤6-1，建立天牛须朝向的随机向量dir并单位化，其方向为从右须指向左须：

其中，rands()代表随机向量，m代表空间维度；

步骤6-2，确定天牛左右须的坐标：

右须坐标：

x_rn＝x_n-l*dir/2

左须坐标：

x_ln＝x_n+l*dir/2

其中，x_ln代表左须坐标，x_rn代表右须坐标，x_n表示在第n次迭代时的质心坐标，n为非负整数，l为左须和右须之间距离；

步骤6-3，通过计算分别得到左、右两须的适应度值f_l和f_r，根据这两个适应度值f_l和f_r的大小关系，判断天牛的前进方向，第n次迭代时行进步长为j_n，x_n+1表示在第n+1次迭代时的质心坐标，此时用下式更新天牛的位置：

2.根据权利要求1所述的方法，其特征在于，步骤7包括：

步骤7-1，对熔覆池边缘检测图像的灰度直方图使用粒子群算法寻找阈值，进行阈值分割去除熔覆池轮廓图像中非轮廓部分，即对熔覆池边缘检测图像完成去噪处理，得到更精准的熔覆池边缘图像，粒子群算法公式如下：

式中，ω为惯性因子，c₁和c₂代表学习因子，r₁和r₂是[0,1]之间的随机数，P_best-i是第i个粒子已知的历史最优状态，G_best是整个粒子群已知的历史最优状态，

和

分别代表k时刻粒子i的位置和速度，

和

分别代表k+1时刻粒子i的位置和速度；

步骤7-2，对步骤7-1得到的熔覆池边缘图像，使用粒子群算法自适应的选取合适的伽马值，再进行伽马变换进行灰度增强，增加熔覆池边缘图像的对比度，得到去噪和增强后的熔覆池边缘图像，伽马变换的公式如下：

s＝g^Υ,g∈[0,1]

式中，g为输入灰度级，γ为伽马值，s为经过伽马变换后的灰度。

3.根据权利要求2所述的方法，其特征在于，步骤8包括，对去噪和增强后的熔覆池边缘图像，利用循环遍历每一个像素点，从下到上依次遍历每一行像素点，寻找第一个非0的像素点，记录其坐标位置Z₁；再从右向左依次遍历每一列像素点，寻找到第一个非0的像素点，记录其坐标位置Z₂；则Z₁的横坐标和Z₂的纵坐标即为熔覆池圆心像素点的横坐标和纵坐标。

4.根据权利要求3所述的方法，其特征在于，步骤9包括：

步骤9-1，对去噪和增强后的熔覆池边缘图像，以过熔覆池圆心和Z₁的竖轴为基准，进行区域图像分割，得到只有右半平面的熔覆池边缘图像，再基于右半平面进行镜像对称和组合，得到以竖轴为基准进行组合的熔覆池边缘图像；

步骤9-2，对以竖轴为基准进行组合的熔覆池边缘图像，以过熔覆池圆心和Z₂的横轴为基准，进行区域图像分割，得到只有下半平面的熔覆池边缘图像，再基于下半平面进行镜像对称和组合，得到熔覆池的椭圆拟合图像。

5.根据权利要求4所述的方法，其特征在于，步骤10包括：

步骤10-1，对熔覆池椭圆拟合图像圆心横坐标轴所在的纵轴，基于熔覆池圆心，从上往下寻找第一个像素灰度值非零的点，将熔覆池圆心的纵坐标减去该点的纵坐标，得到椭圆的短轴b；对于熔覆池圆心的纵坐标所在的横轴，从左往右寻找第一个像素灰度值非零的点，将熔覆池圆心的横坐标减去该点的横坐标，得到椭圆的长轴a，最后得到长轴和短轴的像素数大小；

步骤10-2：如果单个轴的大小发生变化，且变化量大于或等于20个像素数，则控制弧焊机器人停止打印；如果改变量小于20个像素数，则控制弧焊机器人继续打印；如果长轴和短轴大小都改变，且|a|+|b|≥30个像素数，则控制弧焊机器人停止打印，如果|a|+|b|＜30个像素数，则控制弧焊机器人继续打印；

步骤10-3：判断熔覆池视频序列帧彩色图像是否为最后一帧，如果是最后一帧，则控制弧焊机器人停止打印；如果不是最后一帧，则回到步骤1，控制弧焊机器人继续打印。

Images