CN114714355A - 自主移动焊接机器人嵌入式视觉跟踪控制系统 - Google Patents

Abstract

本发明属于焊接机器人控制技术领域，公开了一种自主移动焊接机器人嵌入式视觉跟踪控制系统，包括：激光器，用于产生结构光并投射到焊件的表面，结构光在焊件的焊缝处产生畸变条纹的图像；工业相机，用于采集包含畸变条纹的焊缝图像、焊枪位置图像和焊件需要焊接表面的倾角图像，并通过5G网络传输模块至嵌入式图像处理控制器；嵌入式图像处理控制器，用于对畸变条纹的焊缝图像处理，实现焊缝跟踪；根据焊枪位置图像的偏差和焊件需要焊接表面的倾角图像的识别，控制轮式移动平台和十字滑块机构协调运动。本发明采用嵌入式视觉跟踪控制专业性强，采用硬件和软件控制实现焊接机器人精确的跟踪控制，有助于提高焊接机器人的自动化水平。

Description

自主移动焊接机器人嵌入式视觉跟踪控制系统

技术领域

本发明属于焊接机器人控制技术领域，尤其涉及一种自主移动焊接机器人嵌入式视觉跟踪控制系统。

背景技术

焊接机器人是从事焊接(包括切割与喷涂)的工业机器人，是一种多用途的、可重复编程的自动控制操作机，具有三个或更多可编程的轴，用于工业自动化领域。焊接机器人就是在工业机器人的末轴法兰装接焊钳或焊(割)枪的，使之能进行焊接，切割或热喷涂。

现有技术一，CN201720551247.1具有漏焊标记功能的视觉焊缝跟踪系统，本实用新型公开了一种具有漏焊标记功能的视觉焊缝跟踪系统，包括依次连接的打标装置、图像处理器、纠偏装置和焊枪，所述图像处理器还分别连接有摄像头和显示器，其中上述打标装置由喷漆枪、滑台和带动滑台移动的驱动器组成，上述喷漆枪固定在滑台上并随滑台移动，所述纠偏装置是用于纠正焊枪与焊缝位置之间偏差的纠偏装置，所述图像处理器是用于接收摄像头采集到的图像，并计算焊枪与焊缝位置的偏差值，同时进行纠偏以及判断是否需要打标的图像处理器。其技术效果是能判断在焊接过程中发现焊枪与焊缝位置偏差过大的情况下直接在显示器中显示，通过打标装置打标，在之后的工程中观察是否漏焊，这样能有效的减少使用中出现漏焊的现象。

现有技术二，CN202010515894.3视觉焊接机器人的调校方法及视觉焊接机器人，本申请的实施例揭示了一种视觉焊接机器人的调校方法及视觉焊接机器人，视觉焊接机器人具有摄像头，该方法包括：将视觉焊接机器人控制系统的控制坐标系与视觉焊接机器人的基坐标系同步；获取摄像头采集的待焊件图像，以提取待焊件的图像中的焊缝轨迹，以及提取焊缝轨迹的特征点；获得焊缝轨迹的特征点在机器人基坐标系中的坐标；根据焊缝轨迹以及特征点在机器人基坐标系中的坐标，控制摄像头沿着焊缝轨迹进行运动；根据摄像头沿着焊缝轨迹运动所拍摄的画面，调校视觉焊接机器人的摄像头的位置。本申请的技术方法在自动调校视觉焊接机器人时，能够保证机器人本体以及相关零部件在调试过程中不被损坏，也保证了调试人员的安全性。

通过上述分析，现有技术存在的问题及缺陷为：焊接机器人在焊接过程中空间受限和焊缝跟踪精度受干扰。

发明内容

针对现有技术存在的问题，本发明提供了一种自主移动焊接机器人嵌入式视觉跟踪控制系统。

本发明是这样实现的，一种自主移动焊接机器人嵌入式视觉跟踪控制系统，包括：

激光器，用于产生结构光并投射到焊件的表面，结构光在焊件的焊缝处产生畸变条纹的图像；

工业相机，用于采集包含畸变条纹的焊缝图像、焊枪位置图像和焊件需要焊接表面的倾角图像，并通过5G网络传输模块至嵌入式图像处理控制器；

嵌入式图像处理控制器，用于对畸变条纹的焊缝图像处理，实现焊缝跟踪；根据焊枪位置图像的偏差和焊件需要焊接表面的倾角图像的识别，控制轮式移动平台和十字滑块机构协调运动。

可选的，所述激光器，用于产生结构光并投射到焊件的表面，光栅用于将结构光分成多线结构光，所述工业相机用于采集在仅有多线结构光照射情况下的焊缝图像；光栅垂直于激光器的光轴放置。

可选的，激光器，产生的初级稳定的多线结构光栅扫描；

ARM模块，与激光器连接，利用光电探测器和微振镜反馈模块计算得到基于光电探测器的微振镜位置的时刻点；

FPGA模块，与激光器连接，利用预先存储的亮度时刻对应表匹配时刻点所对应的激光器亮度值，并利用激光器亮度值调制激光器的亮度的多线结构分布特性，得到中级稳定的多线结构光光栅。

可选的，所述5G网络传输模块具体包括：

工业相机启动5G网络传输模块，工业相机判断是否成功接入5G网络，所述5G网络传输模块设有双卡模式且兼容多个频带宽度BAND，同时支持电信、移动、联通的5G网络；

所述工业相机通过所述5G网络传输模块上传所述包含畸变条纹的焊缝图像、焊枪位置图像和焊件需要焊接表面的倾角图像至嵌入式图像处理控制器，并关闭所述5G网络传输模块。

可选的，所述嵌入式图像处理控制器包括：

运动检测模块，工业相机进入焊缝监控范围后，对差分的焊缝图像直接进行处理，检测焊缝所在区域，根据焊缝区域进行目标特征提取，差分运算初步检出焊缝后；对焊缝图像进行处理，先对检出的差分的焊缝图像进行分割，得到焊缝图像的二值图像，滤除噪声，得到清晰的结果，将当前焊缝图像和参考背景模型相减实现运动焊缝检测；

特征提取模块，在当前的焊缝图像的灰度图像中，根据焊缝所在联通区域的坐标，计算运动焊缝的特征向量，提取运动焊缝的颜色信息；

目标定位模块，提取运动焊缝的特征后，对新读取的每一帧焊缝图像转化为灰度图像，进行阈值分割、边缘提取、腐蚀膨胀处理后，对各联通单元进行标记；计算各联通单元的特征向量，与模板特征向量匹配度最高的即为运动焊缝区域；选择目标区域的重心定位，根据重心的坐标与焊缝图像中心坐标的位置，调整工业相机的位姿对准焊缝；

工业相机控制模块，由重心的坐标和图像中心像素的坐标表示出运动焊缝偏离工业相机镜头中心的偏移量，根据偏移量方向和正负样本，正负样本进行分类器训练，并映射到高斯核函数空间进行计算建立控制规则库，调整工业相机转动的方向、速度和位姿；工业相机位姿调整分为水平、垂直两个方向。

可选的，所述对检出的差分的焊缝图像进行分割，得到焊缝图像的二值图像具体包括以下步骤：

1)获取当前焊缝图像；将当前焊缝图像分割为若干张子当前焊缝图像；计算各子当前焊缝图像的均值、方差和灰度值；

2)利用Gamma校正对去噪后的当前焊缝图像进行处理，增加当前焊缝图像对比度；

3)将增加对比度的当前焊缝图像，再次利用自适应阈值快速分割算法，将当前焊缝图像变成二值图像；

4)计算二值化分割的最佳阈值；各子图像的灰度值最佳阈值比较从而将子图像中的像素点标记为当前焊缝图像或参考背景模型；

5)重复上述1)-4)并计算当前焊缝图像中各个像素点被标记为当前焊缝图像获参考背景模型的概率；将各个像素点被标记为当前焊缝图像或参考背景模型的概率与门限值进行对比，将当前焊缝图像中的各个像素点标记为当前焊缝图像或参考背景模型，完成当前焊缝图像的二值化分割；

6)当前焊缝图像和参考背景模型相减实现运动焊缝检测。

可选的，计算运动焊缝的特征向量具体包括：

输入：原始焊缝图像Img；

输出：Img焊缝图像一维局部二值模式LBP特征向量值

将检测焊缝图像Img划分为尺寸大小为k×k的小区域cell；

对于每个cell中的一个像素，将周边相邻8个像素灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则记为0；3×3邻域内的8个点经比较产生8位二进制数，即得到该窗口中心像素点的LBP值；

计算每个cell对应的直方图，即每个数字出现的频率，然后对该直方图进行归一化处理；

最后将得到的每个cell的统计直方图进行连接成为一个特征向量，即整幅焊缝图像的局部二值模式LBP纹理特征向量。

可选的，所述灰度图像的处理具体包括：

接收灰度图像，并将所述灰度图像的灰度和轮廓属性信息配置在预设文件中；

根据灰度图像的尺寸获取特征参数；对灰度图像进行三高斯单边滤波获得指纹灰度图像的邻域主观感觉亮度；根据获得的灰度图像的邻域主观感觉亮度与实际光强的差异，对灰度图像进行局部对比度线性调整；

解析所述灰度图像中的轮廓并提取所述轮廓对应的灰度和顺序点；根据预设文件中的配置信息，生成所述灰度图像对应的数据文件；

将存放有灰度图像的原始灰度值的Ycbcr颜色空间向RGB的转换后得到灰度图像的像素的RGB值，作为保存后的灰度图像的目标像素的RGB颜色值。

可选的，根据焊枪位置图像的偏差控制轮式移动平台和十字滑块机构协调运动包括：

焊接机器人的焊枪处在摆动极限位置由工业相机拍摄熔池图像，获取焊枪位置信息和焊缝位置信息，所述焊枪位置信息为焊枪轮廓信息，所述焊缝位置信息为焊缝轮廓信息；

根据所述熔池图像的焊枪轮廓信息和焊缝轮廓信息，获取所述熔池图像中的焊枪中心位置信息和焊缝边缘位置信息；

根据所述焊枪中心位置信息和焊缝边缘位置信息与上一采样频率获取的焊枪中心位置信息和焊缝边缘位置信息，采用线性逼近的方法在最小均方误差意义下计算函数的相似性，并从基函数中找到一个同目标函数最相似的基函数，则该基函数对应的偏差值就是要提取的焊枪位置偏差；

计算出偏差量，以偏差量控制所述焊接机器人的驱动模块修正焊枪位置以实现焊缝自动追踪，继续获取下一采样频率内的焊缝信息；以短距离拟合直线轨迹方式由控制轮式移动平台和十字滑块机构协调修正焊枪位置，同时将新的直线轨迹作为上一采样频率获取的焊枪中心位置信息和焊缝边缘位置信息保存。

可选的，根据焊件需要焊接表面的倾角图像的识别，控制轮式移动平台和十字滑块机构协调运动，具体包括：

对所述焊接表面的倾角图像进行聚类分割，得到多个焊接表面的倾角的点云图像；

基于三角剖分算法，对任一所述焊接表面的倾角的点云图像进行表面重建，得到多个三角形单元；对任一所述焊接表面的倾角的点云图像进行表面重建，确定任一所述焊接表面的倾角的点云图像的实际面积，并对任一所述焊接表面的倾角的点云图像进行平面投影，确定任一所述焊接表面的倾角的点云图像的投影面积；

将所述实际面积与所述投影面积的比值，作为任一所述焊接表面的倾角的点云图像的倾角，确定任一所述焊接表面的倾角的点云图像的倾角；

基于多个所述焊接表面的倾角的点云图像的倾角，确定焊接表面的倾角；将焊接表面的倾角信息发送至焊接机器人的驱动模块，进而控制轮式移动平台和十字滑块机构协调运动实现焊接表面的倾角操作。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明采用嵌入式视觉跟踪控制专业性强，采用硬件和软件控制实现焊接机器人精确的跟踪控制，尤其适用于焊接机器人的自动控制，有助于提高焊接机器人的自动化水平；本发明设置有嵌入式图像处理控制器体积小，便于将焊接机器人的控制系统嵌入其中，实现了焊接机器人控制的小型化；采用嵌入式对焊接机器人的控制实时性好，能够及时对采集的畸变条纹的焊缝图像处理，并根据处理结果及时控制焊接机器人执行相关动作；采用嵌入式图像处理控制器可靠性高，功耗低。

本发明完成焊枪偏差和倾角信息识别，依靠焊接机器人上安装由的轮式移动平台和十字滑块机构协调运动，实现水平弯曲焊縫、角焊缝等的自动跟踪焊接，结构小巧，便于搬运，采用人机交互界面实现操作，使用简单、方便，较好地解决了狭窄空间焊缝的自动跟踪焊接问题。

本发明激光器采用光栅将单线结构光分为多线结构光，可以为工业相机采集包含畸变条纹的焊缝图像提供更加准确的图像信息，节约了时间，提高了焊缝图像的测量精度。本发明能够得到亮度适合和清晰稳定的多线结构光激光光栅，FPGA模块利用预先存储的亮度时刻对应表匹配时刻点所对应的激光器亮度值，并利用该激光器亮度值调制激光器的亮度的多线结构分布特性，得到中级稳定的多线结构光光栅，进一步提高了工业相机采集包含畸变条纹的焊缝图像提供更加准确的图像信息。

本发明通过5G网络传输模块对工业相机采集的图像进行传输，提高了图像的清晰度和准确性，为嵌入式图像处理控制器的处理提供了保障，同时为焊接机器人的相关指令执行更加的准确。同时5G网络传输更加的快速，节约了时间，提高了效率，提高了焊接的质量，实现了节能减排，有力的保证了产品的质量。

本发明通过设置运动检测模块、特征提取模块、目标定位模块、工业相机控制模块实现了焊缝的视觉跟踪，当重心的坐标和图像中心像素的坐标表示出运动焊缝偏离工业相机镜头中心的偏移量发生变化时，控制工业相机进行角度调整，便于对焊缝的实时跟踪和定位，同时正负样本进行分类器训练，并映射到高斯核函数空间进行计算建立控制规则库，提高了跟踪精度和可靠性。

本发明采用自适应阈值分割将当前焊缝图像变成二值图像，在处理大规模焊缝图像时可以显著提升计算效率，实现容易，流程简单，易于实现；提高了当前焊缝图像的分割效率，二值图像能够更加准确的表示焊缝的边缘信息，能够实时对焊缝的质量进行跟踪，便于将当前焊缝图像与参考背景模型区分开来，提高了对焊缝的识别准确率，为实现运动焊缝检测提供了数据基础。

本发明解析所述灰度图像中的轮廓并提取所述轮廓对应的灰度和顺序点；根据预设文件中的配置信息，生成所述灰度图像对应的数据文件能够使得灰度图像的轮廓提取过程更加方便和可控，提取时性能更好。本发明根据灰度图像的尺寸获取特征参数；对灰度图像进行三高斯单边滤波获得指纹灰度图像的邻域主观感觉亮度；根据获得的灰度图像的邻域主观感觉亮度与实际光强的差异，对灰度图像进行局部对比度线性调整针对不同的灰度图像增强指纹灰度图像的对比度，有效提升灰度图像中的低空间频率成分，提升区域亮度对比信息和亮度梯度信息。本发明采用的灰度图像保存方法，既能得到较高的压缩比，又能得到近乎无损的图像质量。

本发明由工业相机拍摄熔池图像，获取焊枪位置信息和焊缝位置信息，为获取所述熔池图像中的焊枪中心位置信息和焊缝边缘位置信息提供了信息基础，使得获得的焊枪中心位置信息和焊缝边缘位置更加准确；本发明采用函数逼近的思想计算焊接机器人的焊枪位置的偏差信息，通过计算一个与采样信号最相似的在不考虑干扰情况下的焊接电流波形来确定焊枪位置的偏差信息，考虑了焊接电流采样信号的整体特征，使偏差提取的结果更加准确、可靠。本发明以偏差量控制所述焊接机器人的驱动模块修正焊枪位置以实现焊缝自动追踪，可适应各种焊接口、实时响应性好、精度高、焊接寿命长，延长了焊接机器人的使用寿命，一定程度上降低了企业的生产成本，提高了产品的质量。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的自主移动焊接机器人嵌入式视觉跟踪控制系统

图2是本发明实施例提供的嵌入式图像处理控制器的结构示意图；

图3是本发明实施例提供的差分的焊缝图像进行分割，得到焊缝图像的二值图像流程图；

图4是本发明实施例提供的对新读取的每一帧焊缝图像转化为灰度图像，灰度图像的处理流程图；

图5是本发明实施例提供的根据焊枪位置图像的偏差控制轮式移动平台和十字滑块机构协调运动流程图。

图中：1、激光器；2、工业相机；3、嵌入式图像处理控制器；4、焊件；5、焊接机器人；6、轮式移动平台；7、运动检测模块；8、特征提取模块；9、目标定位模块；10、工业相机控制模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明实施例提供的自主移动焊接机器人嵌入式视觉跟踪控制系统包括：

激光器1，用于产生结构光并投射到焊件的表面，结构光在焊件4的焊缝处产生畸变条纹的图像；

工业相机2，用于采集包含畸变条纹的焊缝图像、焊枪位置图像和焊件4需要焊接表面的倾角图像，并通过5G网络传输模块至嵌入式图像处理控制器3；

嵌入式图像处理控制器3，用于对畸变条纹的焊缝图像处理，实现焊缝跟踪；根据焊枪位置图像的偏差和焊件需要焊接表面的倾角图像的识别，控制轮式移动平台6和十字滑块机构协调运动。

本发明采用嵌入式视觉跟踪控制专业性强，采用硬件和软件控制实现焊接机器人精确的跟踪控制，尤其适用于焊接机器人的自动控制，有助于提高焊接机器人的自动化水平；本发明设置有嵌入式图像处理控制器体积小，便于将焊接机器人的控制系统嵌入其中，实现了焊接机器人控制的小型化；采用嵌入式对焊接机器人的控制实时性好，能够及时对采集的畸变条纹的焊缝图像处理，并根据处理结果及时控制焊接机器人执行相关动作；采用嵌入式图像处理控制器可靠性高，功耗低。

本发明完成焊枪偏差和倾角信息识别，依靠焊接机器人5上安装由的轮式移动平台和十字滑块机构协调运动，实现水平弯曲焊縫、角焊缝等的自动跟踪焊接，结构小巧，便于搬运，采用人机交互界面实现操作，使用简单、方便，较好地解决了狭窄空间焊缝的自动跟踪焊接问题。

实施例2：

在实施例1的基础上，本发明实施例提供的激光器1，用于产生结构光并投射到焊件的表面，光栅用于将结构光分成多线结构光，所述工业相机2用于采集在仅有多线结构光照射情况下的焊缝图像；光栅垂直于激光器1的光轴放置。

所述激光器1产生的初级稳定的多线结构光栅扫描过程中，ARM模块，与激光器1连接，利用光电探测器和微振镜反馈模块计算得到基于光电探测器的微振镜位置的时刻点；FPGA模块，与激光器1连接，利用预先存储的亮度时刻对应表匹配时刻点所对应的激光器亮度值，并利用激光器1亮度值调制激光器1的亮度的多线结构分布特性，得到中级稳定的多线结构光光栅。

本发明激光器采用光栅将单线结构光分为多线结构光，可以为工业相机采集包含畸变条纹的焊缝图像提供更加准确的图像信息，节约了时间，提高了焊缝图像的测量精度。本发明能够得到亮度适合和清晰稳定的多线结构光激光光栅，FPGA模块利用预先存储的亮度时刻对应表匹配时刻点所对应的激光器亮度值，并利用该激光器亮度值调制激光器的亮度的多线结构分布特性，得到中级稳定的多线结构光光栅，进一步提高了工业相机采集包含畸变条纹的焊缝图像提供更加准确的图像信息。

实施例3：

在实施例1的基础上，本发明实施例提供的5G网络传输模块具体包括：

工业相机2启动5G网络传输模块，工业相机判断是否成功接入5G网络，所述5G网络传输模块设有双卡模式且兼容多个频带宽度BAND，同时支持电信、移动、联通的5G网络；

所述工业相机2通过所述5G网络传输模块上传所述包含畸变条纹的焊缝图像、焊枪位置图像和焊件4需要焊接表面的倾角图像至嵌入式图像处理控制器3，并关闭所述5G网络传输模块。

本发明通过5G网络传输模块对工业相机采集的图像进行传输，提高了图像的清晰度和准确性，为嵌入式图像处理控制器的处理提供了保障，同时为焊接机器人的相关指令执行更加的准确。同时5G网络传输更加的快速，节约了时间，提高了效率，提高了焊接的质量，实现了节能减排，有力的保证了产品的质量。

实施例4：

如图2所示，在实施例1的基础上，本发明实施例提供的嵌入式图像处理控制器3，用于对畸变条纹的焊缝图像处理，实现焊缝跟踪具体包括：

运动检测模块7，工业相机进入焊缝监控范围后，对差分的焊缝图像直接进行处理，检测焊缝所在区域，根据焊缝区域进行目标特征提取，差分运算初步检出焊缝后；对焊缝图像进行处理，先对检出的差分的焊缝图像进行分割，得到焊缝图像的二值图像，滤除噪声，得到清晰的结果，将当前焊缝图像和参考背景模型相减实现运动焊缝检测；

特征提取模块8，在当前的焊缝图像的灰度图像中，根据焊缝所在联通区域的坐标，计算运动焊缝的特征向量，提取运动焊缝的颜色信息；

目标定位模块9，提取运动焊缝的特征后，对新读取的每一帧焊缝图像转化为灰度图像，进行阈值分割、边缘提取、腐蚀膨胀处理后，对各联通单元进行标记；计算各联通单元的特征向量，与模板特征向量匹配度最高的即为运动焊缝区域；选择目标区域的重心定位，根据重心的坐标与焊缝图像中心坐标的位置，调整工业相机的位姿对准焊缝；

工业相机控制模块10，由重心的坐标和图像中心像素的坐标表示出运动焊缝偏离工业相机镜头中心的偏移量，根据偏移量方向和正负样本，正负样本进行分类器训练，并映射到高斯核函数空间进行计算建立控制规则库，调整工业相机转动的方向、速度和位姿；工业相机位姿调整分为水平、垂直两个方向。

本发明通过设置运动检测模块、特征提取模块、目标定位模块、工业相机控制模块实现了焊缝的视觉跟踪，当重心的坐标和图像中心像素的坐标表示出运动焊缝偏离工业相机镜头中心的偏移量发生变化时，控制工业相机进行角度调整，便于对焊缝的实时跟踪和定位，同时正负样本进行分类器训练，并映射到高斯核函数空间进行计算建立控制规则库，提高了跟踪精度和可靠性。

实施例5：

如图3所示，在实施例4的基础上，本发明实施例提供的对检出的差分的焊缝图像进行分割，得到焊缝图像的二值图像具体包括以下步骤：

S301：获取当前焊缝图像；将当前焊缝图像分割为若干张子当前焊缝图像；计算各子当前焊缝图像的均值、方差和灰度值；

S302：利用Gamma校正对去噪后的当前焊缝图像进行处理，增加当前焊缝图像对比度；

S303：将增加对比度的当前焊缝图像，再次利用自适应阈值快速分割算法，将当前焊缝图像变成二值图像；

S304：计算二值化分割的最佳阈值；各子图像的灰度值最佳阈值比较从而将子图像中的像素点标记为当前焊缝图像或参考背景模型；

S305：重复上述步骤S301-S304并计算当前焊缝图像中各个像素点被标记为当前焊缝图像获参考背景模型的概率；将各个像素点被标记为当前焊缝图像或参考背景模型的概率与门限值进行对比，将当前焊缝图像中的各个像素点标记为当前焊缝图像或参考背景模型，完成当前焊缝图像的二值化分割；

S306：当前焊缝图像和参考背景模型相减实现运动焊缝检测。

本发明采用自适应阈值分割将当前焊缝图像变成二值图像，在处理大规模焊缝图像时可以显著提升计算效率，实现容易，流程简单，易于实现；提高了当前焊缝图像的分割效率，二值图像能够更加准确的表示焊缝的边缘信息，能够实时对焊缝的质量进行跟踪，便于将当前焊缝图像与参考背景模型区分开来，提高了对焊缝的识别准确率，为实现运动焊缝检测提供了数据基础。

实施例6：

在实施例5的基础上，本发明实施例提供的计算运动焊缝的特征向量具体包括：

输入：原始焊缝图像Img

输出：Img焊缝图像一维局部二值模式LBP特征向量值

将检测焊缝图像Img划分为尺寸大小为k×k的小区域(cell)；

对于每个cell中的一个像素，将周边相邻8个像素灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则记为0；3×3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值；

计算每个cell对应的直方图，即每个数字出现的频率，然后对该直方图进行归一化处理；

最后将得到的每个cell的统计直方图进行连接成为一个特征向量，即整幅焊缝图像的局部二值模式LBP纹理特征向量。

本发明根据焊缝所在联通区域的坐标，计算运动焊缝的特征向量，提取运动焊缝的颜色信息，实现了对焊缝图像的跟踪处理，使得工业相机能准确的对焊缝进行跟踪，提高了嵌入式视觉跟踪的效率，同时提高了焊接机器人焊缝的质量。

实施例7：

如图4所示，在实施例4的基础上，本发明实施例提供的对新读取的每一帧焊缝图像转化为灰度图像，灰度图像的处理具体包括：

S401：接收灰度图像，并将所述灰度图像的灰度和轮廓属性信息配置在预设文件中；

S402：根据灰度图像的尺寸获取特征参数；对灰度图像进行三高斯单边滤波获得指纹灰度图像的邻域主观感觉亮度；根据获得的灰度图像的邻域主观感觉亮度与实际光强的差异，对灰度图像进行局部对比度线性调整；

S403：解析所述灰度图像中的轮廓并提取所述轮廓对应的灰度和顺序点；根据预设文件中的配置信息，生成所述灰度图像对应的数据文件；

S404：将存放有灰度图像的原始灰度值的Ycbcr颜色空间向RGB的转换后得到灰度图像的像素的RGB值，作为保存后的灰度图像的目标像素的RGB颜色值。

本发明解析所述灰度图像中的轮廓并提取所述轮廓对应的灰度和顺序点；根据预设文件中的配置信息，生成所述灰度图像对应的数据文件能够使得灰度图像的轮廓提取过程更加方便和可控，提取时性能更好。本发明根据灰度图像的尺寸获取特征参数；对灰度图像进行三高斯单边滤波获得指纹灰度图像的邻域主观感觉亮度；根据获得的灰度图像的邻域主观感觉亮度与实际光强的差异，对灰度图像进行局部对比度线性调整针对不同的灰度图像增强指纹灰度图像的对比度，有效提升灰度图像中的低空间频率成分，提升区域亮度对比信息和亮度梯度信息。本发明采用的灰度图像保存方法，既能得到较高的压缩比，又能得到近乎无损的图像质量。

实施例8：

如图5所示，在实施例1的基础上，本发明实施例提供的根据焊枪位置图像的偏差控制轮式移动平台和十字滑块机构协调运动包括：

S501：焊接机器人的焊枪处在摆动极限位置由工业相机拍摄熔池图像，获取焊枪位置信息和焊缝位置信息，所述焊枪位置信息为焊枪轮廓信息，所述焊缝位置信息为焊缝轮廓信息；

S502：根据所述熔池图像的焊枪轮廓信息和焊缝轮廓信息，获取所述熔池图像中的焊枪中心位置信息和焊缝边缘位置信息；

S503：根据所述焊枪中心位置信息和焊缝边缘位置信息与上一采样频率获取的焊枪中心位置信息和焊缝边缘位置信息，采用线性逼近的方法在最小均方误差意义下计算函数的相似性，并从基函数中找到一个同目标函数最相似的基函数，则该基函数对应的偏差值就是要提取的焊枪位置偏差；

S504：计算出偏差量，以偏差量控制所述焊接机器人的驱动模块修正焊枪位置以实现焊缝自动追踪，继续获取下一采样频率内的焊缝信息；以短距离拟合直线轨迹方式由控制轮式移动平台和十字滑块机构协调修正焊枪位置，同时将新的直线轨迹作为上一采样频率获取的焊枪中心位置信息和焊缝边缘位置信息保存。

本发明由工业相机拍摄熔池图像，获取焊枪位置信息和焊缝位置信息，为获取所述熔池图像中的焊枪中心位置信息和焊缝边缘位置信息提供了信息基础，使得获得的焊枪中心位置信息和焊缝边缘位置更加准确；本发明采用函数逼近的思想计算焊接机器人的焊枪位置的偏差信息，通过计算一个与采样信号最相似的在不考虑干扰情况下的焊接电流波形来确定焊枪位置的偏差信息，考虑了焊接电流采样信号的整体特征，使偏差提取的结果更加准确、可靠。本发明以偏差量控制所述焊接机器人的驱动模块修正焊枪位置以实现焊缝自动追踪，可适应各种焊接口、实时响应性好、精度高、焊接寿命长，延长了焊接机器人的使用寿命，一定程度上降低了企业的生产成本，提高了产品的质量。

实施例9：

在实施例1的基础上，本发明实施例提供的根据焊件需要焊接表面的倾角图像的识别，控制轮式移动平台和十字滑块机构协调运动，具体包括：

对所述焊接表面的倾角图像进行聚类分割，得到多个焊接表面的倾角的点云图像；

基于三角剖分算法，对任一所述焊接表面的倾角的点云图像进行表面重建，得到多个三角形单元；对任一所述焊接表面的倾角的点云图像进行表面重建，确定任一所述焊接表面的倾角的点云图像的实际面积，并对任一所述焊接表面的倾角的点云图像进行平面投影，确定任一所述焊接表面的倾角的点云图像的投影面积；

将所述实际面积与所述投影面积的比值，作为任一所述焊接表面的倾角的点云图像的倾角，确定任一所述焊接表面的倾角的点云图像的倾角；

基于多个所述焊接表面的倾角的点云图像的倾角，确定焊接表面的倾角；将焊接表面的倾角信息发送至焊接机器人的驱动模块，进而控制轮式移动平台和十字滑块机构协调运动实现焊接表面的倾角操作。

本发明提供的焊接表面的倾角的测定方法，通过获取焊接表面的倾角的点云图像，利用聚类分割的方法得到多个焊接表面的倾角点云图像，基于焊接表面的倾角点云图像的实际面积和投影面积，求得植株焊接表面的倾角，能够提高测量焊接表面的倾角的精度，提高测量倾角的效率；同时能够提高焊接机器人的焊接效率，能够实现焊件表面的全部焊接，确保了产品的质量。

实施例10：

在实施例4的基础上，本发明实施例提供的5G网络传输模块中5G网络多个节点的WLAN干扰下的冲突时间闭合表达式如下：

其中：

表示在有N_W个节点的WLAN干扰下的总的冲突时间，N_W表示WLAN的节点数量，n_w表示与一个分组发生冲突的WLAN数据分组的数量，时域分析和WLAN的分组之间会有一个时间偏置X_W，其中X_W是在[0,T_w]区间平均分布的一个随机变量；T_w表示WLAN的节点的持续时间，L_Z表示5G网络分组持续时间，L_WWLAN分组持续时间。

本发明采用的5G网络多个节点的WLAN干扰下的冲突时间闭合表达式，使得5G网络传输避免了干扰的影响，提高了通过5G网络传输模块至嵌入式图像处理控制器传输的畅通，为嵌入式图像处理控制器对畸变条纹的焊缝图像处理，实现焊缝跟踪；根据焊枪位置图像的偏差和焊件需要焊接表面的倾角图像的识别，控制轮式移动平台和十字滑块机构协调运动提供了保障，同时实现了焊接机器人的视觉跟踪以及自主移动，有利于提高焊接机器人的焊接效率，同时保证了工作效率，降低了生产成本。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种自主移动焊接机器人嵌入式视觉跟踪控制系统，其特征在于，包括：

激光器，用于产生结构光并投射到焊件的表面，结构光在焊件的焊缝处产生畸变条纹的图像；

工业相机，用于采集包含畸变条纹的焊缝图像、焊枪位置图像和焊件需要焊接表面的倾角图像，并通过5G网络传输模块至嵌入式图像处理控制器；

嵌入式图像处理控制器，用于对畸变条纹的焊缝图像处理，实现焊缝跟踪；根据焊枪位置图像的偏差和焊件需要焊接表面的倾角图像的识别，控制轮式移动平台和十字滑块机构协调运动。

2.如权利要求1所述的自主移动焊接机器人嵌入式视觉跟踪控制系统，其特征在于，所述激光器，用于产生结构光并投射到焊件的表面，光栅用于将结构光分成多线结构光，所述工业相机用于采集在仅有多线结构光照射情况下的焊缝图像；光栅垂直于激光器的光轴放置。

3.如权利要求2所述的自主移动焊接机器人嵌入式视觉跟踪控制系统，其特征在于，激光器，产生的初级稳定的多线结构光栅扫描；

ARM模块，与激光器连接，利用光电探测器和微振镜反馈模块计算得到基于光电探测器的微振镜位置的时刻点；

FPGA模块，与激光器连接，利用预先存储的亮度时刻对应表匹配时刻点所对应的激光器亮度值，并利用激光器亮度值调制激光器的亮度的多线结构分布特性，得到中级稳定的多线结构光光栅。

4.如权利要求1所述的自主移动焊接机器人嵌入式视觉跟踪控制系统，其特征在于，所述5G网络传输模块具体包括：

工业相机启动5G网络传输模块，工业相机判断是否成功接入5G网络，所述5G网络传输模块设有双卡模式且兼容多个频带宽度BAND，同时支持电信、移动、联通的5G网络；

所述工业相机通过所述5G网络传输模块上传所述包含畸变条纹的焊缝图像、焊枪位置图像和焊件需要焊接表面的倾角图像至嵌入式图像处理控制器，并关闭所述5G网络传输模块。

5.如权利要求1所述的自主移动焊接机器人嵌入式视觉跟踪控制系统，其特征在于，所述嵌入式图像处理控制器包括：

运动检测模块，工业相机进入焊缝监控范围后，对差分的焊缝图像直接进行处理，检测焊缝所在区域，根据焊缝区域进行目标特征提取，差分运算初步检出焊缝后；对焊缝图像进行处理，先对检出的差分的焊缝图像进行分割，得到焊缝图像的二值图像，滤除噪声，得到清晰的结果，将当前焊缝图像和参考背景模型相减实现运动焊缝检测；

特征提取模块，在当前的焊缝图像的灰度图像中，根据焊缝所在联通区域的坐标，计算运动焊缝的特征向量，提取运动焊缝的颜色信息；

目标定位模块，提取运动焊缝的特征后，对新读取的每一帧焊缝图像转化为灰度图像，进行阈值分割、边缘提取、腐蚀膨胀处理后，对各联通单元进行标记；计算各联通单元的特征向量，与模板特征向量匹配度最高的即为运动焊缝区域；选择目标区域的重心定位，根据重心的坐标与焊缝图像中心坐标的位置，调整工业相机的位姿对准焊缝；

工业相机控制模块，由重心的坐标和图像中心像素的坐标表示出运动焊缝偏离工业相机镜头中心的偏移量，根据偏移量方向和正负样本，正负样本进行分类器训练，并映射到高斯核函数空间进行计算建立控制规则库，调整工业相机转动的方向、速度和位姿；工业相机位姿调整分为水平、垂直两个方向。

6.如权利要求5所述的自主移动焊接机器人嵌入式视觉跟踪控制系统，其特征在于，所述对检出的差分的焊缝图像进行分割，得到焊缝图像的二值图像具体包括以下步骤：

获取当前焊缝图像；将当前焊缝图像分割为若干张子当前焊缝图像；计算各子当前焊缝图像的均值、方差和灰度值；

利用Gamma校正对去噪后的当前焊缝图像进行处理，增加当前焊缝图像对比度；

将增加对比度的当前焊缝图像，再次利用自适应阈值快速分割算法，将当前焊缝图像变成二值图像；

计算二值化分割的最佳阈值；各子图像的灰度值最佳阈值比较从而将子图像中的像素点标记为当前焊缝图像或参考背景模型；

重复上述步骤并计算当前焊缝图像中各个像素点被标记为当前焊缝图像获参考背景模型的概率；将各个像素点被标记为当前焊缝图像或参考背景模型的概率与门限值进行对比，将当前焊缝图像中的各个像素点标记为当前焊缝图像或参考背景模型，完成当前焊缝图像的二值化分割；

当前焊缝图像和参考背景模型相减实现运动焊缝检测。

7.如权利要求5所述的自主移动焊接机器人嵌入式视觉跟踪控制系统，其特征在于，计算运动焊缝的特征向量具体包括：

输入：原始焊缝图像Img；

输出：Img焊缝图像一维局部二值模式LBP特征向量值

将检测焊缝图像Img划分为尺寸大小为k×k的小区域cell；

对于每个cell中的一个像素，将周边相邻8个像素灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则记为0；3×3邻域内的8个点经比较产生8位二进制数，即得到该窗口中心像素点的LBP值；

计算每个cell对应的直方图，即每个数字出现的频率，然后对该直方图进行归一化处理；

最后将得到的每个cell的统计直方图进行连接成为一个特征向量，即整幅焊缝图像的局部二值模式LBP纹理特征向量。

8.如权利要求5所述的自主移动焊接机器人嵌入式视觉跟踪控制系统，其特征在于，所述灰度图像的处理具体包括：

接收灰度图像，并将所述灰度图像的灰度和轮廓属性信息配置在预设文件中；

根据灰度图像的尺寸获取特征参数；对灰度图像进行三高斯单边滤波获得指纹灰度图像的邻域主观感觉亮度；根据获得的灰度图像的邻域主观感觉亮度与实际光强的差异，对灰度图像进行局部对比度线性调整；

解析所述灰度图像中的轮廓并提取所述轮廓对应的灰度和顺序点；根据预设文件中的配置信息，生成所述灰度图像对应的数据文件；

将存放有灰度图像的原始灰度值的Ycbcr颜色空间向RGB的转换后得到灰度图像的像素的RGB值，作为保存后的灰度图像的目标像素的RGB颜色值。

9.如权利要求1所述的自主移动焊接机器人嵌入式视觉跟踪控制系统，其特征在于，根据焊枪位置图像的偏差控制轮式移动平台和十字滑块机构协调运动包括：

焊接机器人的焊枪处在摆动极限位置由工业相机拍摄熔池图像，获取焊枪位置信息和焊缝位置信息，所述焊枪位置信息为焊枪轮廓信息，所述焊缝位置信息为焊缝轮廓信息；

根据所述熔池图像的焊枪轮廓信息和焊缝轮廓信息，获取所述熔池图像中的焊枪中心位置信息和焊缝边缘位置信息；

根据所述焊枪中心位置信息和焊缝边缘位置信息与上一采样频率获取的焊枪中心位置信息和焊缝边缘位置信息，采用线性逼近的方法在最小均方误差意义下计算函数的相似性，并从基函数中找到一个同目标函数最相似的基函数，则该基函数对应的偏差值就是要提取的焊枪位置偏差；

计算出偏差量，以偏差量控制所述焊接机器人的驱动模块修正焊枪位置以实现焊缝自动追踪，继续获取下一采样频率内的焊缝信息；以短距离拟合直线轨迹方式由控制轮式移动平台和十字滑块机构协调修正焊枪位置，同时将新的直线轨迹作为上一采样频率获取的焊枪中心位置信息和焊缝边缘位置信息保存。

10.如权利要求1所述的自主移动焊接机器人嵌入式视觉跟踪控制系统，其特征在于，根据焊件需要焊接表面的倾角图像的识别，控制轮式移动平台和十字滑块机构协调运动，具体包括：

对所述焊接表面的倾角图像进行聚类分割，得到多个焊接表面的倾角的点云图像；

基于三角剖分算法，对任一所述焊接表面的倾角的点云图像进行表面重建，得到多个三角形单元；对任一所述焊接表面的倾角的点云图像进行表面重建，确定任一所述焊接表面的倾角的点云图像的实际面积，并对任一所述焊接表面的倾角的点云图像进行平面投影，确定任一所述焊接表面的倾角的点云图像的投影面积；

将所述实际面积与所述投影面积的比值，作为任一所述焊接表面的倾角的点云图像的倾角，确定任一所述焊接表面的倾角的点云图像的倾角；

基于多个所述焊接表面的倾角的点云图像的倾角，确定焊接表面的倾角；将焊接表面的倾角信息发送至焊接机器人的驱动模块，进而控制轮式移动平台和十字滑块机构协调运动实现焊接表面的倾角操作。

Images