CN111105463B - 一种成捆棒材端面的标牌焊接定位方法 - Google Patents

Abstract

本发明属于焊接机器人技术领域，尤其涉及一种成捆棒材端面的标牌焊接定位方法。步骤如下：基于相机采集获取成捆棒材的端面图像，对端面图像进行矫正处理，得到矫正后的图像；针对矫正后的图像，基于棒材轮廓特征和质心坐标进行定位，得到焊接位置的像素坐标；基于激光传感器得到成捆棒材端面到相机的深度信息；根据深度信息和相机的内参，结合焊接位置的像素坐标，得到焊接位置在相机坐标系下的空间坐标；根据相机与执行器之间的齐次转换关系得到焊接位置在执行器坐标系下的空间坐标；得到焊接位置在世界坐标系下的空间坐标，作为最终焊接位置。通过多传感器融合技术进行定位，确定标牌焊接位置，焊接位置定位准确，减少人工投入和安全隐患。

Description

一种成捆棒材端面的标牌焊接定位方法

技术领域

本发明属于焊接机器人技术领域，尤其涉及一种成捆棒材端面的标牌焊接定位方法。

背景技术

在棒材成品生产过程中，有一道非常重要的工序是给成捆金属棒材焊接标牌。即当棒材经轧制、定尺剪切、收集成捆、端面撞齐等工序后，被运送到焊接平台等待焊接标牌。标牌不仅记录了棒材的产品名称、执行标准、牌号/规格、批次号、长度/捆号、重量/支数、日期/班次，还打印着客户名称和生产厂家的地址、电话和二维码等重要信息，有着重要的说明作用和宣传作用。其中日期/班次记录了棒材被生产时的生产日期和生产班次，如果质量检查时发现棒材有质量问题，可以追根溯源查找原因，棒材标牌焊接也是质量保证体系中的重要一环。

目前通过人工肉眼识别对成捆棒材的标牌焊接定位，这种定位方法主观性大、位置选取随意，焊接效果混乱。另外人眼长时间在焊接环境工作会产生疲劳，工人视力会因此损伤，焊接效果也会更差。

发明内容

(一)要解决的技术问题

针对现有存在的技术问题，本发明提供一种成捆棒材端面的标牌焊接定位方法。该方法通过单目视觉和激光传感器的多传感器融合技术进行定位，确定标牌焊接位置，焊接位置定位准确，减少人工投入和安全隐患。

(二)技术方案

本发明提供一种成捆棒材端面的标牌焊接定位方法，包括如下步骤：

S1、基于相机采集获取成捆棒材的端面图像，并对所述端面图像进行矫正处理，得到矫正后的图像；

S2、针对矫正后的图像，基于棒材轮廓特征和质心坐标进行定位，得到焊接位置的像素坐标；

S3、基于激光传感器得到所述成捆棒材端面到相机的深度信息；

S4、根据所述深度信息和预先获取的相机的内参，结合焊接位置的像素坐标，得到焊接位置在相机坐标系下的空间坐标；

S5、建立手眼标定模型，得到相机坐标系到执行器坐标系的齐次转换矩阵，并利用所述齐次转换矩阵基于焊接位置在相机坐标系下的空间坐标，得到焊接位置在执行器坐标系下的空间坐标；

S6、依据上位机实时获取的执行器坐标系与世界坐标系的转换关系，根据焊接位置在执行器坐标系下的空间坐标和获取的执行器坐标系与世界坐标系的关系，得到焊接位置在世界坐标系下的空间坐标，作为最终焊接位置，完成定位。

进一步地，所述步骤S1之前包括：通过相机标定，获取相机的内参和畸变参数。

进一步地，所述步骤S2包括：

S21、识别所述矫正后的图像中的棒材目标；

S22、对所述棒材目标中粘连的棒材进行分割，得到相互分离的棒材图像；

S23、提取所述相互分离的棒材图像中棒材的轮廓特征和质心坐标，得到焊接位置。

进一步地，所述步骤S22中，采用完全腐蚀和距离变换的方法分割粘连的棒材。

进一步地，所述步骤S23具体包括：

S231、提取所述相互分离的棒材图像中棒材的轮廓特征；

S232、提取所述轮廓特征的质心坐标，依据预先设定的两个中心规则，将所述质心坐标作为焊接位置；

所述两个中心规则具体如下：(1)计算得到多个轮廓特征的质心坐标的中心位置；(2)计算各轮廓特征的质心坐标到中心位置的欧氏距离；(3)寻找最小欧氏距离，将对应的轮廓特征的质心坐标作为焊接位置。

进一步地，还包括：

S7、启动执行器，执行器移动至最终焊接位置；

S8、利用电阻电测电路检测执行器是否与棒材接触；若是，继续步骤S9；否则，返回步骤S7，执行器重新移动至最终焊接位置；

S9、判断标牌是否焊接成功；若是，结束焊接；否则，返回步骤S1，相机重新采集获取成捆棒材端面的图像。

进一步地，所述步骤S9中，利用模板匹配图像检测方法判断标牌是否焊接成功。

(三)有益效果

(1)本发明提供的成捆棒材端面的标牌焊接定位方法，是基于机器视觉及激光传感器的定位方法，采用机器视觉的方式来为机器人装上眼睛，使用激光传感器辅助定位标牌的焊接位置。

(2)通过单目视觉和激光传感器的多传感器融合技术进行定位，确定标牌焊接位置，减少人工投入和安全隐患，机器视觉定位的焊接效果比人工定位随意焊接更加美观整齐且不易脱落。

附图说明

图1为本发明提供的成捆棒材端面的标牌焊接定位方法的原理图；

图2为本发明提供的成捆棒材端面的标牌焊接定位方法的流程图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

本发明的相机采用眼在手的安装方式，相机和执行器安装在机器人法兰盘的末端，相机和执行器平行安装。光源采用环形光源，安装在相机的前方。相机和光源可随机器人的机械手臂移动至焊接平台前方，对成捆棒材采集端面图像。其中，本发明中的执行器选用焊枪，焊枪用于将标牌焊接在成捆棒材的指定焊接位置。

本发明提供一种成捆棒材端面的标牌焊接定位方法，包括如下步骤：

S0、通过相机标定，获取相机的内参和畸变参数。

S1、基于相机采集获取成捆棒材的端面图像，结合所述相机的内参和畸变参数，对所述端面图像进行矫正处理，得到矫正后的图像。具体地，矫正处理包括：基于相机内参和畸变参数，利用Opencv视觉库的函数cv::initUndistortRectifyMap()，编写程序对数字图像进行畸变矫正。

S2、针对矫正后的图像，基于棒材轮廓特征和质心坐标进行定位，得到焊接位置的像素坐标。具体地包括：

S21、识别所述矫正后的图像中的棒材目标；

S22、采用完全腐蚀和距离变换的方法对所述棒材目标中粘连的棒材进行分割，得到相互分离的棒材图像。

具体地，对矫正后的端面图像进行欧式距离变换，将棒材目标进行初步分割，在初步分割的基础上利用完全腐蚀分割算法对矫正后的端面图像进行进一步分割，得到相互分离的棒材图像。

其中，完全腐蚀分割算法的步骤如下：

(1)新建一张灰度值为0的空白图像；(2)对矫正后的端面二值图像进行连通域标记；(3)对标记后的图像使用15*15的4邻域和8邻域结构元素进行交替腐蚀，每完成1次交替腐蚀，对腐蚀后的图像重新标记连通区域；(4)每腐蚀并标记1次之后，与腐蚀前的连通区域作比较，检查腐蚀后的图像是否有哪一个标记的区域消失了，如果消失了，把消失这一区域的记录到空白图像上去；(5)直到矫正后的端面二值图像被完全腐蚀为背景，至此，粘连的棒材被完全分割开来。

S23、提取所述相互分离的棒材图像中棒材的轮廓特征，提取多个轮廓特征的质心坐标，依据预先设定的两个中心规则，得到焊接位置的像素坐标。

所述两个中心规则具体如下：(1)计算得到多个轮廓特征的质心坐标的中心位置；(2)计算各轮廓特征的质心坐标到中心位置的欧氏距离；(3)寻找最小欧氏距离，将对应的轮廓特征的质心坐标作为焊接位置。

S3、基于激光传感器得到所述成捆棒材端面到相机的深度信息。

S4、根据所述深度信息和预先获取的相机的内参，结合焊接位置的像素坐标，得到焊接位置在相机坐标系下的空间坐标。

S5、建立手眼标定模型，得到相机坐标系到执行器坐标系的齐次转换矩阵，并利用所述齐次转换矩阵基于焊接位置在相机坐标系下的空间坐标，得到焊接位置在执行器坐标系下的空间坐标。

S6、依据上位机实时获取的执行器坐标系与世界坐标系的转换关系，根据焊接位置在执行器坐标系下的空间坐标和获取的执行器坐标系与世界坐标系的关系，得到焊接位置在世界坐标系下的空间坐标，作为最终焊接位置，完成定位。

具体地，所述执行器坐标系与世界坐标系的转换关系通过以下步骤得到：在上位机发送给机器人“请求执行器位姿”指令后，由机器人将执行器末端相对于世界坐标系的位姿关系发送给上位机内的视觉定位模块，视觉定位模块将位姿关系转换为旋转矩阵和平移向量，进而得到执行器坐标系与世界坐标系的转换关系。

S7、启动执行器，执行器移动至最终焊接位置。

该步骤中的移动方式可以是基于机器人手臂来实现。

S8、利用电阻电测电路检测执行器是否与棒材接触；若是，继续步骤S9；否则，返回步骤S7，执行器重新移动至最终焊接位置。

S9、利用模板匹配图像检测方法判断标牌是否焊接成功；若是，结束焊接；否则，返回步骤S1，相机重新采集获取成捆棒材端面的图像。

其中，该步骤中利用模板匹配图像检测方法判断标牌是否焊接成功的过程具体为：

采集焊接后的棒材端面图像作为原图像，以预先设定的标牌图像为模板，基于标准化差值平方和的匹配算法利用模板在原图像中进行匹配，若匹配后的结果矩阵中的最小元素不超过0.05，则认为在原图像中存在标牌，标牌焊接成功。

为了验证本发明提供的成捆棒材端面的标牌焊接定位方法的可靠性，对直径为12mm、25mm、50mm的成捆棒材对象分别采集798、808、816张图像，进行实验验证。通过焊接定位，对直径12mm的棒材进行定位，一次性定位成功率在99.62％；对直径25mm的棒材进行定位，一次性定位成功率在99.75％；对直径50mm的棒材进行定位，一次性定位成功率在99.88％。对以上三种规格的成捆棒材多次定位成功率高达99.99％。从定位结果来看，基于单目视觉和激光传感器的成捆棒材端面标牌焊接定位方法具有较高的准确性，可以满足成捆棒材的焊接定位需求。

以上结合具体实施例描述了本发明的技术原理，这些描述只是为了解释本发明的原理，不能以任何方式解释为对本发明保护范围的限制。基于此处解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (5)

1.一种成捆棒材端面的标牌焊接定位方法，其特征在于，用于对成捆棒材端面的标牌焊接的机器人，所述机器人包括相机、光源和执行器，相机和执行器安装在机器人法兰盘的末端，相机和执行器平行安装，光源采用环形光源，安装在相机的前方，所述标牌焊接定位方法包括如下步骤：

S1、基于相机采集获取成捆棒材的端面图像，并对所述端面图像进行矫正处理，得到矫正后的图像；

其中，所述矫正处理包括：基于相机内参和畸变参数，利用Opencv视觉库的函数cv::initUndistortRectifyMap()，编写程序对数字图像进行畸变矫正；

S2、针对矫正后的图像，基于棒材轮廓特征和质心坐标进行定位，得到焊接位置的像素坐标；

所述步骤S2包括：

S21、识别所述矫正后的图像中的棒材目标；

S22、采用完全腐蚀和距离变换的方法对所述棒材目标中粘连的棒材进行分割，得到相互分离的棒材图像；

S23、提取所述相互分离的棒材图像中棒材的轮廓特征和质心坐标，得到焊接位置；

S3、基于激光传感器得到所述成捆棒材端面到相机的深度信息；

S4、根据所述深度信息和预先获取的相机的内参，结合焊接位置的像素坐标，得到焊接位置在相机坐标系下的空间坐标；

S5、建立手眼标定模型，得到相机坐标系到执行器坐标系的齐次转换矩阵，并利用所述齐次转换矩阵基于焊接位置在相机坐标系下的空间坐标，得到焊接位置在执行器坐标系下的空间坐标；

S6、依据上位机实时获取的执行器坐标系与世界坐标系的转换关系，根据焊接位置在执行器坐标系下的空间坐标和获取的执行器坐标系与世界坐标系的关系，得到焊接位置在世界坐标系下的空间坐标，作为最终焊接位置，完成定位。

2.根据权利要求1所述的标牌焊接定位方法，其特征在于，所述步骤S1之前包括：通过相机标定，获取相机的内参和畸变参数。

3.根据权利要求2所述的标牌焊接定位方法，其特征在于，所述步骤S23具体包括：

S231、提取所述相互分离的棒材图像中棒材的轮廓特征；

S232、提取所述轮廓特征的质心坐标，依据预先设定的两个中心规则，将所述质心坐标作为焊接位置；

所述两个中心规则具体如下：(1)计算得到多个轮廓特征的质心坐标的中心位置；(2)计算各轮廓特征的质心坐标到中心位置的欧氏距离；(3)寻找最小欧氏距离，将对应的轮廓特征的质心坐标作为焊接位置。

4.根据权利要求1所述的标牌焊接定位方法，其特征在于，还包括：

S7、启动执行器，执行器移动至最终焊接位置；

S8、利用电阻电测电路检测执行器是否与棒材接触；若是，继续步骤S9；否则，返回步骤S7，执行器重新移动至最终焊接位置；

S9、判断标牌是否焊接成功；若是，结束焊接；否则，返回步骤S1，相机重新采集获取成捆棒材端面的图像。

5.根据权利要求4所述的标牌焊接定位方法，其特征在于，所述步骤S9中，利用模板匹配图像检测方法判断标牌是否焊接成功。