CN104942496A - 基于机器人视觉伺服的汽车白车身焊点定位方法及装置 - Google Patents

Abstract

本发明公开了一种基于机器人视觉伺服的汽车白车身焊点定位方法及装置，所述方法包括；所述方法包括：采集带有白车身焊点的局部车身图像存储在存储单元中，并从存储单元中读取该图像；对图像进行预处理；对预处理后的图像进行边缘提取；利用随机Hough变换获取图像中汽车白车身焊点或圆孔目标的位置坐标和半径大小；截取目标图像，进行特征提取和分类识别，得到定位坐标传送给机器人控制系统。本发明实现了汽车白车身焊点质量检测机器人对待检测白车身焊点的快速自动识别、定位，能够引导汽车白车身焊点质量检测机器人精确定位白车身的焊点，为实现汽车工业制造生产线上汽车白车身焊点质量检测机器人对焊点质量进行智能检测解决了关键技术难题。

Description

基于机器人视觉伺服的汽车白车身焊点定位方法及装置

技术领域

本发明涉及汽车白车身焊接领域，更具体地，涉及一种基于机器人视觉伺服的汽车白车身焊点定位方法及装置。

背景技术

在汽车的制造过程中，点焊已经成为汽车制造工业中的主要连接工艺方法，在汽车制造工业中发挥着不可替代的重要作用。点焊的完整性决定了汽车的整体结构刚度和完整性，故点焊的焊接质量直接关系到车身及汽车的质量和性能。

在中国现有的国情情况下，点焊自动化生产线的投入成本相当高。为了降低成本，在很多工位都是用人工来完成，如焊接及许多零部件的制造中。在焊接中及零部件的制造中，由于焊接质量及零部件质量受人的客观因素影响非常大，从而使得制造的白车身质量与设计一致性得不到保证。

因此在现有的汽车产业中，主要通过人工抽样对白车车身焊点进行质量检测。这样人工的白车车身焊点质量检测，一方面检测效率不是很高，影响汽车的生产产能。另一方面抽样检测造成白车身所有焊点得不到全面检测，投入市场的车的质量得不到保证。

为了提高白车车身焊点质量检测效率和投入市场车的质量，所以设计基于机器人视觉伺服的汽车白车身焊点定位系统引导汽车白车身焊点质量检测机器人工作成为了一项急需完成的任务。

发明内容

本发明的目的就是要克服现有技术的不足，提供一种基于机器人视觉伺服的汽车白车身焊点定位方法及装置，能够引导汽车白车身焊点质量检测机器人精确定位白车身的焊点，使夹持在机器人前端的焊点质量检测设备的探头精确垂直对准白车身上的焊点，实现汽车工业制造生产线上汽车白车身焊点质量检测机器人对焊点质量进行智能检测的目的。

为解决以上技术问题，本发明所采用的技术方案是：一种基于机器人视觉伺服的汽车白车身焊点定位方法，所述方法包括以下步骤：

1)通过图像采集单元采集带有白车身焊点的局部车身图像存储在存储单元中，并从存储单元中读取该图像；

2)对读取的图像进行预处理，提取出需要的部分；

3)对预处理后的图像进行边缘提取，得到理想的边缘检测图像；

4)利用随机Hough变换获取图像中汽车白车身焊点或圆孔目标的位置坐标和半径大小；

5)利用得到的汽车白车身焊点或圆孔目标位置坐标和半径大小截取目标图像，对截取后的图像进行特征提取，并对图像上的白车车身焊点或圆孔进行分类识别，判断图像中是否是白车车身焊点，如果是就进入步骤6)，如果不是就调整图像采集单元的位置，返回步骤1)；

6)将先前利用随机Hough变换得到的汽车白车身焊点的图像坐标转换为机器人基坐标系上的坐标，并将其传送给机器人控制系统。

进一步的，所述步骤2)具体包括如下步骤：

21)对采集的原始图像进行灰度化处理；

22)对灰度化处理后的图像进行中值滤波、膨胀腐蚀处理，去除掉汽车白车身上的锈迹、刮痕等因素的干扰。

进一步的，所述步骤5)具体包括如下步骤：

51)利用获取图像中汽车白车身焊点或圆孔目标的位置坐标和半径大小来截取图像；

52)利用灰度共生矩阵(GLCM)和纹理频谱能量图对截取后的图像进行特征提取；

53)利用支持向量机(SVM)对图像上的白车车身焊点或圆孔进行分类识别；

步骤52)中，灰度共生矩阵(GLCM)和纹理频谱能量图的特征参数提取如下：

灰度共生矩阵(GLCM)描述的是两个灰度级像素在给定方向上间隔一定距离出现在窗口中的频率，以像素对的方向和距离为变化量建立共生矩阵，并从此矩阵中提取可以表征图像内容的能量、熵、惯性矩、相关量作为纹理特征。

其中，能量反映了图像灰度分布均匀程度和纹理粗细度；熵是图像所具有的信息量的度量，反应图像纹理的非均匀程度或复杂程度；惯性矩体现图像清晰度、纹理强弱；相关量是度量空间灰度共生矩阵(GLCM)元素在行或列上的相似度；

纹理频谱能量图描述了图像的信号能量分布情况，通过傅立叶变换将典型汽车白车身焊点样本图像从空间域转变到频率域,然后提取频谱图上对能量贡献起主导作用的低阶频谱能量系数作为汽车白车身焊点识别的特征值。

进一步的，所述步骤6)具体包括如下步骤：

使用OpenCV的图像采集单元标定函数cvCalibrateCamera2()进行标定，得到图像采集单元的内部参数、外部参数；

将目标点在图像坐标系P(u,v,1)上的坐标位置先转换为图像采集单元坐标系P(X_C,Y_C,Z_C)上的坐标，再将目标物在图像采集单元坐标系上的三维坐标转换为机器人基坐标系P(X_W,Y_W,Z_W)上的坐标，并将目标点坐标转换为在机器人基坐标系上的坐标传送给机器人控制系统。

相应的，本发明还提出了一种基于机器人视觉伺服的汽车白车身焊点定位装置，包括：

图像采集单元，用于采集带有白车身焊点的局部车身图像，并传输至存储单元；

存储单元，用于存储图像采集单元采集来的局部车身图像；

图像处理单元，用于读取存储单元的图像，并进行预处理及边缘提取；

定位单元，用于获取图像中汽车白车身焊点或圆孔目标的位置坐标和半径大小，利用得到的汽车白车身焊点或圆孔目标位置坐标和半径大小截取目标图像，对截取后的图像进行特征提取，并对图像上的白车车身焊点或圆孔进行分类识别，判断图像中是否是白车车身焊点，如果是就将白车车身焊点的图像坐标转换为机器人的基坐标发送给控制器单元，如果不是就发送指令给图像采集单元，调整图像采集单元的位置；

控制器单元，用于将定位单元处理后的数据传输给机器人控制系统。

本发明提出了基于机器人视觉伺服的汽车白车身焊点定位方法及其装置，实现了汽车白车身焊点质量检测机器人对待检测白车身焊点的快速自动识别、定位，该方法能够引导汽车白车身焊点质量检测机器人精确定位白车身的焊点，为实现汽车工业制造生产线上汽车白车身焊点质量检测机器人对焊点质量进行智能检测解决了关键技术难题。提高了白车车身焊点的检测效率，保证了投入市场车的质量，减少了人工操作，降低了生产成本。

附图说明

图1为本发明汽车白车身焊点定位方法的流程示意图；

图2为本发明汽车白车身焊点定位装置的连接示意图；

图3为基于本发明定位方法及装置的汽车白车身焊接系统各部件连接示意图。

具体实施方式

下面结合附图及实施例对本发明的实施方式作进一步描述。

如图1所示，本实施例中定位方法包括以下步骤：

S101、通过图像采集单元采集带有白车身焊点的局部车身进行图像采集，将采集到的图像存储在存储单元中，并从存储单元中读取该图像；

S102、对采集到的彩色图像进行图像预处理，先后对图像进行图像灰度化、中值滤波、膨胀腐蚀处理，去除掉汽车白车身上的锈迹、刮痕等因素的干扰；

S103、对预处理后的图像进行图像的边缘提取，得到理想的边缘检测图像；

S104、对边缘检测后的图像利用随机Hough变换识别定位出汽车白车身焊点或圆孔的位置坐标和半径大小；

S105、为了使每幅图像代表单一的目标物和获得更明显的目标物特征提取，利用随机Hough变换得到汽车白车身焊点或圆孔的位置坐标和半径大小来截取图像，再利用灰度共生矩阵(GLCM)和纹理频谱能量图对截取后的图像进行特征提取，最后利用支持向量机(SVM)对白车车身焊点与圆孔进行分类识别，判断图像中是否是白车车身焊点，如果是就进入步骤6)，如果不是就调整图像采集单元的位置，返回S101；

S106、将先前利用随机Hough变换得到的汽车白车身焊点的图像坐标转换为机器人基坐标系上的坐标，并将其传送给机器人控制系统。

相机标定，相机标定为后续三维坐标转换提供了必要的基础，标定精度的高低将直接影响三维坐标转换的精度与效果，进而对汽车白车身焊点质量检测机器人的车身焊点定位精度产生影响。

本发明使用OpenCV的摄像机标定函数cvCalibrateCamera2()进行标定，得到摄像机的内部参数、外部参数。该方法的相机标定是将目标点在图像坐标系P(u,v,1)上的坐标位置先转换为摄像机坐标系P(X_C,Y_C,Z_C)上的坐标，再将目标物在摄像机坐标系上的三维坐标转换为机器人基坐标系P(X_W,Y_W,Z_W)上的坐标，并将目标点坐标转换为在机器人基坐标系上的坐标传送给机器人控制系统，从而引导机器人的末端执行机构完成精确垂直对准焊点动作。

相应的，请参阅图2，本实施例中还提供了一种汽车白车身焊点定位装置，包括以下单元：

图像采集单元201，用于采集带有白车身焊点的局部车身图像，并传输至存储单元；

存储单元202，用于存储图像采集单元采集来的局部车身图像；

图像处理单元203，用于读取存储单元的图像，并进行预处理及边缘提取；

定位单元204，用于获取图像中汽车白车身焊点或圆孔目标的位置坐标和半径大小，利用得到的汽车白车身焊点或圆孔目标位置坐标和半径大小截取目标图像，对截取后的图像进行特征提取，并对图像上的白车车身焊点或圆孔进行分类识别，判断图像中是否是白车车身焊点，如果是就将白车车身焊点的图像坐标转换为机器人的基坐标发送给控制器单元，如果不是就发送指令给图像采集单元，调整图像采集单元的位置；

控制器单元205，用于将定位单元处理后的数据传输给机器人控制单元4。

为了更直观的描述本发明实施方式，图3给出了一个运用本发明方法及装置的汽车白车身焊接系统整体示意图。

图中，在本实施例中选取的是一台工业CCD摄像机2，通过专用的夹具设备固定在机器人的末端执行机构6上，用来对安装在台架夹具系统7上的白车身焊接总成1拍摄带有白车身焊点的局部车身进行图像采集，并将采集到的图像存储在工控机3的存储单元中。

工控机3读取工业CCD摄像机2拍摄的图像，并进行图像处理得到焊点的坐标位置信息，并将焊点的坐标位置信息转换为机器人工作程序信息，同时进行显示监测与控制，将机器人工作程序信息输出给机器人控制单元4，控制单元从程序存储器中检出相应工作程序信息，将指令信号传给驱动机构，使执行机构机器人本体5完成各种动作。

上述各功能仅用于说明本发明，其中各功能的具体实现可以在本发明技术方案的基础上进行等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (5)

1.一种基于机器人视觉伺服的汽车白车身焊点定位方法，其特征在于，所述方法包括以下步骤：

1)通过图像采集单元采集带有白车身焊点的局部车身图像存储在存储单元中，并从存储单元中读取该图像；

2)对读取的图像进行预处理，提取出需要的部分；

3)对预处理后的图像进行边缘提取，得到理想的边缘检测图像；

4)利用随机Hough变换获取图像中汽车白车身焊点或圆孔目标的位置坐标和半径大小；

5)利用得到的汽车白车身焊点或圆孔目标位置坐标和半径大小截取目标图像，对截取后的图像进行特征提取，并对图像上的白车车身焊点或圆孔进行分类识别，判断图像中是否是白车车身焊点，如果是就进入步骤6)，如果不是就调整图像采集单元的位置，返回步骤1)；

6)将先前利用随机Hough变换得到的汽车白车身焊点的图像坐标转换为机器人基坐标系上的坐标，并将其传送给机器人控制系统。

2.根据权利要求1所述的一种基于机器人视觉伺服的汽车白车身焊点定位方法，其特征在于，所述步骤2)具体包括如下步骤：

21)对采集的原始图像进行灰度化处理；

22)对灰度化处理后的图像进行中值滤波、膨胀腐蚀处理，去除掉汽车白车身上的锈迹、刮痕等因素的干扰。

3.根据权利要求1所述的一种基于机器人视觉伺服的汽车白车身焊点定位方法，其特征在于，所述步骤5)具体包括如下步骤：

51)利用获取图像中汽车白车身焊点或圆孔目标的位置坐标和半径大小来截取图像；

52)利用灰度共生矩阵(GLCM)和纹理频谱能量图对截取后的图像进行特征提取；

53)利用支持向量机(SVM)对图像上的白车车身焊点或圆孔进行分类识别。

4.根据权利要求1所述的一种基于机器人视觉伺服的汽车白车身焊点定位方法，其特征在于，所述步骤6)具体包括如下步骤：

使用OpenCV的图像采集单元标定函数cvCalibrateCamera2()进行标定，得到图像采集单元的内部参数、外部参数；

将目标点在图像坐标系P(u,v,1)上的坐标位置先转换为图像采集单元坐标系P(X_C,Y_C,Z_C)上的坐标，再将目标物在图像采集单元坐标系上的三维坐标转换为机器人基坐标系P(X_W,Y_W,Z_W)上的坐标，并将目标点坐标转换为在机器人基坐标系上的坐标传送给机器人控制系统。

5.一种基于机器人视觉伺服的汽车白车身焊点定位装置，其特征在于，包括：

图像采集单元，用于采集带有白车身焊点的局部车身图像，并传输至存储单元；

存储单元，用于存储图像采集单元采集来的局部车身图像；

图像处理单元，用于读取存储单元的图像，并进行预处理及边缘提取；

定位单元，用于获取图像中汽车白车身焊点或圆孔目标的位置坐标和半径大小，利用得到的汽车白车身焊点或圆孔目标位置坐标和半径大小截取目标图像，对截取后的图像进行特征提取，并对图像上的白车车身焊点或圆孔进行分类识别，判断图像中是否是白车车身焊点，如果是就将白车车身焊点的图像坐标转换为机器人的基坐标发送给控制器单元，如果不是就发送指令给图像采集单元，调整图像采集单元的位置；

控制器单元，用于将定位单元处理后的数据传输给机器人控制系统。