CN106625713A - 提高涂胶工业机器人涂胶精度的方法 - Google Patents

Abstract

提高涂胶工业机器人涂胶精度的方法属于涂胶机器人控制技术领域，该方法是利用机器视觉获取涂胶现场中工件的准确位置，通过把位置信息反馈给涂胶工业机器人来控制涂胶工业机器人进行涂胶作业。本发明的方法能够完成自动检测工件特征点的三维坐标，即使在工件的位置发生偏移时也能够准确的获取工件特征点坐标，使得涂胶工业机器人能够自动调整位置来进行涂胶作业。大大缩短了整个工作过程，降低了人工成本，也解决了人工经验不足对涂胶精度所带来的影响。

Description

提高涂胶工业机器人涂胶精度的方法

技术领域

本发明属于涂胶机器人控制技术领域，具体涉及一种提高涂胶工业机器人涂胶精度的方法。

背景技术

机器视觉是研究计算机模拟生物外显或宏观视角功能的科学与技术，是一个相当新且发展十分迅速的研究领域。机器视角在人类视角无法感知的场合，如精确定量感知、危险场景感知、不可见物体感知等，更突显其优越性。在工业领域，机器视角已成功地用于零件的识别与定位、产品质量检验、刀具磨损监控精密测量和移动机器人导航等领域。但在工程运用中机器视角也面临一些问题，特别是对于实时性强、影像分辨率高的场合，图像数据的信息量十分巨大，如何实现视频序列的实时处理在过去是瓶颈。随着计算机硬件和软件的飞速发展，高分辨率影像输入设备的研制及相匹配的高性能图像采集卡的出现，在工业自动化领域发展基于机器视觉的实时测量技术成为亟待实现的任务。利用机器视觉技术，可以非常容易的进行工件的特征点的提取，非常适合用于工业现场。

在理想条件下，涂胶机器人可以非常准确的进行涂胶作业，但在实际工业现场中往往会出现待涂胶工件摆放角度和位置出现偏差、工件本身上尺寸的误差等原因，这会导致涂胶的结果产生误差，从而导致工业机器人涂胶效果不符合要求。现今对于涂胶工件的摆放位置误差多数是通过人为校正，方法上虽然简单易行，但效果不是十分理想，并且人工成本过于巨大。少数使用校正设备进行校正，但是价格上很高，方法上也很复杂。

发明内容

为了解决现有人为校正方法效果不理想，人工成本过于巨大，使用校正设备进行校正的方法价格高，方法复杂的技术问题，本发明提供一种提高涂胶工业机器人涂胶精度的方法，该方法利用机器视觉获取涂胶现场中工件的准确位置，通过把位置信息反馈给涂胶工业机器人，这样得到的工件位置就会更准确，以此来提高涂胶精度，并且减少劳动力，节约成本，提高效益。

本发明解决技术问题所采取的技术方案如下：

提高涂胶工业机器人涂胶精度的方法，其包括如下步骤：

(1)根据现场环境以及待涂胶工件的特性，选取光源的类型和光源安放的位置；

(2)在带有刻度尺的相机支架上安放两个工业摄像机，使两个工业摄像机光轴平行、相平面在同一平面且相平面上成像的特征点的Y轴坐标值相同，由刻度尺的读数确定两个工业摄像机间的距离；

(3)使用步骤(2)所述两个工业摄像机对标准棋盘式标定板进行取图，左右各拍摄10张图片；

(4)利用张正友标定方法来对步骤(2)所述两个摄像机内外参数进行标定，得到摄像机的内外参数；

(5)保持步骤(2)所述两个摄像机的位置和焦距不变，对待涂胶工件进行取图；

(6)得到待涂胶工件的特征点在两个摄像机相平面中的二维坐标；

(7)利用步骤(6)所获得的二维坐标以及步骤(4)标定所求出的内外参数准确求取步骤(6)所述特征点的三维坐标；

(8)将步骤(7)得到的三维坐标转换为基于涂胶机器人坐标系下的三维坐标；

(9)将步骤(8)得到的三维坐标传回到涂胶机器人，对涂胶机器人进行控制；

(10)通过控制涂胶机器人到达步骤(8)所获取的特征点的三维坐标位置，根据特征点到胶线间的距离来控制涂胶机器人对待涂胶工件进行涂胶。

步骤(1)所述光源的类型包括条形光、环形光、白光、红光。

步骤(1)所述选取光源的类型和光源的安装的位置是在工业现场环境下，针对待涂胶工件的表面特征和材质，选择不同形状和不同波长的光源来达到理想的取图效果。

步骤(3)所述左右各拍摄10张图片是：保持工业摄像机位置不变、焦距不变的情况下移动标定板10次并拍照，同时在10次拍照时保证标定板能够完全显示在摄像机的视场中。

步骤(6)所述的二维坐标是以摄像机的左上角为相平面原点，特征点在相平面坐标系下的坐标。

步骤(6)所述的特征点是具有特征的局部区域的位置标识。

步骤(7)所述的三维坐标是在摄像机坐标系下的三维坐标，此坐标系是以左侧摄像机的光心为原点，两个摄像机连线的方向为X轴正向，摄像机的光轴方向为Y轴正向，通过右手定则确定Z轴正向所建立的坐标系。

步骤(7)所述三维坐标的求取方法是：利用视差原理，两个工业摄像机在同一时刻观看空间物体的同一特征点P(x_c,y_c,z_c)，分别在左侧摄像机和右侧摄像机上获取了点P的图像，它们的图像坐标分别为p_left＝(X_left,Y_left)，p_right＝(X_right,Y_right)；

两个工业摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y_left＝Y_right＝Y，则由三角几何关系得到：

则视差为：Disparity＝X_left-X_right，由此可计算出特征点P在摄像机坐标系下的三维坐标为：

式中，B为基线距，即两个摄像机的投影中心连线的距离；f为摄像机焦距。

步骤(8)所述坐标变换是将摄像机坐标系下的特征点转换到涂胶工业机器人坐标系下的特征点。

步骤(10)所述的胶线是待涂胶工件的边缘处按照涂胶要求进行涂胶所获取的线条。

本发明的有益效果是：该方法利用机器视觉的方法，价格上相对便宜，方法上简单易行。利用机器视觉在特定的条件下，对工业现场中工件特征点三维坐标准确的获取，再把获取的坐标反馈给涂胶工业机器人，利用坐标变换算法控制机器人找到工件特征点准确的三维坐标，引导涂胶机器人进行涂胶工艺，使整个涂胶工艺更加精密和准确，取代了人工检测和调整，缩短了整个工艺过程，解决了人工及经验对涂胶精度的影响。

附图说明

图1为两个工业摄像机成像原理示意图。

图2为单个工业摄像机拍摄特征点的原理示意图。

图3为特征点在相平面上成像后坐标选取的方式示意图。

图4为本发明提高涂胶工业机器人涂胶精度的方法流程图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

如图1至图4所示，本发明提高涂胶工业机器人涂胶精度的方法包括如下步骤：

对于获取图像而言，光源是非常重要的，故对光源的选取和安放要特别注意。光源的类型分为条形光、环形光、白光、红光等，针对检测到的待涂胶工件表面的特征和材质，选用不同形状和不同颜色的光源，也就是选择不同波长的光源来达到理想的取图效果。安放的位置也能够影响对待涂胶工件上的检测效果，选择合适的位置可以减小反光率，提高检测效果。在实际工业现场环境中要求光源安装位置要满足具有一定的工作距离、光照均匀性好、亮度高等要求，因此选择带有角度照射方式，即需要在工位一侧并带有角度来安装光源。根据对涂胶工件的材质考虑，波长较长、对比度高的红光对于涂胶工件进行照射时需要观察的特征更加明显，环形光对平面工件表面检测效果较好，最终达到理想的取图效果。

在选择合适的光源和合适的位置后，对摄像机进行安放。摄像机需要安放在带有刻度尺的支架上，此处的刻度尺是指有刻度的、带有两个凹槽的直尺，能够在刻度尺上读出两个工业摄像机间的距离。并且，安放两个工业摄像机时，需要两个工业摄像机的光轴平行、相平面在同一平面且相平面上成像的特征点的Y轴坐标值相同，如图1所示。

随后进行摄像机的标定：对摄像机进行标定是使左右两个摄像机相对于工件的位置保持不变，并且摄像机之间的距离以及摄像机的焦距保持不变，接下来利用标定板对摄像机的内外参数进行标定，所使用的标定板是标准的棋盘式标定板，标定板上的每一个方格尺寸都是相同的。按照摄像机标定的要求，左右两个摄像机分别对标定板进行取图，每个摄像机各取10张图片，按照标定方法进行摄像机内外参数标定。

上述标定方法采用的是张正友的张氏标定法，该方法是介于传统标定和自标定之间的一种方法，它只需要摄像机对某个标定板从不同方向拍摄多幅图片，通过标定板上每个特征点和其像平面的像点间的对应关系，即用每一幅图像的单应性矩阵来进行摄像机的标定，由于该方法模板制作容易，使用方便，成本低，鲁棒性好，准确率高，因此得到了较为广泛的应用。该算法也属于两步法，摄像机和模板可以自由的移动，不需要知道运动参数。

采用张氏摄像机标定的方法如下：

(1)单应性矩阵H的计算

根据摄像机针孔成像模型，可以得到下面的等式：

(u,v,1)表示图像平面的像素坐标，(X_w,Y_w,Z_w,1)表示世界坐标系的坐标点,A表示摄像机的内参数，s表示放缩因子标量，R表示旋转矩阵，t表示平移矩阵。

现将世界坐标系平面置于标定模板所在的平面，即Z_W＝0。则上式可变为如下形式：

其中，r_i表示旋转矩阵R的第i列向量，i＝1,2,3。令则上式可简写为：

其中：

H为单应性矩阵，为3×3的矩阵。由式子可以推出：

从而推得：

令：h'＝[h₁₁h₁₂h₁₃h₂₁h₂₂h₂₃h₃₁h₃₂]

则有：

上式可以看作Sh'＝0，那么矩阵S^TS最小特征值所对应的特征向量就是该方程的最小二乘解。再将解归一化得到所需的h'，从而可以求得H。

(2)摄像机内外参数求解

由于步骤(1)中求得的H可能和真实的H相差一个比例因子，因此将式子写成如下形式：

[h₁ h₂ h₃]＝λA[r₁ r₂ t]

λ为放缩因子标量，也是s的倒数。r₁与r₂为单位正交向量，有且所以得到摄像机内部参数求解的两个约束条件：

α、β是焦距归一化成像平面上的成像点坐标到图像坐标的放大系数，(u₀,v₀)为中心点的图像坐标，γ为畸变系数。

令B是对称矩阵，可以写成六维向量的形式：

b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T

设H的第i列向量表示为h_i＝[h_i1 h_i2 h_i3]，根据摄像机内部参数求解的两个约束条件方程推得：

h_i ^TBh_i＝V_ij ^Tb

其中：

V_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h₃₁h_j1+h_i1h_j3 h₃₁h_j1+h_i3h_j3 h_i3h_j3]

那么可以由一个平面投影变换，得到对内参数的两个约束，可以把它写成关于b的两个方程：

如有n幅模板的图像，每幅图像都可以获得上述的两个方程，就可以得到：

Vb＝0

其中，V是一个2n×6的矩阵，如果n≥3，b就可以被解出(带有一个比例因子)，从而可以得到5个内参数：

再根据单应性矩阵H和内参矩阵A，利用如下公式，计算每幅图像的外参数：

通过上述即可求出摄像机的内外参数。

随后，保持摄像机的位置不变，对工件进行拍照。在左右摄像机各获取一幅关于工件的图像，在工件的图像中获取特征点的二维坐标，二维坐标的表示方法如图3所示。也就是以一个摄像机的左上角为相平面原点，得到工件上的特征点在相平面坐标系下的坐标。

图2为单个摄像机拍摄特征点的原理图，图3是特征点在相平面上成像后坐标选取的方式。如图1所示，基线距B＝两摄像机的投影中心连线的距离；摄像机焦距为f，两个参数均由标定所求出。

设两个摄像机在同一时刻观看空间物体的同一特征点P(x_c,y_c,z_c)，分别在左侧摄像机和右侧摄像机上获取了点P的图像，它们的图像坐标分别为p_left＝(X_left,Y_left)，p_right＝(X_right,Y_right)。

根据视差原理获得特征点的三维坐标，视差原理是由三角原理来完成对三维信息的获取，已知两个摄像机之间的位置关系，便可以获取在视场内物体的三维尺寸及空间特征点的三维坐标。

现有两个摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标值相同，即Y_left＝Y_right＝Y，利用三角几何关系可以得到：

视差为：Disparity＝X_left-X_right。由此可计算出特征点P在摄像机坐标系下的三维坐标为：

因此，左摄像机像面上的任意一点只要能在右摄像机像面上找到对应的匹配点，就可以确定出该点的三维坐标。这种方法是利用点对点运算，相平面内所有点只要存在相应的匹配点，就可以上述算法进行计算，从而获取其对应的三维坐标。

将获取的特征点的三维坐标利用坐标变换的方式来进行变换，利用旋转矩阵与平移矩阵使相对于摄像机坐标系下的三维坐标转换为涂胶机器人坐标系下的三维坐标：

其中：为特征点在机器人坐系下的三维坐标

为特征点在摄像机坐标系下的三维坐标

最后将工件特征点的三维坐标信息通过计算机将数据传送给涂胶工业机器人，涂胶工业机器人在获取特征点的三维坐标后准确运动到工件特征点的位置，然后根据特征点到胶线间的距离来控制涂胶工业机器人进行涂胶作业。该方法能够完成自动检测工件特征点的三维坐标，即使在工件的位置发生偏移时也能够准确的获取工件特征点坐标，使得涂胶工业机器人能够自动调整位置来进行涂胶作业。大大缩短了整个工作过程，降低了人工成本，也解决了人工经验不足对涂胶精度所带来的影响。

Claims (10)

1.提高涂胶工业机器人涂胶精度的方法，其特征在于，该方法包括如下步骤：

(1)根据现场环境以及待涂胶工件的特性，选取光源的类型和光源安放的位置；

(2)在带有刻度尺的相机支架上安放两个工业摄像机，使两个工业摄像机光轴平行、相平面在同一平面且相平面上成像的特征点的Y轴坐标值相同，由刻度尺的读数确定两个工业摄像机间的距离；

(3)使用步骤(2)所述两个工业摄像机对标准棋盘式标定板进行取图，左右各拍摄10张图片；

(4)利用张正友标定方法来对步骤(2)所述两个摄像机内外参数进行标定，得到摄像机的内外参数；

(5)保持步骤(2)所述两个摄像机的位置和焦距不变，对待涂胶工件进行取图；

(6)得到待涂胶工件的特征点在两个摄像机相平面中的二维坐标；

(7)利用步骤(6)所获得的二维坐标以及步骤(4)标定所求出的内外参数准确求取步骤(6)所述特征点的三维坐标；

(8)将步骤(7)得到的三维坐标转换为基于涂胶机器人坐标系下的三维坐标；

(9)将步骤(8)得到的三维坐标传回到涂胶机器人，对涂胶机器人进行控制；

(10)通过控制涂胶机器人到达步骤(8)所获取的特征点的三维坐标位置，根据特征点到胶线间的距离来控制涂胶机器人对待涂胶工件进行涂胶。

2.如权利要求1所述的提高涂胶工业机器人涂胶精度的方法，其特征在于：步骤(1)所述光源的类型包括条形光、环形光、白光、红光。

3.如权利要求1所述的提高涂胶工业机器人涂胶精度的方法，其特征在于：步骤(1)所述选取光源的类型和光源安放的位置是在工业现场环境下，针对待涂胶工件的表面特征和材质，选择不同形状和不同波长的光源来达到理想的取图效果。

4.如权利要求1所述的提高涂胶工业机器人涂胶精度的方法，其特征在于：步骤(3)所述左右各拍摄10张图片是：保持工业摄像机位置不变、焦距不变的情况下移动标定板10次并拍照，同时在10次拍照时保证标定板能够完全显示在摄像机的视场中。

5.如权利要求1所述的提高涂胶工业机器人涂胶精度的方法，其特征在于：步骤(6)所述的二维坐标是以摄像机的左上角为相平面原点，特征点在相平面坐标系下的坐标。

6.如权利要求1所述的提高涂胶工业机器人涂胶精度的方法，其特征在于：步骤(6)所述的特征点是具有特征的局部区域的位置标识。

7.如权利要求1所述的提高涂胶工业机器人涂胶精度的方法，其特征在于：步骤(7)所述的三维坐标是在摄像机坐标系下的三维坐标，此坐标系是以左侧摄像机的光心为原点，两个摄像机连线的方向为X轴正向，摄像机的光轴方向为Y轴正向，通过右手定则确定Z轴正向所建立的坐标系。

8.如权利要求7所述的提高涂胶工业机器人涂胶精度的方法，其特征在于：步骤(7)所述三维坐标的求取方法是：利用视差原理，两个工业摄像机在同一时刻观看空间物体的同一特征点P(x_c,y_c,z_c)，分别在左侧摄像机和右侧摄像机上获取了点P的图像，它们的图像坐标分别为p_left＝(X_left,Y_left)，p_right＝(X_right,Y_right)；

两个工业摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y_left＝Y_right＝Y，则由三角几何关系得到：

$\left\{\begin{array}{c}{X}_{left}=f\frac{x_c}{z_c}\\ X_{right}=f\frac{(x_c-B)}{z_c}\\ Y=f\frac{y_c}{z_c}\end{array}\right.$

则视差为：Disparity＝X_left-X_right，由此可计算出特征点P在摄像机坐标系下的三维坐标为：

$\left\{\begin{array}{c}{x}_c=\frac{B\·X_{left}}{Disparity}\\ y_c=\frac{B\·Y}{Disparity}\\ z_c=\frac{B\·f}{Disparity}\end{array}\right.$

式中，B为基线距，即两个摄像机的投影中心连线的距离；f为摄像机焦距。

9.如权利要求8所述的提高涂胶工业机器人涂胶精度的方法，其特征在于：步骤(8)所述坐标变换是将摄像机坐标系下的特征点转换到涂胶工业机器人坐标系下的特征点。

10.如权利要求1所述的提高涂胶工业机器人涂胶精度的方法，其特征在于：步骤(10)所述的胶线是待涂胶工件的边缘处按照涂胶要求进行涂胶所获取的线条。