CN104408408A - 基于曲线三维重建的机器人喷涂轨迹提取方法及提取装置 - Google Patents

Abstract

本发明涉及基于曲线三维重建的机器人喷涂轨迹提取方法及提取装置。目的是提供的方法和装置应能准确提取喷涂轨迹、具有工作效率高以及适应性强的特。技术方案是：基于曲线三维重建的机器人喷涂轨迹提取方法；包括如下步骤：步骤S1：标定相机的内参数矩阵K和畸变系数；步骤S2：采集工件的图像；步骤S3：处理图像；步骤S4：找到一组符合要求的同名曲线作为目标曲线；步骤S5：应用立体视觉算法三维重建目标曲线。基于曲线三维重建的机器人喷涂轨迹提取装置，该装置包括传送带、接近开关以及计算机；所述计算机分别与连通步进电机和接近开关的运动控制卡、连通图像采集卡的相机以及工业机器人交互电信号。

Description

基于曲线三维重建的机器人喷涂轨迹提取方法及提取装置

技术领域

本发明涉及一种机器人喷涂轨迹的提取方法和装置，尤其涉及一种基于曲线三维重建的机器人喷涂轨迹提取方法和装置。

背景技术

目前，喷涂作业广泛地应用于工业生产中的各行各业，比如鞋底的喷胶、汽车灯罩的喷涂以及各种复杂零件表面的喷涂等。传统的喷涂作业大多由人工完成，由于胶水和涂料均会挥发出有毒的气体，这严重影响了操作人员的身体健康。另外人工操作也很难保证喷涂的准确性。随着工业机器人技术的不断发生，工业机器人广泛地应用于各种喷涂领域，它不仅能快速、自动地实现喷涂作业，更重要的是避免工人暴露在有毒的气体中。大多数喷涂作业中的轨迹往往是三维的，而获得机器人喷涂轨迹的最常用方法是示教。该方法简单有效，但当加工对象的形状、位置或姿态发生改变时，加工质量不能满足要求，因此不能适应条件变化的情况。解决这个问题的方法是采用离线编程技术，这就需要实时获取每个待喷涂工件的工作轨迹。

一种有效地获取喷涂轨迹的方法是应用线结构光扫描工件，获得工件表面的三维点云数据，进而根据先验算法提取喷涂轨迹。该方法的优点在于获得的喷涂轨迹的精度比较高，可行性高，可以广泛地应用于简单表面的喷涂作业。但当工件的表面形状很复杂时，比如存在栅格状结构时，线结构光不能准确地提取工件的表面信息，因此也很难找准喷涂轨迹。

发明内容

本发明的目的是为了克服现有技术中存在的不足，提供一种基于曲线三维重建的机器人喷涂轨迹提取方法和装置。所述方法和装置应能准确提取喷涂轨迹、具有工作效率高以及适应性强的特点。

本发明采用的技术方案是：

基于曲线三维重建的机器人喷涂轨迹提取方法；包括如下步骤：

步骤S1：标定相机的内参数矩阵K和畸变系数，传送带在相机坐标系下的运动方向，相机坐标系和机器人基座坐标系之间的变换矩阵；

步骤S2：采集工件的图像；

步骤S3：处理图像，提取工件表面连续的边缘作为候选曲线；

步骤S4：从所有图像中的候选曲线中找到一组符合要求的同名曲线作为目标曲线；

步骤S5：应用立体视觉算法三维重建目标曲线，并转换到机器人的基座坐标系下，用于机器人的离线编程。

所述步骤S2采集工件图像的方法是：让工件经过左接近开关和右接近开关，在左、右接近开关均感知信号时，开始采集工件的图像，并记录相对应的位移，直到至少一个接近开关无信号时停止采集。

所述步骤S3的图像处理方法是：对采集的图像首先进行图像滤波和图像增强预处理，然后应用自适应的Canny算法提取边缘，接着计算边缘曲线的曲率，最终保留连续的边缘曲线段作为候选曲线。

所述步骤S4的处理过程是：利用极线约束算法以及形状匹配算法建立采集的所有图像中的同名曲线，并根据目标边缘特征，采用先验算法确定其中一组符合要求的同名曲线为目标曲线。

所述步骤S5的处理过程是：根据一组同名曲线及其对应的运动参数，应用立体视觉算法三维重建空间曲线，并把重建的空间曲线转换到机器人的基座坐标系下，以利于机器人的离线编程。

所述候选曲线的确定包括以下步骤：

步骤11：应用自适应的边缘检测Canny算法提取所有图像中的边缘，并连接成离散曲线；

步骤12：对曲线上的离散点用高斯核算法进行卷积计算，目的是获得平滑曲线；

步骤13：计算平滑后离散曲线的曲率；

曲线上点p_i曲率的计算公式为：κ_i＝||(p_i-p_i-1)/l_i-(p_i+1-p_i)/l_i+1||，其中l_i＝||p_i–p_i-1||；

步骤14：在曲线上搜索满足条件κ_i>κ_th&κ_i>κ_i+1&κ_i>κ_i-1的点并设置为断点，分离断点两侧的曲线，其中κ_th为不连续点曲率阈值。

所述三维重建目标曲线包括以下步骤：

步骤21：对于两条待匹配的曲线c₁和c₂，利用极线约束算法确定它们的对应点对p_1,i和p_2,i，i＝1,2,…，m；

步骤22：分别计算每个点所在曲线上的生长方向；计算公式为：

t_k,i＝(p_k,i+1-p_k,i-1)/||p_k,i+1-p_k,i-1||,k＝1,2

步骤23：由对应点对的生长方向计算两条曲线的相似度；计算公式为：

$s_{\mathrm{1,2}}=\frac{1}{m-2}\underset{i=2}{\overset{m-1}{\mathrm{\Σ}}}{t}_{1,i}^T\·t_{2,i}$

s_1,2的数值越大，表示曲线c₁和c₂的相似度越高。

所述三维重建目标曲线以最小化曲线的反投影误差为目标，并在优化过程中添加了曲率无穷范数的不等式约束算法；即将三维重建目标曲线转换为以下优化计算公式：

$\left\{\begin{array}{cc}\min & \frac{1}{2}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|p_{k,i}-{\hat{p}}_{k,i}\left|\right|}^2;\\ s.t.& {\left|\right|K\left|\right|}_{\∞}^2\≤{\mathrm{\κ}}_{\max }^2,K=\{{\mathrm{\κ}}_i,i=\mathrm{2,3},L,m-1\}\end{array}\right.$

其中：p_k,i表示图像k中同名曲线上的第i个对应点；

表示空间曲线的离散点P_i在图像k上的投影点；

m为同名曲线上对应点的个数；

n为采集的图像个数；

κ_i＝||(P_i-P_i-1)/l_i-(P_i+1-P_i)/l_i+1||表示空间曲线上的曲率；

κ_max表示曲线上的最大曲率阈值；

||.||_∞表示向量的无穷范数。

基于曲线三维重建的机器人喷涂轨迹提取装置，其特征在于：该装置包括载有目标工件且由步进电机驱动的传送带1、位于传送带侧边的2个分开一定距离的接近开关以及计算机；所述计算机分别与连通步进电机和接近开关的运动控制卡、连通图像采集卡的相机以及工业机器人交互电信号。

所述步进电机的控制信号和接近开关的信号均通过运动控制卡接入计算机，相机通过图像采集卡采集图片输至计算机，计算机和工业机器人采用标准通讯协议通信。

本发明具有以下有益效果及优点：

1)本发明的候选曲线提取方法能有效避免图像中非目标曲线的干扰，保证获得的曲线的连续性。

2)曲线的三维重建中添加了曲率的无穷范数约束，提高了重建后三维曲线的光顺性，同时使得所得的最终解接近全局最优解。

3)采用带有传送带的提取装置不仅能实现曲线的三维重建，同时也能极大地提高生产效率，实现不间断地作业，包括：曲线三维重建——轨迹生成——机器人喷涂。此外，还可适用于各种形状工件的喷涂。

附图说明

图1是本发明所述提取装置的结构示意图。

图2是本发明的工作流程图。

图3a至图3d是本发明的一个具体实施例示意图；其中：图3a是其中一幅相贯线图；图3b是边缘提取并过滤后的边缘图；图3c是一组同名曲线；图3d是重建的相贯线。

具体实施方式

下面结合实施例和附图对本发明作进一步地描述，但本发明的实施方式不限于此。

如图1所示，一种基于曲线三维重建的机器人喷涂轨迹提取装置，包括：传送带1、右接近开关2、左接近开关3、步进电机4、目标工件5、运动控制卡6、相机7、图像采集卡8、计算机9、工业机器人10。传送带由步进电机驱动，步进电机的控制信号和接近开关的信号均通过运动控制卡接入计算机，相机通过图像采集卡采集图像后输至计算机，计算机和工业机器人用标准的通讯协议连接。左右2个间隔一定距离的接近开关均安装在相机的下方，并处在其视场范围内，而且可以根据工件的尺寸调整它们的位置。

基于曲线三维重建的机器人喷涂轨迹提取方法的工作流程由图2所示。

实施例

以一个圆柱相贯线为对象进行重建(图3所示)，包括如下步骤：

步骤S1：从不同的角度采集多幅靶标图像，应用张正友的方法标定相机的内参数矩阵K和畸变系数，采用的靶标为棋牌格；世界坐标系上的坐标点P(x_w,y_w,z_w,1)通过以下公式映射到图像坐标点p(u,v,1)：

$\mathrm{\λ}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\left[R\right|t]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right],$ 其中 $K=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$

把靶标放置在相机7视场范围内的传送带1上，根据已知的相机内参数和靶标上的特征点在靶标坐标系和图像坐标系的坐标计算相机的外参数矩阵[R|t]，由此可以确定靶标坐标系原点在相机坐标系下的坐标为t。步进电机4驱动传送带1带动靶标移动获得一组靶标坐标系原点在相机坐标系下的坐标t_i,i＝1,2,…,n，n为靶标图像采集的次数。用直线拟合上述坐标t_i,i＝1,2,…,n，得到直线方程：ax+by+cz+d＝0，其中a²+b²+c²＝1，那么向量q＝[a,b,c]^T就是传送带相对于相机坐标系的运动方向。

取空间中n个不共线的点，并测量各自在相机坐标系和机器人基座坐标系下的坐标，分别表示为^CP_i、^BP_i,i＝1,2,…,n。建立两个坐标系之间的变换关系：变换矩阵共包含6个未知数(3个移动和3个转动)，因此只要满足n≥3就可以估计出变换矩阵

步骤S2：当目标工件(圆柱相贯线)经过左接近开关和右接近开关，并在左、右接近开关均有信号时，开始采集工件的图像(如图3a)，并记录相对应的位移，直到至少一个接近开关无信号。位移信号可以通过步进电机的脉冲数转换。

步骤S3：首先应用自适应的边缘检测Canny算法提取采集的所有图像中的边缘，并连接成离散曲线；然后用高斯核[1 2 4 2 1]进行卷积操作，平滑曲线；再计算平滑后离散曲线的曲率，曲线上点p_i曲率的计算公式为：κ_i＝||(p_i-p_i-1)/l_i-(p_i+1-p_i)/l_i+1||，其中l_i＝||p_i–p_i-1||；接着在曲线上搜索满足条件κ_i>κ_th的点并设置为断点，其中κ_th为不连续点曲率阈值；最后分离断点两端的曲线，并去除比较短的曲线段和近似直线段，得到的曲线如图3b所示。

步骤S4：利用极线约束算法和形状匹配算法建立采集的所有图像中的同名曲线(同一条曲线在不同图像上投影曲线)，并根据先验的目标边缘特征，确定其中一组符合要求的同名曲线为目标曲线。

对于两条不同图像上的曲线c₁和c₂，利用极线约束条件确定它们的对应点对<p_1,i,p_2,i>，i＝1,2,…，m。对于纯平移运动下的基本矩阵F＝[Kt]_×，其中[.]_×表示向量的反对称矩阵，K为标定后得到的相机内参数矩阵，t＝d*q为拍摄2幅图像之间的运动向量，d为位移，通过步进电机的脉冲数和时间间隔换算得到，q为归一化的平移向量。

形状匹配通过比较两条曲线的方向实现；步骤是：

1)先通过下式分别计算每个点所在曲线上的生长方向：

t_k,i＝(p_k,i+1-p_k,i-1)/||p_k,i+1-p_k,i-1||,k＝1,2；i＝2,3,L,m-1

2)由对应点对的生长方向计算两条曲线的相似度，具体通过以下公式描述：

$s_{\mathrm{1,2}}=\frac{1}{m-2}\underset{i=2}{\overset{m-1}{\mathrm{\&Sigma;}}}{t}_{1,i}^T\&CenterDot;t_{2,i}$

s_1,2的数值越大，表示曲线c₁和c₂的相似度越高；

3)以第一幅图像上的曲线为参考，计算其它图像上的所有曲线同第一幅图像上所有曲线的相似度，并按照相似度的最大原则建立其它图像上曲线同第一幅图像上曲线的对应关系(即搜索同名曲线)；最后根据先验算法选择一组同名曲线作为曲线重建的目标，如图3c所示(由多个曲线组成一组同名曲线)。

步骤S5：曲线的三维重建中以最小化曲线的反投影误差为目标，并在优化过程中添加了曲率无穷范数的不等式约束算法。曲线三维重建采用以下优化计算公式：

$\left\{\begin{array}{cc}\min & \frac{1}{2}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{\left|\right|p_{k,i}-{\hat{p}}_{k,i}\left|\right|}^2;\\ s.t.& {\left|\right|K\left|\right|}_{\&infin;}^2\&le;{\mathrm{\&kappa;}}_{\max }^2,K=\{{\mathrm{\&kappa;}}_i,i=\mathrm{2,3},L,m-1\}\end{array}\right.$

其中：

p_k,i表示图像k中同名曲线上的第i个对应点；

表示空间曲线的离散点P_i在图像k上的投影点，用公式计算；

m为同名曲线上对应点的个数；

n为采集的图像数；

κ_i＝||(P_i-P_i-1)/l_i-(P_i+1-P_i)/l_i+1||表示点P_i在空间曲线上的曲率；

κ_max表示曲线上的最大曲率阈值；

||.||_∞表示向量的无穷范数。

用Rockafellar乘子法求解上述带不等式约束的非线性最优化问题，最终重建的曲线如图3d所示。曲率无穷范数不等式约束的几何意义是限制曲线上所有点的曲率值不能超过某个给定一个较小的最大曲率阈值，因此在其可行域内重建的曲线是连续的，从而保证了曲线的光顺性。另外，曲率无穷范数的不等式约束能避免在优化过程中过早地陷入局部最优解，使得最终解逼近全局最优。

三维重建得到的曲线是基于相机坐标系的，因此为方便工业机器人的应用，首先由步骤S1得到的坐标系变换关系将重建的曲线转换到机器人基座坐标系获得生成机器人的喷涂轨迹；最后利用工业机器人的轨迹规划算法(现有技术)，就能实现对工件的自动喷涂作业。

由于应用了基于曲率的曲线分割技术，基于极线约束和形状匹配的同名曲线配对方法，使得最终生成的目标曲线能避免图像中其它边缘的干扰。曲线重建过程中的曲率无穷范数不等式约束保证了重建曲线的光顺性，提高了重建精度。

Claims (10)

1.基于曲线三维重建的机器人喷涂轨迹提取方法；包括如下步骤：

步骤S1：标定相机的内参数矩阵K和畸变系数，传送带在相机坐标系下的运动方向，相机坐标系和机器人基座坐标系之间的变换矩阵；

步骤S2：采集工件的图像；

步骤S3：处理图像，提取工件表面连续的边缘作为候选曲线；

步骤S4：从所有图像中的候选曲线中找到一组符合要求的同名曲线作为目标曲线；

步骤S5：应用立体视觉算法三维重建目标曲线，并转换到机器人的基座坐标系下，用于机器人的离线编程。

2.根据权利要求1所述的基于曲线三维重建的机器人喷涂轨迹提取方法，其特征在于所述步骤S2采集工件图像的方法是：让工件经过左接近开关和右接近开关，在左、右接近开关均感知信号时，开始采集工件的图像，并记录相对应的位移，直到至少一个接近开关无信号时停止采集。

3.根据权利要求2所述的基于曲线三维重建的机器人喷涂轨迹提取方法，其特征在于所述步骤S3的图像处理方法是：对采集的图像首先进行图像滤波和图像增强预处理，然后应用自适应的Canny算法提取边缘，接着计算边缘曲线的曲率，最终保留连续的边缘曲线段作为候选曲线。

4.根据权利要求3所述的基于曲线三维重建的机器人喷涂轨迹提取方法，其特征在于所述步骤S4的处理过程是：利用极线约束算法以及形状匹配算法建立采集的所有图像中的同名曲线，并根据目标边缘特征，采用先验算法确定其中一组符合要求的同名曲线为目标曲线。

5.根据权利要求4所述的基于曲线三维重建的机器人喷涂轨迹提取方法，其特征在于所述步骤S5的处理过程是：根据一组同名曲线及其对应的运动参数，应用立体视觉算法三维重建空间曲线，并把重建的空间曲线转换到机器人的基座坐标系下，以利于机器人的离线编程。

6.根据权利要求5所述的基于曲线三维重建的机器人喷涂轨迹提取方法，其特征在于所述候选曲线的确定包括以下步骤：

步骤11：应用自适应的边缘检测Canny算法提取所有图像中的边缘，并连接成离散曲线；

步骤12：对曲线坐标点用高斯核算法进行卷积计算，目的是获得平滑曲线；

步骤13：计算平滑后离散曲线的曲率；

曲线上点p_i曲率的计算公式为：κ_i＝||(p_i-p_i-1)/l_i-(p_i+1-p_i)/l_i+1||，其中l_i＝||p_i–p_i-1||；

步骤14：在曲线上搜索满足条件κ_i>κ_th的点并设置为断点，分离断点两端的曲线，其中κ_th为不连续点曲率阈值。

7.根据权利要求6所述的基于曲线三维重建的机器人喷涂轨迹提取方法，其特征在于所述三维重建目标曲线包括以下步骤：

步骤21：对于两条待匹配的曲线c₁和c₂，利用极线约束算法确定它们的对应点对p_1,i和p_2,i，i＝1,2,…，m；

步骤22：分别计算每个点所在曲线上的生长方向；计算公式为：：

t_k,i＝(p_k,i+1-p_k,i-1)/||p_k,i+1-p_k,i-1||,k＝1,2

步骤23：由对应点对的生长方向计算两条曲线的相似度；计算公式为：

$s_{\mathrm{1,2}}=\frac{1}{m-2}\underset{i=2}{\overset{m-1}{\mathrm{\&Sigma;}}}{t}_{1,i}^T\&CenterDot;t_{2,i}$

s_1,2的数值越大，表示曲线c₁和c₂的相似度越高。

8.根据权利要求7所述的基于曲线三维重建的机器人喷涂轨迹提取方法，其特征在于所述三维重建目标曲线以最小化曲线的反投影误差为目标，并在优化过程中添加了曲率无穷范数的不等式约束算法；即将三维重建目标曲线转换为以下优化计算公式：

$\left\{\begin{array}{cc}\min & \frac{1}{2}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{\left|\right|p_{k,i}-{\hat{p}}_{k,i}\left|\right|}^2;\\ s.t.& {\left|\right|K\left|\right|}_{\&infin;}^2\&le;{\mathrm{\&kappa;}}_{\max }^2,K=\{{\mathrm{\&kappa;}}_i,i=\mathrm{2,3},L,m-1\}\end{array}\right.$

其中：p_k,i表示图像k中同名曲线上的第i个对应点；

表示空间曲线的离散点P_i在图像k上的投影点；

m为同名曲线上对应点的个数；

n为采集的图像个数；

κ_i＝||(P_i-P_i-1)/l_i-(P_i+1-P_i)/l_i+1||表示空间曲线上的曲率；

κ_max表示曲线上的最大曲率阈值；

||.||_∞表示向量的无穷范数。

9.一种实现权利要求1所述方法的基于曲线三维重建的机器人喷涂轨迹提取装置，其特征在于：该装置包括载有目标工件(5)且由步进电机(4)驱动的传送带(1)、位于传送带侧边的2个分开一定距离的接近开关(2，3)以及计算机(9)；所述计算机分别与连通步进电机和接近开关的运动控制卡(6)、连通图像采集卡(8)的相机(7)以及工业机器人(10)交互电信号。

10.根据权利要求9所述的基于曲线三维重建的机器人喷涂轨迹提取装置，其特征在于所述步进电机的控制信号和接近开关的信号均通过运动控制卡接入计算机，相机通过图像采集卡采集图片输至计算机，计算机和工业机器人采用标准通讯协议通信。