CN113902810A - 一种基于平行式双目立体视觉的机器人齿轮倒角加工方法 - Google Patents

Abstract

本发明提供了一种基于平行式双目立体视觉的机器人齿轮倒角加工方法，该方法首先进行双目相机标定；左右相机同步采集完整的齿轮图像，提取左右图像中齿廓表面配准特征点二维像素坐标信息；将二维坐标转换成三维坐标，再转换到机器人基坐标系下；在ROS机器人操作系统中规划出自动化加工路径，引导末端装备力控磨削头的机器人自动对齿廓表面倒角加工；最后构建双目点云，获得加工后齿轮齿廓实时稠密点云，可视化，判断齿廓倒角深度和误差，为二次倒角加工做准备。本发明使倒角加工自动化程度较高，可以实现从双目相机标定、图像处理，立体矫正与匹配、手眼标定、机器人控制与路径规划、倒角加工智能一体化的功能，投入成本低、工程应用价值高。

Description

一种基于平行式双目立体视觉的机器人齿轮倒角加工方法

技术领域

本发明涉及机器视觉检测-定位-加工一体化技术领域，涉及一种机器人齿轮倒角加工方法，具体涉及基于平行式双目立体视觉的机器人齿轮倒角加工方法。

背景技术

齿轮倒角有助于改善啮合质量，减小齿轮边缘接触效用，降低齿轮的啮合噪音，可以有效提高齿轮的可靠性和使用寿命。传统倒角机床加工齿轮准备时间长，加工参数调整复杂，通用性较低，自动化程度不高。近年来，以机器人作为装备执行体的机器人化智能加工正逐渐成为复杂零件高效高品质制造的新趋势。在传统机器人加工中，机器人只需重复运行预编离线程序就可以完成作业任务。而为了提高机器人的柔性生产能力和自动化加工程度，在机器人生产线中加入视觉系统显得尤为重要。

随着机器视觉的快速发展，相关理论和产业应用日趋成熟，其在尺寸检测、缺陷检测和目标识别等领域应用广泛。同时，它作为智能数字化制造的重要实现手段之一，也被越来越多的加入到工业制造领域，国外已有视觉配合机床或机器人进行数控加工的案例。有效地获得齿轮齿廓准确空间位置是倒角加工的重要前提，借助双目立体视觉系统可以方便地获得加工所需的三维坐标信息，以此为依据得到机器人基坐标系下精确倒角加工轨迹，大大提高了机器人加工系统的便捷性和通用性。此外，也可通过双目相机对齿廓表面进行三维点云重建，使视觉系统具有实时在线检测的功能，方便进行二次倒角加工。

ROS(Robot Operating System)是一种高度灵活的机器人操作系统，它的软件框架里大量集成了相关工具、库和协议。ROS可以提供标准化的操作系统服务，例如硬件抽象、底层设备控制和驱动管理、常用功能实现、进程间消息传递以及数据包管理等。ROS底层框架基于图状结构，使不同的节点之间能够接受、发布和聚合各种信息，例如传感、控制、状态、规划等。将机器人运动控制、轨迹规划和部分视觉模块集成到ROS机器人操作系统，可以极大简化机器人平台下的复杂任务创建与稳定行为控制。

发明内容

有鉴于此，本发明提出一种基于平行式双目立体视觉的机器人齿轮倒角加工方法。该方法首先进行双目相机标定，得到两个相机各自的内部参数矩阵和畸变向量，并得到左右两相机之间的外部参数矩阵；其次左右相机同步采集完整的齿轮图像，利用图像处理算法得到齿轮齿廓图像，经过立体矫正和立体匹配后，提取左右图像中齿廓表面配准特征点二维像素坐标信息；根据平行光轴双目视觉三角测量法将左右相机齿廓表面配准特征点在像素坐标系下的二维坐标转换成左相机坐标系下的三维坐标，再通过手眼标定矩阵将左相机坐标系下齿廓表面配准特征点的三维坐标转换到机器人基坐标系下，并实时校正齿轮SolidWorks模型中对应特征点在机器人基坐标系下的三维坐标；在ROS机器人操作系统中规划出机器人在被加工齿轮齿廓表面的自动化加工路径，引导末端装备力控磨削头的机器人自动对齿廓表面倒角加工；最后在ROS机器人操作系统中构建双目点云，获得加工后齿轮齿廓实时稠密点云，对点云数据可视化，从而判断齿廓倒角深度和误差，为二次倒角加工做准备。

为了实现上述目的，本发明采用的技术方案是：

一种基于平行式双目立体视觉的机器人齿轮倒角加工设备，其特征在于，包括机器人、双目相机和磨削头；双目相机包括左相机和右相机，相机布置采用眼在手外的方式并且平行放置，机器人末端装载磨削头；所述机器人末端装载的磨削头为力位混合控制磨削头。

一种基于平行式双目立体视觉的机器人齿轮倒角加工方法，其特征在于，包括如下步骤：

步骤1：首先标定双目相机，得到左相机内部参数矩阵M_l及其畸变向量(k_l1,k_l2,p_l1,p_l2,k_l3)，右相机内部参数矩阵M_r及其畸变向量(k_r1,k_r2,p_r1,p_r2,k_r3)，同时得到右相机相对于左相机的外部参数矩阵，包括旋转矩阵R和平移矩阵T；

其具体步骤包括：

S1.1：调整平行式双目相机到合适位置并固定，使其能够完整清晰地拍摄到棋盘格标定板；然后改变棋盘格标定板位姿和角度，使用双目相机对棋盘格标定板进行多次拍照，此处拍摄20对图片；

S1.2：使用MATLAB中标定工具箱，进行设置后，分别将左右相机拍摄到的图片载入进行标定；

S1.3：对误差较大的图像剔除并重新标定，直到误差满足标定需求；

S1.4：标定结束后得到并读取相关参数，其中左右相机内参和旋转矩阵R需要转置后使用；

步骤2：同步触发双目相机，使用左右相机分别采集齿轮图像，并对采集到的图像进行预处理，包括畸变矫正、图像滤波、阈值分割和形态学处理，其算法和过程的具体实现基于OpenCV；

OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上；

步骤3：利用目标图像边缘提取算法提取齿轮齿廓，并对提取出来的左右相机齿轮轮廓图像进行立体矫正，其算法和过程的具体实现基于OpenCV；

步骤4：对立体矫正后的左右两幅图像进行立体匹配，得到目标齿轮齿廓配准特征点在左右相机下的像素坐标对(u_l,v_l)，(u_r,v_r)；根据平行光轴双目视觉三角测量法，计算出基于左相机坐标系下齿廓表面配准特征点的三维坐标P_camera(x_c,y_c,z_c)；

步骤5：利用眼在手外的机器人手眼标定方法，得到机器人手眼标定矩阵，即相机坐标系和机器人基坐标系之间的转换矩阵；

步骤6：根据步骤5中得到的手眼标定矩阵，将左相机坐标系下齿廓表面配准特征点的三维坐标转化到机器人基坐标系下即P_base(x_b,y_b,z_b)，进而通过齿廓表面配准特征点校正被加工齿轮的SolidWorks三维模型，得到被加工齿轮在机器人基坐标系下的精确三维模型定位和齿廓加工轨迹；

步骤7：将机器人基坐标下精确三维模型定位和齿廓加工轨迹导入ROS机器人操作系统，借助ROS平台规划出机器人在被加工件表面的自动化倒角加工路径，引导机器人对齿轮齿廓待加工区域进行倒角加工；

步骤8：初次倒角加工后，基于双目视觉系统，在ROS机器人操作系统中使用elas_ros算法包构建双目点云，获得加工后的齿轮齿廓实时稠密点云，并使用ROS中的RVIZ实现点云数据可视化，从而判断齿廓倒角深度和误差，为二次倒角加工做准备。

所述步骤2中，所述畸变矫正过程通过调用OpenCV中的undistort()函数完成；输入所述步骤1中求出的左右相机内参、各自的畸变向量等参数，对左右相机采集的齿轮图像进行畸变矫正，输出畸变矫正后的图像；

所述图像滤波采用中值滤波结合高斯滤波的方法。具体过程是对图像先进行中值滤波，再进行高斯滤波：中值滤波将像素点附近像素按灰度值进行排序，取其中的中位数作为该像素点的新灰度值，表示为：

P'(x,y)＝Med{P(x±i,y±j)}

其中，P'(x,y)和P(x,y)表示图像像素新旧灰度值，Med表示取图像(x,y)周围i×j范围像素点灰度值的中位数；高斯滤波的核系数H(i,j)根据卷积核大小取对应二维高斯分布的值，相关系数计算公式如下所示：

其中，σ_x，σ_y，μ_x，μ_y，ρ为高斯分布相关参数，卷积核大小为(2m+1)(2n+1)。

所述阈值分割采用高斯加权平均的局部自适应阈值算法，该算法通过计算像素点附近区域的高斯系数加权均值作为局部自适应阈值，其中加权均值W(i,j,K,L)为邻域V_ij内的归一化值，从而保证阈值分割后图像平均亮度不变。所述形态学处理过程包括对图像先腐蚀、后膨胀，再对处理后的图像先膨胀、后腐蚀。图像的膨胀和腐蚀满足以下公式：

P'_dilate(x,y)＝max{p(x±1,y±1)}

p'_erode(x,y)＝min{P(x±1,y±1)}

所述步骤3中，所述目标图像边缘提取算法为一种混合策略边缘Canny算子，该算子提取边缘的具体步骤如下：

S3.1：求解图像在X、Y、左右对角线四个方向的梯度向量；

S3.2：使用非极大值抑制的方法过滤像素点，初步剔除不符合要求的像素点；

S3.3：使用双阈值法进一步过滤像素点，设定梯度模阈值区间，超出区间上界的点标记为强边缘点，在区间中的点标记为弱边缘点，低于区间下界的点剔除；

S3.4：筛选出强边缘点作为最终边缘，对弱边缘点进行邻域分析，满足邻域存在强边缘点的要求后，才被纳入最终边缘；其中，Canny算子需要的阈值，通过分析梯度模直方图获取，在此过程中，高低阈值比保持为2：1。

所述步骤3中，所述立体矫正过程的具体步骤如下：

S3.a：将步骤1得到的旋转矩阵R分解为左右两个相机的合成旋转矩阵R₁和R₂；

S3.b：将左右相机各旋转一半，使得左右相机的光轴平行；此时左右相机的成像面平行，但是基线与成像平面不平行；

S3.c：通过右相机相对于左相机的偏移矩阵T构造变换矩阵R_rect使得基线与成像平面平行；

S3.d：经计算得到左右两个相机最终的旋转矩阵R₁'和R₂'：R₁'＝R_rect·R₁，R₂'＝R_rect·R₂进而实现立体矫正。

所述步骤4中，左相机坐标系下齿廓表面配准特征点三维坐标计算方法为：

其中，b是两相机坐标系原点的距离即基线距离；(u_l,v_l)和(u_r,v_r)是立体匹配得到的左右相机下像素匹配坐标对；f为相机焦距，f_l＝f_r＝f。

所述步骤5中，所述手眼标定方法主要步骤包括：

S5.1：把标定板固定在机械臂末端；

S5.2：相机固定在机械臂外的某个位置，使用示教器移动机械臂到合适位置，使相机能够完整地拍摄到标定板，然后使用左相机拍摄标定板图片；

S5.3：由该位姿下机械臂示教器返回的相关参数计算机械臂基坐标系到末端坐标系的旋转矩阵

和平移矩阵

S5.4：调用OpenCV中的solvePNP()函数计算该时刻左相机与标定板之间的外参数；

S5.5：重复上述步骤，移动机器人到另一合适位置，依次采集记录20张标定板图片数据；

S5.6：调用OpenCV中的calibrateHandEye()函数，代入求得的相关数据，经计算得到最终的手眼标定矩阵。

与现有技术相比，本发明的有益效果是：

本发明充分考虑了现有视觉检测-定位-加工技术中存在的成像视场要求严格、投入技术和成本巨大等问题，提出的基于平行式双目立体视觉的机器人齿轮倒角加工方法，可以通过双目相机标定、图像处理、立体矫正与匹配、提取齿轮齿廓表面配准特征点的空间位置信息，进而将左相机坐标系下三维坐标数据通过手眼标定转换到机器人基坐标系下用于校正齿轮SolidWorks三维模型，引导装载有力位混合控制磨削头的机器人对齿轮齿廓表面待加工区域进行倒角加工；同时增加了使用双目相机构建实时稠密点云的功能，能够方便地判断倒角深度和误差；本发明有效降低了成本，自动化程度较高，具有较强的实用性。

附图说明

图1为本发明方法实施例中所述的基于平行式双目立体视觉的机器人齿轮倒角加工方法的流程示意图；

图2为本发明方法实施例中所述的经过图像预处理和边缘提取后的齿轮齿廓图像；

图3为本发明方法实施例中所述的立体矫正过程示意图；

图4为本发明方法实施例中所述的平行光轴双目视觉三角测量原理图；

图5为本发明方法实施例中所述的被加工齿轮的SolidWorks三维模型；

图6为本发明方法实施例中所述的双目立体视觉系统结构示意图；

图7为本发明方法实施例中基于平行式双目立体视觉的机器人齿轮倒角加工系统结构示意图；

图中：A为齿轮。

具体实施方式

下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图6和图7所示，本发明提供一种基于平行式双目立体视觉的机器人齿轮倒角加工系统，包括加工机器人、机器人控制柜、上位机、平行式双目相机、直齿轮和固定待加工工件的工作平台，加工机器人选用UR5工业机器人，UR5工业机器人的末端安装有磨削头，本发明实施例中为力位混合控制磨削头，双目相机包括平行放置的左相机和右相机。

下面以直齿轮倒角加工为例对本发明进行举例说明。

请参阅图1，本发明实施例提供的一种基于平行式双目立体视觉的机器人齿轮倒角加工方法的流程示意图，包括如下步骤：

步骤1、首先标定双目相机，得到左相机内部参数矩阵M_l及其畸变向量(k_l1,k_l2,p_l1,p_l2,k_l3)，右相机内部参数矩阵M_r及其畸变向量(k_r1,k_r2,p_r1,p_r2,k_r3)，同时得到右相机相对于左相机的外部参数矩阵，包括旋转矩阵R和平移矩阵T。

双目相机标定的具体方法如下：

步骤1.1、选取两台CMOS工业相机作为双目相机，调整平行式双目相机到合适位置并固定，使其能够完整清晰地拍摄到棋盘格标定板。通过调节左右相机的焦距、视野等参数，增加相机标定精度与特征点定位精度。

步骤1.2、改变棋盘格标定板的位姿和角度，使用双目相机对棋盘格标定板进行多次拍照，此处拍摄20对图片。

步骤1.3、打开MATLAB标定工具箱，勾选“Skew”、“Tangential Distortion”以及“3Coefficients”，将“2Coefficients”选项去掉，载入步骤1.2中双目相机采集得到的20对棋盘格标定板图片进行标定。对误差较大的图像剔除并重新标定，直到误差满足标定需求。通过标定，得到左相机内部参数矩阵M_l及其畸变向量(k_l1,k_l2,p_l1,p_l2,k_l3)，右相机内部参数矩阵M_r及其畸变向量(k_r1,k_r2,p_r1,p_r2,k_r3)，同时得到右相机相对于左相机的外部参数矩阵，包括旋转矩阵R和平移矩阵T。其中左右相机内参和旋转矩阵R需要转置后使用。

步骤2、同步触发双目相机，使用左右相机分别采集齿轮图像，并对采集到的图像进行预处理，包括畸变矫正、图像滤波、阈值分割和形态学处理，其算法和过程的具体实现基于OpenCV。

a特别地，本实施例中，所述畸变矫正过程通过调用OpenCV中的undistort()函数完成。输入步骤1中求出的左右相机内参、各自的畸变向量等参数，对左右相机采集的齿轮图像进行畸变矫正，输出畸变矫正后的图像。

b特别地，本实施例中，用到的图像滤波采用中值滤波结合高斯滤波的方法。具体过程是对图像先进行中值滤波，再进行高斯滤波：中值滤波将像素点附近像素按灰度值进行排序，取其中的中位数作为该像素点的新灰度值，表示为：

P'(x,y)＝Med{P(x±i,y±j)}

其中P'(x,y)和P(x,y)表示图像像素新旧灰度值，Med表示取图像(x,y)周围i×j范围像素点灰度值的中位数。高斯滤波的核系数H(i,j)根据卷积核大小取对应二维高斯分布的值，相关系数计算公式如下所示：

其中，σ_x，σ_y，μ_x，μ_y，ρ为高斯分布相关参数，卷积核大小为(2m+1)(2n+1)，这里卷积核大小选取为5×5。

c特别地，本实施例中，阈值分割采用高斯加权平均的局部自适应阈值算法，该算法通过计算像素点附近区域的高斯系数加权均值作为局部自适应阈值，其中加权均值W(i,j,K,L)为邻域V_ij内的归一化值，从而保证阈值分割后图像平均亮度不变。

d特别地，本实施例中，形态学处理过程包括对图像先腐蚀、后膨胀，再对处理后的图像先膨胀、后腐蚀。图像的膨胀和腐蚀满足以下公式：

P'_dilate(x,y)＝max{p(x±1,y±1)}

p'_erode(x,y)＝min{P(x±1,y±1)}

e本实施例中，通过上述步骤a至步骤d中采用的图像处理算法和过程得到预处理后的齿轮图像；

步骤3、利用目标图像边缘提取算法提取齿轮齿廓，并对提取出来的左右相机齿轮轮廓图像进行立体矫正，上述过程的具体实现基于OpenCV；

a特别地，本实施例中，目标图像边缘提取算法为一种混合策略边缘Canny算子，该算子提取边缘的具体步骤共有四步：

1)求解图像在X、Y、左右对角线四个方向的梯度向量；

2)使用非极大值抑制的方法过滤像素点，初步剔除不符合要求的像素点；

3)使用双阈值法进一步过滤像素点，设定梯度模阈值区间，超出区间上界的点标记为强边缘点，在区间中的点标记为弱边缘点，低于区间下界的点剔除；

4)筛选出强边缘点作为最终边缘，对弱边缘点进行邻域分析，满足邻域存在强边缘点的要求后，才被纳入最终边缘。其中，Canny算子需要的阈值，通过分析梯度模直方图获取，在此过程中，高低阈值比保持为2：1。

b特别地，本实施例中，立体矫正过程的具体步骤为：

1)将步骤1得到的旋转矩阵R分解为左右两个相机的合成旋转矩阵R₁和R₂；

2)将左右相机各旋转一半，使得左右相机的光轴平行。此时左右相机的成像面平行，但是基线与成像平面不平行；

3)通过右相机相对于左相机的偏移矩阵T构造变换矩阵R_rect使得基线与成像平面平行；

4)经计算得到左右两个相机最终的旋转矩阵R₁'和R₂'：R₁'＝R_rect·R₁，R₂'＝R_rect·R₂进而实现立体矫正。

步骤4、对立体矫正后的左右两幅图像进行立体匹配，得到目标齿轮齿廓配准特征点在左右相机下的像素坐标对(u_l,v_l)，(u_r,v_r)。根据平行光轴双目视觉三角测量法，计算出基于左相机坐标系下齿廓表面配准特征点的三维坐标P_camera(x_c,y_c,z_c)；

a特别地，本实施例中，立体匹配方法为基于OpenCV的块匹配算法。主要步骤包括：

1)预过滤，使图像亮度归一化并加强图像纹理；

2)沿着水平极线用SAD窗口进行匹配搜索；

3)再过滤，去除坏的匹配点；

b特别地，本实施例中，左相机坐标系下齿廓表面配准特征点三维坐标计算方法为：

其中，b是两相机坐标系原点的距离即基线距离；(u_l,v_l)和(u_r,v_r)是立体匹配得到的左右相机下像素匹配坐标对；f为相机焦距，f_l＝f_r＝f

步骤5、利用眼在手外的机器人手眼标定方法，得到机器人手眼标定矩阵，即相机坐标系和机器人基坐标系之间的转换矩阵。

a特别地，本实施例中，手眼标定方法主要步骤包括：

1)把标定板固定在机械臂末端；

2)相机固定在机械臂外的某个位置，使用示教器移动机械臂到合适位置，使相机能够完整地拍摄到标定板，然后使用左相机拍摄标定板图片；

3)由该位姿下机械臂示教器返回的相关参数计算机械臂基坐标系到末端坐标系的旋转矩阵

和平移矩阵

4)调用OpenCV中的solvePNP()函数计算该时刻左相机与标定板之间的外参数；

5)重复上述步骤，移动机器人到另一合适位置，依次采集记录20张标定板图片数据；

6)调用OpenCV中的calibrateHandEye()函数，代入求得的相关数据，经计算得到最终的手眼标定矩阵。

步骤6、根据步骤5中得到的手眼标定矩阵，将左相机坐标系下齿廓表面配准特征点的三维坐标转化到机器人基坐标系下即P_base(x_b,y_b,z_b)，进而通过齿廓表面配准特征点校正被加工齿轮的SolidWorks三维模型，得到被加工齿轮在机器人基坐标系下的精确三维模型定位和齿廓加工轨迹。

步骤7、将机器人基坐标下精确三维模型定位和齿廓加工轨迹导入ROS机器人操作系统，借助ROS平台规划出机器人在被加工件表面的自动化倒角加工路径，引导机器人对齿轮齿廓待加工区域进行倒角加工。

步骤8、初次倒角加工后，基于双目视觉系统，在ROS机器人操作系统中使用elas_ros算法包构建双目点云，获得加工后的齿轮齿廓实时稠密点云，并使用ROS中的RVIZ实现点云数据可视化，从而判断齿廓倒角深度和误差，为二次倒角加工做准备。

本发明方法主要创新点是：

1)在机器视觉引导智能化加工领域内公开了一种新型双目立体视觉机器人齿轮倒角加工系统与方法；

2)使用双目立体视觉可以完成对齿轮的非接触式测量，并且双目立体视觉方式获取三维坐标精度较高，配合工业机器人进行齿轮倒角加工，能达到高精度加工的目的；

3)在齿轮齿廓图像立体匹配之前，进行了齿廓图像的预处理和轮廓提取等相关图像处理方法，使图像的立体匹配更加具有针对性，得到的匹配特征点更加精确；

4)实现了从双目相机标定、图像处理，立体矫正与匹配、手眼标定、机器人控制与路径规划、倒角加工智能一体化的功能，自动化程度较高。能够在满足倒角加工精度要求的前提下，达到低投入、高产能的目标；

5)增加了使用双目相机构建实时稠密点云的功能并对点云数据可视化，能够方便地判断倒角深度和误差，为二次倒角加工做准备。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为发明的优选例，并不用来限制本发明，在不脱离本发明新型精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于平行式双目立体视觉的机器人齿轮倒角加工设备，其特征在于，包括机器人、双目相机和磨削头；双目相机包括左相机和右相机，相机布置采用眼在手外的方式并且平行放置，机器人末端装载磨削头；所述机器人末端装载的磨削头为力位混合控制磨削头。

2.一种基于平行式双目立体视觉的机器人齿轮倒角加工方法，其特征在于，包括如下步骤：

步骤1：首先标定双目相机，得到左相机内部参数矩阵M_l及其畸变向量(k_l1,k_l2,p_l1,p_l2,k_l3)，右相机内部参数矩阵M_r及其畸变向量(k_r1,k_r2,p_r1,p_r2,k_r3)，同时得到右相机相对于左相机的外部参数矩阵，包括旋转矩阵R和平移矩阵T；

其具体步骤包括：

S1.1：调整平行式双目相机到合适位置并固定，使其能够完整清晰地拍摄到棋盘格标定板；然后改变棋盘格标定板位姿和角度，使用双目相机对棋盘格标定板进行多次拍照；

S1.2：使用MATLAB中标定工具箱，进行设置后，分别将左右相机拍摄到的图片载入进行标定；

S1.3：对误差较大的图像剔除并重新标定，直到误差满足标定需求；

S1.4：标定结束后得到并读取相关参数，其中左右相机内参和旋转矩阵R需要转置后使用；

步骤2：同步触发双目相机，使用左右相机分别采集齿轮图像，并对采集到的图像进行预处理，包括畸变矫正、图像滤波、阈值分割和形态学处理，其算法和过程的具体实现基于OpenCV；

步骤3：利用目标图像边缘提取算法提取齿轮齿廓，并对提取出来的左右相机齿轮轮廓图像进行立体矫正，其算法和过程的具体实现基于OpenCV；

步骤4：对立体矫正后的左右两幅图像进行立体匹配，得到目标齿轮齿廓配准特征点在左右相机下的像素坐标对(u_l,v_l)，(u_r,v_r)；根据平行光轴双目视觉三角测量法，计算出基于左相机坐标系下齿廓表面配准特征点的三维坐标P_camera(x_c,y_c,z_c)；

步骤5：利用眼在手外的机器人手眼标定方法，得到机器人手眼标定矩阵，即相机坐标系和机器人基坐标系之间的转换矩阵；

步骤6：根据步骤5中得到的手眼标定矩阵，将左相机坐标系下齿廓表面配准特征点的三维坐标转化到机器人基坐标系下即P_base(x_b,y_b,z_b)，进而通过齿廓表面配准特征点校正被加工齿轮的SolidWorks三维模型，得到被加工齿轮在机器人基坐标系下的精确三维模型定位和齿廓加工轨迹；

步骤7：将机器人基坐标下精确三维模型定位和齿廓加工轨迹导入ROS机器人操作系统，借助ROS平台规划出机器人在被加工件表面的自动化倒角加工路径，引导机器人对齿轮齿廓待加工区域进行倒角加工；

步骤8：初次倒角加工后，基于双目视觉系统，在ROS机器人操作系统中使用elas_ros算法包构建双目点云，获得加工后的齿轮齿廓实时稠密点云，并使用ROS中的RVIZ实现点云数据可视化，从而判断齿廓倒角深度和误差，为二次倒角加工做准备。

3.根据权利要求2所述的基于平行式双目立体视觉的机器人齿轮倒角加工方法，其特征在于：所述步骤2中，所述畸变矫正过程通过调用OpenCV中的undistort()函数完成；输入所述步骤1中求出的左右相机内参、各自的畸变向量等参数，对左右相机采集的齿轮图像进行畸变矫正，输出畸变矫正后的图像；

所述图像滤波采用中值滤波结合高斯滤波的方法。具体过程是对图像先进行中值滤波，再进行高斯滤波：中值滤波将像素点附近像素按灰度值进行排序，取其中的中位数作为该像素点的新灰度值，表示为：

P'(x,y)＝Med{P(x±i,y±j)}

其中，P'(x,y)和P(x,y)表示图像像素新旧灰度值，Med表示取图像(x,y)周围i×j范围像素点灰度值的中位数；高斯滤波的核系数H(i,j)根据卷积核大小取对应二维高斯分布的值，相关系数计算公式如下所示：

其中，σ_x，σ_y，μ_x，μ_y，ρ为高斯分布相关参数，卷积核大小为(2m+1)(2n+1)。

4.根据权利要求2所述的基于平行式双目立体视觉的机器人齿轮倒角加工方法，其特征在于：所述阈值分割采用高斯加权平均的局部自适应阈值算法，该算法通过计算像素点附近区域的高斯系数加权均值作为局部自适应阈值，其中加权均值W(i,j,K,L)为邻域V_ij内的归一化值，从而保证阈值分割后图像平均亮度不变。所述形态学处理过程包括对图像先腐蚀、后膨胀，再对处理后的图像先膨胀、后腐蚀；图像的膨胀和腐蚀满足以下公式：

P'_dilate(x,y)＝max{p(x±1,y±1)}

p'_erode(x,y)＝min{P(x±1,y±1)}。

5.根据权利要求2所述的基于平行式双目立体视觉的机器人齿轮倒角加工方法，其特征在于：所述步骤3中，所述目标图像边缘提取算法为一种混合策略边缘Canny算子，该算子提取边缘的具体步骤如下：

S3.1：求解图像在X、Y、左右对角线四个方向的梯度向量；

S3.2：使用非极大值抑制的方法过滤像素点，初步剔除不符合要求的像素点；

S3.3：使用双阈值法进一步过滤像素点，设定梯度模阈值区间，超出区间上界的点标记为强边缘点，在区间中的点标记为弱边缘点，低于区间下界的点剔除；

S3.4：筛选出强边缘点作为最终边缘，对弱边缘点进行邻域分析，满足邻域存在强边缘点的要求后，才被纳入最终边缘；其中，Canny算子需要的阈值，通过分析梯度模直方图获取，在此过程中，高低阈值比保持为2：1。

6.根据权利要求2所述的基于平行式双目立体视觉的机器人齿轮倒角加工方法，其特征在于：所述步骤3中，所述立体矫正过程的具体步骤如下：

S3.a：将步骤1得到的旋转矩阵R分解为左右两个相机的合成旋转矩阵R₁和R₂；

S3.b：将左右相机各旋转一半，使得左右相机的光轴平行；此时左右相机的成像面平行，但是基线与成像平面不平行；

S3.c：通过右相机相对于左相机的偏移矩阵T构造变换矩阵R_rect使得基线与成像平面平行；

S3.d：经计算得到左右两个相机最终的旋转矩阵R₁'和R₂'：R₁'＝R_rect·R₁，R₂'＝R_rect·R₂进而实现立体矫正。

7.根据权利要求2所述的基于平行式双目立体视觉的机器人齿轮倒角加工方法，其特征在于：所述步骤4中，左相机坐标系下齿廓表面配准特征点三维坐标计算方法为：

其中，b是两相机坐标系原点的距离即基线距离；(u_l,v_l)和(u_r,v_r)是立体匹配得到的左右相机下像素匹配坐标对；f为相机焦距，f_l＝f_r＝f。

8.根据权利要求2所述的基于平行式双目立体视觉的机器人齿轮倒角加工方法，其特征在于：所述步骤5中，所述手眼标定方法主要步骤包括：

S5.1：把标定板固定在机械臂末端；

S5.2：相机固定在机械臂外的某个位置，使用示教器移动机械臂到合适位置，使相机能够完整地拍摄到标定板，然后使用左相机拍摄标定板图片；

S5.3：由该位姿下机械臂示教器返回的相关参数计算机械臂基坐标系到末端坐标系的旋转矩阵

和平移矩阵

S5.4：调用OpenCV中的solvePNP()函数计算该时刻左相机与标定板之间的外参数；

S5.5：重复上述步骤，移动机器人到另一合适位置，依次采集记录20张标定板图片数据；

S5.6：调用OpenCV中的calibrateHandEye()函数，代入求得的相关数据，经计算得到最终的手眼标定矩阵。

Images