CN109035200B - 一种基于单双目视觉协同的螺栓定位及位姿检测方法 - Google Patents

Abstract

本发明公开了一种基于单双目视觉协同的螺栓定位及位姿检测方法，首先使用固定位置下的双目视觉系统采集并处理的螺栓图像，获得螺栓图像边缘轮廓，计算几何质心获得特征点在螺栓图像中的位置坐标；在安装双目系统中两个工业摄像机时，把左摄像机安装在可控制移动轨迹的左机械臂上，把右摄像机安装在检修机器人的固定支座的合适高度上。设定初始工作状态为左右摄像机光轴平行且垂直于基线，工作结束后通过该控制系统关闭右相机接口，并且控制左机械臂末端运动到已获取的坐标点上方，此时为成单目视觉系统工作。本发明结合了双目系统利用深度信息定位的功能以及单目系统灵活的3d位姿匹配功能，实现了对障碍环境中待检测螺栓的识别与位姿检测。

Description

一种基于单双目视觉协同的螺栓定位及位姿检测方法

技术领域

本发明涉及图像处理和计算机视觉领域，涉及HALCON软件，具体涉及一个单双目相结合的视觉系统，应用于获取螺栓的位置和位姿信息。

背景技术

高铁列车在高速运行中不可避免地会产生剧烈的震动，为了保证列车的高速运营的平稳性，需要定期对列车底板的连接螺栓进行检修。但在线检测大批螺栓时，人工视觉检测和测量难以保证精度和质量。双目视觉技术为工业机器人自动化定位提供了支持，其使用共极性约束的双目摄像机模型，基于针孔成像原理和三角测距的数学理论，通过立体匹配算法获得景深信息。双目视觉虽然可以完成从二维图像坐标系到三维世界坐标系的转换，但也只能通过给出世界坐标的形式实现对螺栓的定位。王国辉在论文《螺栓拧紧机器人视觉导引关键技术研究》中提出了一种检被动式测量螺栓三维空间信息的方法，根据螺栓的6个角点的世界坐标完成螺栓位姿及其尺寸的确定。使用的位姿确定方法是基于螺栓的特征提取，用两个角点的直线斜率表示螺栓的旋向，用三个角点所在平面的法向量表示螺栓的朝向，螺栓的位置中点表示。但是受采集照片角度的影响，螺栓六边形的投影会变形，此使的位姿分析将不可靠。

为解决以上算法的不足，本文设计的系统需要用到的相关技术有基于Zhang的平面标定法[参见学术论文“ZHANG ZH Y.“A flexible new technique for cameracalibration”IEEE Transactions on Pattern-analysis&Machine-intelligence”和“岳晓峰,祁欢.“基于张正友平面模板法的双目立体视觉系统标定”机械工程师,2014,(2):1-3.”]、理想双目系统的共极性约束、基于canny边缘检测算子的特征轮廓提取[参见学术论文“侯守明,王阳,唐琪博,等.“一种基于偏微分方程和Canny算子的图像分割方法”山西大学学报(自然科学版),2017,(4):676-682.”]、基于NCC的立体匹配、单目视觉下的三维模型匹配。

发明内容

本发明的目的在于规避人工检修造成的安全风险，提出一种基于图像匹配和三维模型配准的视觉系统联合工作模式，用于为螺栓检修工业机器人提供障碍环境中紧固件的位置信息以及三维位姿信息。

本发明的技术思路是：一种基于单双目视觉协同的螺栓定位及位姿检测方法

首先使用固定位置下的双目视觉系统采集并处理的螺栓图像，获得螺栓图像边缘轮廓，计算几何质心获得特征点在螺栓图像中的位置坐标；利用图像中的螺栓的位置坐标结合视差图获取该坐标在左右两幅图中的视差值，而视差图则是基于NCC匹配算法计算得到的；基于获取的视差值，利用三角测量原理获得螺栓的深度信息，基于深度信息确定螺栓的空间坐标。

然后，通过一个控制系统，实现双目视觉系统与单目视觉系统的协同。在安装双目系统中两个工业摄像机时，把左摄像机安装在可控制移动轨迹的左机械臂上，把右摄像机安装在检修机器人的固定支座的合适高度上。设定初始工作状态为左右摄像机光轴平行且垂直于基线，所述的双目视觉系统工作获得的螺栓空间坐标存储在X[]、Y[]、Z[]数组中，工作结束后通过该控制系统关闭右相机接口，并且控制左机械臂末端运动到已获取的坐标点上方，此时为成单目视觉系统工作。

单目视觉系统中的摄像机采集螺栓图像，并且基于三维模型的形状匹配，获得目标螺栓的三维位姿信息。

实现单目视觉系统与双目视觉系统的协同工作获取螺栓在三维空间中的位置与位姿，包括如下步骤：

步骤1、双目视觉系统工作，获得螺栓位置坐标；

步骤1.1、安装两个工业摄像机，一个工业摄像机安装在螺栓检修机器人支座合适的高度上，另一个工业摄像机安装在螺栓检修机器人可移动的机械臂上，并设定初始工作位置，两个工业摄像机的光轴平行且与基线垂直，基线为两个工业摄像机光心的连线。

步骤1.2、标定双目视觉系统中的两个工业摄像机；

步骤a、两个工业摄像机构成双目平行视觉系统，基于双目平行视觉系统的模型，设定世界坐标系与双目视觉系统中的左摄像机的坐标系重合；

步骤b、根据张氏平面标定法中给出的棋盘格标定板，打印棋盘格图片，并用双目视觉系统采集棋盘格图片，在MATLAB提供的Stereo CalibratorAPP中标定左右两个工业摄像机，获得两个工业摄像机各自的内部参数以及右摄像机相对于左摄像机的位移矩阵和旋转矩阵，用于矫正像机镜头对图像产生的畸变问题；

步骤1.3、矫正左右视图；

步骤a、使用构成双目视觉系统的左右两个工业摄像机，同时对待检测的包含螺栓的障碍环境进行拍照采集，获得两张图片，其中左视图是左工业摄像机采集的图片，右视图是右工业摄像机采集的图片，要求左右相机采集图片这一事件同时发生；

步骤b、使用步骤1.2获得的系统的内参矩阵和外参矩阵以及畸变系数，基于对极几何中的共极性约束，矫正上一步左右工业摄像机采集的图像对；

步骤1.4、获取目标点的世界坐标；

步骤a、基于Canny算子对经过步骤1.3中矫正的左视图进行边缘检测以及视图中螺栓特征轮廓的提取，计算该螺栓特征轮廓的几何中心作为螺栓的图像坐标；

步骤b、基于NCC(Normalized Cross Correlation)匹配算法对步骤1.3中经过矫正的图像对，在两视图行对正的基础上计算视差，并获得视差图；

步骤c、使用步骤1.4中的步骤a中获得的图像坐标在步骤1.4中的步骤b中获得的视差图中找到对应点的视差值，基于三角测距原理，计算深度信息，基于深度值，获得螺栓的世界坐标。

步骤2、单目视觉系统工作，获取螺栓在三维空间中的位姿。

步骤2.1、通过步骤1中获取世界坐标流程结束，返回检修机器人的控制系统，输出指令R＝0，关闭步骤1中双目系统的右摄像机接口，构成单目视觉系统；

步骤2.2、螺栓检修机器人的控制系统接收到步骤2.1中右摄像机接口关闭完成的信号后，控制机器人左机械臂移动到步骤1中获取的螺栓的坐标上方；

步骤2.3、左摄像机在静止状态下采集待检测螺栓图像；

步骤2.4、基于三维模型匹配，获取待检测螺栓的空间位姿。

步骤a、基于已绘制的螺栓的三维模型，和已标定的左摄像机创建三维匹配模板；

步骤b、基于三维匹配模板，匹配步骤2.3中采集的图像中的待检测螺栓，计算螺栓相对于三维匹配模板的位姿。

本发明结合了双目系统利用深度信息定位的功能以及单目系统灵活的3d位姿匹配功能，实现了对障碍环境中待检测螺栓的识别与位姿检测。计算视差选择基于灰度的NCC算法，NCC通过归一化处理具有强于其他基于灰度信息匹配算法的抗光照性。边缘检测选择了Canny算子，可以调整高斯滤波器的大小适应不同特征的目标环境，且Canny算子使用两个阈值更为灵活，滞后阈值可用于亚像素边缘的检测，提高精度。目前无法使用双目系统简便高效地完成识别位姿的功能，但单目系统在三维匹配模板的基础上可以计算出目标物体的相对参考坐标轴的旋转角度。

附图说明

图1为本发明的工作流程图；

图2为本发明使用搭建的单双目系统定位螺栓与基于模板经行3d匹配获取相对位姿信息的结果图；

图3为单目视觉系统和双目视觉系统模式切换流程图。

具体实施方式

以下结合附图和具体实施例，对本系统工作流程进行详细说明。

参照图1，本系统工作流程步骤如下：

步骤1，在HALCON平台中标定双目系统的摄像机参数，步骤如下：

步骤1.1，假设世界坐标系与左摄像机的相机坐标系重合。

步骤1.2，建立从世界坐标系到像素坐标变换的关系：

设像素坐标系的原点为图像的左上顶点，水平轴(u轴)与垂直轴(v轴)分别与图像坐标系中的X轴和Y轴平行,并且方向相同。假设像素坐标系中的图像坐标系的原点的坐标是(u₀,v₀)；像素上一点坐标(u,v)经过公式转换到世界坐标(X,Y,Z)。其中，

和

分别是单位像素对应的长度，f是摄像机的焦距，R是右摄像机相对于左摄像机的旋转矩阵，T是右摄像机相对于左摄像机的平移矩阵。

步骤1.3，在HALCON中同时打开左右相机的图像采集接口，拍摄25组标定板图片；

步骤1.4，使用binocular_calibration计算并存储标定的系统内外参数。

步骤2.在HALCON平台中使用gen_binocular_rectification和map_image矫正两幅待匹配的灰度图像，步骤如下：

步骤2.1，构造左右相机共同的理想内参矩阵A完成从像素坐标系到图像坐标系的转换，其中f_x1和f_y1是左摄像机的焦距，c_x1和c_y1是左摄像机相对于成像平面的主点坐标；f_x2和f_y2是右摄像机的焦距，c_x2和c_y2是右摄像机相对于成像平面的主点坐标：

步骤2.2，根据旋转矩阵R_rect获得新的图像坐标系，分别对左右相机去畸变：

其中T是右摄像机相对于左摄像机的平移矩阵，T_x、T_y、T_z是其在三个方向的分量；

步骤2.3，去畸变后的图像坐标向像素坐标转化，通过双线性内插法获得矫正后的图像，在软件中校正的映射矩阵存储在映射图中。

步骤3，基于NCC(Normalized Cross Correlation)计算视差图，步骤如下：

步骤3.1，在HALCON中设置binocular_disparity算子第一个Filter参数为‘NCC’；设置窗口大小为5*5，根据窗口大小使用积分图计算NCC；

步骤3.2，NCC取值范围是[-1,1]，设置合适的阈值；

步骤3.3，获得匹配区域，计算视差；

步骤3.4，进行左右一致性检测，对匹配结果求精。

步骤4，基于Canny算子进行边缘检测和轮廓提取，在HALCON中步骤如下：

步骤4.1，使用高斯滤波器，平滑图像，滤除噪声；

步骤4.2，计算图像中每个像素点的梯度强度和方向；

步骤4.3，非极大值(Non-Maximum Suppression)抑制，消除边缘检测带来的杂散响应；

步骤4.4，应用双阈值(Double-Threshold)检测来确定真实的和潜在的边缘；

步骤4.5，通过抑制孤立的弱边缘最终完成边缘检测。

步骤5，筛选特征轮廓，对目标螺栓标号，存储其坐标。通过HALCON提供的disparity_to_point_3d算子的参数设置(需要输入的控制参数有矫正后相机的参数，目标的像素坐标，目标点的视差)，基于三角测距原理可以获得目标点世界坐标(X,Y,Z)。

步骤6，在SolidWorks中创建螺母的三维模型，输出为HALCON可读的文件格式。

步骤7，根据图3所示的流程，判断采集图片中的螺栓是否完全定位，选择是否关闭右相机的接口。定位工作完成后，进入单目视觉系统工作模式，使用1中已标定的左相机，调用create_3d_shape_model读取模型，规定参考坐标系。

步骤8，移动单目系统相机到目标螺栓上方h处采集图片，其中h是一个可调整的参数，通过调整h使匹配数目为1，使用find_3d_shape_model完成3d匹配，计算目标螺栓相对于参考坐标系的仿射变换，得到目标螺栓的位姿信息。

对于步骤8中的三维位姿匹配，需要考虑匹配耗时问题，因此需要选择合适的参数用于create_3d_shape_model和find_3d_shape_model。图2中给出了不同参数设置下，不同光照条件下的匹配结果，通过调整参数到合适的值，可以很大的缩短匹配时间，有利于提高识别效率。

图3为单目视觉系统和双目视觉系统模式切换流程图。

Claims (1)

1.一种基于单双目视觉协同的螺栓定位及位姿检测方法，其特征在于：该方法包括如下步骤：

步骤1、双目视觉系统工作，获得螺栓位置坐标；

步骤1.1、安装两个工业摄像机，一个工业摄像机安装在螺栓检修机器人支座合适的高度上，另一个工业摄像机安装在螺栓检修机器人可移动的机械臂上，并设定初始工作位置，两个工业摄像机的光轴平行且与基线垂直，基线为两个工业摄像机光心的连线；

步骤1.2、标定双目视觉系统中的两个工业摄像机；

步骤a、两个工业摄像机构成双目平行视觉系统，基于双目平行视觉系统的模型，设定世界坐标系与双目视觉系统中的左摄像机的坐标系重合；

步骤b、根据张氏平面标定法中给出的棋盘格标定板，打印棋盘格图片，并用双目视觉系统采集棋盘格图片，在MATLAB提供的Stereo Calibrator APP中标定左右两个工业摄像机，获得两个工业摄像机各自的内部参数以及右摄像机相对于左摄像机的位移矩阵和旋转矩阵，用于矫正像机镜头对图像产生的畸变问题；

步骤1.3、矫正左右视图；

步骤a、使用构成双目视觉系统的左右两个工业摄像机，同时对待检测的包含螺栓的障碍环境进行拍照采集，获得两张图片，其中左视图是左工业摄像机采集的图片，右视图是右工业摄像机采集的图片，要求左右相机采集图片这一事件同时发生；

步骤b、使用步骤1.2获得的系统的内参矩阵和外参矩阵以及畸变系数，基于对极几何中的共极性约束，矫正上一步左右工业摄像机采集的图像对；

步骤1.4、获取目标点的世界坐标；

步骤a、基于Canny算子对经过步骤1.3中矫正的左视图进行边缘检测以及视图中螺栓特征轮廓进行提取，计算该螺栓特征轮廓的几何中心作为螺栓的图像坐标；

步骤b、基于NCC匹配算法对步骤1.3中经过矫正的图像对，在两视图行对正的基础上计算视差，并获得视差图；

步骤c、使用步骤1.4中的步骤a中获得的图像坐标在步骤1.4中的步骤b中获得的视差图中找到对应点的视差值，基于三角测距原理，计算深度信息，基于深度值，获得螺栓的世界坐标；

步骤2、单目视觉系统工作，获取螺栓在三维空间中的位姿；

步骤2.1、步骤1中获取世界坐标流程结束，返回检修机器人的控制系统，输出指令R=0，关闭步骤1中双目系统的右摄像机接口，构成单目视觉系统；

步骤2.2、螺栓检修机器人的控制系统接收到步骤2.1中右摄像机接口关闭完成的信号后，控制机器人左机械臂移动到步骤1中获取的螺栓的坐标上方；

步骤2.3、左摄像机在静止状态下采集待检测螺栓图像；

步骤2.4、基于三维模型匹配，获取待检测螺栓的空间位姿；

步骤a、基于已绘制的螺栓的三维模型，和已标定的左摄像机创建三维匹配模板；

步骤b、基于三维匹配模板，匹配步骤2.3中采集的图像中的待检测螺栓，计算螺栓相对于三维匹配模板的位姿。

Images