CN109454638A - 一种基于视觉引导的机器人抓取系统 - Google Patents

Abstract

本发明公开了一种基于视觉引导的机器人抓取系统，包括：CCD相机、镜头、光源、工控机、工控机器人；所述CCD相机采用工业相机，使用千兆以太网与计算机通讯，CCD相机安装在传送带正上方。所述镜头采用定焦镜头。所述光源LED环形光源。所述用于接收CCD相机采集的图像信息并运用图像处理算法完成工件识别后转化成机器人控制信号以控制机器人末端执行器的实际位置。所述工控机器人采用6个旋转关节，由交流伺服电机驱动，用于生产线上抓取作业。本发明具有较高的定位精度，满足工业生产的要求，对于提高生产线的自动化水平具有重要意义。

Description

一种基于视觉引导的机器人抓取系统

技术领域

本发明涉及一种基于视觉引导的机器人抓取系统，属于智能化装配技术领域。

背景技术

目前，工件识别与抓取是生产线上工业机器人的一项重要应用，但是生产线上多数的工业机器人是通过预先示教或者离线编程的方式来控制机器人执行预定的指令动作，一旦工作环境或目标对象发生变化，机器人不能及时适应这些变化，从而导致抓取失败，因此，这种工作方式在很大程度上限制了工业机器人的灵活性和工作效率。

机器视觉技术具有快速和非接触的特点，将机器视觉技术引入工业机器人领域，通过视觉引导机器人进行抓取搬运等任务作业，对于提高生产线的自动化水平，拓宽机器人的应用范围都有十分重要的意义。

发明内容

目的：为了克服现有技术中存在的不足，本发明提出了一种基于视觉引导的机器人抓取系统。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种基于视觉引导的机器人抓取系统，包括：CCD相机、镜头、光源、工控机、工控机器人。

作为优选方案，所述CCD相机采用工业相机，使用千兆以太网与计算机通讯，CCD相机安装在传送带正上方。

作为优选方案，所述镜头采用定焦镜头，焦距8mm，最大成像尺寸8.8mm×6.6mm。

作为优选方案，所述光源LED 环形光源。

作为优选方案，所述用于接收CCD相机采集的图像信息并运用图像处理算法完成工件识别后转化成机器人控制信号以控制机器人末端执行器的实际位置。

作为优选方案，所述工控机器人采用6 个旋转关节，由交流伺服电机驱动，末端重复定位精度0.01mm，用于生产线上抓取作业。

作为优选方案，所述工控机包括：抓取模块、模板匹配模块、运动目标跟踪模块；

所述抓取模块操作步骤如下：

步骤1.1：CCD摄像机定标，包括在摄像机的光轴中心建立坐标系，Z轴沿光轴方向，X轴取图像坐标沿图像坐标水平增加的方向，Z轴=f，f是摄像机的焦距；

步骤1.2：手眼坐标标定，包括工控机器人手眼坐标通过平面标靶标定法标定出坐标参数；

所述模板匹配模块操作步骤如下：

步骤2.1：将原始图像进行图像平滑、滤波等图像预处理，去除噪声的同时使工件的特征更加明显；

步骤2.2：在原始图像中选取目标工件的全部或局部图像作为模板图像TargetTemplate，建立模板学习模式时选择允许模板旋转的模式，然后在原始图像中定义一个搜索区域ROI（Region of interest），以 TargetTemplate为模板，通过灰度相关匹配，在搜索区域内找到模板的一个或多个实例，并给出它们的图像坐标和世界坐标信息；

所述运动目标跟踪模块操作步骤如下：

步骤3.1：卡尔曼滤波，包括通过相机标定和模板匹配得出了拍照时刻工件在传送带上的位置， 通过卡尔曼滤波器获知上一时刻状态的估计值以及当前状态的观测值，计算出当前状态的估计值，确定工件的运动状态。

步骤3.2：运动模型的建立，包括：设置工件的运动状态参数为某一时刻目标的位置和速度，在跟踪过程中，由于相邻两帧图像时间间隔较短， 工件运动状态变化比较小，可以假设目标在单位时间间隔内匀速运动，用卡尔曼滤波器估计出工件一定时间之后的位置，并据此规划工控机器人的运动轨迹和速度，将生成的控制指令通过控制柜控制机器人完成此次抓取动作。

有益效果：本发明提供的一种基于视觉引导的机器人抓取系统，本系统具有较高的定位精度，满足工业生产的要求，对于提高生产线的自动化水平具有重要意义。

附图说明

图1为本发明系统的应用环境示意图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示，一种基于视觉引导的机器人抓取系统，包括：CCD相机、镜头、光源、工控机、工控机器人；

所述CCD相机采用工业相机，使用千兆以太网与计算机通讯，CCD相机安装在传送带正上方。

所述镜头采用定焦镜头，焦距8mm，最大成像尺寸8.8mm×6.6mm。

所述光源LED 环形光源。

所述用于接收CCD相机采集的图像信息并运用图像处理算法完成工件识别后转化成机器人控制信号以控制机器人末端执行器的实际位置。

所述工控机器人采用6 个旋转关节，由交流伺服电机驱动，末端重复定位精度0.01mm，用于生产线上抓取作业。

所述工控机包括：抓取模块、模板匹配模块、运动目标跟踪模块。

所述抓取模块操作步骤如下：

步骤1.1：CCD摄像机定标，包括在摄像机的光轴中心建立坐标系，Z轴沿光轴方向，X轴取图像坐标沿图像坐标水平增加的方向，Z轴=f，f是摄像机的焦距；

步骤1.2：手眼坐标标定，包括工控机器人手眼坐标通过平面标靶标定法标定出坐标参数。

所述模板匹配模块操作步骤如下：

步骤2.1：将原始图像进行图像平滑、滤波等图像预处理，去除噪声的同时使工件的特征更加明显；

步骤2.2：在原始图像中选取目标工件的全部或局部图像作为模板图像TargetTemplate，建立模板学习模式时选择允许模板旋转的模式，然后在原始图像中定义一个搜索区域ROI（Region of interest），以 TargetTemplate为模板，通过灰度相关匹配，在搜索区域内找到模板的一个或多个实例，并给出它们的图像坐标和世界坐标信息。

所述运动目标跟踪模块操作步骤如下：

步骤3.1：卡尔曼滤波，包括通过相机标定和模板匹配得出了拍照时刻工件在传送带上的位置， 通过卡尔曼滤波器获知上一时刻状态的估计值以及当前状态的观测值，计算出当前状态的估计值，确定工件的运动状态。

步骤3.2：运动模型的建立，包括：设置工件的运动状态参数为某一时刻目标的位置和速度，在跟踪过程中，由于相邻两帧图像时间间隔较短， 工件运动状态变化比较小，可以假设目标在单位时间间隔内匀速运动，用卡尔曼滤波器估计出工件一定时间之后的位置，并据此规划工控机器人的运动轨迹和速度，将生成的控制指令通过控制柜控制机器人完成此次抓取动作。

实施例：

在本系统使用中，CCD摄像机固定安装在传送带上方，传送带连续运转，工件从传送带一端进入摄像机视野，设置定时器，每0.5s触发相机采集一帧图像，图像大小为640×480，通过模版匹配方法确定工件的形心位置，通过两帧图像工件在运动方向的位移与拍摄这两帧图像的时间间隔可以计算出工件运动的速度，通过卡尔曼滤波预测下一时钟周期工件的位置，并规划机器人的运动轨迹，使工件运动到待抓取工位时机器人末端执行器的位姿与目标位姿重合，最后通过机器人运动学逆解，将位姿信息换算成工业机器人熟悉的关节角度和角度控制信息，从而实现利用视觉引导机器人准确地抓取工件。同时根据已抓取工件的放置要求，进一步引导机器人完成工件的定点放置，从而实现机器人搬运操作。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于视觉引导的机器人抓取系统，其特征在于：包括：CCD相机、镜头、光源、工控机、工控机器人。

2.根据权利要求1所述的一种基于视觉引导的机器人抓取系统，其特征在于：所述CCD相机采用工业相机，使用千兆以太网与计算机通讯，CCD相机安装在传送带正上方。

3.根据权利要求1所述的一种基于视觉引导的机器人抓取系统，其特征在于：所述镜头采用定焦镜头，焦距8mm，最大成像尺寸8.8mm×6.6mm。

4.根据权利要求1所述的一种基于视觉引导的机器人抓取系统，其特征在于：所述光源LED 环形光源。

5.根据权利要求1所述的一种基于视觉引导的机器人抓取系统，其特征在于：所述用于接收CCD相机采集的图像信息并运用图像处理算法完成工件识别后转化成机器人控制信号以控制机器人末端执行器的实际位置。

6.根据权利要求1所述的一种基于视觉引导的机器人抓取系统，其特征在于：所述工控机器人采用6 个旋转关节，由交流伺服电机驱动，末端重复定位精度0.01mm，用于生产线上抓取作业。

7.根据权利要求1至6任一项所述的一种基于视觉引导的机器人抓取系统，其特征在于：所述工控机包括：抓取模块、模板匹配模块、运动目标跟踪模块；

所述抓取模块操作步骤如下：

步骤1.1：CCD摄像机定标，包括在摄像机的光轴中心建立坐标系，Z轴沿光轴方向，X轴取图像坐标沿图像坐标水平增加的方向，Z轴=f，f是摄像机的焦距；

步骤1.2：手眼坐标标定，包括工控机器人手眼坐标通过平面标靶标定法标定出坐标参数；

所述模板匹配模块操作步骤如下：

步骤2.1：将原始图像进行图像平滑、滤波等图像预处理，去除噪声的同时使工件的特征更加明显；

步骤2.2：在原始图像中选取目标工件的全部或局部图像作为模板图像TargetTemplate，建立模板学习模式时选择允许模板旋转的模式，然后在原始图像中定义一个搜索区域ROI（Region of interest），以 TargetTemplate为模板，通过灰度相关匹配，在搜索区域内找到模板的一个或多个实例，并给出它们的图像坐标和世界坐标信息；

所述运动目标跟踪模块操作步骤如下：

步骤3.1：卡尔曼滤波，包括通过相机标定和模板匹配得出了拍照时刻工件在传送带上的位置， 通过卡尔曼滤波器获知上一时刻状态的估计值以及当前状态的观测值，计算出当前状态的估计值，确定工件的运动状态；

步骤3.2：运动模型的建立，包括：设置工件的运动状态参数为某一时刻目标的位置和速度，在跟踪过程中，由于相邻两帧图像时间间隔较短， 工件运动状态变化比较小，可以假设目标在单位时间间隔内匀速运动，用卡尔曼滤波器估计出工件一定时间之后的位置，并据此规划工控机器人的运动轨迹和速度，将生成的控制指令通过控制柜控制机器人完成此次抓取动作。