CN105759720B

CN105759720B - 基于计算机视觉的机械手跟踪定位在线识别与纠偏方法

Info

Publication number: CN105759720B
Application number: CN201610278919.6A
Authority: CN
Inventors: 彭辉; 聂仕媛; 梁萍; 黄伟山; 武明源; 杨晗
Original assignee: Central South University
Current assignee: Central South University
Priority date: 2016-04-29
Filing date: 2016-04-29
Publication date: 2018-06-29
Anticipated expiration: 2036-04-29
Also published as: CN105759720A

Abstract

本发明公开了一种基于计算机视觉的机械手跟踪定位在线识别与纠偏方法，采用计算机视觉技术获取机械手与所跟踪目标的同步运动状态图片，进行数字图像分析与处理，得出机械手与所跟踪目标的几何中心位置的相对偏差，机械手伺服控制系统根据该偏差值对机械手现有轨迹进行调整，从而完成机械手对跟踪运动目标的精确定位。本发明可实现对周期性变速运动机械手与所要跟踪定位的具有规则几何形状的运动目标之间的相对位置偏差的在线自动检测及校准；可以有效消除因机械手抖动等干扰因素引起的随机误差；有利于提高机械包装生产领域的自动化水平，保证生产质量，增大经济效益。

Description

基于计算机视觉的机械手跟踪定位在线识别与纠偏方法

技术领域

本发明涉及一种生产包装机械自动化领域，特别是一种基于计算机视觉的机械手跟踪定位在线识别与纠偏方法。

背景技术

在一类伺服多轴同步运动的机械包装生产系统中，应用一种多自由度的机械手，机械手的运动轨迹由多个伺服电机控制，而控制机械手的电机则是作为与主轴同步的虚轴。在主轴的带动下，虚轴完成既定的运动轨迹，使机械手可以完成跟踪由主轴驱动的传送带上所运输的具有规则几何形状的运动目标的任务。如附图1所示，在系统运动过程中，主轴的运动速度是可变的，位于传送带上的相邻运动目标之间的间距是不相等的，机械手往复运动周期跟随主轴运动速度的改变而改变，在每个运动周期内，机械手都可以实现对主轴传送带上的具有规则几何形状的运动目标的定位，从而确保安装在机械手支架上的取物夹准确抓取运动目标并运送到指定存放区域。

然而，随着长时间的生产运行，传送带的松紧和齿轮的齿隙等会发生变化，导致机械手与主轴传送带之间的同步会出现偏差，造成机械手与所跟踪运动目标的几何中心的相对位置发生变化，因而使得安装在机械手上的取物夹不能准确抓取运动目标。在2010年7月7日公开的专利号为“200810189493.2”的“自动纠偏包装机器人”中提供了一种自动化程度高，纠偏准确且体积小的自动纠偏包装机器人，但此专利是针对文件夹，台历，证书等轻简包装对象，对于一些需跟随生产线运动的大型规则包装物体则无具体实施例。此外，针对这类伺服多轴同步运动系统，在现有的机械手跟踪控制技术中，大多靠人工干预，手动对机械手的轨迹偏移进行调整，这使得生产线不智能、及时性差、操作麻烦、降低了生产效率。

目前，随着高科技的快速发展，人类已经进入到一个信息化时代，计算机将越来越广泛地进入到几乎所有领域，而如何赋予计算机一种像人类一样智慧的能力已经成了当下热门话题。计算机视觉就是这样一个系统，它集合了图像处理与模式识别等众多应用领域的技术，使计算机能够像人脑一样，获取外界的事物信息，并在进行了一系列分析与处理以后，可以对外界事物做出相应的反应。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于计算机视觉的机械手跟踪定位在线识别与纠偏方法。

为解决上述技术问题，本发明所采用的技术方案是：一种基于计算机视觉的机械手跟踪定位在线识别与纠偏方法，包括以下步骤：

1)建立计算机视觉处理中的图像采集硬件系统；

2)利用所述图像采集硬件系统采集图片，对采集到的图片进行分析处理，得出机械手与所跟踪运动目标的几何中心的相对位置偏差，机械手伺服控制系统实时获取到该偏差值，并根据该偏差值对机械手既定轨迹进行补偿，机械手在运行过程中会因抖动而引起随机误差，因此，机械手伺服控制系统需要获取过去拍摄到的10—20次图片所得到的偏差值，并对偏差值进行滤波后取平均处理以消除该随机误差，从而完成机械手在水平方向上的位移在线检测与自动纠偏。

步骤1)中，所述图像采集硬件系统建立过程包括以下步骤：

1)将机械手附着在一个新增的可自由旋转的底座上，以增加机械手的自由度，使原来仅可以在平面运动的机械手变为在空间范围内可运动，且底座由一个独立伺服电机控制；

2)将摄像头安装在机械手支架上，位于取物夹的正后方，并把光源安装在摄像头正对面，为光源及摄像头提供电源，设置好摄像头的IP地址，使工控机与摄像头处于同一局域网内，摄像机拍照以后，通过以太网将图片信息传送给工控机；

3)设置摄像头的参数：图像宽度500、图像高度350、摄像头快门110、图像宽度偏移160、图像高度偏移280，并将摄像头设置为单通道模式，使得所拍摄的图片为黑白图像，同时将摄像头的触发拍照模式设置为软件触发，由摄像头内部程序自行判断，根据图像采集处理信号来进行触发以拍照。

步骤2)中，对采集到的图片进行分析处理的方法包括以下步骤：

1)从已分配好的缓冲内存中取出当前所保存的黑白图片信息，对黑白图片进行去噪处理，并设定合理的阈值，所述阈值范围为[0,255]，对黑白图片进行边缘检测，最终得到一个轮廓清晰的边缘检测图；

2)在边缘检测图的基础上，进行图像分割，将图片分割成两个子图片，其中一个图片为取物夹边缘检测图，另外一个图片为运动目标边缘检测图；

3)对取物夹边缘检测图进行特征提取，取出取物夹中心手柄的图像感兴趣区域，建立图片的二维像素坐标系(X，Y)，利用扫描法和区域面积法，从图片的最左端开始，依次往右搜索X轴方向上的像素区域信息，根据所述阈值，找到取物夹中心手柄的左边缘，再从图片的最右端开始，依次往左搜索X轴方向上的像素区域信息，根据所述阈值，找到取物夹中心手柄的右边缘，根据取物夹中心手柄的规则形状，计算出手柄中心位置，即为取物夹的中心位置，将该取物夹的中心位置作为机械手的标定位置；对运动目标边缘检测图进行分析，建立对应的二维像素点坐标系，利用扫描法和区域面积法，从图片的最左端开始，依次往右搜索X轴上的像素点信息，根据所述阈值，确定运动目标的左边缘，再从图片的最右端开始，依次往左搜索X轴上的像素点信息，根据所述阈值，确定运动目标的右边缘，根据长方形中心计算公式，确定运动目标的中心位置；

4)根据步骤3)，得出取物夹的中心位置与运动目标的中心位置以后，计算出两者之间的偏差，机械手伺服控制系统根据该偏差值对机械手轨迹进行在线自动调整；

5)针对取物夹边缘检测图，采用循环扫描方式累计像素点个数，若像素点个数小于N1，则表明光源亮度不够，光照范围过小，进行报警提示；针对运动目标边缘检测图，采用循环扫描方式累计像素点个数，若像素点个数小于N2，则表明主轴传送带上没有任何需要跟踪的运动目标，进行报警提示，且不对机械手的运动轨迹作任何调整。

对随机误差的处理办法为：获取过去10—20次图片中按前述方法获得的机械手与所跟踪的运动目标的相对位置偏差值，利用开发的算法，对这一段时间内的偏差值进行排序比较，剔除波动明显较大的偏差值，再对剩余的偏差值进行取平均处理，将该平均值作为本次测量的有效偏差，控制器根据该有效偏差调整机械手的轨迹，完成机械手在水平方向上对运动目标的定位纠偏。

本发明利用Canny算法对黑白图片进行边缘检测，选定算法中小阈值为60，用于控制边缘连接，选定算法中大阈值为125，用于控制强边缘的初始分割。

N1＝30，N2＝50，N1＝30，用于光源报警判断，N2＝50用于有无运动目标报警判断。

与现有技术相比，本发明所具有的有益效果为：本发明实现对周期性变速运动机械手与所要跟踪定位的具有规则几何形状的运动目标且相邻运动目标之间不等间距的相对位置偏差的在线自动测量：通过计算机视觉系统中的图像采集模块，代替人眼，可以实时获取到机械手与所跟踪定位目标的运动状态图片并利用开发的算法进行分析处理，得出两者之间的相对位置偏差。此方法简单可靠，测量精度高；机械手伺服控制系统中的偏差校正模块根据实时获取到的测量偏差值，对机械手水平方向上的现有轨迹进行补偿与调整；本发明可以消除由于系统在变速运行过程中，因机械手本身的抖动等其他因素而引起的随机误差：利用开发的算法，对过去拍摄到的10—20次图片所得到的偏差值进行排序比较，剔除波动明显较大的偏差值，再对剩余的偏差值进行取平均处理，将该平均值作为本次测量的有效偏差，传送给机械手伺服控制系统，完成机械手水平方向上的轨迹纠偏。

附图说明

图1为包装生产线系统结构主视图；

图2为生产线图像采集系统结构侧视图；

图3为抓取运动目标示意图；

图4为取物夹边缘检测图；

图5为运动目标边缘检测图。

其中：1—机械手，2—传送带，3—底座，4—生产线平台，5—运动目标，6—摄像头，7—支架，8—取物夹，9—光源，10—摄像头支架，11—取物夹中心手柄左边缘位置标定线，12—取物夹中心手柄右边缘位置标定线，13—取物夹中心位置标定线，14—目标左边缘位置标定线，15—目标右边缘位置标定线，16—目标中心位置标定线。

具体实施方式

参见附图1，本结构在原有的伺服多轴同步运动系统结构上进行改进与完善，将机械手附着在一个新增的可自由旋转的底座上，增加了机械手的自由度，使原来仅可以在平面运动的机械手变为在空间范围内可运动。传送带2由主轴驱动，负责运送机械手1所要跟踪定位的运动目标5，且相邻运动目标之间不等间距分布，机械手1具有多自由度，水平方向与竖直方向上分别由独立伺服电机进行控制，且机械手1的底座3也由一个独立伺服电机控制以实现自由旋转，使机械手1可以到达空间指定范围位置，控制机械手1的伺服电机均作为与主轴同步的虚轴。系统在运行过程中，由虚轴驱动的机械手1会随着受主轴驱动的传送带2一起做同步运动，但随着生产线的长时间运行，传送带2的松紧和齿轮的齿隙等会发生变化，导致机械手1与所跟踪定位的运动目标5之间出现相对位置偏差。将摄像头6安装在机械手1的支架上，使其位于取物夹8的正后方，对系统实时运动状态进行图片采集。

参见附图2，计算机视觉系统中的图像采集模块具体安装方法为：将摄像头6固定在摄像头支架10上并稳固安装在机械手1的支架上，使其位于取物夹8的正后方，并把光源9安装在摄像头6的正对面，给光源9及摄像头6提供24V电源，并接通摄像头6的网线，设置好摄像头的IP地址，确保摄像头6与工控机可以正常通讯。利用摄像头监测软件对摄像头6的主要参数进行设置：图像宽度500，图像高度350，摄像头快门110，图像宽度偏移160，图像高度偏移280。将摄像头设置为单通道模式，使得拍摄图片为黑白图像，并将摄像头拍照模式设置为软件触发，根据每次图片处理结果信息触发摄像头，进行拍照，其中所拍摄的一次效果图如附图3所示。

将摄像头6抓取到的图片(附图3)进行边缘检测，最后得出机械手6与所跟踪定位的运动目标5几何中心之间的相对位置偏差，具体方法为：

(1)从已分配好的缓冲内存中取出当前所保存的黑白图片信息，利用开源计算机视觉库(opencv)中已有的中值滤波算法，对图片进行去噪处理，并设定合理的阈值，阈值可取范围为[0,255]，利用opencv库中的Canny算法，选定算法中小阈值为60，用于控制边缘连接，选定算法中大阈值为125，用于控制强边缘的初始分割，对其进行边缘检测。最终得到一个边界干净，运动目标及取物夹轮廓清晰完整的边缘检测图。

(2)在边缘检测图的基础上，根据取物夹与运动目标在图片中所处的位置，利用opencv库中的分割函数，对图像进行几何分割，将原图片分割成两个子图片，其中一个图片为取物夹边缘检测图，如附图4所示；另外一个图片则为运动目标边缘检测图，如附图5所示。

(3)对取物夹边缘检测图进行分析，对其进行图像特征提取，根据取物夹中心手柄在图片中所处的位置，利用opencv库中的函数，取出取物夹中心手柄的图像感兴趣区域，它是仅包含取物夹中心手柄的图像区域，建立图片的二维像素坐标系(X,Y)，利用扫描法和区域面积法，从图片的最左端开始，依次往右搜索X轴方向上的像素区域信息，根据算法中所设定的合理阈值，找到取物夹中心手柄的左边缘，再从图片的最右端开始，依次往左搜索X轴方向上的像素区域信息，根据算法中所设定的合理阈值，找到取物夹中心手柄的右边缘，根据取物夹中心手柄的规则形状，计算出手柄中心位置，即为取物夹的中心位置，将该取物夹的中心位置作为机械手的标定位置。系统在运行过程中，会出现取物夹缺失或放置歪斜的异常情况，对该类情况，可以通过图像辨识并发出报警信号。参见附图4，以像素点为单位，通过上述方法得到取物夹中心手柄左边缘位置x₁为170，以取物夹中心手柄左边缘位置标定线11表示；取物夹中心手柄右边缘位置y₁位216，以取物夹中心手柄右边缘位置标定线12表示；则取物夹中心位置o₁为193，以取物夹中心位置标定线13表示，其中，取物夹中心位置计算公式为：

(4)对运动目标边缘检测图进行分析，建立对应的二维像素点坐标系，利用扫描法和区域面积法，从图片的最左端开始，依次往右搜索X轴上的像素点信息，根据算法中所设定的合理阈值，确定运动目标的左边缘，再从图片的最右端开始，依次往左搜索X轴上的像素点信息，根据算法中所设定的合理阈值，确定运动目标的右边缘，根据长方形中心计算公式，确定运动目标的中心位置。在该过程中，无需考虑运动目标的竖直方向上的几何中心。参见附图5，以像素点为单位，通过上述方法分别得到运动目标5的左边缘x₂为80，右边缘y₂为256，并分别以目标左边缘位置标定线14及目标右边缘位置标定线15表示，最后得到运动目标5的几何中心o₂为168，以目标中心位置标定线16表示。运动目标的几何中心计算公式为：

(5)根据步骤3)与步骤4)，得出取物夹8的中心位置13与运动目标5的中心位置16以后，就可以计算出两者之间的偏差，该偏差值通过DP通讯传送给机械手伺服控制器，控制器获取到有效偏差值以后，将该有效偏差值叠加到机械手当前原有的轨迹偏移量上，得到一个新的机械手轨迹偏移量，伺服驱动根据该值便可实现对机械手的轨迹在线自动调整。机械手1与所跟踪目标5的相对位置偏差计算公式为：

偏差d＝o₁-o₂

最后，得到机械手1与所跟踪运动目标5的几何中心的相对位置偏差为25。根据伺服多轴同步运动系统中的单位转换关系，最后得到偏差值为2.88毫米。

机械手1伺服控制系统处理误差的特殊办法为：对过去15次照片所得到的偏差值进行排序比较，剔除波动明显较大的偏差值，再对剩余的偏差值进行取平均处理，将该平均值作为本次测量的有效偏差，传送给机械手伺服控制系统，完成机械手在水平方向上的跟踪误差的纠偏。此方法可消除由机械手抖动所引起的随机误差。

Claims

1.一种基于计算机视觉的机械手跟踪定位在线识别与纠偏方法，其特征在于，包括以下步骤：

1)建立计算机视觉处理中的图像采集硬件系统；

2)利用所述图像采集硬件系统采集图片，对采集到的图片进行分析处理，得出机械手与所跟踪运动目标的几何中心的相对位置偏差，机械手伺服控制系统实时获取到该偏差值，并根据该偏差值对机械手既定轨迹进行补偿，机械手伺服控制系统获取过去抓取到的10—20次图片所处理得到的偏差值，并对偏差值进行滤波后取平均处理以消除机械手在运行过程中因抖动而引起的随机误差，从而完成机械手在水平方向上的位移在线检测与自动纠偏；对采集到的图片进行分析处理的方法包括以下步骤：

a)从已分配好的缓冲内存中取出当前所保存的黑白图片信息，对黑白图片进行去噪处理，并设定合理的阈值，所述阈值范围为[0,255]，对黑白图片进行边缘检测，最终得到一个轮廓清晰的边缘检测图；

b)在边缘检测图的基础上，进行图像分割，将图片分割成两个子图片，其中一个图片为取物夹边缘检测图，另外一个图片为运动目标边缘检测图；

c)对取物夹边缘检测图进行特征提取，取出取物夹中心手柄的图像感兴趣区域，建立图片的二维像素坐标系(X，Y)，利用扫描法和区域面积法，从图片的最左端开始，依次往右搜索X轴方向上的像素区域信息，根据所述阈值，找到取物夹中心手柄的左边缘，再从图片的最右端开始，依次往左搜索X轴方向上的像素区域信息，根据所述阈值，找到取物夹中心手柄的右边缘，根据取物夹中心手柄的规则形状，计算出手柄中心位置，即为取物夹的中心位置，将该取物夹的中心位置作为机械手的标定位置；对运动目标边缘检测图进行分析，建立对应的二维像素点坐标系，利用扫描法和区域面积法，从图片的最左端开始，依次往右搜索X轴上的像素点信息，根据所述阈值，确定运动目标的左边缘，再从图片的最右端开始，依次往左搜索X轴上的像素点信息，根据所述阈值，确定运动目标的右边缘，根据长方形中心计算公式，确定运动目标的中心位置；

d)得出取物夹的中心位置与运动目标的中心位置以后，计算出两者之间的偏差，机械手伺服控制系统根据该偏差值对机械手轨迹进行在线自动调整；

e)针对取物夹边缘检测图，采用循环扫描方式累计像素点个数，若像素点个数小于N1，则表明光源亮度不够，光照范围过小，进行报警提示；针对运动目标边缘检测图，采用循环扫描方式累计像素点个数，若像素点个数小于N2，则表明主轴传送带上没有任何需要跟踪的运动目标，进行报警提示，且不对机械手的运动轨迹作任何调整。

2.根据权利要求1所述的基于计算机视觉的机械手跟踪定位在线识别与纠偏方法，其特征在于，所述图像采集硬件系统建立过程包括以下步骤：

1)将摄像头安装在机械手支架上，位于取物夹的正后方，并把光源安装在摄像头正对面，为光源及摄像头提供电源，设置好摄像头的IP地址，使工控机与摄像头处于同一局域网内，摄像机拍照以后，通过以太网将图片信息传送给工控机；

2)设置摄像头的参数：图像宽度500、图像高度350、摄像头快门110、图像宽度偏移160、图像高度偏移280，并将摄像头设置为单通道模式，使得所拍摄的图片为黑白图像，同时将摄像头的触发拍照模式设置为软件触发，由摄像头内部程序自行判断，根据图像采集处理信号来进行触发以拍照。

3.根据权利要求1所述的基于计算机视觉的机械手跟踪定位在线识别与纠偏方法，其特征在于，利用Canny算法对黑白图片进行边缘检测，选定算法中小阈值为60，用于控制边缘连接，选定算法中大阈值为125，用于控制强边缘的初始分割。

4.根据权利要求1所述的基于计算机视觉的机械手跟踪定位在线识别与纠偏方法，其特征在于，N1＝30，N2＝50。

5.根据权利要求1所述的基于计算机视觉的机械手跟踪定位在线识别与纠偏方法，其特征在于，机械手伺服控制系统处理因机械手抖动而引起的随机误差的办法为：获取过去10—20次图片中按公式d＝o₁-o₂获得的机械手与所跟踪的运动目标的相对位置偏差值d，对这一段时间内的偏差值进行排序比较，剔除波动明显较大的偏差值，再对剩余的偏差值进行取平均处理，将该平均值作为本次测量的有效偏差，控制器根据该有效偏差调整机械手的轨迹，完成机械手在水平方向上对运动目标的定位纠偏；其中，o₁为取物夹中心位置；o₂为运动目标的几何中心。