CN108163525A - 一种高效率锯条自动化抓取系统 - Google Patents

Abstract

本发明公开一种高效率锯条自动化抓取系统，所述系统以工业相机、工业机器人和传送带为搭建基础。所述系统包括三个模块：S1，坐标转换：将相机坐标、传送带坐标、机器人坐标三者之间进行坐标转换，完成相机的标定和传送带的标定；S2，锯条定位：利用图像处理技术提取锯条的质心坐标及锯条的角度，实现对锯条的定位；S3，跟踪抓取：利用机器人跟踪算法对锯条进行跟踪抓取。本发明通过利用机器视觉，解决了锯条的自动抓取问题，提高了锯条抓取的准确率和效率，具有广泛的应用价值。

Description

一种高效率锯条自动化抓取系统

技术领域

本发明涉及锯条抓取系统，特别是涉及一种高效率锯条自动化抓取系统。

背景技术

工件自动识别及智能抓取是机器人在生产线上一个极为重要的应用，对生产线自动化水平的提升和工业机器人灵活性的增强都有着十分重要的意义。锯条包装目前主要依靠人工，这样不仅包装效率低下，而且工人的工作环境恶劣，为了提高锯条的包装效率，改善工人的工作环境，提高企业的经济效益，对锯条自动化抓取系统的研究具有重要意义。

目前，工件抓取系统大多采用PLC控制器来实现操作，有的通过各种传感器来协助工件抓取过程中需检测的参数，这就容易受外界因素干扰，且导致所需硬件较多，使系统成本增加。

申请公布号为CN104369188B的发明专利申请公开了一种“基于机器视觉和超声波传感器的工件抓取装置及方法”，该发明专利使用单目相机采集工件轮廓图像，使用超声波传感器测距，实现了机器人对工件的抓取。但其装置由相机、传感器、液晶显示屏、PLC等硬件构成，设备所需硬件多且成本较高。

申请公布号为CN105905560A的发明专利申请公开了一种“动态抓取存放的全自动控制系统及其控制方法”，该发明专利实现了一台PLC控制器控制多台机械手，且同时控制物料运输与物料盘运动，实现动态物料的抓取。但该发明需使用PLC控制器，且需根据拍照区域无间断操作控制，所需成本较高，且系统实现过程较复杂。

发明内容

本发明的目的在于克服现有技术的不足，提供一种高效率锯条自动化抓取系统，该系统以工业机器人、工业相机、传送带为基础，基于机器视觉技术，采用传统的Kalman滤波器作为跟踪算法，通过坐标转换、锯条定位和跟踪抓取三大模块来实现锯条的自动抓取。

本发明解决上述技术问题的技术方案为：

一种高效率锯条自动化抓取系统，其中：

所述系统包括：坐标转换模块、锯条定位模块、跟踪抓取模块，其中：

所述的坐标转换模块用于实现相机、传送带和机器人三者的定位转换，完成相机的标定和传送带的标定；

所述的锯条定位模块用于实现对锯条的定位和识别；

所述的跟踪抓取模块用于实现机器人对锯条的跟踪与自动抓取。

本发明的高效率锯条自动化抓取系统中所述的跟踪抓取模块，其跟踪算法采用了传统的Kalman滤波器(出自论文《基于视觉引导的工业机器人定位抓取系统设计[J]》，作者翟敬梅，董鹏飞，张铁，机械设计与研究，2014,30(5)：45-49.)，每4ms更新一次锯条位置信息。

本发明与现有技术相比具有以下的有益效果：

1、采用基于机器视觉的抓取系统，顺应工业机械设备的主流，且减少了传统抓取系统所需的PLC，降低了硬件成本。

2、通过实现不同坐标系的标定与转换，从而实现工业相机、传送带和机器人三者的联系，便于操作，提高了工件定位的准确率。

3、机器人抓取工件的跟踪算法采用了较为成熟的算法，即传统的Kalman滤波器，每4ms更新一次锯条位置信息，从而提高了工件抓取的准确率和效率。

附图说明

图1为本发明的高效率锯条自动化抓取系统的一个具体实施方式的系统流程示意图。

图2为摄像机坐标系、成像坐标系、世界坐标系、像素坐标系的关系图。

图3为传送带标定的坐标示意图。

图4为目标对象定位的过程示意图。

图5为抓取系统的原理示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

参见图1，本发明的高效率锯条自动化抓取系统由图中三个模块组成，包括坐标转换模块、锯条定位模块、跟踪抓取模块，其中：

S1，坐标转换：将相机坐标、传送带坐标、机器人坐标三者之间进行坐标转换，完成相机的标定和传送带的标定，步骤包括S11,摄像机标定；S12,传送带标定，详细描述如下：

S11,摄像机标定：摄像机标定是视觉系统实现测量工作的基础，视觉系统的任务是实现传送带上运动对象的识别和定位，而摄像机标定的关键是实现像素坐标系(O,u,v)与世界坐标系(O_w,X_w,Y_w)之间的转换，使得图像平面中的点和工作空间中的点能够一一对应。各坐标系关系参见图2，其中摄像机坐标系为(O_c,X_c,Y_c,Z_c)，成像物理坐标系为(O_d,X_d,Y_d)。

成像物理坐标系与像素坐标系的关系如下：

式(1)中，dx，dy分别u，v方向上相邻两像素间的距离，单位为mm/pixel。(u₀,v₀)为摄像机光轴与成像平面的交点，一般在成像平面中点。

根据透视关系，图像物理坐标系与摄像机坐标系的关系可以表示如下：

式(2)中，f为焦距，s为p点的物距。

摄像机坐标系和世界坐标系之间的关系可以用平移矩阵t^3×1和旋转矩阵R^3×3来描述，具体关系如下：

联立上述(1)、(2)、(3)式，(参考论文《计算机视觉-计算机理论与算法基础[M]》，作者马颂德，张正友，北京：科技出版社，2003.、论文《基于主动视觉的摄像机自标定方法[J]》，作者于洪川，吴福朝等，机器人，1999,21(1)：1-7.、论文《A flexible new techniquefor camera calibration[J]，作者Zhang Z Y，IEEE Transactions on Pattern Analysisand Machine Intelligence,2000,22(11):1330-1334.、论文《一种基于机器视觉的机器人标定方法[J]，作者李振，张玉茹，刘军传等，机械设计与研究，2007,23(3)：66-69.、论文《学习OpenCV[M]》，作者Gray Bradski,Adrian Kaebler，北京：清华大学出版社，2009.、论文Asurvey of camera slef-calibration[A].作者Hemayed E E，Proceedings of the IEEEConference on Advanced Video and Signal Based Surveillance[C],2003.)，可得如下像素坐标系和世界坐标系的关系：

S12，传送带标定：传送带标定的实质是确定传送带与视觉系统和机器人的相对位置关系，传送带标定是整个系统正常运行的前提(出自论文《高速并联机械手运动学标定方法研究[D].作者李毅，天津：天津大学，2009.)，在实际应用中，传送带一般为单向且水平运动，参见图3，传送带坐标系为O_c-X_cY_c，视觉系统坐标系为O_v-X_vY_v，机器人坐标系为O_r-X_rY_r。

传送带标定又分为两个步骤：传送带与视觉系统的标定、传送带与机器人的标定。详细描述如下：

(1)传送带与视觉系统的标定：因为摄像机是固定安装在传送带的正上方，所以不用考虑视觉系统扰x轴和y轴的旋转，只需要考虑绕z轴的旋转。参见图3，可以得出传送带与视觉系统的相对位置关系为：

式(5)中，θ₁为传送带与视觉系统在z轴上的偏角,x_c和y_c分别为传送带坐标系上x轴和y轴的坐标，x_v和y_v分别为视觉系统坐标系上x轴和y轴的坐标。

(2)传送带与机器人的标定：一般在机器人安装时已经校准了机器人本体的水平，即机器人坐标系的O_r-X_rY_r平面已经处于水平位置，故也无需考虑其绕x轴和y轴的旋转，只需考虑绕z轴的旋转。参见图3可以得出传送带与机器人的相对位置关系为：

式(6)中，θ₂为传送带与机器人在z轴上的偏角，t为平移矩阵，x_c和y_c分别为传送带坐标系上x轴和y轴的坐标，x_r和y_r分别为机器人坐标系上x轴和y轴的坐标。

S2，锯条定位：利用图像处理技术提取锯条的质心坐标及锯条的角度，实现对锯条的定位。步骤包括S21，目标对象定位；S22，目标对象识别；详细描述如下：

S21，目标对象定位：本系统实施例中所述的目标对象为锯条，具体过程参见图4，在对锯条定位的过程中，首先需要确定其与传送带运行方向的夹角，然后提取其质心，最后确定锯齿的方向。

考虑到图像在采集过程中都会不可避免地受到外界环境和目标本身的影响，故首先对图像进行滤波处理来减少噪音对图像质量的影响(参考论文《图像理解与计算机视觉[M]》，作者章毓晋，北京：清华大学出版社：2000.)，并二值化图像来加快图像处理的速度。

引用OPENCV函数库，并利用霍夫直线(出自论文《一种基于改进Hough变换的直线快速检测方法[J]，作者段丽霞，赵伟，仪器仪表学报，2010，(12)：2774-2780.、论文《改进型图像中的直线快速检测[J]，作者赵小川，罗庆生，陈少波，光学精密工程，2010,18(7)：1654-1659.)提取锯条的长边(锯齿的对边)，同时可以计算出此直线的函数表达式：

ax+by+c＝0 (7)

式(7)中，a，b，c为常数。由其函数表达式可以得出锯条的倾斜角α为：α＝arctanα。

引用OPENCV函数库，利用图像一阶矩的算法可以计算出锯条的质心(锯条密度和厚薄均匀，形心即是质心)，质心坐标为G(x_g,y_g)。当ax_g+by_g+c＞0时，表明锯齿向上，机器人在抓取后不用将锯条绕z轴旋转180°，否则锯齿向下，机器人在抓取后需将锯条绕z轴旋转180°。

S22，目标对象识别：目标对象识别的方法(出自论文《基于机器视觉的工业机器人分拣技术研究[J]，作者刘振宇，李中生，赵雪等，制造业自动化，2013,35(9)：25-30.)目前主要有两类：相关性匹配法与特征匹配法。相关性匹配法通过比较待测图像和模板图像之间的相关性来判断目标对象，最简单的方法为逐点匹配法，虽然这种方法抗干扰能力强，但是计算量非常大，处理图像的效率很低，所以在要求跟踪抓取的场合中应用很少。特征匹配法是只提取了待测图像和模板图像的某些特征，如角点、边缘、轮廓等，然后通过某种计算法来比较两者之间的相关性。如Hu不变矩法，特征聚类法等。特征匹配法大大减少了计算量，提高了图像处理的效率，但是其抗干扰能力有所降低，适用于噪声较小、目标对象特征比较明显的场合。

由于本系统涉及的目标对象即锯条，特征相对比较明显，且工作环境中噪音干扰较小，故选择采用特征匹配法中的不变矩法来进行目标的识别。不变矩Hu具有旋转不变性、平移不变性和比例不变性。对于一幅大小为M×N的数字图像F(i,j)，其(p+q)阶矩的定义为：

式(8)中，F(i,j)的实质为一个像素点的质量。

将式(8)进行变换得到式(9)：

式(9)中，m_pq表示图像F(i,j)的中心距，其反映了图像灰度相对于灰度重心的分布情况。为了得到图像的不变特征，需对中心矩作归－化处理：

r＝(p+q)/2+1 p+q＝2,3,4,... (10)

Hu不变矩即为由ε_pq表示的7个具有旋转、平移、比例不变特性的不变矩。

φ₁＝ε₂₀+ε₀₂ (11)

φ₃＝(ε₃₀-3ε₁₂)²+(3ε₂₁-ε₀₃)² (13)

φ₄＝(ε₃₀+ε₁₂)²+(ε₂₁+ε₀₃)² (14)

φ₅＝(ε₃₀-3ε₁₂)(ε₃₀+ε₁₂)[(ε₃₀+ε₁₂)²-3(ε12₂₁+ε₀₃)²]+(3ε₂₁-ε₀₃)(ε₂₁+ε₀₃)×[3(ε₃₀+ε₁₂)²-(ε₂₁+ε₀₃)²] (15)

S3，跟踪抓取：利用机器人跟踪算法对锯条进行跟踪抓取，其跟踪算法采用了传统的Kalman滤波器，每4ms更新一次锯条位置信息。详细描述如下：

抓取系统原理图如图5所示，摄像机固定在传动带的正上方，工件从传送带左侧端进入摄像机视觉，摄像机每4ms采集一帧图像，图像大小为480*320，通过图像处理算法找到工件形心并判断是否为待抓取工件，如果确定为待抓取工件，则通过传动带上编码器得到相邻两帧中同一工件形心之间的距离，由于摄像机是每4ms拍摄一次，因此可以计算出工件的运动速度。利用Kalman滤波预测下一帧中工件的位置，最终引导机器人准确地完成工件的抓取。图5中，上流限和下流限是机器人工作的极限位置，工件只有在上流限和下流限之间，机器人才会选择去抓取，否则机器人会放弃抓取该工件。故在本系统的实施例中，当机器人跟踪识别到需抓取的锯条，才进行抓取行为。

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种高效率锯条自动化抓取系统，其特征在于，该系统包括三个模块：S1，坐标转换；S2，锯条定位；S3，跟踪抓取；其中：

所述的坐标转换模块用于实现相机、传送带和机器人三者的定位转换，完成相机的标定和传送带的标定；

所述的锯条定位模块用于实现对锯条的定位和识别；

所述的跟踪抓取模块用于实现机器人对锯条的跟踪与自动抓取。

2.根据权利要求1所述的一种高效率锯条自动化抓取系统，其特征在于，所述的坐标转换模块，包括下列两个步骤：

(1)摄像机标定；

(2)传送带标定；

其中，步骤(2)中包括传送带与视觉系统的标定、传送带与机器人的标定。

3.根据权利要求1所述的一种高效率锯条自动化抓取系统，其特征在于，所述的锯条定位模块，包括下列两个步骤：

(1)目标对象定位；

(2)目标对象识别。

4.根据权利要求1所述的一种高效率锯条自动化抓取系统，其特征在于，所述的跟踪抓取模块，其跟踪算法采用了传统的Kalman滤波器，每4ms更新一次锯条位置信息。