CN111775154A - 一种机器人视觉系统 - Google Patents

Abstract

本发明公开了一种机器人视觉系统，本发明分析机器人视觉系统的各组成对象，设计以机器人为核心，包括视觉定位、静态抓取和动态跟踪功能的系统整体方案，研究机器人与视觉坐标关系，提出基于透视变换的视觉标定模型和四点标定方法，并通过超定方程组最佳的最小二乘解实现参数求优；利用标定参数，基于偏移法计算机器人位姿，引导机器人对目标的定位抓取。对于传送带上的运动工件，建立传送带模型并给出基于标记点对位的参数标定方法，实现了机器人、视觉、传送带各坐标系之间的相互转换。实现包含传送带管理和工件队列管理的动态控制策略，基于传送带和工件状态判定机器人的动作逻辑，整体流程保证工件信息的实时、准确、不重复、不遗漏。

Description

一种机器人视觉系统

技术领域

本发明涉及机器人技术领域，尤其涉及一种机器人视觉系统。

背景技术

工业化机器人广泛应用于汽车、电子、机械制造、食品包装等行业，自动化生产线正在逐渐代替部分或全部传统的人工操作。其中，机器人定位抓取和轮廓跟踪是工业生产流程中最常见的应用之一，研究基于视觉的机器人动态定位系统(以下简称机器人视觉系统)具有重要意义。

机器视觉是指用机器代替人眼来做测量和判断，使机器能够感知周围环境信息的技术。近年来，机器视觉在3C、汽车、食品包装等行业都有较普遍的应用，解决以往需要人工进行的检测、测量、识别和定位引导等重复性工作。在工业生产线上，机器视觉系统能够在较短时间内完成对成百上千元件的检测，提高了生产效率；提高相机分辨率和配置合适光源后，机器视觉检测可达到很高的检测精度，减少生产误差；机器视觉作为一种非接触检测手段，消除了与被检验元件之间的摩擦，降低了机械磨损的投入成本；通过机器视觉技术，代替传统的人工检测，提高了生产的安全性和操作的简便性。

发明内容

本发明的目的就在于为了解决上述问题而提供一种机器人视觉系统。

本发明通过以下技术方案来实现上述目的：

本发明包括视觉平台和机器人，所述机器人包括上位机和下位机，所述上位机为人机交互界面，所述下位机实现具体功能和控制逻辑，所述下位机功能模块分为标定模块、动态控制策略模块和机器人动作模块，其中，标定模块包括视觉标定、传送带标定和工件标定，使视觉、传送带、工件信息都可以转换到机器人坐标系下使用；动态控制策略模块包括对传送带的实时检测和更新、基于队列的工件管理，实现动态跟踪的逻辑控制和判断；机器人动作模块分别实现对静态工件的抓取和对传送带上运动工件的跟踪；

所述视觉标定采用基于标定物的传统标定方法进行视觉标定，首先建立视觉与机器人之间的坐标关系模型，采集标定板上某几个点的像素坐标和对应机器人坐标，利用数学方法求解模型中的转换参数；利用标定出的转换关系，计算目标工件在机器人坐标系下的坐标，进而引导机器人的动作；

所述动态控制策略模块基于传送带坐标系计算工件实时位姿，需要对传送带进行建模及标定；基于编码器位置反馈计算传送带实时位移和速度，视觉检出的工件利用先进先出队列进行管理，每周期对工件状态实时更新；整体流程保证机器人可以根据实时、准确的工件信息进行逻辑判定，逐个处理传送带上的运动工件；

所述机器人动作模块执行跟踪操作时，先要跟上工件与之保持相对静止，然后执行相应的动态工艺，机器人需要处理的工件上的点称为工艺点，处理完退出跟随状态；为实现对运动工件的跟踪，提出工件基准坐标系标定和工艺点示教方法，通过将操作点映射到工件实时局部坐标系实现了任意位姿、任意工艺点的实时坐标计算，并在最后对跟踪效果进行优化。

本发明的有益效果在于：

本发明是一种机器人视觉系统，与现有技术相比，本发明分析机器人视觉系统的各组成对象，设计了以机器人为核心，包括视觉定位、静态抓取和动态跟踪功能的系统整体方案，研究了机器人与视觉坐标关系，提出了基于透视变换的视觉标定模型和四点标定方法，并通过超定方程组最佳的最小二乘解实现参数求优；利用标定参数，基于偏移法计算机器人位姿，引导机器人对目标的定位抓取。对于传送带上的运动工件，建立了传送带模型并给出基于标记点对位的参数标定方法，实现了机器人、视觉、传送带各坐标系之间的相互转换。设计并实现了包含传送带管理和工件队列管理的动态控制策略，基于传送带和工件状态判定机器人的动作逻辑，整体流程保证工件信息的实时、准确、不重复、不遗漏。

附图说明

图1是静态定位系统物理框架图；

图2是动态定位系统物理框架图；

图3是系统整体方案图；

图4是功能模块设计图；

图5是视觉标定及定位；

图6是动态控制策略；

图7是机器人动态跟踪；

图8是通信交互请求响应示意图；

图9是通信测试示意图；

图10是眼在手外关系；

图11是眼在手上关系；

图12是视觉建模关系示意图；

图13是视觉标定流程图；

图14是视觉标定实验平台；

图15是标定板物理坐标示意图；

图16是静态抓取实验平台；

图17是静态工件抓取实验结果；

图18是静态工件抓放实验结果；

图19是动态控制流程图；

图20是传送带建模示意图；

图21是传送带参数标定示意图；

图22是传送带视觉标定示意图；

图23是传送带状态检测及更新流程图；

图24是编码器读数翻圈示意图；

图25是编码器读数增量滑动滤波处理；

图26是触发间距设置示意图；

图27是视觉检出滞后示意图；

图28是工件状态划分示意图；

图29是工件重复检出示意图；

图30是工件队列管理流程图；

图31是未锁定工件越过放弃线示意图；

图32是传送带自动启停判断逻辑；

图33是传送带参数标定实验平台；

图34是传送带参数标定采点；

图35是机器人针尖误差测量。

具体实施方式

下面结合附图对本发明作进一步说明：

机器人静、动态定位系统的物理框架分别如图1和图2所示，静态定位系统主要由机器人系统和视觉系统组成，而动态定位系统还包括传送带系统和运动工件。下面将对组成系统的各物理对象进行详细分析。

1)视觉系统及其选型

视觉系统由工业相机和镜头、光源、视觉软件平台等组成，用于对目标工件的精确定位。为了满足系统定位要求，需要合理进行相机、镜头、光源的选择和配置。

(1)工业相机选型。系统定位精度依赖于工业相机，要综合考虑分辨率、抗噪性能、传输能力等因素来进行选择。根据感光芯片类型，工业相机可分为CCD(Charge CoupledDevice)和CMOS(Complementary Metal Oxide Semiconductor)两种，CCD芯片成像质量好、噪声低、灵敏度高，而CMOS芯片功耗低、传输速度高、集成性好，且成本比同分辨率的CCD相机低，本文采用600万像素(3072x2048)、千兆网、CMOS黑白工业相机，像元尺寸2.4μmx2.4μm。

(2)镜头选型。镜头安装在相机上，可以调整可变光圈和焦点，使图像明亮清晰。选择镜头时主要考虑视场和焦距，一般工业相机的镜头焦距有8mm/16mm/25mm等常用规格，视场、工作距离和焦距、芯片大小满足以下关系：

工作距离：视野大小＝焦距：芯片大小

在镜头选型时要选择与视场相符的规格，例如本文选择的镜头焦距16mm，工业相机感光芯片长为3072×2.4μm≈7.4mm，宽为2048×2.4μm≈4.9mm.当工作距离为200mm时，视野长为

同理视野宽为61.3mm.

(3)光源配置。合理设计光源可以使图像中目标物体有明显的对比度，有助于提高视觉处理的稳定性和精度。光源的类型有同轴光源、环形光源、棒形光源、背光源、低角度光源等，其中环形光源和棒形光源可用于实际应用的大多数场景，背光源突出显示物体的形状轮廓而隐藏了表面细节。本文采用了白色环形光源和背光源。

视觉系统的合理配置，使目标工件能够清晰成像，视觉平台可以得到准确的工件中心像素坐标，是机器人进行抓取或跟踪操作的前提。

2)机器人系统

机器人系统由机器人本体、末端执行器、伺服驱动器、控制器、示教器等组成，本文采用实验室自研的控制器、示教器，整个控制流程逻辑的实现集成在机器人控制器中，并可以采集编码器位置反馈信息、与视觉系统相互通信。

3)传送带和工件

对于动态跟踪，研究对象还包括由编码器和传送带组成的传送带系统以及传送带上的运动工件。由编码器实时检测传送带位移，传送带上的起始线表示工件开始进入的位置，上、下游线表示机器人的最大工作区间；运动工件被视觉系统识别定位，结合编码器位置反馈信息可以实时计算位姿，从而引导机器人的跟踪动作。

通过对系统各组成对象的分析，静、动态定位系统有其共同点，均由视觉对目标进行定位；不同之处在于静态定位视觉定位后机器人直接执行抓取，动态定位需对传送带和运动工件的实时状态进行判断，满足动作条件后机器人执行跟踪，综合静、动态定位的系统整体方案设计如图3所示。

视觉检出的工件像素坐标，通过以太网传输给机器人，机器人与视觉之间的坐标关系通过标定来确定；静态定位时，机器人直接根据目标位置执行抓取操作；动态定位时，传送带的实时位移和速度由编码器反馈的信息计算，运动工件被视觉检出后用队列进行管理，在程序中实时更新状态，机器人根据所得到的信息进行判断和决策，当满足动作条件时开始跟踪操作。以机器人为主体的功能模块设计如图4所示。

机器人系统分上下位机结构，上位机为人机交互界面，下位机实现具体功能和控制逻辑。具体功能模块分为标定模块、动态控制策略模块和机器人动作模块，其中，标定模块包括视觉标定、传送带标定和工件标定，使视觉、传送带、工件信息都可以转换到机器人坐标系下使用；动态控制策略包括对传送带的实时检测和更新、基于队列的工件管理，是实现动态跟踪的逻辑控制和判断；机器人动作分别实现对静态工件的抓取和对传送带上运动工件的跟踪。

机器人视觉系统，利用视觉进行目标工件的定位，视觉像素坐标转换到机器人位姿涉及视觉标定技术；对于传送带上的运动工件，要对传送带位移和速度进行检测，实时更新传送带和工件的状态；对于满足跟踪条件的工件，机器人开始跟踪操作，涉及机器人动态跟踪技术。

1)视觉标定技术

视觉定位时，利用视觉标定技术得到工件像素坐标与机器人位姿坐标的转换关系。本文采用基于标定物的传统标定方法进行视觉标定，首先建立视觉与机器人之间的坐标关系模型，采集标定板上某几个点的像素坐标和对应机器人坐标，利用数学方法求解模型中的转换参数；利用标定出的转换关系，计算目标工件在机器人坐标系下的坐标，进而引导机器人的动作；如图5所示。

2)动态控制策略

动态跟踪时，工件沿传送带运动，相机拍照得到工件的初始位姿，还需要实时更新工件位姿和状态。本文基于传送带坐标系计算工件实时位姿，需要对传送带进行建模及标定；基于编码器位置反馈计算传送带实时位移和速度，视觉检出的工件利用先进先出队列进行管理，每周期对工件状态实时更新。整体流程保证机器人可以根据实时、准确的工件信息进行逻辑判定，逐个处理传送带上的运动工件；如图6所示。

3)机器人动态跟踪技术

机器人执行跟踪操作时，先要跟上工件与之保持相对静止，然后执行相应的动态工艺，机器人需要处理的工件上的点称为工艺点(如中心点、轮廓点)，处理完退出跟随状态。为实现对运动工件的跟踪，提出工件基准坐标系标定和工艺点示教方法，通过将操作点映射到工件实时局部坐标系实现了任意位姿、任意工艺点的实时坐标计算，并在最后对跟踪效果进行优化；如图7所示。

机器人控制器与视觉平台通信设计

机器人控制器与视觉平台之间通过以太网通信，一般视觉平台都支持TCP/IP通信协议，为了能够适应更多的视觉平台，机器人控制器使用TCP/IP通信方式，其交互方式参照如图8所示的请求应答模型。

提供控制器的IP地址和通信端口号，与视觉平台建立TCP三次握手连接后，由控制器主动发出拍照指令，视觉平台接收到指令后触发相机拍照，返回给机器人相应的工件坐标数据。连接期间机器人可多次发出拍照指令，直到视觉平台关闭连接。

通信数据包括拍照指令和返回的工件坐标数据，示例如表2.1所示。

表2.1通信数据示例(检出两个工件)

拍照指令是用户设置的不超过8字符的字符串，视觉返回的数据帧格式为：返回字符串+检出数量+各工件中心坐标，之间用逗号分隔。因此，设计控制器与视觉通信的拍照指令与返回数据帧格式如下：

发送拍照指令格式：

S<sub>n</sub>

\r

返回数据帧格式：

R<sub>n</sub>

,

num

,

data<sub>1</sub>

,

…

,

data<sub>num</sub>

\r

其中，S_n表示长度为n的发送字符串，R_n表示长度为n的返回字符串(n<8)，num是检出工件的数量，没有时为0，data1～datanum表示第1～num个检出工件的像素坐标，包括(x,y,θ).各数据段之间用逗号分隔。

通信协议与数据格式确定之后，在正确建立连接的情况下，机器人控制器与视觉平台之间能够互相通信，控制器主动发出拍照指令，视觉平台接收到与用户设定相同的拍照指令后触发相机拍照，经过处理计算最终返回给机器人相应的数据，机器人控制器根据定义的数据帧格式对数据进行处理，提取有用的工件坐标信息。用网络调试助手进行通信的测试，结果如图9所示。图(a)表示机器人控制器发出的拍照指令，图(b)表示机器人控制器接收到的通信返回数据，由图可知，通信功能正常且通信交互数据遵循定义的格式。

上述结合工程案例对机器人视觉系统进行了介绍，详细分析了系统的组成结构(机器人系统、视觉系统、传送带系统、工件)，论述各对象的功能以及组成系统的关系，搭建了以机器人为主体，包括视觉定位、静态抓取和动态跟踪功能的系统整体方案，总结了课题设计的关键技术点，最后阐述了机器人控制器与视觉平台之间的TCP/IP通信方式和具体数据格式。

视觉标定与静态抓取技术：

利用视觉定位工件，需要对视觉坐标系与机器人坐标系之间的关系进行研究，本章将详细论述视觉建模的过程以及针对具体模型的标定方法，然后基于标定出的转换矩阵进行工件的定位，转换成机器人位姿进行抓取。本章在工件静止的情况下验证视觉标定模型的正确性和标定结果的精度，是实现动态工件跟踪的基础。

视觉建模：

手眼关系分析：

手眼关系分为相机固定的眼在手外关系和相机随动的眼在手上关系。如图10所示，眼在手外系统的机器人基坐标系和相机坐标系静止，两者之间的关系可用一个固定矩阵Mx表示。

眼在手上系统如图11所示，相机安装在机器人末端执行器上，机器人工具坐标系和相机坐标系之间相对静止，两者之间的关系可用一个固定的转换矩阵Mx表示；

针对两种手眼关系的不同，标定方法也有所区别。眼在手外时，利用标定板上的一组标定点，分别采集图像像素坐标和机器人基坐标系下的坐标，即可列关于转换矩阵Mx的方程；眼在手上时，利用标定板上的一组标定点，分别采集图像像素坐标和机器人工具坐标系下的坐标，即可列关于转换矩阵Mx的方程；求解出Mx并利用机器人运动学关系即可将工件像素坐标转换为机器人位姿，进而抓取。

透视变换模型：

采用单目2D相机进行视觉定位引导，系统运行时保持相机的拍照高度始终不变，视觉只需要在X、Y方向上进行定位，视觉建模关系如图12所示。

拍照高度保持不变时，相机坐标系和机器人坐标系之间的关系可以简化为一个平面到另一个平面的映射关系。两个任意平面坐标系之间满足以下坐标变换关系：

其中，w表示透视因子，

为单应性矩阵。

机器人坐标(x,y)与像素坐标(u,v)的关系为：

可将h₉化为1不影响坐标映射关系，等式化为：

所以，

其中，

表示线性变换(旋转缩放)，

表示平移变换，[m₆ m₇]表示透视变换(平行四边形映射到梯形)。该模型称为透视变换模型。

另外，当机器人末端坐标平面与相机坐标平面平行时，变换关系简化为以下仿射变换模型：

该模型将任意平行四边形映射到平行四边形。

基于透视变换模型的视觉标定技术：

四点标定方法：

建立相机坐标平面和机器人坐标平面之间的映射关系后，需要求解的转换矩阵为

8个未知参数需要8个方程求解。等式(3)可以变形为：

当有四对像素坐标和机器人坐标时，参数m₀～m₇可线性求解，步骤如图13。

采集像素坐标。利用高精度菲林标定板，选取视野中不共线的四个标定点，相机在固定高度h处拍照得到四个点的像素坐标(u_i,v_i)，i＝1,2,3,4.

采集机器人坐标。标定固定相机时，移动机器人使其工具中心点TCP(Tool CenterPoint)对准标定点中心，此时的末端位置即为标定点在机器人基坐标系下的坐标；标定随动相机时，移动机器人使TCP对准标定点中心，标定点在机器人工具系下的坐标为此时的末端坐标减去拍照时的末端坐标。依次移动将机器人TCP对准四个标定点中心，分别记录四个机器人坐标(x_i,y_i)，i＝1,2,3,4.

根据四组像素坐标与机器人坐标，可列关于模型参数m₀～m₇的矩阵方程：

采用高斯消元法求解线性方程组，最终得到透视变换模型参数：

x＝[m₀,m₁,m₂,m₃,m₄,m₅,m₆,m₇]^T

基于最小二乘法的标定参数求优

在实际应用中，由于相机拍照得到的像素坐标和机器人对位得到的机器人坐标都存在一定误差，为了提高标定结果的精度，用多个点(大于四点)列超定方程组：

A x＝b (8)

其中，A为m×8的矩阵，x为待求解的8维未知数向量，A与b组成的增广矩阵[A|b]的秩大于8.

用最小二乘法求不相容方程组的近似解，最佳的最小二乘解x₀应满足：对于A x＝b的每个最小二乘解u，都有||x₀||₂≤||u||₂。根据矩阵论中的定理，A x＝b最佳的最小二乘解为：

x₀＝A⁺b (9)

其中，A⁺是矩阵A的Moore-Penrose广义逆(加号广义逆)。

由矩阵A的物理意义知，A为列满秩的实数矩阵，它的加号广义逆为：

A⁺＝(A^TA)^-1A^T (10)

因此，原方程的最小二乘最优解为：

x₀＝(A^TA)^-1A^Tb (11)

综上所述，在视觉标定时，采用n(n>8)个不共线的标定点，分别得到像素坐标(u_i,v_i)和机器人坐标(x_iy_i)(i＝1,…,n)，列关于模型参数m₀～m₇的超定方程组：

利用式(11)即可计算得到关于m₀～m₇的最小二乘最优解。

基于偏移法的定位抓取技术

相机拍摄视野中的工件，返回工件中心像素坐标，利用视觉标定参数进行转换计算，得到机器人TCP坐标，计算公式如下：

其中，(u,v)为相机拍照得到的工件像素坐标，(x,y)为对应的机器人坐标系下坐标，m₀～m₇为透视变换模型参数。

对于固定相机，公式计算出的(x,y)为TCP在基坐标系下的位置，该坐标为绝对坐标，机器人运行到指定点位即可；对于随动相机，公式计算出的(x,y)为TCP在工具坐标系下的位置，该坐标为相对坐标，机器人运行时需要在拍照位置基础上加上相对坐标的偏移。由于随动相机可以随着机器人末端执行器运动，视野范围小，因此用于精定位以减少误差。

设拍照时机器人末端坐标为(X_trig,Y_trig,Z_trig,A_trig,B_trig,C_trig)，A-B-C为z-y-z欧拉角，则工件像素坐标到机器人坐标的转换公式为：

其中，(X_w,Y_w,Z_w,A_w,B_w,C_w)为转换后的机器人坐标，(u,v,θ)为工件像素坐标，h为固定的高度，m₀～m₇为透视变换模型参数。

综上所述，利用视觉定位时，先通过透视变换模型，将相机坐标平面映射到机器人坐标平面。然后，对于固定相机，直接用标定出的参数将工件像素坐标转换为机器人基坐标系下的末端位置；对于随动相机，将工件像素坐标转换为机器人工具系坐标，在拍照位置的基础上偏移，得到最终需要的机器人位姿坐标，进而机器人可以实行抓取。

视觉标定与静态抓取实验

视觉标定实验

视觉标定的实验平台如图14所示。

机器人系统采用华数6008工业六轴机器人以及实验室自研的HRT-5DI控制器和手持示教器，视觉系统采用众为兴ADTVsion视觉平台和海康威视600万像素工业相机，还有镜头和光源等，标定板使用圆直径7.5mm、圆心距15mm的高精度菲林标定板。

视觉标定实验分两步，首先不考虑机器人坐标，建立相机坐标系和标定板坐标系之间的关系，因为标定板上各点的物理坐标具有可参考的理论值，能够验证标定模型的正确性和精度；然后移动机器人，建立相机坐标系和机器人坐标系之间的关系，得到视觉定位所需要的参数。

1)验证标定模型的正确性和精度。保持机器人不动，对视野中的标定板拍照，可以得到视野中12个标定点中心的像素坐标，根据菲林标定板的尺寸数据可以得到其理论物理坐标如图15(误差±0.005mm)。

选取其中不共线的四点，求解从像素坐标平面到标定板坐标系的转换参数，标定结果为

利用此参数根据像素坐标计算视野中12个点的物理坐标，并与理论值比较，结果如表3.1所示。

表3.1视野中圆心物理坐标的计算值与理论值(单位：mm)

从表中数据可知，计算值与理论值的误差平均值在X、Y方向分别是0.011mm和-0.009mm，误差绝对值不超过0.06mm，可以验证标定模型正确且标定结果精度较高。

2)标定相机与机器人之间转换关系。选取标定板上四个点，移动机器人使TCP对准标定点中心，视觉平台得到的像素坐标(u,v)和机器人对位得到的机器人坐标(X,Y)如表3.2所示，拍照时机器人末端位置(X,Y)为(0,-376.5)mm.

表3.2标定点像素坐标与机器人坐标

标定点	像素坐标(pix)	机器人坐标(mm)
			1	(2458.49,539.17)	(-41.423,-397.536)
2	(688.05,542.26)	(37.165,-398.401)
			3	(2207.33,1512.18)	(-29.687,-354.658)
4	(692.09,1513.30)	(37.402,-355.417)

根据四点法计算，标定结果为

利用此参数进行静态抓取实验。

静态抓取实验：

视觉标定后，对静态工件进行定位和抓取，实验平台如图16所示。

机器人在视觉引导下，先从左侧料盘抓取工件，然后放入到右侧料盘对应形状的小槽中；工件和小槽在料盘上的位置随机，由固定相机1和2先进行位置的粗定位，引导机器人末端移动到零件的上方，然后由随动相机4进行单个零件的精定位，末端对准工件中心后开启真空吸即可抓取。工件和小槽的装配间隙小于1mm。

根据视觉标定和定位结果进行静态工件的抓取实验，料盘上各种形状的工件位姿任意，部分实验结果如图17所示。

经过多种工件、任意角度、各方位的测试，机器人在视觉引导下能够准确抓取工件的中心，抓取误差在0.5mm以内。

抓取工件之后，视觉对另一料盘上的小槽进行定位，机器人末端对准小槽中心后，吸盘放气把工件放入小槽，选取的部分实验结果如图18所示。

由于工件和小槽之间的装配间隙小于1mm，工件能够准确放入小槽的前提是对工件和小槽的定位误差均要小于0.5mm。经过对多种工件在料盘上任意位置的多次抓取放置实验，验证了静态抓取的误差在0.5mm以内。

本发明对视觉建模的过程进行了详细地论述，建立了基于透视变换的视觉标定模型，讨论了基于该模型的标定方法以及最小二乘求优，标定出转换矩阵的参数后可以进行视觉像素坐标到机器人坐标的转换，基于偏移法进行机器人位姿计算，最终引导机器人对静态工件的抓取。本章最后用实验验证了视觉标定模型的正确性和标定结果的精度，并在静止情况下对工件进行了抓取实验，完成准确性测试。

传送带动态控制策略：

在视觉定位的基础上，对于传送带上的工件，还需要考虑工件随着传送带的运动，本章将详细论述包括传送带管理和运动工件管理的动态控制策略。当视觉检出新工件时，生成新的工件对象，经过重复判定后加入队列，运行过程中，周期执行对传送带与工件队列的更新，动态控制总流程如图19所示。

在系统运行之前，需要对传送带进行建模和标定。系统运行过程中，基于编码器读数实时更新传送带位移和速度；设置合理间距等距触发相机拍照，被检出的工件利用先进先出队列进行坐标的保存和周期更新，且对重复检出的工件进行判定和去重。当有工件来不及处理时，可以控制传送带的启停，保证工件不被遗漏。

传送带建模及标定

传送带建模

通过建立传送带坐标系CCS(Conveyor Coordinate System)，对传送带上的运动工件在CCS下进行实时位姿的更新；传送带上划分起始线的位置，以示工件开始进入，划分上游线和下游线的位置，以示机器人工作范围。图20为传送带建模示意图。

建立传送带坐标系CCS，需要标定传送带坐标系与机器人坐标系之间的转换关系

利用编码器数据计算传送带位移和速度，需要标定编码器倍率(pulse/mm)；传送带上的起始线、上游线、下游线都是相对于CCS的偏移，由于CCS是原点在上游线、以传送带运动方向为X正方向的坐标系，所以上游线偏移始终为零；利用视觉定位工件时，起始线只作为工件进入的大概位置，精确定位靠相机拍照，而用光电开关定位工件时，起始线则是光电开关的精确位置；重启线和放弃线则是相对于下游线的偏移，作用是防止工件漏拣，由用户设置。

传送带标定

传送带标定分两步进行，第一步先进行传送带参数的标定，包括CCS到机器人基坐标系的转换矩阵

编码器倍率ratio、上游线upLine、下游线downLine、起始线startLine；第二步标定视觉坐标系到传送带坐标系的关系，因为相机视野所在位置不在机器人工作范围内，无法直接标视觉到机器人的转换关系，标定时仍用基于透视变换模型的四点标定方法，将原来的机器人坐标转换为传送带坐标。

1)传送带参数标定

如图21，标定物沿着传送带从上到下，到达位置1时停止传送带记录此时的编码器值E₁；再开启传送带，到达位置2时记录编码器值E₂，并且移动机器人使TCP对准标记点，记录此时的机器人坐标P₁；同理到达位置3时记录编码器值E₃和机器人坐标P₂；最后再移动机器人使TCP到与P₁P₂不共线的位置4，记录此时的机器人坐标P₃，根据编码器值E₁E₂E₃和机器人坐标P₁P₂P₃可计算传送带的相关参数。

根据P₁P₂P₃采用三点标定法，可以计算传送带坐标系CCS到机器人基坐标系的转换矩阵

第一点为原点，所以：

第一点与第二点的方向余弦为坐标系X方向参考方向，所以：

第一点与第三点的方向余弦为XOY平面一二象限内的一参考方向，所以：

上述两向量叉乘所得的方向余弦决定了坐标系Z方向，所以：

正交的单位向量

和

叉乘即可得到坐标系Y方向，所以：

然后，根据位置2和位置3数据，计算编码器倍率和上、下游线相对于CCS的偏移：

downLine＝(E₃-E₂)/ratio

最后，根据位置1和位置2数据，计算起始线偏移：

startLine＝(E₁-E₂)/ratio (21)

至此，传送带的所有参数CCS转换矩阵

编码器倍率ratio、上游线upLine、下游线downLine、起始线startLine均能够标定计算。

2)传送带视觉标定

相机与传送带之间的标定示意图如图22所示，标定板先放在相机视野内，拍照得四个标定点ABCD的像素坐标，并记录此时的编码器读数E₁，然后开启传送带使标定板运动到机器人工作范围内，机器人TCP对位四个标定点得机器人坐标A’B’C’D’，并记录此时的编码器读数E₂。

由于

已知，先将A’B’C’D’四点的机器人坐标转换到传送带坐标系下，然后根据E₁E₂和编码器倍率计算出标定板移动的距离，由此可计算出标定板在视野中时ABCD在CCS下的坐标。利用四对像素坐标和传送带坐标，四点法计算透视变换参数矩阵M_x，至此，机器人坐标、传送带坐标和相机像素坐标可以相互转换，后续为了方便表述，将视觉到传送带的转换关系表示为

传送带与工件状态管理：

传送带状态实时更新：

通过安装在传送带上的编码器进行实时位置检测，实现传送带位移与速度的计算，传送带状态实时更新流程如图23所示。

当传送带“已启用”标志有效，就监视编码器，定周期(机器人的插补周期为1ms)读取编码器值，由于编码器读数有取值范围[-MAX,MAX]，对读数增量的计算要考虑翻圈的情况，如图24所示，以正向运动为例，编码器读数取值范围[0,MAX]。

显然，(enc₂-enc₁)为负数且绝对值大于MAX的一半，此时正确的编码器读数增量应为(enc₂-enc₁+MAX)。负向运动同理，最终编码器读数增量处理如式(22)所示。

其中，encDiff表示编码器读数增量，enc₁和enc₂分别为第一次和第二次编码器读数，MAX表示编码器正向读数最大值。

编码器读数的波动将造成传送带速度计算的波动，而传送带速度的波动会引起机器人跟随运行时的抖动，为降低编码器读数波动的影响，本文采用滑动平均滤波法对编码器读数增量进行平滑处理，如图25所示，滤波队列长度为5。

初始化时，滤波队列元素全为0，将每个周期得到的编码器读数增量从队尾压入、同时从队首删除一个元素，队列中所有元素的平均值作为本周期的编码器读数增量。使用滑动平均滤波，相邻周期的位移波动减小，传送带速度波动降低，而总脉冲数并没有丢失，即传送带总检测位移与实际位移一致，只要工件识别到处理之间不存在传送带加减速过程，工件滞后几乎为0.

设滤波后每周期编码器读数增量为encDiff，则传送带位移和速度的计算为：

滑动滤波会导致传送带位移与速度更新滞后，故滤波容量不能过大。

监视触发及工件对象生成

在等距触发条件下，传送带每移动触发间距的距离，则触发相机拍照，需要合理设置触发间距，以确保每个工件不被漏拍，且尽可能减少拍照次数节省计算机资源。触发间距的设置方法如图26所示。

触发间距Δl需要满足以下公式：

其中，L表示相机视野的宽度，S_min表示宽度方向上工件最小尺寸，S_max表示宽度方向上工件最大尺寸。

当达到等距触发条件时，机器人控制器向视觉系统发送触发信号请求拍照，在收到视觉系统反馈的曝光信号时，锁存当前编码器读数E₁；接收到视觉系统返回的工件信息(u,v,θ)时，再次锁存编码器读数E₂，由于图像处理耗时、网络通信延迟，拍照所得工件坐标与实际位置相比有滞后，如图27所示。

因此，将视觉拍照所得坐标转换到传送带坐标系P_C后，还需要补偿滞后量：

其中，P_C′为补偿后的工件坐标，P_C为视觉识别并转换到CCS后的工件坐标。

当视觉检出新工件时，生成新的工件对象，包含信息：工件类别(不同形状)、工件位姿(传送带坐标系下)、工件状态。工件状态的划分如图28所示。

新工件生成时的初始状态均为状态0，即：未进入机器人工作范围。新工件对象从队尾插入不定长的FIFO(First-In-First-Out)队列，入队后，工件的位姿、状态信息，均每周期根据传送带位移和速度更新。

重复判定及工件队列更新

使用视觉检出工件时，可能会有同一个工件被重复拍到的情况，如图29所示，工件4被重复检出。向工件队列中插入对象时，为避免一个物理工件生成两个以上的工件对象，需要进行重复判定，判定依据为工件对象坐标距离小于阈值。

由于工件坐标都在传送带坐标系下，且每周期根据传送带位移和速度实时更新，因此同一个物理工件重复检出的位姿基本相同(误差为视觉识别和计算的误差)。为提高计算效率，从队尾向队头遍历工件队列，比较新工件和队列中工件的X坐标、Y坐标，若任一坐标之差大于阈值，则可直接判定为两个不同的工件；否则判定为重复识别，放弃插入新的工件对象，保留队列中原有工件对象。若一次拍照检出多个工件，按X坐标由大到小的顺序，逐个判定，逐个加入队列。

对于队列中的工件，每周期根据传送带位移和速度更新工件位姿(X坐标累加)；再根据刷新后的工件X坐标判定工件状态，正在被抓取/加工的工件除外(状态锁定)。由于新工件均从队尾插入，队首工件X坐标最大，机器人每次处理队首工件，当队首工件超过上游线时锁定工件，机器人开始跟踪处理，处理完毕后从队列中删除该工件对象。因此，工件队列管理流程图如图30所示。

传送带自动启停控制技术

在系统运行时，当工件过于密集时，机器人可能来不及处理所有工件。因此在传送带上设置重启线和放弃线，当有工件未处理就超过放弃线时(如图31所示)，执行传送带自动启停控制。

传送带自动启停控制，是指对工件队列第一个未锁定对象进行判断，当其越过放弃线时，停止传送带，直到所有重启线后的工件处理完成，再启动传送带。根据机器人处理速度与传送带速度，合理设置重启线和放弃线位置，有助于防止工件漏拣。传送带自动启停控制的判断逻辑如图32所示。

如果在机器人跟踪动作过程中执行传送带启停动作，由于编码器读数增量突变，会引起机械冲击，因此，只有机器人不在跟踪状态时，才执行传送带启停动作。

传送带参数标定实验

传送带标定的结果直接影响动态跟踪的效果，本节设计了传送带参数标定的实验，实验平台如图33所示。

机器人系统采用SCARA工业四轴机器人以及实验室自研的HRT-5T控制器和手持示教器，传送带由单独的电机驱动，其上的编码器作为机器人扩展轴接入控制器。

如图34(a)到(d)，分别表示工件在起始线处、上游线处、下游线处、工作范围内某点的标定采点过程。

由采集的数据进行参数计算，传送带坐标系CCS在机器人基坐标系下的欧拉角表示、编码器倍率ratio、上游线upLine、下游线downLine、起始线startLine的标定结果如表4.1所示。

表41传送带参数标定结果

其中，传送带起始线、上游线、下游线的位置可标记测量，上游线始终为0mm，起始线和下游线的测量参考值分别为-345mm,360mm，计算得，起始线和下游线标定的相对误差分别为0.49％,0.29％。

验证CCS标定结果，选取传送带坐标系中已知坐标的四个点，通过CCS转换到机器人基坐标系下，运行机器人到计算结果处，测量机器人末端针尖与实际点之间的误差(如图35所示)。

机器人运行结果与实际点之间的误差均小于0.5mm，证明通过CCS标定计算的坐标误差绝对值小于0.5mm。

本发明对传送带进行了建模并阐述了传送带标定方法，并用实验验证了传送带参数标定的结果。此外，本章详细介绍了动态控制策略，基于编码器对传送带状态进行检测及更新，根据视觉反馈的工件像素坐标和传送带实时位移速度计算工件实时位姿，使用FIFO队列对检出工件进行管理，当有工件来不及处理时，还有传送带自动启停控制，整体流程保证工件信息的实时、准确、不重复、不遗漏。

以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种机器人视觉系统，其特征在于：包括视觉平台和机器人，所述机器人包括上位机和下位机，所述上位机为人机交互界面，所述下位机实现具体功能和控制逻辑，所述下位机功能模块分为标定模块、动态控制策略模块和机器人动作模块，其中，标定模块包括视觉标定、传送带标定和工件标定，使视觉、传送带、工件信息都可以转换到机器人坐标系下使用；动态控制策略模块包括对传送带的实时检测和更新、基于队列的工件管理，实现动态跟踪的逻辑控制和判断；机器人动作模块分别实现对静态工件的抓取和对传送带上运动工件的跟踪；

所述视觉标定采用基于标定物的传统标定方法进行视觉标定，首先建立视觉与机器人之间的坐标关系模型，采集标定板上某几个点的像素坐标和对应机器人坐标，利用数学方法求解模型中的转换参数；利用标定出的转换关系，计算目标工件在机器人坐标系下的坐标，进而引导机器人的动作；

所述动态控制策略模块基于传送带坐标系计算工件实时位姿，需要对传送带进行建模及标定；基于编码器位置反馈计算传送带实时位移和速度，视觉检出的工件利用先进先出队列进行管理，每周期对工件状态实时更新；整体流程保证机器人可以根据实时、准确的工件信息进行逻辑判定，逐个处理传送带上的运动工件；

所述机器人动作模块执行跟踪操作时，先要跟上工件与之保持相对静止，然后执行相应的动态工艺，机器人需要处理的工件上的点称为工艺点，处理完退出跟随状态；为实现对运动工件的跟踪，提出工件基准坐标系标定和工艺点示教方法，通过将操作点映射到工件实时局部坐标系实现了任意位姿、任意工艺点的实时坐标计算，并在最后对跟踪效果进行优化。

2.根据权利要求1所述的机器人视觉系统，其特征在于：所述视觉标定包括视觉建模、基于透视变换模型的视觉标定方法、基于偏移法的定位抓取方法，所述视觉建模包括手眼关系分析和透视变换模型；

所述手眼关系分析分为相机固定的眼在手外关系和相机随动的眼在手上关系，眼在手外系统的机器人基坐标系和相机坐标系静止，两者之间的关系用一个固定矩阵Mx表示；眼在手外时，利用标定板上的一组标定点，分别采集图像像素坐标和机器人基坐标系下的坐标，即可列关于转换矩阵Mx的方程；眼在手上时，利用标定板上的一组标定点，分别采集图像像素坐标和机器人工具坐标系下的坐标，即可列关于转换矩阵Mx的方程；求解出Mx并利用机器人运动学关系即可将工件像素坐标转换为机器人位姿，进而抓取；

所述透视变换模型采用单目2D相机进行视觉定位引导，系统运行时保持相机的拍照高度始终不变，视觉只需要在X、Y方向上进行定位；拍照高度保持不变时，相机坐标系和机器人坐标系之间的关系可以简化为一个平面到另一个平面的映射关系；两个任意平面坐标系之间满足以下坐标变换关系：

其中，w表示透视因子，

为单应性矩阵；

机器人坐标(x,y)与像素坐标(u,v)的关系为：

可将h₉化为1不影响坐标映射关系，等式化为：

所以，

其中，

表示线性变换，

表示平移变换，[m₆ m₇]表示透视变换，平行四边形映射到梯形；该模型称为透视变换模型；

另外，当机器人末端坐标平面与相机坐标平面平行时，变换关系简化为以下仿射变换模型：

该模型将任意平行四边形映射到平行四边形；

所述基于透视变换模型的视觉标定方法包括四点标定方法、基于最小二乘法的标定参数求优，所述四点标定方法：建立相机坐标平面和机器人坐标平面之间的映射关系后，需要求解的转换矩阵为

8个未知参数需要8个方程求解；等式(3)可以变形为：

当有四对像素坐标和机器人坐标时，参数m₀～m₇可线性求解，采集像素坐标；利用高精度菲林标定板，选取视野中不共线的四个标定点，相机在固定高度h处拍照得到四个点的像素坐标(ui,vi)，i＝1,2,3,4.

采集机器人坐标，标定固定相机时，移动机器人使其工具中心点TCP对准标定点中心，此时的末端位置即为标定点在机器人基坐标系下的坐标；标定随动相机时，移动机器人使TCP对准标定点中心，标定点在机器人工具系下的坐标为此时的末端坐标减去拍照时的末端坐标，依次移动将机器人TCP对准四个标定点中心，分别记录四个机器人坐标(xi,yi)，i＝1,2,3,4.

根据四组像素坐标与机器人坐标，可列关于模型参数m₀～m₇的矩阵方程：

采用高斯消元法求解线性方程组，最终得到透视变换模型参数：

x＝[m₀,m₁,m₂,m₃,m₄,m₅,m₆,m₇]^T；

所述基于最小二乘法的标定参数求优：在实际应用中，由于相机拍照得到的像素坐标和机器人对位得到的机器人坐标都存在一定误差，为了提高标定结果的精度，用大于四点列超定方程组：

A x＝b (8)

其中，A为m×8的矩阵，x为待求解的8维未知数向量，A与b组成的增广矩阵[A|b]的秩大于8；

用最小二乘法求不相容方程组的近似解，最佳的最小二乘解x₀应满足：对于A x＝b的每个最小二乘解u，都有||x₀||₂≤||u||₂；根据矩阵论中的定理，A x＝b最佳的最小二乘解为：

x₀＝A⁺b (9)

其中，A⁺是矩阵A的Moore-Penrose广义逆；

由矩阵A的物理意义知，A为列满秩的实数矩阵，它的加号广义逆为：

A⁺＝(A^TA)^-1A^T (10)

因此，原方程的最小二乘最优解为：

x₀＝(A^TA)^-1A^Tb (11)

综上所述，在视觉标定时，采用n(n>8)个不共线的标定点，分别得到像素坐标(u_i,v_i)和机器人坐标(x_i,y_i)(i＝1,…,n)，列关于模型参数m₀～m₇的超定方程组：

利用式(11)即可计算得到关于m₀～m₇的最小二乘最优解；

所述基于偏移法的定位抓取方法：、

相机拍摄视野中的工件，返回工件中心像素坐标，利用视觉标定参数进行转换计算，得到机器人TCP坐标，计算公式如下：

其中，(u,v)为相机拍照得到的工件像素坐标，(x,y)为对应的机器人坐标系下坐标，m₀～m₇为透视变换模型参数；

对于固定相机，公式计算出的(x,y)为TCP在基坐标系下的位置，该坐标为绝对坐标，机器人运行到指定点位即可；对于随动相机，公式计算出的(x,y)为TCP在工具坐标系下的位置，该坐标为相对坐标，机器人运行时需要在拍照位置基础上加上相对坐标的偏移；由于随动相机可以随着机器人末端执行器运动，视野范围小，因此用于精定位以减少误差；

设拍照时机器人末端坐标为(X_trig,Y_trig,Z_trig,A_trig,B_trig,C_trig)，A-B-C为z-y-z欧拉角，则工件像素坐标到机器人坐标的转换公式为：

其中，(X_w,Y_w,Z_w,A_w,B_w,C_w)为转换后的机器人坐标，(u,v,θ)为工件像素坐标，h为固定的高度，m₀～m₇为透视变换模型参数；

综上所述，利用视觉定位时，先通过透视变换模型，将相机坐标平面映射到机器人坐标平面；然后，对于固定相机，直接用标定出的参数将工件像素坐标转换为机器人基坐标系下的末端位置；对于随动相机，将工件像素坐标转换为机器人工具系坐标，在拍照位置的基础上偏移，得到最终需要的机器人位姿坐标，进而机器人可以实行抓取。

Images