CN108177150A - 基于视觉的电梯门板定位与抓取装置及方法 - Google Patents

Abstract

本发明公开了一种基于视觉的电梯门板定位与抓取装置及方法，所述装置由视觉系统装置、图像采集卡、机器人和工控机组成。所述系统方法分为三个模块：S1，视觉定位模块；S2，坐标系转换模块；S3，系统软件设计模块。所述系统采用双相机，并基于康耐视VisionPro视觉开发软件设计电梯门板的特征识别和定位程序，具有很好的定位效果，能够引导机器人快速、准确地抓取电梯门板完成上料任务，满足工业实际应用的需求。

Description

基于视觉的电梯门板定位与抓取装置及方法

技术领域

本发明涉及机器人视觉定位及抓取领域，特别是涉及一种基于视觉的电梯门板定位与抓取装置及方法。

背景技术

工件的识别和定位是工业机器人在生产线上有效应用的重要环节。目前机器人已广泛应用于工业生产线上，但很多都是在示教人员的示教编程或离线编程下完成一些预先设定的固定动作和功能。如果工件周围的环境发生了变化，则就很可能导致机器人任务失败。

机器视觉是使机器人具有像人一样的视觉功能，从客观事物的图像中提取出有用的信息，从而实现各种检测、判断、识别和测量等功能。将机器视觉技术和机器人技术相结合，利用机器视觉的定位功能使机器人具有自己的“眼睛”以获取工件的位置信息，引导机器人完成抓取、搬运等工作。

目前，机器人抓取定位系统大多采用PLC控制器来实现操作，有的通过各种传感器来协助工件抓取过程中需检测的参数，这就容易受外界因素干扰，且导致所需硬件较多，使系统成本增加。

申请公布号为CN102794763A的发明专利申请公开了一种“基于线结构光视觉传感器引导的焊接机器人系统标定方法”，该系统标定方法通过相机获取圆靶标图像，并利用矩阵转换、Hough变换等方法对图像进行处理计算，最终获得工件在不同位姿下的位移值。该发明专利申请实现了机器人基于线结构光视觉传感器的手眼关系矩阵和传感器参数的快速标定，但其需采用多种算法对图像进行处理，且标定算法较为复杂。

申请公布号为CN104369188B的发明专利申请公开了一种“基于机器视觉和超声波传感器的工件抓取装置及方法”，该发明专利使用单目相机采集工件轮廓图像，使用超声波传感器测距，实现了机器人对工件的抓取。但其装置由相机、传感器、液晶显示屏、PLC等硬件构成，设备所需硬件多且成本较高。

申请公布号为CN103558850A的发明专利申请公开了一种“一种激光视觉引导的焊接机器人全自动运动自标定方法”，该方法涉及相机成像原理、激光结构光测量原理和手眼系统工作原理，实现激光结构光引导的焊接机器人系统的全自动标定。此系统需通过相机在三维空间做两组平移运动来实现相机参数的标定，并判断每次运动是否符合标定要求，操作方法略累赘。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于视觉的电梯门板定位与抓取装置及方法，该装置针对电梯门板尺寸较大，单相机定位精度差、不稳定的难题，提出了采用双相机的方法，保证定位的精确性和稳定性。

本发明的另一个目的在于提供一种应用上述基于视觉的电梯门板定位与抓取装置实现的定位与抓取方法，其分为三个模块：S1，视觉定位模块；S2，坐标系转换模块；S3，系统软件设计模块；并基于康耐视VisionPro视觉开发软件设计电梯门板的特征识别和定位程序，具有很好的定位效果，能够引导机器人快速、准确地抓取电梯门板完成上料任务，满足工业实际应用的需求。

本发明解决上述技术问题的技术方案为：

基于视觉的电梯门板定位与抓取装置及方法，其特征在于，所述装置包括视觉系统装置、图像采集卡、工控机和机器人。其中，所述的视觉系统装置由相机、镜头和光源构成，作为系统中的视觉传感器，用于捕捉电梯门板来料的状态图像；所述的图像采集卡安装在工控机PCI插槽中，用于采集视觉系统装置捕捉到的图像并将其输入到工控机；所述的工控机是系统的核心，承担着图像处理、界面显示和通信的重要任务，用于将计算处理后的结果反馈给机器人；所述的机器人用于完成抓取工作，当其抓手到达图像采集位置后，将发出图像采集信号返回到相机控制其采集图像。

所述定位与抓取方法分为三个模块：S1，视觉定位模块；S2，坐标系转换模块；S3，系统软件设计模块。其中：

所述的S2，坐标系转换模块，包括以下步骤：

S21，相机标定，即实现图像坐标系到世界坐标系的转换，

S22，手眼标定，即实现世界坐标系到机器人工件坐标系的转换。

所述的S3,系统软件设计模块，包括以下步骤：

S31，提取特征点坐标，

S32，计算偏移量；

其中，S31，提取特征点坐标包括三个步骤：

(1)转换坐标系，

(2)模板匹配，

(3)提取特征点A、B。

本发明与现有技术相比具有以下的有益效果：

1、采用了双相机的方法，解决了电梯门板尺寸较大单相机定位精度差、不稳定的难题，保证定位的精确性和稳定性；

2、基于康耐视VisionPro视觉开发软件设计电梯门板的特征识别和定位程序，具有很好的定位效果，能够引导机器人快速、准确地抓取电梯门板完成上料任务，满足工业实际应用的需求；

3、系统参数标定方法简便易行，能够满足工业现场标定要求，且无需用到传感器、PLC等硬件设备，减少系统成本。

附图说明

图1为本发明的基于视觉的电梯门板定位与抓取装置的一个具体实施方式的结构示意图。

图2为本发明的基于视觉的电梯门板定位与抓取方法的模块流程图。

图3为视觉定位的原理示意图。

图4为视觉定位模块的流程示意图。

图5为视觉定位系统的安装方式示意图。

图6为图像坐标系、世界坐标系和机器人工件坐标系三大坐标系的关系示意图。

图7为世界坐标系和工件坐标系的关系示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本发明的基于视觉的电梯门板定位与抓取装置由视觉系统装置、图像采集卡、工控机和机器人构成，其中：

参见图1，所述的视觉系统装置包括相机1和2、镜头3和4、光源5和6；其中，所述的两个相机1和2、镜头3和4安装在机器人9的吸盘抓手一端，光源5安装在相机1和镜头3下面，光源6安装在相机2和镜头4下面；相机1和镜头3、相机2和镜头4均用于在其工作范围内拍摄图像，捕捉需要处理的电梯门来料状态图像；光源5和6用于打光，增强图像的对比度；所述的图像采集卡7安装在工控机8的PCI插槽中，用于采集视觉系统装置捕捉到的图像并将其输入到工控机8；所述的机器人9抓手到达图像采集位置后，发出图像采集信号控制相机1和相机2采集图像，采集的图像通过千兆以太网传送给工控机8；工控机8获取图像后通过图像处理算法计算出位置偏移量并发送给机器人9，引导机器人9调整自己的抓取位姿，如果定位失败则需要人工调整门板位置重新定位，工控机8和相机1和2，工控机8和机器人9都通过以太网相连接，工控机8是系统的核心，承担着图像处理、界面显示和通信的重要任务。图中10为机器人控制柜，是机器人9的一部分，11为电梯门板的来料台面。

参见图2，所述的基于视觉的电梯门板定位与抓取方法的流程，包括以下步骤：

S1：视觉定位模块，即实现对电梯门板来料状态图像的捕捉、定位，视觉定位原理及流程详细描述如下：

S11：视觉定位原理及流程：参见图3，电梯门板来料的标准位置是偏移量为零的位置，实际生产中工人通过吊装设备将电梯门板放置在来料台面上，每次放置的位置都有变化。由于电梯门板尺寸较大为2120*430mm，角度计算偏差稍大经过坐标系原点旋转后会在门板的另一端造成较大偏差，且门板越长偏差就越大；而相机的视野有限，再加上不同门板采集图像时噪声的干扰，会使得单相机定位精确度不够、稳定性不高。为解决此问题，本系统采用双相机定位的方法，通过求取两个相距较远的点拟合的直线角度保证定位的精度和稳定性；因机器人上料时电梯门板一端距离地面较近，则两相机只能安装在吸盘抓手的一端，因此两个点分别取电梯门板一端两个矩形孔的左上顶点A和B。

参见图1，两个相机分别采集电梯门板一端的两个矩形孔图像，相机1视野中的A点通过寻找特征边L_a1和L_a2的交点提取，相机2视野中的B点通过寻找特征边L_b1和L_b2的交点提取。机器人工件坐标系O_r原点建在特征点A₀处，选取点A计算位移偏移量，直线AB计算角度偏移量。首先采集基准位置电梯门板图像，计算点A₀(x₀,y₀)、B₀的坐标和直线A₀B₀的角度α₀(其中A₀为原点x₀＝0,y₀＝0)，并分别保存为基准位置坐标和基准位置角度；然后每次来料时，采集图像计算此时点A(x,y)和直线AB的角度α，可知偏移量ΔX＝x-x₀＝x，ΔY＝y-y₀＝y，Δα＝α-α₀。

参见图4，视觉定位系统流程如下：当机器人抓手到达图像采集位置后，发出图像采集信号控制相机采集图像，采集的图像通过千兆以太网传送给工控机；工控机获取图像后通过图像处理算法计算出位置偏移量并发送给机器人，引导机器人调整自己的抓取位姿，如果定位失败则需要人工调整门板位置重新定位。

S12：视觉系统安装方式：根据来料位置允许误差范围为±50mm相机视野可控制在160*120mm左右；提取的特征点A，B距离是260mm，则两相机的光心距离保持在260±5mm；受限于机器人工作最大高度限制、相机工作距离不超过470mm等实际情况，设计了如图5所示的视觉定位系统的安装方式。

S2：转换坐标系：由于系统采集到的图像使用的是图像坐标系，而机器人是通过调整工件坐标系实现位姿的调整，所以需要建立图像坐标系与工件坐标系的关系。系统中包括3个坐标系：图像坐标系、世界坐标系和机器人工件坐标系，Z轴坐标由激光传感器确定，视觉系统是在二维平面内的定位，3个坐标系都是二维坐标系，不考虑Z轴。3个坐标系的关系参见图6。

由图6可知，要实现图像坐标系到机器人工件坐标系的转换，首先要进行S21，相机标定，实现图像坐标系到世界坐标系的转换；再进行S22，机器人手眼标定，实现世界坐标系到机器人工件坐标系的转换。

S21：相机标定：视觉定位过程中需要确定电梯门板表面点的位置与其在图像中位置的关系，即需要构建相机成像的几何模型，相机标定即是求解模型参数的过程(参考论文《砖窑卸垛机器人视觉定位系统研究[J]》，作者廖晓波，李众立，廖璇，控制工程，2013，20(4):650-654)。相机标定分为线性标定和非线性标定。成像过程中普遍存在透视畸变和径向畸变(参考论文《零件的双目视觉识别定位与抓取系统研究[J]》，作者王晓华，傅卫平，制造业自动化，2010，32(11):129-132、论文《考虑径向畸变的机器人视觉系统的参数标定[J]》，作者薛白，段锁林，邹凌，计算机工程与设计，2012，33(11):4407-4411)。其中，透视畸变主要是因为相机光轴与电梯门板平面不垂直造成的，属于线性畸变；径向畸变主要是镜头自身的工艺造成的，包括桶形畸变和枕形畸变，属于非线性畸变。为了能够准确反映其对应关系，提高视觉定位的精确度，采集的图像需要畸变矫正，采用非线性标定法。非线性标定即通过建立摄像机成像的非线性模型，根据标定板图像中特征点的像素坐标和世界坐标的对应关系求解出摄像机的内外参数及畸变参数。

系统中非线性标定采用VisionPro中的CogCalibCheckerBoardTool工具，相机1和相机2的标定方法相同，下面以相机1为例说明标定方法。

(1)采集标定板图像：标定板分为棋盘格标定板和网格点标定板，由于当棋盘格标定板采用“详尽棋盘格”搜索特性时标定精度优于网格点标定板，所以采用棋盘格标定板。标定板图像的采集环境和工具配置与相机正常工作时一致，根据相机视野和精度的要求制作了平面大小为270*190mm，网格大小为5mm*5mm的标定板。

(2)提取标定信息：获取标定板图像后，采用CogCalibCheckerBoardTool工具提取图像的特征点；标定模式选择非线性，特性搜索模式选择详尽棋盘格。

(3)相机标定：求解相机成像模型的参数，包括透视和径向畸变模型参数以及线性转换模型参数；系统运行时，采用求得的模型完成对畸变图像的矫正，并将图像坐标系转换为世界坐标系。RMS误差是特征点位置的均方根误差，误差越小标定效果越好，计算公式如下：

其中：N为找到的特征点的个数；i为特征点的编号；e为某个特征点的位置误差，等于此点通过相机标定转换求得的世界坐标与未校正前此点真实的世界坐标间的距离。CogCalibCheckerBoardTool工具中把RMS误差分为了5个等级：(0,0.1)为优秀，(0.1,0.5)为良好，(0.5,2)为合格，(2,5)为差，(5,+∞)为非常差。

S22：手眼标定：手眼标定完成世界坐标系到机器人工件坐标系的转换，其关系如图7所示。

由图7可以看出，两坐标系主要的关系是缩放、旋转和偏移。O_w是世界坐标系，O_r是机器人工件坐标系，M点是坐标系中的任意点，坐标分别为(x_wm,y_wm)和(x_rm,y_rm)。则世界坐标系和机器人工件坐标系的关系可表示为：

其中：f_x，f_y为世界坐标系X，Y方向的缩放比例；α为旋转角度；x₀，y₀为两坐标系原点偏移量。采用CalibNPointToNPointTool标定工具计算其转换关系：

(1)确定特征点：通过工具CalibNPointToNPointTool实现坐标系转换需要一组特征点的坐标值，特征点的选取要对比度好、清晰、计算精确度高，参见图3，其中的点A即是本系统选取的特征点。

(2)记录坐标并转换：常用的坐标系转换方法有四点法和九点法，点数越多精确度越高，因此本系统采用九点法。让机器人分别沿其X，Y方向移动两次，每次移动20mm，共记录9个点，移动到每个点时分别记录下其未校正坐标和原始的已校正坐标。系统运行时，通过此转换即可完成世界坐标系到机器人工件坐标系的转换。

S3：系统软件设计：视觉定位是机器人抓取上料的关键环节，在图像处理的核心算法上必须保证高精度、高效率和高稳定性，这样无疑要做大量的实验，增加系统开发的难度和周期(参考论文《高速机器人分拣系统机器视觉技术的研究[J]》，作者晏祖根，李明，徐克非，等，包装与食品机械，2014，32(1)：28-31)。

本系统基于VisionPro采用·NET语言进行二次开发，保证系统的稳定性和高效性，同时加快应用程序开发周期，降低开发成本。

本模块包括S31，提取特征点目标和S32，计算偏移量两个步骤，详细描述如下：

S31：提取特征点目标：此步骤包括以下3个流程：

(1)转换坐标系：采用CogAcqFifoTool工具采集图像。此时图像采用的坐标系是图像坐标系，根据上述坐标系转换方法进行坐标系的转换，使偏移量的计算都在工件坐标系下完成，这样可以直接为机器人使用。

(2)模板匹配：模板匹配可以在几何变换中找出特征图像和其检测目标之间的坐标对应关系。由于来料位置的变动会使相机采集的图像特征位置相应变动，采用模板匹配的办法实现对特征边搜索区域的粗定位，再用VisionPro中的CogPMAlignTool工具提取图片的特征位置信息并通过CogFixtureTool工具建立其与特征边搜索区域的坐标对应关系，即使来料门板位置发生了变动也不会影响对特征边的提取，保证A点和B点的稳定提取。CogPMAlignTool工具有多种模板匹配算法，主要包括PatQuick，PatMax和PatFlex，由于对计算速度的要求以及CogPMAlignTool工具只是用来粗定位，所以采用PatQuick算法。

选择的模板在整个图像中要具有唯一性，保证可以唯一的、稳定的匹配到此模板，在此系统中选择两条边相交处矩形孔的直角为匹配模板。CogPMAlignTool工具模板匹配分为两个阶段，即离线模板训练和在线模板匹配。首先使用CogPMAlignTool工具中的图像掩膜编辑器绘制自己需要训练的特征模板进行离线训练并保存；然后对采集到的新图像进行模板匹配，寻找模板并计算相似度；最后把CogPMAlignTool工具匹配到的特征位置变化信息传达CogFixtureTool工具实现模板与特征边搜索区域的坐标相对应关系。

(3)提取特征点A，B：首先拟合特征边，然后求两条拟合特征边的交点。特征边是通过求取边上的点拟合的，特征边上点的求取采用VisionPro中CogFindLine工具的卡尺实现，本系统中使用40个探索长度为14mm、投影长度为4mm的卡尺提取特征边上40个特征点，同时考虑到外界噪声对图像的干扰，在拟合特征边时忽略5个偏差最大特征点，以提高拟合的精确性。把CogFindLine工具拟合的两条特征边Restlt.GetLine()传递给CogIntersect-LineLineTool工具求取两条特征边的交点，CogIntersectLineLineTool工具有两个输出终端X和Y，即表示交点的坐标值。

S32：计算偏移量：如图3所示，把电梯门板放在抓取标准位置，机器人抓手移动到拍照位置采集图像，经上述图像处理计算出A₀(x₀,y₀)点的坐标；作为基准位置坐标，采用函数CogMath.AnglePointPoint()计算出直线A₀B₀的角度α₀作为基准角度。当来料位置发生变化时，用此时计算的点A(x,y)的坐标减去基准位置坐标，即可求得

ΔX＝x-x₀＝x (3)

ΔY＝y-y₀＝y (4)

采用函数CogMath.AnglePointPoint()计算出直线AB的角度α，减去其基准角度即可求得

Δα＝α-α₀ (5)

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.基于视觉的电梯门板定位与抓取装置，其特征在于，该装置包括视觉系统装置、图像采集卡、机器人和工控机；其中，

所述的视觉系统装置用于捕捉电梯门板来料的状态图像，包括相机、镜头和光源；

所述图像采集卡用于采集视觉系统装置捕捉到的图像并将其输入到工控机；

所述工控机用于处理图像，并将计算后的结果发给机器人，引导机器人调整抓取位姿；

所述机器人用于完成抓取工作，当其抓手到达图像采集位置后，将发出图像采集信号控制相机采集图像。

2.一种应用权利要求1所述的基于视觉的电梯门板定位与抓取装置实现的定位与抓取方法，其特征在于，该方法由三个模块组成：

S1，视觉定位模块；

S2，坐标系转换模块；

S3，系统软件设计模块。

3.根据权利要求2所述的基于视觉的电梯门板定位与抓取方法，其特征在于，所述步骤S2中，坐标系转换模块涉及三大坐标系，包括图像坐标系、世界坐标系和机器人工件坐标系；该模块需要经过以下两个步骤：

S21，相机标定：用于实现图像坐标系到世界坐标系的转换；

S22，手眼标定：用于实现世界坐标系到机器人工件坐标系的转换。

4.根据权利要求2所述的基于视觉的电梯门板定位与抓取方法，其特征在于，所述步骤S3中，系统软件设计模块包括以下两个步骤：

S31，提取特征点坐标，

S32，计算偏移量。

5.根据权利要求4所述的基于视觉的电梯门板定位与抓取方法，其特征在于，所述步骤S31中，提取特征点坐标包括三个步骤：

(1)转换坐标系，

(2)模板匹配，

(3)提取特征点A、B。