CN110171009B - 一种基于立体视觉的机器人手持示教装置 - Google Patents

Abstract

本发明公开了一种基于立体视觉的机器人手持示教装置，涉及机器人示教和立体视觉领域，包括信息发送单元、手持握柄、状态指示、基板、特征识别单元、位姿测量杆件、信号触发装置和模式选择单元。操作手持示教装置的位姿测量杆件末端以设定的姿态移动到规划路径上的设定点的位置，获取特征识别单元的图像信息，通过数据处理获取立体视觉坐标系到特征识别单元坐标系的位姿矩阵，结合手持示教装置几何尺寸进一步构建位姿测量杆件末端坐标系到机器人基座标系的位姿矩阵，求算示教点在机器人基坐标系下的位姿信息，根据模式选择单元选择的拟合方式，机器人复现示教点轨迹。本装置简单灵活、工作效率高，能够实现快速示教，提升机器人使用易用性。

Description

一种基于立体视觉的机器人手持示教装置

技术领域

本发明属于机器人示教和视觉技术领域，特别涉及一种基于立体视觉的机器人手持示教 装置。

背景技术

随着机器人技术的不断发展，工业机器人已经在人类社会的工业生产领域当中扮演着举 足轻重的地位，基于工业机器人的自动化生产线已经在机械加工、喷涂、装配、焊接、搬运 等领域广泛应用。目前，大部分工业机器人在实际运动前需要经过示教，常采用的方式是示 教器示教，这种传统的示教方法需要先控制机器人末端运动到指定位置，再控制机器人进行 姿态变化，过程非常耗时耗力。如遇到工件表面结构较复杂，还需要不断反复地变换机器人 位置和姿态才能到达末端所需位姿，极大地降低了机器人的工作效率和使用易用性。

近年来，机器人视觉技术为解决机器人示教问题带来新的可能。目前比较成熟的视觉技 术有基于飞行时间(TOF)、结构化光、双目视觉和光场的技术。这些技术都能通过一定的算法 得到被测对象的深度信息，将深度信息反馈给机器人系统，便可解决机器人示教中的深度问 题。

目前关于工业机器人视觉示教，例如中国专利号：CN201610595202.4，名称：一种基于 立体视觉技术对机器人进行示教的方法，该发明公开了一种基于立体视觉技术对机器人进行 示教的方法，该方法具体为：在工具(如焊枪、喷头)上放置标识物，使用立体视觉摄像头 识别工具，并连续记录每一帧的深度图，再将工具放置于机器人末端，标定机器人末端工具 坐标系到焊枪标识物坐标系的位姿变换矩阵，然后进行示教复现。该方法示教时无需拖拽机 器手臂，轻便而且节省空间，系统搭建较为简便。然而，该方法具有一定的局限性。该方法 使用的是真实焊枪或者其他工具，标识物需要考虑如何固接于不同的工具，不具有通用性。 此外，该方法每次示教完将工具安装到机器人末端后，都需要重新标定摄像头坐标系下工具 位姿矩阵到机器人坐标系下手臂末端位姿矩阵的变换关系，这对于需要多次示教不同规划路 径的工况环境是十分耗时耗力的，机器人使用易用性有所限制。

发明内容

针对上述存在的问题，本发明设计了一种基于立体视觉的机器人手持示教装置，该手持 示教装置克服传统机器人示教费时费力、操作程序复杂等问题，简化位姿变换关系，从而实 现机器人快速示教，形成加工轨迹，提高示教效率和机器人的使用易用性。

为实现上述目标，本发明的主要技术方案如下：

一种基于立体视觉的机器人手持示教装置，其特征在于，至少包括信息发送单元1、手持 握柄2、状态指示3、基板4、特征识别单元5、位姿测量杆件6、信号触发装置7和模式选 择按钮8。信息发送单元1安装在手持握柄2内部，基板4固定在手持握柄2上，状态指示3安装在手持握柄2上，特征识别单元5固接在基板4上，位姿测量杆件6固定在手持握柄2 的前端，信号触发装置7固定在手持握柄2上，模式选择按钮8固定在手持握柄2上。

信息发送单元1采用有线传输或无线传输或有线和无线传输方式与立体视觉系统进行信 息交互。

模式选择按钮8至少包括直线拟合和圆弧拟合两种轨迹拟合模式可供用户选择；所述状 态指示3能够显示直线拟合和圆弧拟合两种轨迹拟合模式选择状态；用户通过主动操作模式 选择按钮8,结合状态指示3的反馈信息联合确定示教点的轨迹拟合模式。

特征识别单元5所在坐标系与位姿测量杆件6所在坐标系的位姿变换矩阵由其对应的平 移向量和旋转矩阵组成，特征识别单元坐标系5-1到位姿测量杆件6末端坐标系的平移向量 由一次标定得出，旋转矩阵由特征识别单元5与位姿测量杆件6的形位关系得出。

位姿测量杆件6可根据不同的示教环境要求替换不同外形的杆件，每次替换后重新标定 特征识别单元5所在坐标系与位姿测量杆件6末端坐标系之间的位姿变换矩阵；所述示教环 境至少包括空间上的点、线、平面和曲面等。

特征识别单元5至少包含三个有可被立体视觉识别的不共线的特征信息，通过特征识别 算法获取三个特征信息在立体视觉坐标系下的位置信息，构建特征平面，确定唯一位姿，构 建特征识别单元5所在坐标系在立体视觉坐标系下的位姿变换矩阵。

在示教过程中，通过模式选择按钮8和状态指示3联合确定示教点的轨迹拟合模式，操 作手持示教装置，使位姿测量杆件6的末端点移动到规划路径上的设定点，在保持位姿测量 杆件6末端点的位置不变的情况下，调整位姿测量杆件6至设定的姿态。按下信号触发装置 7，信息发送单元1发送信号给立体视觉系统，控制立体视觉系统完整清晰地采集特征识别单 元5的图像信息后将该图像信息发送给计算机，计算机通过数据处理获得立体视觉坐标系与 特征识别单元5所在坐标系之间的位姿变换矩阵T₃。经过机器人手眼标定一次性获取器人末 端夹持工具坐标系与立体视觉坐标系机之间的位姿变换矩阵T₂，结合特征识别单元5所在坐 标系与位姿测量杆件6末端坐标系的位姿变换矩阵T₄以及从机器人控制模块获取的机器人基 坐标系与机器人末端夹持工具坐标系之间的位姿变换矩阵T₁，进一步计算获取机器人基坐标 系与位姿测量杆件6末端坐标系之间的位姿变换矩阵T₅＝T₁·T₂·T₃·T₄，最终转换为位姿测量 杆件6末端点在机器人基坐标系下的位姿信息，即所示教的规划路径上设定点在机器人基坐 标系下的位姿信息PP，根据位姿信息PP，机器人可以复现示教点的位姿状态。

本发明的有益效果是：

1、本发明所述的一种基于立体视觉的机器人手持示教装置，充分利用人手部的灵活性， 操作人员能够迅速、直观地将手持示教装置移动到达规划路径上设定点的位置和姿态，相比 传统的示教器示教，工作效率大幅度提升。

2、本发明所述的一种基于立体视觉的机器人手持示教装置，构成简单，其位姿测量杆件 提供实时位姿反馈，有助于操作人员在复杂示教工况下实时预估和调整机器人末端夹持工具 的运动位置和姿态，确保规划轨迹能够在复杂环境下平稳安全运行。

附图说明

图1为一种基于立体视觉的机器人手持示教装置示意图。

图2为一种基于立体视觉的机器人手持示教装置特征识别单元示意图。

图3为一种基于立体视觉的机器人手持示教装置特征识别单元坐标系示意图。

图4为一种基于立体视觉的机器人手持示教装置的坐标系转换示意图。

附图中：1-信息发送单元；2-手持握柄；3-状态指示；4-基板；5-特征识别单元；6-位 姿测量杆件；7-信号触发装置；8-模式选择按钮；5-1为特征识别单元坐标系；6-1为位姿测 量杆件末端坐标系。

具体实施方式

以下结合附图进一步说明本发明。

实施例：如附图1所示，一种基于立体视觉的机器人手持示教装置，包括信息发送单元 1、手持握柄2、状态指示3、基板4、特征识别单元5、位姿测量杆件6、信号触发装置7和模式选择按钮8；如附图1所示的实施例中，所述信息发送单元1安装在手持握柄2内部， 所述信号触发装置7通过固定孔固定在手持握柄2下表面；所述基板3固定在手持握柄2上 表面；所述特征识别单元4固接在基板3上；所述位姿测量杆件6通过固定孔固定在手持握 柄2的前端；所述模式选择按钮7固定在手持握柄2上表面。

如图2所示的特征识别单元是四行五列的方格棋盘，根据棋盘角点检测算法中邻近四边 形的排序关系，可将棋盘内所有内角点按顺序依次检测出。其原理是将棋盘内每个黑色四边 形作为一个单元，它分别有如下情形：邻近的四边形，无邻近四边形的为干扰四边形，两个 邻近四边形为边界处四边形，四个邻近四边形为内部四边形。每个四边形的序号可按邻近关 系排序，然后按对角两个四边形相对的两个点，取其连线的中间点作为角点。选择奇偶不同 的行列数，目的是能够确定唯一的首角点，即图3中棋盘右下角边界处第一个黑色方格和其 相邻的黑色方格所连接的内角点O₁。

如图3所示，选择棋盘上的另外两个内角点与首角点O₁构建X轴、Y轴，为方便表达，本例中使用的是左下角和右上角的两个内角点，分别与首角点O₁构建X轴、Y轴，根据右手定则确定Z轴方向，构建特征识别单元坐标系5-1。设三个内角点在立体视觉坐标系下的位置信息依次为(x₁、y₁、z₁)、(x₂、y₂、z₃)、(x₃、y₃、z₃)，其他内角点也可作为额外点带入 计算用于获取更加均匀平滑的结果。根据三个内角点的位置信息，构建立体视觉坐标系下的 空间向量

如式(1)所示：

取向量

的单位向量，如式(2)所示：

同时，立体视觉坐标系上单位向量，如式(3)所示：

由旋转矩阵的定义，可建立特征识别单元坐标系5-1相对于立体视觉坐标系的旋转矩阵 R₃，如式(4)所示：

选择点1的坐标值(x₁、y₁、z₁)作为特征识别单元坐标系5-1的原点，也是该坐标系的平移向量，构建出立体视觉坐标系与特征识别单元坐标系5-1的位姿变换矩阵T₃，如式(5) 所示：

在进行示教前，需要通过一次标定构建手持示教装置上特征识别单元坐标系5-1到位姿 测量杆件末端坐标系6-1的位姿变换矩阵T₄。将至少带有三个特征点的标定物(图中未标出) 放在立体视觉系统有效视场范围内，立体视觉系统获取特征点在立体视觉坐标系下的位置信 息，记作(x_n1,y_n1,z_n1),(x_n2,y_n2,z_n2),...,(x_ni,y_ni,z_ni)，i为特征点个数，i≥3。然后操作手持示教 装置分别示教这些特征点，立体视觉系统完整清晰地采集每次示教时特征识别单元5的图像 信息，计算机通过数据处理计算每次示教时立体视觉坐标系到特征识别单元坐标系5-1的位 姿变换矩阵T₃。

为方便说明，设T_g为立体视觉坐标系到位姿测量杆件末端坐标系6-1的平移向量，即位 姿测量杆件6的末端点在立体视觉坐标系下的位置信息，如式(6)所示：

其中，[x y z]^T为特征识别单元坐标系5-1到位姿测量杆件末端坐标系6-1的平移向 量，为待求量，记作T_t。

进一步进行矩阵运算，可以得到如式(7)所示的关系：

其中，i代表用于标定的特征点数量，且i≥3，[x_ni y_ni z_ni]^T为立体视觉坐标系下的对 应特征点的位置信息。

将i个特征点的位置信息(x_n1,y_n1,z_n1),(x_n2,y_n2,z_n2),...,(x_ni,y_ni,z_ni)带入式(7)，求得式(8) 所示的关系：

对形如A·X＝B的矩阵格式且矩阵A不为方阵，可通过最小二乘法求得矩阵

即为式(9)所示的关系：

从而求得特征识别单元坐标系5-1原点到位姿测量杆件末端坐标系6-1原点的平移向量 T_t，再由特征识别单5与位姿测量杆件6的形位关系确定旋转矩阵R_t，最终

构建 出特征识别单坐标系5-1与位姿测量杆件坐标系6-1之间的位姿变换矩阵，记作T₄。

将待加工物件放置在立体视觉系统的有效视场范围内，通过模式选择按钮8和状态显示 3的显示状态联合确定示教点的轨迹拟合模式，操作手持示教装置到达规划路径上的设定点 的位姿，立体视觉系统完整清晰地采集特征识别单元5的图像信息，计算机通过数据处理计 算获取立体视觉坐标系与特征识别单元坐标系5-1的位姿变换矩阵T₃。根据图4所示的坐标 系转换关系，此时，根据位姿变换矩阵的封闭运动链，机器人基坐标系到位姿测量杆件末端 坐标系6-1的位姿变换关系(记作T₅)与机器人基坐标系到机器人末端夹持工具坐标系的位 姿变化矩阵(记作T₁，由机器人控制模块获取)、机器人末端夹持工具坐标系与立体视觉坐标 系的位姿变换矩阵(记作T₂，由机器人手眼标定获取)、立体视觉坐标系与特征识别单元坐标 系5-1的位姿变换矩阵T₃、手持示教装置上特征识别单元坐标系5-1与位姿测量杆件末端坐 标系6-1的位姿变换矩阵T₄之间的关系如式(10)所示：

T₅＝T₁·T₂·T₃·T₄ (10)

根据机器人基坐标系与位姿测量杆件末端坐标系6-1的位姿变换关系T₅，可转换为所示 教的一个设定点在机器人基坐标系下的位姿信息PP，计算机将其保存，等待所有设定点示教 完成后，将所有设定在基坐标系下的位姿信息PP传输给机器人控制模块，控制机器人复现所 有设定点的位姿状态，形成规划轨迹。

以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。除上述实施例 外，本发明还可以有其它实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本 发明所要求保护的范围之内。

Claims (5)

1.一种基于立体视觉的机器人手持示教装置，其特征在于，至少包括信息发送单元(1)、手持握柄(2)、状态指示(3)、基板(4)、特征识别单元(5)、位姿测量杆件(6)、信号触发装置(7)和模式选择按钮(8)；所述信息发送单元(1)安装在手持握柄(2)内部；所述基板(4)固定在手持握柄(2)上；所述状态指示(3)安装在手持握柄(2)上；所述特征识别单元(5)固定在基板(4)上；所述位姿测量杆件(6)固定在手持握柄(2)的前端；所述信号触发装置(7)固定在手持握柄(2)上；所述模式选择按钮(8)固定在手持握柄(2)上；

所述信息发送单元(1)采用有线传输或无线传输或有线和无线传输方式与立体视觉系统进行信息交互；

所述位姿测量杆件(6)根据示教环境的不同，可更换不同的末端测量杆件，同时所述位姿测量杆件(6)相对于特征识别单元(5)的形位关系固定且已知；所述示教环境至少包括空间上的点、线、平面和曲面；

所述模式选择按钮(8)至少包括直线拟合和圆弧拟合两种轨迹拟合模式可供用户选择；所述状态指示(3)能够显示直线拟合和圆弧拟合两种轨迹拟合模式选择状态用户通过主动操作所述模式选择按钮(8)，结合状态指示(3)的反馈信息联合确定示教点的轨迹拟合模式。

2.根据权利要求1所述的一种基于立体视觉的机器人手持示教装置，其特征在于，所述特征识别单元(5)至少包括三个不共线的特征信息，其相互位置关系固定且已知，用于确定所述特征识别单元(5)的坐标系与立体视觉坐标系之间的位姿变换矩阵T₃。

3.根据权利要求1所述的一种基于立体视觉的机器人手持示教装置，其特征在于，示教过程如下步骤：首先，操作手持示教装置，使所述特征识别单元(5)置于立体视觉系统的有效视场范围内；其次，将手持示教装置的所述位姿测量杆件(6)的末端放置到规划路径上的设定点上；然后，在保持所述位姿测量杆件(6)末端点的位置不变的情况下，调整所述位姿测量杆件(6)至设定的姿态；而后通过所述信号触发装置(7)控制所述信息发送单元(1)发送信号给立体视觉系统，控制立体视觉系统拍摄完整清晰的所述特征识别单元(5)的图像；下一步，立体视觉系统将所述特征识别单元(5)的图像信息传输给计算机进行数据处理，获取所述特征识别单元(5)的坐标系在立体视觉坐标系下的位姿矩阵T₃；进而结合从机器人控制模块获取的机器人基坐标系与机器人末端夹持工具坐标系之间的位姿变换矩阵T₁、机器人手眼标定获取的机器人末端夹持工具坐标系与立体视觉坐标系之间的位姿变换矩阵T₂、手持示教装置上所述特征识别单元(5)的坐标系与位姿测量杆件(6)的末端坐标系之间的位姿变换矩阵T₄，构建出所述位姿测量杆件(6)的末端坐标系与机器人基坐标系之间的位姿变换矩阵T₅＝T₁·T₂·T₃·T₄；进一步转换为所述位姿测量杆件(6)的末端点在机器人基坐标系下的位姿信息PP；最后，根据所述的位姿信息PP，机器人控制模块可控制机器人末端夹持工具复现示教点的位姿状态。

4.根据权利要求2所述的一种基于立体视觉的机器人手持示教装置，其特征在于，确定所述特征识别单元(5)的坐标系在立体视觉坐标系下的位姿矩阵T₃的方法具体为：

首先，所述特征识别单元(5)的图像信息经过计算机进行数据处理，获取代表三个特征信息的点1、点2和点3在立体视觉坐标系下的位置信息，依次为(x₁、y₁、z₁)、(x₂、y₂、z₂)、(x₃、y₃、z₃)；然后，根据三点的空间坐标构建在立体视觉坐标系下的空间向量，假设以点1为公共点，点2和点3分别与点l构成向量，且两向量互相垂直，形成特征识别单元(5)的坐标系的X、Y轴，根据右手定则确定Z轴，如式(1)所示:

取向量

的单位向量，如式(2)所示：

同时，立体视觉坐标系上单位向量，如式(3)所示：

再由旋转矩阵的定义，可建立特征识别单元(5)的坐标系相对于立体视觉坐标系的旋转矩阵R₃，如式(4)所示：

最后，选择点l的坐标值(x₁、y₁、z₁)作为特征识别单元(5)的坐标系的原点，即该坐标系的平移向量，最终构建出立体视觉坐标系与所述特征识别单元(5)的坐标系的位姿变换矩阵T₃，如式(5)所示：

除上述构造空间向量时所指定的垂直关系外，三个点还可以是除了共线之外的任意位置关系，在求取位姿变换矩阵时加入几何变换即可。

5.根据权利要求3所述的一种基于立体视觉的机器人手持示教装置，其特征在于，建立手持示教装置上所述特征识别单元(5)的坐标系与位姿测量杆件末端坐标系之间的位姿变换矩阵T₄的方法具体为：

首先，将至少包含三个特征点的标定物放在立体视觉系统的有效视场范围内，获取这些特征点在立体视觉坐标系下的空间位置信息；其次，操作手持示教装置，使所述位姿测量杆件(6)的末端点对准这些特征点，调整所述位姿测量杆件(6)的姿态，使手持示教装置上的所述特征识别单元(5)能够被立体视觉系统完整清晰拍摄；然后，通过立体视觉系统采集手持示教装置上所述特征识别单元(5)的图像并将所述特征识别单元(5)的图像信息传输给计算机，通过计算机进行数据处理，获取在手持示教装置的所述位姿测量杆件(6)的当前位姿下，手持示教装置上所述特征识别单元(5)的坐标系与立体视觉坐标系之间的位姿变换矩阵T₃；最后，基于手持示教装置上所述特征识别单元(5)的坐标系在立体视觉坐标系下的位姿变换矩阵T₃和对应的特征点的空间位置信息，建立手持示教装置上的所述特征识别单元(5)的坐标系与所述位姿测量杆件(6)的末端坐标系之间的位姿变换矩阵T₄。

Images