CN110900606B - 一种基于小型机械臂手眼联动系统及其控制方法 - Google Patents

Abstract

本发明公开了一种基于小型机械臂手眼联动系统及其控制方法，涉及机械臂手眼联动控制技术领域，包含相机、机械臂、显示终端、视觉引导模块、视觉校正模块、机械臂驱动模块、机械臂运动管理模块和操作模块；当完成校正之后的工作流程是：从图像中发现对象出现在某个网格，由网格对应机械臂操作指令，发出指令，驱动模块使机械臂运动致网格的有效范围，对网格内对象操作可使用单目相机，利用有限的资源估计机械臂操作范围内的深度，满足任务需求；针对小型机械臂应用场景，避免复杂算力和经济支出，具有成本优势。

Description

一种基于小型机械臂手眼联动系统及其控制方法

技术领域

本发明属于机械臂手眼联动技术领域，尤其涉及一种基于小型机械臂手眼联动系统及其控制方法。

背景技术

相机作为光信息采集传感器，广泛应用于机器人信号输入、获取机器人所在环境信息，使得机器人可以操作指定对象。一般而言，从相机获取图像到机器人根据指令完成动作，手眼定标是连接相机和机器人的桥梁。机器人手眼标定一般分为“Eye-to-Hand”和“Eye-in-Hand”两类，前者相机与机械臂终端(手)的相对位置固定，后者将相机固定在机臂上随手运动。本专利提出的方法适用于Eye-to-Hand场景。

目前，实现机器人手眼标定的技术路线一般是：(1)选用3D相机，做内参标定，获取目标物在相机坐标系的坐标(位置)；(2)测量相机与机械臂的外参数，将相机坐标系下的目标坐标转为机械臂坐标系下的目标。从而使机械臂获得目标位置，完成操作任务。该路线虽然稳定可靠，但是涉及众多技术细节，包括：相机选型、相机定标、外参测量或估计优化、运动控制等。这对机器人完成手眼协同工作任务提出了一定的技术和人力要求。

随着机器人行业发展与人工成本的日益增长，日后越来越多的简单、重复劳作将由机器人取代，自动或配置少量人员即可完成任务。因此，对于微小型的低成本机器人来说，通过简单的手眼标定让机械臂可以有策略地执行有效动作，机器人可在完成既定任务的基础上实现成本最优。

客观评价现有产品的优缺点，重点是缺点：

目前机器人手眼标定的技术路线存在一定的技术难度和要求，使得成本较高：

1)相机选型：目前的深度相机普遍成本较高，而且不管基于哪种技术方案实现的深度测量，均有一定的测量盲区(至少0.1m)。这对微小型机器人来说，可能存在手臂工作范围落在盲区内的风险。此外，单目相机由于无法直接恢复深度信息，通常需要借助视野中的其他参照物来估计深度，因此限制了机器人的使用场景。

2)相机内外参数标定：相机内外参数标定的精确直接影响测量的结果。通常借助棋盘格和张正友标定法确定内参，通过运动估计或者机械测量的方式获得外参。在标定方法确定的情况下，标定结果的好坏主要取决工具(棋盘格、尺、量角器之类)。因此，在需求高精确度参数的场景必然伴随高成本支出，而对参数要求不严格的场景，也不能避免定标过程的繁琐操作和人员要求。总之，这是一个成本上限高、下限不低的要素。

3)运动控制：机器人完成特定任务需要经过程控来执行动作，越是灵活精妙的动作可能需要更复杂的运动控制和路径规划。而对于执行简单操作的低成本机器人，可能若干有限的动作或组态即可完成既定任务。

发明内容

本发明所要解决的技术问题是针对背景技术的不足提供一种基于小型机械臂手眼联动系统及其控制方法，可使用单目相机，利用有限的资源估计机械臂操作范围内的深度，满足任务需求；针对小型机械臂应用场景，避免复杂算力和经济支出，具有成本优势。

本发明为解决上述技术问题采用以下技术方案

一种小型机械臂手眼联动系统，包含硬件部分和软件部分；所述硬件部分包含相机、机械臂、显示终端；

所述相机水平安装，焦平面与机器人所在平面垂直，用于通过图像数据感知环境中的操作对象位置，并且将图像传递给显示终端显示；

显示终端，作为与用户直接交互的软件界面，主要包含监视窗和机械臂运动指令板两部分；

监视窗，用于显示相机拍摄的画面和视觉引导的方格叠加后的视频图像；

机械臂运动指令板，包含控制机械臂运动的各条指令；

机械臂，可根据显示终端上机械臂运动指令板发出的运行指令执行相应的动作；

机械臂终端操作工具，其运动或者执行作业动作也受到机械臂运动指令板上指令的控制；

所述软件部分包含相机驱动模块、视觉引导模块、视觉校正模块、机械臂驱动模块、机械臂运动管理模块和操作模块，软件部分运行在计算机上，为显示终端的显示与操作提供计算与处理；

相机驱动模块，即图像采集程序，用于驱动相机，采集图像，并且向显示终端传输图像；

视觉引导模块，用于为机械臂运动提供参考信息，根据引导信息，可从机械臂运动指令板中选取合适的指令，指令经过机械臂驱动模块转换为对机械臂的控制信号，从而执行相应的动作，完成对操作对象的处理；

视觉校正模块，用于通过参考物校正视觉引导模块，使之适应实际的运行场景；

机械臂驱动模块，用于接收运动指令信息，转换为机械臂运动的信号；

对象操作程序，用于接收运动指令信息，转换为机械臂终端操作工具对操作对象的动作。

作为本发明一种小型机械臂手眼联动系统的进一步优选方案，机械臂通常包含终端操作工具，所述终端操作工具采用夹爪。

一种基于小型机械臂手眼联动系统的控制方法，具体包含如下步骤：

步骤1，根据机械臂功能，确定有限数量的动作集合，设为Y＝{yi，i∈N}，其中，每个动作yi可用一组机械臂的关节状态表示；

步骤2，通过两两正交平面所得的3条正交的直线，可对相机定标；即获得图像中像素位置与空间三维点的对应关系K；

步骤3，安装相机与机械臂之后，使机械臂在相机观察下依次完成动作集Y；根据机械臂每个动作的关节状态，可计算机械臂终端位置在机械臂坐标系下的三维表达，动作集合为Zr；

步骤4，根据工装的安装关系，可将Zr转换为相机坐标系下的表达为Zc＝T*Zr；

步骤5，根据之前的相机投影关系，可得Zc与图像像素位置集合p的关系，即p＝K*Zc；由此得到p与Y的对应关系；

步骤6，使用视觉引导模块，将p按成像的透视效果，用网格划分，使得每个网格内最多只有1个p集合的元素；由于透视关系，空间中的矩形方格将在图像上以等腰梯形成像，梯形的上底为平面消失线或机械臂最大工作范围线；

步骤7，作业过程中，当存在操作对象出现在某网格时，执行该网格对应的操作指令，控制机械臂运动，进而对方格内该对象进行操作。

作为本发明一种基于小型机械臂手眼联动系统的控制方法的进一步优选方案，在步骤6中，梯形的上底为平面消失线为相机仰视或平视；机械臂最大工作范围线为相机俯视。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明通过标定的方式建立图像信息与机械臂动作的直接关系，相比按照标定关系求解机械臂动作的方案，更适用于算力有限的环境；

2、本发明在算法组合上选用了更经济的组合方案，例如，相机定标选用了两两正交平面法，该方法相比主流的张正友棋盘格法，不仅最少仅需2张标定图像，降低了对数据的计算和存储要求，而且定标参考物相比有平面度要求的棋盘格更常见；

3、借助视觉引导和定标，降低了对相机的要求，本发明可使用单目相机，借助视觉引导和定标，获得场景中的景深信息，从而指导机械臂动作。

附图说明

图1是本发明小型机械臂手眼联动系统的结构原理图；

图2是本发明小型机械臂手眼联动系统的控制方法流程图。

图中标号具体如下：1-计算机，2-显示终端，3-监视窗，4-机械臂运动操作指令板5-单目相机，6-机械臂，7-机械臂终端操作工具，8-相机与机械臂连接工装，9-相机数据线，10-机械臂数据线，11-相机驱动与图像采集程序，12-视觉校正程序，13-视觉引导程序，14-机械臂驱动程序，15-对象操作程序。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

一种小型机械臂手眼联动系统，如图1所示，包含硬件部分和软件部分；所述硬件部分包含相机、机械臂、显示终端；

所述相机水平安装，焦平面与机器人所在平面垂直，用于通过图像数据感知环境中的操作对象位置，并且将图像传递给显示终端显示；

显示终端，作为与用户直接交互的软件界面，主要包含监视窗和机械臂运动指令板两部分；

监视窗，用于显示相机拍摄的画面和视觉引导的方格叠加后的视频图像；

机械臂运动指令板，包含控制机械臂运动的各条指令；

机械臂，可根据显示终端上机械臂运动指令板发出的运行指令执行相应的动作；所述终端操作工具采用夹爪。

机械臂终端操作工具，其运动或者执行作业动作也受到机械臂运动指令板上指令的控制；

所述软件部分包含相机驱动模块、视觉引导模块、视觉校正模块、机械臂驱动模块、机械臂运动管理模块和操作模块，软件部分运行在计算机上，为显示终端的显示与操作提供计算与处理；

相机驱动模块，即图像采集程序，用于驱动相机，采集图像，并且向显示终端传输图像；

视觉引导模块，用于为机械臂运动提供参考信息，根据引导信息，可从机械臂运动指令板中选取合适的指令，指令经过机械臂驱动模块转换为对机械臂的控制信号，从而执行相应的动作，完成对操作对象的处理；

视觉校正模块，用于通过参考物校正视觉引导模块，使之适应实际的运行场景；

机械臂驱动模块，用于接收运动指令信息，转换为机械臂运动的信号；

对象操作程序，用于接收运动指令信息，转换为机械臂终端操作工具对操作对象的动作。

一种基于小型机械臂手眼联动系统的控制方法，如图2所示，具体包含如下步骤：

步骤1，根据机械臂功能，确定有限数量的动作集合，设为Y＝{yi，i∈N}，其中，每个动作yi可用一组机械臂的关节状态表示；

步骤2，通过两两正交平面所得的3条正交的直线，可对相机定标；即获得图像中像素位置与空间三维点的对应关系K；

步骤3，安装相机与机械臂之后，使机械臂在相机观察下依次完成动作集Y；根据机械臂每个动作的关节状态，可计算机械臂终端位置在机械臂坐标系下的三维表达，动作集合为Zr；

步骤4，根据工装的安装关系，可将Zr转换为相机坐标系下的表达为Zc＝T*Zr；

步骤5，根据之前的相机投影关系，可得Zc与图像像素位置集合p的关系，即p＝K*Zc；由此得到p与Y的对应关系；

步骤6，使用视觉引导模块，将p按成像的透视效果，用网格划分，使得每个网格内最多只有1个p集合的元素；由于透视关系，空间中的矩形方格将在图像上以等腰梯形成像，梯形的上底为平面消失线或机械臂最大工作范围线；在步骤6中，梯形的上底为平面消失线为相机仰视或平视；机械臂最大工作范围线为相机俯视。

步骤7，作业过程中，当存在操作对象出现在某网格时，执行该网格对应的操作指令，控制机械臂运动，进而对方格内该对象进行操作。

系统软件包含视觉引导模块、视觉校正模块、机械臂驱动模块、机械臂运动管理模块、以及终端显示与操作模块。视觉引导模块为机械臂运动提供参考信息，根据引导信息，从运动管理模块中选取合适的指令，让机械臂经过驱动模块控制，对操作对象采取有效的动作。视觉校正模块通过简单的参考物校正视觉引导模块，使之适应实际的运行场景。

2、工作过程和原理：

1)系统通过相机获取图像数据，首先，视觉校正模块根据当前的图像，借助两两正交的3个平面交线作为参照物，可估计相机当前的安装姿态，调整视觉引导模块。使之与机器人所在平面平行。

2)视觉引导模块由2D网格组成，可以在显示终端的监视窗口显示，网格与机器人所在平面平行。网格在监视窗口显示符合透视近大远小的规律，对应实际的物理空间上表示相同大小的区域。网格对应物理空间的大小，由机械臂的操作裕量决定，裕量大则适当放大网格。

3)每个网格对应机械臂的一个指定动作，通过调整方格大小使之和动作精度相匹配，确保机械臂可以对该方格位置的对象进行操作。因此，操作对象所在网格与机械臂指令、机械臂动作一一对应。

综上，当完成校正之后的工作流程是：从图像中发现对象出现在某个网格a，由网格a对应机械臂操作指令b，发出指令b，驱动模块使机械臂运动致网格a的有效范围，对网格a内对象操作。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以再不脱离本发明宗旨的前提下做出各种变化。

Claims (3)

1.一种基于小型机械臂手眼联动系统的控制方法，其特征在于：所述小型机械臂手眼联动系统包含硬件部分和软件部分；所述硬件部分包含相机、机械臂、显示终端；

所述相机水平安装，焦平面与机械臂所在平面垂直，用于通过图像数据感知环境中的操作对象位置，并且将图像传递给显示终端显示；

显示终端，作为与用户直接交互的软件界面，主要包含监视窗和机械臂运动指令板两部分；

监视窗，用于显示相机拍摄的画面和视觉引导的方格叠加后的视频图像；

机械臂运动指令板，包含控制机械臂运动的各条指令；

机械臂，可根据显示终端上机械臂运动指令板发出的运行指令执行相应的动作；

机械臂终端操作工具，其运动或者执行作业动作也受到机械臂运动指令板上指令的控制；

所述软件部分包含相机驱动模块、视觉引导模块、视觉校正模块、机械臂驱动模块、机械臂运动管理模块和操作模块，软件部分运行在计算机上，为显示终端的显示与操作提供计算与处理；

相机驱动模块，即图像采集程序，用于驱动相机，采集图像，并且向显示终端传输图像；

视觉引导模块，用于为机械臂运动提供引导信息，根据引导信息，可从机械臂运动指令板中选取合适的指令，指令经过机械臂驱动模块转换为对机械臂的控制信号，从而执行相应的动作，完成对操作对象的处理；

视觉校正模块，用于通过参考物校正视觉引导模块，使之适应实际的运行场景；

机械臂驱动模块，用于接收运动指令信息，转换为机械臂的控制信号；

对象操作程序，用于接收运动指令信息，转换为机械臂终端操作工具对操作对象的动作；

所述控制方法具体包含如下步骤：

步骤1，根据机械臂功能，确定有限数量的动作集合，设为Y={yi，i∈N}，其中，每个动作yi可用一组机械臂的关节状态表示；

步骤2，通过两两正交平面所得的3条正交的直线，可对相机定标；即获得图像中像素位置与空间三维点的对应关系K；

步骤3，安装相机与机械臂之后，使机械臂在相机观察下依次完成动作集Y；根据机械臂每个动作的关节状态，可计算机械臂终端位置在机械臂坐标系下的三维表达，动作集合为Zr；

步骤4，根据工装的安装关系，可将Zr转换为相机坐标系下的表达为Zc=T*Zr；

步骤5，根据之前的相机投影关系，可得Zc与图像像素位置集合p的关系，即p=K*Zc；由此得到p与Y的对应关系；

步骤6，使用视觉引导模块，将p按成像的透视效果，用网格划分，使得每个网格内最多只有1个p集合的元素；由于透视关系，空间中的矩形方格将在图像上以等腰梯形成像，梯形的上底为平面消失线或机械臂最大工作范围线；

步骤7，作业过程中，当存在操作对象出现在某网格时，执行该网格对应的操作指令，控制机械臂运动，进而对方格内该对象进行操作。

2.根据权利要求1所述的基于小型机械臂手眼联动系统的控制方法，其特征在于：机械臂通常包含终端操作工具，所述终端操作工具采用夹爪。

3.根据权利要求1所述的基于小型机械臂手眼联动系统的控制方法，其特征在于：在步骤6中，梯形的上底为平面消失线为相机仰视或平视；机械臂最大工作范围线为相机俯视。

Images