CN114654457A - 具有远近视距引导的机械臂多工位精确对准方法 - Google Patents

Abstract

本发明公开一种具有远近视距引导的机械臂多工位精确对准方法，首先构造具有远近视距的两目视觉配置，并与机械臂构成Eye‑in‑Hand视觉反馈系统；然后标定两目视觉的内外参数和手眼关系变换矩阵；通过离线先验局部对准方式，建立各工位的任务表；提出了三阶段对准策略，即多工位作业起始位姿获取、全局相机的初定位和局域相机的精对准，使得机械臂能在多个工位下实现末端工具与目标的精确对准。本发明提升了机械臂系统对环境的感知能力，大大提高对准的精度。

Description

具有远近视距引导的机械臂多工位精确对准方法

技术领域

本发明属于航空航天技术领域，具体涉及一种具有远近视距引导的机械臂多工位精确对准方法。

背景技术

在航空航天领域，机械臂常用于自动钻铆系统中的送钉和插钉、孔轴零件的装配和空间在轨服务等。在大多数情况下，机械臂只能按部就班地执行事先规划好的动作，对于任务环境中发生的变化，无法自适应地作出调整。这种工作模式缺乏灵活性，尤其是在复杂的工业现场，未知的环境变化时有发生，这会严重影响到机械臂的工作效率和精度。

为提高机械臂工作的稳定性和灵活性，基于视觉的机械臂测量系统受到研究人员的广泛关注，视觉传感器因其精度高、成本低和适应性好等特点成为辅助机械臂完成定位、装配等工作的重要手段之一。德国Fraunhofer研究所将双目系统集成到铣削机器人上，在铣刀主轴上安装反光靶点，通过双目系统测量靶点位姿来反映铣刀主轴的偏差，然后对铣刀主轴的移动量进行反馈补偿，提高机器人运动轨迹的精度，铣削机器人已经成功应用于空客A350翼面的修配工作中。现有技术中，针对自动钻孔和铆接问题，搭建了一套配备单相机和激光指示器的机械臂系统，将激光点作为视觉特征，以此来估计机械臂末端执行器与孔位的位姿关系，通过设计具有自适应控制增益的控制器来补偿系统的不确定性，最终实现末端执行器与孔位的对齐。此外，针对轴承、法兰等圆形金属零件的抓取问题，提出了一种基于锥体退化理论和单目视觉的椭圆特征位姿测量方法，在获取零件位姿数据后由视觉伺服方法控制机械臂抓取零件。

机械臂视觉系统在执行跟踪、对接或抓取操作时，借助合作靶标进行定位和位姿测量是一种常见的解决方案，即事先在目标上设计一种尺寸、形状已知的几何图形，视觉系统通过观测该图形获得目标的位姿信息，然后把位姿反馈给机械臂驱动末端执行器对准目标。基于单目视觉的机械臂末端对准技术，通过识别和测量工件孔位附近的圆形阵列靶标，最终达到孔轴对准效果，前提条件是孔位与阵列靶标之间的位姿关系已知。十字型合作靶标，通过对靶标的识别和定位实施零件抓取动作。复杂的太空桁架结构为例，一套靶标系统用于桁架编码，提前进行装配信息定义，为后续开展智能装配提供数据库信息支持。合作靶标应用之广，常用的靶标图案一般都是由圆点、直线和圆环组合而成，合理的图案设计和准确鲁棒的识别算法为提高位姿估计精度提供保障。

目前，基于视觉的机械臂测量技术主要运用在单个工件的近距离测量工作中，当机械臂需要在多个工位间移动、对多目标执行对准操作时，机械臂往往需要从较远距离开始工作，这使得系统工作环境的横向空间跨度变大，纵向距离变长。在机械臂由远及近的移动过程中，相机在某些距离段会出现失焦、离焦现象，导致位姿测量精度降低，甚至装配任务失败。针对此类问题，研究了变焦相机在机械臂视觉引导工作中的应用，变焦相机在机械臂移动过程中能对目标进行清晰成像，但目前变焦相机存在标定难度大、测量精度低、灵活性差等特点，极大限制了其在工业现场的应用。针对大尺寸工件的机械臂装配问题，基于多传感器的自动对准策略，将机械臂末端工具与目标工件的对准过程划分为远距离粗对准和近距离精对准两个阶段，但由于使用了多种传感器，增加了系统复杂度和数据处理难度。

发明内容

本发明解决的技术问题：提供一种高精度的具有远近视距引导的机械臂多工位精确对准方法，

技术方案：为了解决上述技术问题，本发明采用的技术方案如下：

一种具有远近视距引导的机械臂多工位精确对准方法，其特征在于，包括以下步骤：

步骤1：首先构造具有远近视距的两目视觉配置，并与机械臂构成Eye-in-Hand视觉反馈系统；

步骤2：然后标定两目视觉的内外参数和手眼关系变换矩阵；

步骤3：过离线先验局部对准方式，建立各工位的任务表；

步骤4：采用三阶段对准策略，使得机械臂能在多个工位下实现末端工具与目标的精确对准。

进一步地，步骤1中，采用两台视距不同的工业相机构成两目视觉系统，全局相机用于全局观察定位，局域相机用于近距离精确对准，两台相机分别工作在不同阶段，且又相互配合，保证末端工具与目标顺利对准；利用阵列式编码元作为合作靶标对不同工位的对准目标进行区分。

进一步地，步骤2中，首先进行离线标定，标定主要包括两目视觉系统的内外参标定和手眼标定；全局相机和局域相机在多个视角下同时采集各自的标定板图像，由多视图几何技术获得两台相机的内参数，然后构建方程式(1)获取确定外参数

式中，i(i＝1，2，...，n)表示第i个拍摄视角；

代表全局相机坐标系相对于局域相机坐标系的位姿关系，为待求解的两目视觉系统的外参数；

代表大尺寸标定板坐标系相对于小尺寸标定板坐标系的位姿关系；

指的是在第i个拍摄视角下局域相机坐标系相对于小尺寸标定板坐标系的位姿关系；

指的是在第i个拍摄视角下全局相机坐标系相对于大尺寸标定板坐标系的位姿关系；

然后，进行手眼标定，获取机械臂末端法兰相对于局域相机的位姿关系。

进一步地，步骤3中，建立各工位的任务表的步骤如下：

步骤3.1：首先，将各个对准目标放置于末端工具上，进行预对准，此时的对准目标是独立个体，并未处于相应的工位上；

步骤3.2在预对准的情况下，局域相机采集编码元图像，从图像中解算出编码值和位姿数据

编码值用于标识不同对准目标，

记为期望位姿；

步骤3.3：对每个对准目标都建立各个对准目标与编码值、期望位姿之间的映射关系，将末端工具与目标的对准过程转化为两目视觉系统对编码元的识别与位姿计算的过程；最终形成一张完整的任务表。

进一步地，机械臂视觉测量系统要根据任务表执行对准操作，三阶段分别是多工位作业的起始位姿获取阶段、全局相机远距离初定位阶段和近距离局域相机精确对准阶段。

进一步地，机械臂起始位姿的获取过程为，首先控制机械臂处于一个合适的初始位姿，使得全局相机至少能观察到一个编码元，然后以该编码元为中心，沿编码元所在平面进行多方向移动搜索，机械臂移动过程中，全局相机对场景进行观察，若检测到与任务表相关的编码元，记录下此时的机械臂位姿，作为此项任务的起始位姿；当检测不到任何编码元时，机械臂停止运动，全局相机完成搜索，最终得到所有任务的起始位姿

进一步地，进行全局相机的初定位阶段的过程为：确定完所有任务的起始位姿后，机械臂移动到第一项任务所对应的起始位姿

处，全局相机观察视场，由对偶椭圆法获得编码元上的8个椭圆中心像素坐标，经解码后得出编码号，并将8个中心坐标有序排列，此时机械臂处于起始位姿

处，全局相机观测到视场中存在3个编码元，搜索任务表确定当前任务所对应的编号，将编号和解码结果进行匹配，得到属于该编码元的二维像素坐标和三维坐标，最后根据PnP计算编码元坐标系{M}相对于全局相机坐标系{G}的初始位姿关系

进一步地，结合两目视觉系统外参数

计算编码元坐标系相对于局域相机坐标系的位姿关系

是编码元相对于局域相机的当前位姿，与期望位姿

存在偏差，偏差值ΔT为

当前位姿和期望位姿的偏差是建立在局域相机坐标系下的，要依据此偏差量计算出机械臂的运动修正量，结合系统标定中的手眼关系

进行计算，集散结果如下：

其中，

是当前法兰坐标系相对于机械臂基坐标系的位姿关系，可以直接从机械臂自身程序读取，

为手眼关系，ΔT为偏差值，均为已知量，可以直接计算出

即下一时刻机械臂要运动到达的位姿状态。

进一步地，局域相机的精对准阶段，系统对局域相机采集的图像进行预处理，经位姿估计得到编码元坐标系相对于局域相机的当前位姿关系

计算当前位姿与期望位姿的偏差

对ΔT进行分析，判断偏差是否满足事先设定的精度要求。

式中Δn为旋转轴，其模长表示旋转角度；Δt为ΔT中的平移量；θ取0.1°，L取1.2mm。

进一步地，当ΔT未达到精度要求时，就要计算机械臂的运动修正量，即机械臂下一时刻需要运动到的位姿为

在机械臂运动的过程中，测量系统以固定频率从机械臂读取当前时刻的位姿数据，用来判断是否已经运动到指定位姿

机械臂一旦调整至位姿

局域相机再次介入，采集编码元的当前图像，系统计算位姿偏差ΔT，如此循环，直至偏差满足式(5)。

有益效果：与现有技术相比，本发明具有以下优点：

本发明的具有远近视距引导的机械臂多工位精确对准方法，与传统的近距离单个工件的对准方法不同，本发明针对的是大视场范围内存在多个对准工位的情况，机械臂系统在远近视距视觉系统的引导下，能够自动地在多个工位间移动，实现末端工具与目标的高精度对准。本发明提升了机械臂系统对环境的感知能力，与现有技术相比，大大提高对准的精度。

附图说明

图1是本发明机械臂视觉测量系统及系统工作流程图；

图2是本发明的技术路线图；

图3是本发明的系统标定原理；

图4是本发明的任务表建立过程示意图；

图5是本发明的全局相机搜索编码元示意图；

图6是本发明的全局相机的初定位过程；

图7是本发明的精对准阶段控制流程图；

图8是本发明的实验验证场景图；

图9是本发明的实验验证孔1对准结果图；

图10是本发明的实验验证孔2和孔3的对准结果图；

图11是50次对准实验的偏差结果图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。

多工位对准作业，就是在未知的工作场景中，机械臂系统需要对多个对准目标进行识别和测量，然后按照某种顺序依次完成末端工具与目标的精确对准(用孔轴配合来表征)。

本发明的具有远近视距引导的机械臂多工位精确对准方法，可分为离线先验局部对准阶段和在线自适应全局对准阶段两个部分，离线阶段包括系统标定和建立多工位作业任务表，初定位阶段和精对准阶段主要是基于两目视觉系统引导的机械臂多工位作业。

首先构造具有远近视距的两目视觉配置，并与机械臂构成Eye-in-Hand视觉反馈系统；然后标定两目视觉的内外参数和手眼关系变换矩阵；通过离线先验局部对准方式，建立各工位的任务表；提出了三阶段对准策略，即多工位作业起始位姿获取、全局相机的初定位和局域相机的精对准，使得机械臂能在多个工位下实现末端工具与目标的精确对准。具体包括以下步骤：

步骤1：首先构造具有远近视距的两目视觉配置，并与机械臂构成Eye-in-Hand视觉反馈系统；

本发明的机械臂视觉测量系统如图1所示，将相机固连在机械臂末端，可以避免测量过程中产生遮挡问题，并提高局部测量精度，以Eye-in-Hand形式搭建测量系统。由于系统需要在多个工位间完成对准任务，为了标识不同工位的对准目标，需借助合作靶标对目标进行区分。本发明选用阵列式编码元作为合作靶标，原因有两点：一是该编码元具备唯一身份特征；二是该编码元由8个圆点构成，可用于对准过程中的位姿测量。在机械臂由远处及近的运动过程中，相机需要采集编码元图像并解算当前位姿数据，但受镜头焦距等因素影响，单个相机无法同时在远处和近处都清晰成像，离焦、失焦的图像会导致位姿计算出现偏差，甚至定位失败。因此，本发明使用两台视距不同的工业相机构成两目视觉系统，其中一台用于全局观察定位，工作距离约1.5m，视场大小约2m×1.6m，称之为全局相机；另一台用于近距离精确对准，工作距离约0.3m，视场大小约0.3m×0.25m，称之为局域相机。两台相机分别工作在不同阶段，但又需要相互配合，才能保证末端工具与目标顺利对准。

系统的坐标系和位姿关系定义如下：全局相机坐标系{G}，局域相机坐标系{P}，机械臂基座坐标系{B}，机械臂末端法兰坐标系{F}和编码元坐标系{M}。

指的是全局相机坐标系相对于局域相机坐标系的位姿关系，本发明定义其为两目视觉系统的外参数；

指的是法兰坐标系相对于局域相机坐标系的位姿关系，本发明定义其为手眼关系；

指的是编码元坐标系相对于全局相机坐标系的位姿关系；

指的是编码元坐标系相对于局域相机坐标系之间的位姿关系；

指的是法兰坐标系相对于基座坐标系的位姿关系。

步骤2：标定两目视觉的内外参数和手眼关系变换矩阵；

标定是测量系统必不可少的一个重要环节，高精度的标定结果是后续定位和对准工作的保障。

首先，系统需要进行离线标定，标定主要包括两目视觉系统的内外参标定和手眼标定。与传统的双目立体视觉不同，本发明两目视觉系统中的两台相机视距不同，观察的范围大小不同，一般而言，当全局相机处于正常工作范围时，局域相机处于离焦状态，因此二者缺少公共视场。针对此视觉系统，本发明采用的标定方法如图3(a)所示，全局相机和局域相机在多个视角下同时采集各自的标定板图像，由多视图几何技术获得两台相机的内参数，然后构建方程式

式中，i(i＝1，2，...，n)表示第i个拍摄视角；

代表全局相机坐标系相对于局域相机坐标系的位姿关系，即待求解的两目视觉系统的外参数；

代表大尺寸标定板坐标系相对于小尺寸标定板坐标系的位姿关系；

指的是在第i个拍摄视角下局域相机坐标系相对于小尺寸标定板坐标系的位姿关系；

指的是在第i个拍摄视角下全局相机坐标系相对于大尺寸标定板坐标系的位姿关系。

在移动两目视觉系统采集图像过程中，

和

固定不变，其值是未知的，而

和

会随着拍摄视角的不同发生变化，已经通过多视图几何技术求解得到。式(1)的求解过程为：先获取两目视觉系统外参数的初值，再使用优化模型，最终确定外参

对于本发明的“Eye-in-Hand”手眼系统，手眼标定的目的是获取机械臂末端法兰相对于局域相机的位姿关系，标定原理如图3(b)所示。通过移动机械臂在不同位置拍摄标定板图像，同样能够构建形如式(1)的方程式，最终确定手眼关系

步骤3：通过离线先验局部对准方式，建立各工位的任务表；

建立任务表是在对准目标还未处于工位上时完成的(离线阶段)，提前对各个对准目标进行先验信息定义，这些信息包括编码值、编码元二维和三维坐标、期望位姿等。在后续机械臂执行多工位对准作业时，系统要根据任务表中的信息，依次在不同工位下，完成末端工具与目标的精确对准，建立任务表的流程如图4所示，具体步骤如下：

步骤3.1：首先，将各个对准目标放置于末端工具上，进行预对准，此时的对准目标是独立个体，并未处于相应的工位上；

步骤3.2在预对准的情况下，局域相机采集编码元图像，从图像中解算出编码值和位姿数据

编码值用于标识不同对准目标，

记为期望位姿。

由对偶椭圆法定位椭圆中心，得到8个椭圆中心的像素坐标；使用编码元解码算法确定其编号idx，并将8个椭圆中心有序排列，排序后的椭圆中心记为{q_j，j＝1，2，...，8}；最后，在局域相机内参数和8个圆点中心的三维坐标{Q_j，j＝1，2，...，8}都已知的情况下(三维坐标事先由高精度光学仪器测量，且三维点与二维点一一对应)，根据多点透视投影理论(Perspective-n-Point，PnP)求解编码元坐标系{M}相对于局域相机坐标系{P}的位姿关系

称之为期望位姿。

步骤3.3：对每个对准目标都建立各个对准目标与编码值、期望位姿之间的映射关系，这就将末端工具与目标的对准过程转化为两目视觉系统对编码元的识别与位姿计算的过程。最终形成一张完整的任务表，其形式如表1所示。当对准目标被放置于工作场景中，系统就可以从此表中读取信息，依次完成对准作业。

任务表可视为对准目标的一种资料入库操作，并不涉及到机械臂位姿部分，在视觉伺服领域，绝大多数情况下，期望图像或期望位姿都是需要预先获取或设定的。

表1存储任务信息的映射表

步骤4：采用三阶段自动对准策略，使得机械臂能在多个工位下实现末端工具与目标的精确对准。

机械臂视觉测量系统要根据任务表执行对准操作，分别是多工位作业的起始位姿获取阶段、全局相机远距离初定位阶段和近距离局域相机精确对准阶段，具体内容如下：

步骤4.1：首先进行多工位作业起始位姿获取：

当机械臂多工位作业时，对准目标是布置在各工位上，或放置于工作场景中，其位姿是未知的，因此需要视觉系统进行识别、捕捉，获取目标的全局位姿。

由于系统需要在多个工位下执行对准任务，首先要解决的问题是，对于每一项任务，机械臂的起始位姿在何处，才能保证全局相机能够观察到与当前任务相关的编码元，只有全局相机观测到编码元，才能进行位姿估计并引导机械臂运动。

机械臂起始位姿的获取过程如图5所示，首先控制机械臂处于一个合适的初始位姿，使得全局相机至少能观察到一个编码元，然后以该编码元为中心，沿编码元所在平面进行多方向移动搜索，移动步长的选取要根据实际场景大小确定。以全局相机视场约为2m×1.6m为例，可选择移动步长为0.5m。机械臂移动过程中，全局相机对场景进行观察，若检测到与任务表相关的编码元，记录下此时的机械臂位姿，作为此项任务的起始位姿。当检测不到任何编码元时，机械臂停止运动，全局相机完成搜索，最终得到所有任务的起始位姿

若场景中存在相距较远的工位(两个编码元之间距离超过0.5m)，为避免遗漏起始位姿，在全局相机开始搜索前，就要在场景中布设辅助编码元作为过渡处理。

步骤4.2：然后，进行全局相机的初定位；

确定完所有任务的起始位姿后，机械臂移动到第一项任务所对应的起始位姿

处，全局相机观察视场，由对偶椭圆法获得编码元上的8个椭圆中心像素坐标，经解码后得出编码号，并将8个中心坐标有序排列。如图6所示，此时机械臂处于起始位姿

处，全局相机观测到视场中存在3个编码元，搜索任务表确定当前任务所对应的编号为061015，将编号和解码结果进行匹配，得到属于该编码元的二维像素坐标和三维坐标，最后根据PnP计算编码元坐标系{M}相对于全局相机坐标系{G}的初始位姿关系

结合两目视觉系统外参数

计算编码元坐标系相对于局域相机坐标系的位姿关系

是编码元相对于局域相机的当前位姿，与期望位姿

存在偏差，偏差值ΔT为

当前位姿和期望位姿的偏差是建立在局域相机坐标系下的，要依据此偏差量计算出机械臂的运动修正量，结合系统标定中的手眼关系

进行计算，集散结果如下：

其中，

是当前法兰坐标系相对于机械臂基坐标系的位姿关系，可以直接从机械臂自身程序读取，

为手眼关系，

为

的逆矩阵。ΔT为偏差值，均为已知量，可以直接计算出

即下一时刻机械臂要运动到达的位姿状态。

在机械臂运动过程中，系统以路点的形式记录下机械臂末端的运动轨迹，记为Φ₁，Φ₂，...，Φ_n。此举的目的是，在整个定位和对准过程中，当两目视觉系统对编码元的观测出现盲区时，机械臂尝试退回最近的路点重新定位决策。

由于全局相机的初定位精度有限，当机械臂运动后，偏差值ΔT并未达到本发明设定的对准精度要求(角度偏差0.1°，位置偏差0.2mm)，于是系统自适应地切换到局域相机工作模式，进入精对准阶段。

步骤4.3：进行局域相机的精对准。

精对准阶段控制流程如图7所示，系统对局域相机采集的图像进行预处理，经位姿估计得到编码元坐标系相对于局域相机的当前位姿关系

计算当前位姿与期望位姿的偏差

对ΔT进行分析，判断偏差是否满足事先设定的精度要求。

设角度和位置精度要求分别为θ和L，本发明中取θ＝0.1°，L＝0.2mm，当满足式(5)时，认为当前位姿与期望位姿相同，系统完成对准任务。当ΔT未达到精度要求时，就要计算机械臂的运动修正量，即机械臂下一时刻需要运动到的位姿为

式中Δn为旋转轴，其模长表示旋转角度；Δt为ΔT中的平移量。

在系统近距离对准的过程中，需要注意目标丢失问题。一般来说，编码元丢失常由旋转引起，平移是不会导致目标丢失问题的。因此，本发明对机械臂的旋转量进行限制，一个具体做法是借助李群李代数或四元数的理论对旋转进行插值，进而获得中间姿态。

在机械臂运动的过程中，测量系统以固定频率从机械臂读取当前时刻的位姿数据，用来判断是否已经运动到指定位姿

机械臂一旦调整至位姿

局域相机再次介入，采集编码元的当前图像，系统计算位姿偏差ΔT，如此循环，直至偏差满足式(5)。

当测量系统完成当前对准任务后，系统在任务表中搜索下一项对准任务的信息，并确定其对应的起始位姿

机械臂退出当前工位，移动到下一项任务的起始位姿

处，继续执行对准任务。需要说明的是，本发明仅给出两个位置间的直线传递路径，没有做避障等路径规划。在实际应用中，可通过ROS(Robot Operating System，机器人操作系统)对现场环境进行建模，利用本发明提供前后两个末端位姿信息，在MoveIt模块中进行避障路径规划。

为验证本发明基于视觉的机械臂末端对准方法的有效性，搭建了如图8所示的测量场景。全局相机和局域相机均采用大恒水星系列型号为MER-502-79U3M的国产相机，分辨率为2448×2048，全局相机使用6mm镜头，局域相机使用8mm镜头使用。光源选择前向照明与频闪照明相结合的方式，投射频率与相机采集频率同步。以UR10机械臂为中心，在其周围布置了3个工位，共3个对准目标，其所在平面高低不同、角度各异，最大角度差约为90°。机械臂的工作半径在1m左右，回转角度最大可达120°。两目视觉系统到对准孔的初始距离在1m～1.5m范围不等。经游标卡尺测量，对准轴的直径为9.90mm，对准孔1、对准孔2和对准孔3的直径分别为10.04mm、10.20mm和10.98mm。

在机械臂开始执行多工位作业前，任务表已事先建立，记录了3项对准任务，其编码元编号分别为020812、010812和031012；此外，对准任务的起始位姿也已确定。首先，机械臂对孔1执行对准操作，全局相机在场景中搜索到020812编码元后进行位姿估计并引导机械臂运动，然后由局域相机进行观测，引导对准轴与孔1完成精对准，孔轴精确对准时的机械臂状态如图9所示。同时，统计整个对准过程中当前位姿

与期望位姿

的偏差量ΔT，如表2所示，其中Δα、Δβ和Δγ分别表示绕X、Y、Z轴的角度偏差，ΔX、ΔY和ΔZ分别表示沿X、Y、Z轴的位置偏差。表中的步骤0表示初始位姿偏差；步骤1为全局相机初定位结果，偏差大幅减小，但显然不满足对准精度要求；在局域相机引导下，机械臂经过3次微调，角度和位置偏差逐渐收敛，孔轴达到对准状态，最终的角度偏差为0.05°，位置偏差为0.17mm。

表2孔1对准过程的位姿偏差

孔2和孔3的对准过程与孔1类似，孔轴能够达到精确对准状态，此时孔2的角度偏差为0.05°，位置偏差为0.12mm；孔3的角度偏差为0.02°，位置偏差为0.10mm。需要说明的是，受实验条件等因素限制，本实验设置了3个工位进行方法验证，但该系统可以在更多工位的场景中执行对准、抓取等作业，机械臂的横向跨度和径向范围可以进一步增大。

为了验证本发明方法的重复性对准精度，对图8中的目标孔1进行了50次对准实验，统计孔轴对准时的位姿偏差，包括绕X、Y、Z轴的角度偏差和沿X、Y、Z轴的位置偏差，结果如图11所示。

从图中可得，沿X、Y、Z轴的位置偏差量相当，绕Z轴的角度偏差明显小于绕X、Y轴的角度偏差，这是由于本发明使用的是PnP算法进行位姿估计，PnP对面内旋转(绕Z轴旋转)的位姿估计精度更高。同时，表3给出了偏差绝对量的均值、最大值和标准差，角度偏差的均值为0.03°，标准差为0.015°，位置偏差的均值为0.12mm，标准差为0.078mm，说明本发明对准策略的稳定性较好。

表3重复50次对准实验结果

本发明围绕机械臂在多个工位间移动作业时需要对多目标执行对准操作这一问题展开研究，搭建了一套具有远近视距的机械臂测量系统。在完成系统标定和事先建立任务表以记录各对准目标相关信息的基础上，由全局相机和局域相机进行视觉引导，将机械臂多工位作业过程分为起始位姿获取、初定位和精对准三个阶段，最终实现机械臂末端工具与目标的精确对准。通过孔轴对准实验说明本发明方法的可行性，单个孔位重复对准标准差角度不超过0.015°，位置不超过0.078mm；三阶段对准实验结果表明，角度误差小于0.05°，位置误差小于0.17mm。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种具有远近视距引导的机械臂多工位精确对准方法，其特征在于，包括以下步骤：

步骤1：首先构造具有远近视距的两目视觉配置，并与机械臂构成Eye-in-Hand视觉反馈系统；

步骤2：然后标定两目视觉的内外参数和手眼关系变换矩阵；

步骤3：通过离线先验局部对准方式，建立各工位的任务表；

步骤4：采用三阶段对准策略，使得机械臂能在多个工位下实现末端工具与目标的精确对准。

2.根据权利要求1所述的具有远近视距引导的机械臂多工位精确对准方法，其特征在于：步骤1中，采用两台视距不同的工业相机构成两目视觉系统，全局相机用于全局观察定位，局域相机用于近距离精确对准，两台相机分别工作在不同阶段，且又相互配合，保证末端工具与目标顺利对准；利用阵列式编码元作为合作靶标对不同工位的对准目标进行区分。

3.根据权利要求1所述的具有远近视距引导的机械臂多工位精确对准方法，其特征在于：步骤2中，首先进行离线标定，标定主要包括两目视觉系统的内外参标定和手眼标定；全局相机和局域相机在多个视角下同时采集各自的标定板图像，由多视图几何技术获得两台相机的内参数，然后构建方程式(1)获取确定外参数

式中，i(i＝1，2，...，n)表示第i个拍摄视角；

代表全局相机坐标系相对于局域相机坐标系的位姿关系，为待求解的两目视觉系统的外参数；

代表大尺寸标定板坐标系相对于小尺寸标定板坐标系的位姿关系；

指的是在第i个拍摄视角下局域相机坐标系相对于小尺寸标定板坐标系的位姿关系；

指的是在第i个拍摄视角下全局相机坐标系相对于大尺寸标定板坐标系的位姿关系；

然后，进行手眼标定，获取机械臂末端法兰相对于局域相机的位姿关系。

4.根据权利要求1所述的具有远近视距引导的机械臂多工位精确对准方法，其特征在于：步骤3中，建立各工位的任务表的步骤如下：

步骤3.1：首先，将各个对准目标放置于末端工具上，进行预对准，此时的对准目标是独立个体，并未处于相应的工位上；

步骤3.2在预对准的情况下，局域相机采集编码元图像，从图像中解算出编码值和位姿数据

编码值用于标识不同对准目标，

记为期望位姿；

步骤3.3：对每个对准目标都建立各个对准目标与编码值、期望位姿之间的映射关系，将末端工具与目标的对准过程转化为两目视觉系统对编码元的识别与位姿计算的过程；最终形成一张完整的任务表。

5.根据权利要求1所述的具有远近视距引导的机械臂多工位精确对准方法，其特征在于：机械臂视觉测量系统要根据任务表执行对准操作，三阶段分别是多工位作业的起始位姿获取阶段、全局相机远距离初定位阶段和近距离局域相机精确对准阶段。

6.根据权利要求5所述的具有远近视距引导的机械臂多工位精确对准方法，其特征在于：机械臂起始位姿的获取过程为，首先控制机械臂处于一个合适的初始位姿，使得全局相机至少能观察到一个编码元，然后以该编码元为中心，沿编码元所在平面进行多方向移动搜索，机械臂移动过程中，全局相机对场景进行观察，若检测到与任务表相关的编码元，记录下此时的机械臂位姿，作为此项任务的起始位姿；当检测不到任何编码元时，机械臂停止运动，全局相机完成搜索，最终得到所有任务的起始位姿

7.根据权利要求6所述的具有远近视距引导的机械臂多工位精确对准方法，其特征在于：进行全局相机的初定位阶段的过程为：确定完所有任务的起始位姿后，机械臂移动到第一项任务所对应的起始位姿

处，全局相机观察视场，由对偶椭圆法获得编码元上的8个椭圆中心像素坐标，经解码后得出编码号，并将8个中心坐标有序排列，此时机械臂处于起始位姿

处，全局相机观测到视场中存在3个编码元，搜索任务表确定当前任务所对应的编号，将编号和解码结果进行匹配，得到属于该编码元的二维像素坐标和三维坐标，最后根据PnP计算编码元坐标系{M}相对于全局相机坐标系{G}的初始位姿关系

8.根据权利要求7所述的具有远近视距引导的机械臂多工位精确对准方法，其特征在于：结合两目视觉系统外参数

计算编码元坐标系相对于局域相机坐标系的位姿关系

是编码元相对于局域相机的当前位姿，与期望位姿

存在偏差，偏差值ΔT为

当前位姿和期望位姿的偏差是建立在局域相机坐标系下的，要依据此偏差量计算出机械臂的运动修正量，结合系统标定中的手眼关系

进行计算，集散结果如下：

其中，

是当前法兰坐标系相对于机械臂基坐标系的位姿关系，可以直接从机械臂自身程序读取，

为手眼关系，ΔT为偏差值，均为已知量，可以直接计算出

即下一时刻机械臂要运动到达的位姿状态。

9.根据权利要求7所述的具有远近视距引导的机械臂多工位精确对准方法，其特征在于：局域相机的精对准阶段，系统对局域相机采集的图像进行预处理，经位姿估计得到编码元坐标系相对于局域相机的当前位姿关系

计算当前位姿与期望位姿的偏差

对ΔT进行分析，判断偏差是否满足事先设定的精度要求。

式中，Δn为旋转轴，其模长表示旋转角度；Δt为ΔT中的平移量；θ取0.1°，L取1.2mm。

10.根据权利要求9所述的具有远近视距引导的机械臂多工位精确对准方法，其特征在于：当ΔT未达到精度要求时，就要计算机械臂的运动修正量，即机械臂下一时刻需要运动到的位姿为

在机械臂运动的过程中，测量系统以固定频率从机械臂读取当前时刻的位姿数据，用来判断是否已经运动到指定位姿

机械臂一旦调整至位姿

局域相机再次介入，采集编码元的当前图像，系统计算位姿偏差ΔT，如此循环，直至偏差满足式(5)。

Images