CN114589698A - 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置 - Google Patents

Abstract

本发明提供了一种基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置。该方法包括：在指定点邻域生成若干训练点；采集每个训练点对应的各关节靶标位姿，由机械臂正运动学计算得到靶标位姿对应的机械臂关节位姿；利用靶标位姿及关节位姿训练一系列DNN；利用DNN得到各关节实际位姿；判断各关节位姿误差是否超出了阈值；若超出了阈值，得到齐次变换矩阵，从中提取实际和名义DH参数集合，得到各关节DH参数误差；补偿DH参数误差。本发明提供的基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置实现了标定精度和效率的统一。

Description

基于多目标视觉测量和机器学习的机械臂无模型实时标定方 法及装置

技术领域

本发明涉及机器人标定技术领域，特别是涉及一种基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置。

背景技术

机械臂标定能有效补偿DH(Denavit-Hartenberg)参数误差对末端绝对定位精度的影响，但目前所有标定流程均需要规划并执行测量构型，而且需要定期重复标定，以此补偿机械臂使用过程中绝对定位精度的衰减。

如此会带来三点不足：

第一，传统标定方法需要规划若干个测量构型，用于在机械臂整个运动空间采集末端位姿数据，这些构型难以与机械臂实际作业轨迹保持一致，因此要求机械臂停工来配合位姿采集，降低了生产效率。

第二，传统标定方法属于间接辨识DH参数误差，其标定精度与辨识模型鲁棒性密切相关。合理的测量构型虽然能保证较高的模型鲁棒性，但通常需要均匀分布在机械臂整个运动空间。然而，已安装在工位上的机械臂极有可能受限于非结构工作环境而导致运动空间被压缩或割裂，不足以用于规划合理的测量构型。

第三，传统标定方法无法绕开测量构型规划和执行，因此只能通过定期、重复停工来离线获取足够位姿信息用于标定，以此维持机械臂末端的绝对定位精度，但这种离线标定明显降低了生产效率。

发明内容

本发明要解决的技术问题是提供一种基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置，能够提高标定效率，同时也能满足精度要求。

为解决上述技术问题，本发明提供了一种基于多目标视觉测量和机器学习的机械臂无模型实时标定方法，包括：机械臂在工位上安装调试完毕后，用激光跟踪仪对机械臂进行标定，辨识出各关节DH参数误差{ΔU_i}(i＝1,2,...,6)；在机械臂控制系统中补偿标定所得DH参数误差{ΔU_i}；搭建基于双目视觉的位姿采样系统，将靶标安装在机械臂每个关节上，双目相机安装在固定支架上，保证每个关节至少有一个靶标在双目相机视场中可被观测；选取机械臂实际工作轨迹S上的n个指定点D_j(j＝1,2,...,n₁+n₂)；在D_j(j＝1,2,...,n₁+n₂)邻域生成若干训练点T_k(k＝1,2,...,n₃)；用上述视觉采样系统采集每个训练点对应的各关节靶标位姿{P_ti}_k＝{P_t1,P_t2,P_t3,P_t4,P_t5,P_t6}_k，同时由机械臂正运动学计算得到{P_ti}_k对应的机械臂关节位姿{P_i}_k＝{P₁,P₂,P₃,P₄,P₅,P₆}_k；将{P_ti}_k作为输入，{P_i}_k作为输出，训练得到一系列深度神经网络DNN，其功能是根据靶标位姿预测对应的关节位姿；以机械臂、双目视觉系统及靶标的安装位置不变为前提，将机械臂投入作业使用，并用双目视觉系统实时采集D_j处的各关节靶标位姿集合{P′_ti}_j；利用DNN，将{P′_ti}_j作为输入，得到对应的各关节实际位姿{P′_i}_j；基于机械臂正运动学计算出与{P′_i}_j对应的各关节名义位姿{P_i″}_j，判断各关节位姿误差{ΔP_i}_j＝{P′_i-P_i″}_j是否超出了阈值ε；若超出了阈值ε，从位姿集合{P′_i}_j和{P_i″}_j分别得到{^i-1T′_i}_j和{^i-1T_i″}_j两组齐次变换矩阵，从矩阵元素中分别提取出实际和名义DH参数集合{U′_i}和{U″_i}，比较两者差异即可分别得到各关节DH参数误差{ΔU′_i}；在机械臂控制系统里补偿DH参数误差{ΔU′_i}。

在一些实施方式中，DH参数误差ΔU由如下公式给出：

ΔU＝[δα₁,δa₁,δθ₁,δd₁,...,δα₆,δa₆,δθ₆,δd₆]^T

其中，{δα_i,δa_i,δθ_i,δd_i}为第i关节的DH参数误差。

在一些实施方式中，标定时机械臂处于停工状态。

在一些实施方式中，搭建基于双目视觉的位姿采样系统，将靶标安装在机械臂每个关节上，双目相机安装在固定支架上，保证每个关节至少有一个靶标在双目相机视场中可被观测，包括：选择各关节相对平滑的表面(可以为平面、圆柱面和曲率半径较大的曲面这几类最为常见的机械臂表面结构)贴附靶标，以保证靶标位姿采集精度；对同一关节而言，尽量选择能够组成封闭曲面的若干表面用于贴附靶标，以保证各关节在视场中总有至少一个靶标能够被完整识别；各靶标内部为黑白棋盘格，用于视觉系统准确定位，外圈为不同颜色的边框，以便视觉系统识别并区分。

在一些实施方式中，n个指定点D_j(j＝1,2,...,n₁+n₂)包括：机械臂完成抓取、放置等具体任务的n₁个执行点，以及工作轨迹上的n₂个均匀分布的插入点，并且n＝n₁+n₂。

在一些实施方式中，在D_j(j＝1,2,...,n₁+n₂)邻域生成若干训练点T_k(k＝1,2,...,n₃)，包括：分别以各监测点D_j对应的每个关节坐标系原点为中心，在可达邻域内分别均匀分布n_3(ij)(i＝1,2,...,6)个训练点。

此外，本发明还提供了一种基于多目标视觉测量和机器学习的机械臂无模型实时标定装置，该装置包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据前文所述的基于多目标视觉测量和机器学习的机械臂无模型实时标定方法。

采用这样的设计后，本发明至少具有以下优点：

(1)双目视觉测量系统显著降低了标定系统搭建成本(特别是与激光跟踪仪相比)；(2)利用双目视觉靶标可自定义的优势，设计了分布式的关节靶标，可同步实时采集机械臂整体位姿，避免了有限工作空间内的测量构型规划，以及高维矩阵计算导致的辨识误差，实现了DH参数误差无模型、不停工直接辨识；(3)利用深度神经网络的强大学习能力，“封装”了难以获取和建模的图形畸变和靶标安装误差，由此建立了“不精确”靶标位姿与“精确”关节位姿间映射关系，弥补了双目视觉的精度欠缺。综合上述创新，本方法实现了标定精度和效率的统一。

附图说明

上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。

图1是本发明的流程示意图；

图2是基于双目视觉的机械臂位姿采样系统示意图；

图3是机械臂关节靶标分布示意图；

图4是机械臂训练点布局示意图；

图5是适用于所有关节位姿预测的深度神经网络结构示意图；

图6是基于靶标位姿直接辨识DH参数误差的思路示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

参见图1，本发明提供的基于多目标视觉测量和机器学习的机械臂无模型实时标定方法包括如下步骤：

步骤一：机械臂在工位上安装调试完毕后，将靶球安装在机械臂末端，然后操作机械臂使末端抵达工作空间内的若干个位置，用激光跟踪仪采集这些位置处靶球的坐标，由此建立辨识模型求解出机械臂的DH参数误差ΔU：

ΔU＝[δα₁,δa₁,δθ₁,δd₁,...,δα₆,δa₆,δθ₆,δd₆]^T (1)

式(1)中，{δα_i,δa_i,δθ_i,δd_i}为第i关节的DH参数误差。该标定方法是应用最普遍的高精度传统方法，但标定时机械臂处于停工状态。此步骤仅用于机械臂首次标定(开工前)，为本发明步骤二提供所需ΔU，其技术细节并不在本发明保护范围之内。

步骤二：通过修正关节转角指令θ_i的方式间接补偿ΔU，修正的θ_i由传统的逆运动学方法求得，不再赘述。

步骤三：此步骤开始搭建如图2所示的双目视觉系统。机械臂基座与双目相机21空间位姿关系保持不变。机械臂每个关节均安装有若干个视觉靶标，且在机械臂完整工作过程中，每个关节总有至少一个靶标能够被双目视觉系统完整捕获。机械臂各关节靶标安装方式如图3所示。该图仅为某一型号机械臂的靶标安装参考方式，面向不同外形结构机械臂时，靶标形式与安装方式可能存在差异，但其基本原则均为：(1)选择各关节相对平滑的表面(可以为平面、圆柱面和曲率半径较大的曲面这几类最为常见的机械臂表面结构)贴附靶标，以保证靶标位姿采集精度；(2)对同一关节而言，尽量选择能够组成封闭曲面的若干表面用于贴附靶标，以保证各关节在视场中总有至少一个靶标能够被完整识别；(3)各靶标内部为黑白棋盘格，用于视觉系统准确定位，外圈为不同颜色的边框，以便视觉系统识别并区分。如此安装完毕后，视场中必定同时出现多个靶标，视觉系统识别并测量靶标的基本流程是：首先通过靶标边框颜色区分其所属关节，然后针对每个关节的可视靶标簇，再次根据边框颜色区分簇内各靶标的棋盘格，最后选择可视面积最大的棋盘用于位姿采集(因为该棋盘面法线相对于其他面更接近于相机光轴，因此视觉系统对该靶标位姿的采集精度最高)。

步骤四：在机械臂工作轨迹S上选取若干个指定监测点D_j(j＝1,2,...,n)，其中n＝n₁+n₂，一部分是机械臂完成抓取、放置等具体任务的n1个执行点，另一部分是工作轨迹上的n2个均匀分布的插入点。

步骤五：分别以各监测点D_j对应的每个关节坐标系原点为中心，在可达邻域(对不同的关节，邻域形状存在差异，例如1关节邻域只可为圆弧，2关节邻域可设定为球面，3-6关节邻域均可设定为立方体)内分别均匀分布n_3(ij)(i＝1,2,...,6)个训练点，如图4所示。其中，根据邻域大小，可设定为n_3(1j)＝20，n_3(2j)＝50，n_3(3j)＝n_3(4j)＝n_3(5j)＝n_3(6j)＝125。

步骤六：至此每个训练点处的各关节坐标系位置已知，可利用逆运动学求解所有训练点对应的关节指令集{θ}_k′[k′＝1,2,...,m]，其中m＝∑n_3(ij)。其中，对于3-6关节，当同一训练点存在多种姿态角时，取与其对应监测点最为接近的姿态角用于逆运动学求解。驱动机械臂各关节抵达每个训练点，同时用双目视觉系统以监测点为单位采集各关节在训练点处的靶标位姿集合{P_ti}_j(i＝1,2,...,6)，并通过机械臂正运动学计算出对应的关节坐标系位姿集合{P_i}_j(i＝1,2,...,6)。正运动学计算用齐次坐标变换来实现：

⁰T_i＝⁰T₁ ¹T₂...^i-1T_i (2)

式(2)中，⁰T_i表示机械臂基座标系到机械臂第i关节坐标系的齐次变换矩阵，^i-1T_i表示第i－1关节坐标系到i关节坐标系的齐次变换矩阵：

式(3)中，

为第i关节的DH参数，其值为：

式(4)中，{α_i,a_i,θ_i,d_i}为机械臂首次标定前的名义DH参数值。进而，由⁰T_i可得到P_i：

式(5)中，各参数值来源于

步骤七：受限于相机性能和图像畸变等因素，双目视觉系统采集的训练点处靶标位姿P_ti存在误差ΔP_ti＝[δ_x,δ_y,δ_z,δ_α,δ_β,δ_γ]^T，其中距离误差{δ_x,δ_y,δ_z}为毫米级，精度远低于激光跟踪仪(可达微米级测距误差)。ΔP_ti包含重复测量误差δp_r和绝对测量误差δp_a。在环境参数(光照、温度等)稳定时，δp_r仅与分辨率相关，可达微米级，可忽略不计。由此可推断ΔP_ti主要来源于δp_a，而该误差分量由测量距离L的变化和视场不同位置P处的图像畸变造成，所以当L和P不变时，δp_a也不变，属于系统误差，具有可重复性。因此双目视觉系统视场中每一个点都对应一个确定的ΔP_ti。通常，双目测量方法为了减小ΔP_ti，被迫将靶标约束在视场中央以减小图像畸变，这种受限的运动空间与机械臂实际作业轨迹相矛盾，难以实现机械臂整体位姿的实时监控。由于P_i可通过正运动学准确求解(步骤六)，因此本发明并不设法减小ΔP_ti，而是采用深度神经网络DNN建立不准确P_ti到准确P_i的映射关系。因此即使存在ΔP_ti，也可通过DNN获得准确P_i，保证了机械臂整体位姿采集精度。对每个关节在每个监测点处均采用多层BP神经网络进行训练，一共将得到6n个神经网络，其结构包含1个输入层(6个节点)、2个隐藏层(各16个节点)、1输出层(6个节点)(如图5所示)。

步骤八：机械臂开始作业，此时机械臂末端绝对定位误差中来源于ΔU的部分已经为零。但机械臂作业一段时间后，零部件磨损和变形会产生新的ΔU，末端绝对定位误差将再次增大，需要实时补偿以维持高精度。为此，首先要能够实时监测到机械臂定位精度的衰减，这就需要在机械臂不停工的状态下，用双目视觉系统实时采集D_j处的靶标位姿(P′_ti)_j。

步骤九：将(P_ti′)_j输入至深度神经网络DNN(与步骤七所得DNN相同)，得到对应的各关节实际位姿(P′_i)_j。

步骤十：基于机械臂正运动学计算出与(P′_i)_j对应的各关节名义位姿(P_i″)_j。计算公式采用式(2)～(5)，其中式(4)的θ′_i为指定点D_j对应的关节转角指令，式(5)的P_i替换为P_i″。如果对任意i和j，满足

(ΔP_i)_j＝(P′_i)_j-(P_i″)_j≥ε (7)

则执行步骤十一，否则说明机械臂末端定位精度尚未衰减到阈值，返回步骤八继续实时监测。

步骤十一：此步骤用于直接辨识出DH参数误差ΔU′_i(i＝1,2,...,6)，基本思路如图6所示。首先由机械臂正运动学分别得到(^i-1T′_i)_j和(^i-1T_i″)_j两组齐次变换矩阵

再从矩阵元素中分别提取出实际和名义DH参数集合U′_i和U″_i

然后比较两者差异即可分别得到各关节DH参数误差ΔU′_i

ΔU′_i＝[α′_i-α″_i,a′_i-a″_i,θ′_i-θ″_i,d′_i-d″_i]^T (12)

步骤十二：通过修正关节转角指令θ_i的方式间接补偿ΔU′_i，修正的θ_i由传统的逆运动学方法求得，不再赘述。此时机械臂末端绝对定位误差中来源于ΔU′_i的部分为零。跳转至步骤八继续实时监测。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本发明的保护范围内。

Claims (7)

1.一种基于多目标视觉测量和机器学习的机械臂无模型实时标定方法，其特征在于，包括：

机械臂在工位上安装调试完毕后，用激光跟踪仪对机械臂进行标定，辨识出各关节DH参数误差{ΔU_i}(i＝1,2,...,6)；

在机械臂控制系统中补偿标定所得DH参数误差{ΔU_i}；

搭建基于双目视觉的位姿采样系统，将靶标安装在机械臂每个关节上，双目相机安装在固定支架上，保证每个关节至少有一个靶标在双目相机视场中可被观测；

选取机械臂实际工作轨迹S上的n个指定点D_j(j＝1,2,...,n₁+n₂)；

在D_j(j＝1,2,...,n₁+n₂)邻域生成若干训练点T_k(k＝1,2,...,n₃)；

用上述视觉采样系统采集每个训练点对应的各关节靶标位姿{P_ti}_k＝{P_t1,P_t2,P_t3,P_t4,P_t5,P_t6}_k，同时由机械臂正运动学计算得到{P_ti}_k对应的机械臂关节位姿{P_i}_k＝{P₁,P₂,P₃,P₄,P₅,P₆}_k；

将{P_ti}_k作为输入，{P_i}_k作为输出，训练得到一系列深度神经网络DNN，其功能是根据靶标位姿预测对应的关节位姿；

以机械臂、双目视觉系统及靶标的安装位置不变为前提，将机械臂投入作业使用，并用双目视觉系统实时采集D_j处的各关节靶标位姿集合{P′_ti}_j；

利用DNN，将{P′_ti}_j作为输入，得到对应的各关节实际位姿{P_i′}_j；

基于机械臂正运动学计算出与{P_i′}_j对应的各关节名义位姿{P_i″}_j，判断各关节位姿误差{ΔP_i}_j＝{P_i′-P_i″}_j是否超出了阈值ε；

若超出了阈值ε，从位姿集合{P_i′}_j和{P_i″}_j分别得到{^i-1T_i′}_j和{^i-1T_i″}_j两组齐次变换矩阵，从矩阵元素中分别提取出实际和名义DH参数集合{U′_i}和{U″_i}，比较两者差异即可分别得到各关节DH参数误差{ΔU′_i}；

在机械臂控制系统里补偿DH参数误差{ΔU′_i}。

2.根据权利要求1所述的基于多目标视觉测量和机器学习的机械臂无模型实时标定方法，其特征在于，DH参数误差ΔU由如下公式给出：

ΔU＝[δα₁,δa₁,δθ₁,δd₁,...,δα₆,δa₆,δθ₆,δd₆]^T

其中，{δα_i,δa_i,δθ_i,δd_i}为第i关节的DH参数误差。

3.根据权利要求1所述的基于多目标视觉测量和机器学习的机械臂无模型实时标定方法，其特征在于，标定时机械臂处于停工状态。

4.根据权利要求1所述的基于多目标视觉测量和机器学习的机械臂无模型实时标定方法，其特征在于，搭建基于双目视觉的位姿采样系统，将靶标安装在机械臂每个关节上，双目相机安装在固定支架上，保证每个关节至少有一个靶标在双目相机视场中可被观测，包括：

选择各关节相对平滑的表面(可以为平面、圆柱面和曲率半径较大的曲面这几类最为常见的机械臂表面结构)贴附靶标，以保证靶标位姿采集精度；

对同一关节而言，尽量选择能够组成封闭曲面的若干表面用于贴附靶标，以保证各关节在视场中总有至少一个靶标能够被完整识别；

各靶标内部为黑白棋盘格，用于视觉系统准确定位，外圈为不同颜色的边框，以便视觉系统识别并区分。

5.根据权利要求1所述的基于多目标视觉测量和机器学习的机械臂无模型实时标定方法，其特征在于，n个指定点D_j(j＝1,2,...,n₁+n₂)包括：机械臂完成抓取、放置等具体任务的n₁个执行点，以及工作轨迹上的n₂个均匀分布的插入点，并且n＝n₁+n₂。

6.根据权利要求1所述的基于多目标视觉测量和机器学习的机械臂无模型实时标定方法，其特征在于，在D_j(j＝1,2,...,n₁+n₂)邻域生成若干训练点T_k(k＝1,2,...,n₃)，包括：

分别以各监测点D_j对应的每个关节坐标系原点为中心，在可达邻域内分别均匀分布n_3(ij)(i＝1,2,...,6)个训练点。

7.一种基于多目标视觉测量和机器学习的机械臂无模型实时标定装置，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至6任意一项所述的基于多目标视觉测量和机器学习的机械臂无模型实时标定方法。

Images