CN111300422A - 基于视觉图像的机器人工件抓取位姿误差补偿方法 - Google Patents

Abstract

本发明公开了基于视觉图像的机器人工件抓取位姿误差补偿方法，包括如下步骤：步骤1：配置系统：获得摄像机坐标系与机械臂基坐标系之间的转换关系；步骤2：获取示教参考姿态[x₀,y₀,θ₀]^T；步骤3：获取抓取工件姿态[x₁,y₁,θ₁]^T；步骤4：获取抓取工件姿态与示教参考姿态之间的工件位姿误差，所述工件位姿误差等于原始位姿误差、旋转引入位姿误差与残余位姿误差之和；步骤5：误差补偿：利用所述工件位姿误差矫正所述抓取工件姿态。本发明基于视觉图像的机器人工件抓取位姿误差补偿方法，通过视觉获取待装配零件与机器人的相对位置，通过获取的位姿信息计算机器人相对目标位姿的位姿差，从而实现位姿误差补偿，提高作业系统的适应性及抓取定位精度。

Description

基于视觉图像的机器人工件抓取位姿误差补偿方法

技术领域

本发明属于自动化控制技术领域，具体的为一种基于视觉图像的机器人工件抓取位姿误差补偿方法。

背景技术

工业机器人成为了实现工业自动化的重要工具之一，其中抓取-矫正-放置完成装配动作是较为广泛的应用之一。目前多数应用于自动化生产线上的机器人仅通过示教的方式完成固定的动作，无法对环境的变化做出合理的应对措施。对于应用柔性夹具夹取异性零件的应用领域，每次抓取工件相对于机器人的位置均不确定，传统的机器人示教方式无法满足应用要求。

公开号为CN109591019A的中国专利申请公开了一种无确定性定位特征物体的空间精确定位方法，包括以下步骤：首先，通过外形点云扫描构建无确定性定位特征物体的位姿控制点在零件局部坐标系的坐标；其次，利用工业机器人及其末端执行器实现工业机器人对无确定性定位特征物体的抓取及定位；第三，利用安装在工业机器人末端执行器上的多目视觉测量系统测量所抓取的无确定性定位特征物体上的位姿控制点，从而通过外形点云扫描确定的无确定性定位特征物体的位姿控制点的测量值与局部坐标系的理论值计算无确定性定位特征物体与机器人末端执行器的的相对位姿关系；第四，利用T-Mac 6D测量系统(6D机械跟踪探测器，与激光跟踪仪配合使用)实现实时跟踪测量机器人末端执行器的空间位姿；第五，最后基于T-Mac 6D测量系统跟踪机器人实时空间姿态，计算姿态误差，并驱动机器人进行补偿运动，实现无确定性定位特征物体的装配定位。

该无确定性定位特征物体的空间精确定位方法通过外形扫描数据与理论数模拟合求解出位姿控制点在其零件坐标系下的坐标值，从而实现无确定性定位特征物体的空间定位，但对于有明显定位特征的零部件，该方法并不适用。

发明内容

有鉴于此，本发明的目的在于提供一种基于视觉图像的机器人工件抓取位姿误差补偿方法，通过视觉获取待装配零件与机器人的相对位置，通过获取的位姿信息计算机器人相对目标位姿的位姿差，从而实现位姿误差补偿，提高作业系统的适应性及抓取定位精度。

为达到上述目的，本发明提供如下技术方案：

一种基于视觉图像的机器人工件抓取位姿误差补偿方法，包括如下步骤：

步骤1：配置系统：按照设定位置关系安装机械臂和摄像机，构建机械臂基坐标系、机械臂末端夹具坐标系和摄像机坐标系，获得摄像机坐标系与机械臂基坐标系之间的转换关系，并使摄像机坐标系的Z轴垂直于安装平面；

步骤2：获取示教参考姿态：利用机械臂末端夹具抓取处于目标姿态的目标工件至摄像机视野方位内，使目标工件的特征平面与安装平面平行，记录此时的目标工件的特征平面为目标平面，记录此时的机械臂位置信息为取像位置；

利用摄像机采集目标工件的数字图像，记为目标数字图像，从该目标数字图像中提取目标工件特征平面的位姿信息作为姿态矫正依据，记为示教参考姿态[x₀，y₀，θ₀]^T；

步骤3：获取抓取工件姿态：利用机械臂末端夹具抓取待装配工件至所述取像位置，使该待装配工件的特征平面位于所述目标平面内；

利用摄像机采集该待装配工件的数字图像，记为抓取数字图像，从该抓取数字图像中提取待装配工件特征平面的位姿信息，记为抓取工件姿态[x₁，y₁，θ₁]^T；

步骤4：获取抓取工件姿态与示教参考姿态之间的工件位姿误差，所述工件位姿误差等于原始位姿误差、旋转引入位姿误差与残余位姿误差之和；

41)获取原始位姿误差：所述原始位姿误差[Δx₁，Δy₁，Δθ₁]^T等于示教参考姿态与抓取工件姿态之差；

42)获取旋转引入位姿误差：利用机械臂驱动待装配工件绕垂直于其特征平面的固定轴转动，利用摄像机获取待装配工件在不同旋转角度处的数字图像，从而获取位于待装配工件特征平面上的特征点圆心的坐标，并求解得到待装配工件绕固定轴转动的回转中心坐标；回转中心坐标矫正旋转过程中因回转中心与特征点圆心不重合而引入的位姿差，即为旋转引入位姿误差；

43)获取残余位姿误差：

43a)获取残余位姿差函数：测量在不同原始位姿误差角度分量条件下的残余位姿差，得到一系列原始位姿误差角度分量与残余位姿误差之间的数据对，拟合得到残余位姿差函数；

43b)将当前原始位姿误差的角度分量代入所述残余位姿差函数，求解得到当前待装配工件的残余位姿误差；

步骤5：误差补偿：利用所述工件位姿误差矫正所述抓取工件姿态。

进一步，所述机械臂基坐标系、机械臂末端夹具坐标系和摄像机坐标系的Z轴相互平行并均垂直于安装平面。

进一步，所述步骤42)中，旋转引入位姿误差[Δx₂，Δy₂，Δθ₂]^T的计算方法为：

其中，[x_r，y_r]^T为回转中心的坐标；l和α分别为特征点圆心与回转中心连线所得线段长度及该连线与摄像机坐标系X轴所成夹角；且：

其中，Δ^bx和Δ^by分别为特征点圆心坐标与回转中心坐标之间X分量差及Y分量差；k₁，k₂为系数；且：

当Δ^bx≥0，Δ^by≥0时，k₁＝0，k₂＝1；

当Δ^bx＜0，Δ^by≥0时，k₁＝1，k₂＝-1；

当Δ^bx≥0，Δ^by＜0时，k₁＝2，k₂＝-1；

当Δ^bx＜0，Δ^by＜0时，k₁＝1，k₂＝1。

进一步，所述步骤43a)中，残余位姿差的测量方法为：利用原始位姿误差和旋转引入位姿误差矫正抓取工件姿态，记矫正后的待装配工件的抓取姿态为过渡姿态；测量所述示教参考姿态与该过渡姿态之间的位姿差，记为在当前的原始位姿误差的角度分量条件下的残余位姿差。

进一步，所述残余位姿差函数为：

其中，[Δx₃，Δy₃，Δθ₃]^T为残余位姿差，Δθ₁原始位姿误差的角度分量；ω₁、ω₂、θ₀、θ₁、b₀、b₁、c₀、c₁均为常数。

进一步，所述工件位姿误差为：

本发明的有益效果在于：

本发明基于视觉图像的机器人工件抓取位姿误差补偿方法，利用摄像机为机器人提供视觉系统，并利用视觉信息对机器人运动进行修正，结合数字图像特征提取算法及位姿矫正算法，通过求解原始位姿误差、旋转引入位姿误差与残余位姿误差来获取抓取工件姿态与示教参考姿态之间的工件位姿误差，实现了机器人工件抓取位姿误差补偿，提高了自动化装配系统的稳定性及兼容性。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为适用于本发明基于视觉图像的机器人工件抓取位姿误差补偿方法的系统模型示意图；

图2为系统模型中的坐标系及位姿转换关系示意图；

图3为一种具有特征平面的工件的结构示意图；

图4为工件的特征平面的结构示意图。

附图标记说明：

1-待矫正零件、2-摄像机、3-工装板、4-矫正完成后零件、5-送料线体、6-工控机、7-机械臂、8-末端夹具。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，为适用于本发明基于视觉图像的机器人工件抓取位姿误差补偿方法的系统模型示意图。该系统模型包括送料线体5、摄像机2、机械臂7和工控机6，送料线体5上设有工装板3，工装板3的顶面为安装平面，机械臂7和摄像机2分别位于工装板3的两侧，机械臂7的末端安装有末端夹具8。当然，适用于本发明基于视觉图像的机器人工件抓取位姿误差补偿方法的系统模型还可以采用其他结构形式，不再累述。

具体的，本实施例基于视觉图像的机器人工件抓取位姿误差补偿方法，包括如下步骤：

步骤1：配置系统：按照设定位置关系安装机械臂7和摄像机2，构建机械臂基坐标系、机械臂末端夹具坐标系和摄像机坐标系，获得摄像机坐标系与机械臂基坐标系之间的转换关系，并使摄像机坐标系的Z轴垂直于安装平面；具体的，本实施例的机械臂基坐标系、机械臂末端夹具坐标系和摄像机坐标系的Z轴相互平行并均垂直于安装平面，本实施例的安装平面为水平面。

具体的，本实施例通过手眼系统标定的方法获得摄像机坐标系与机械臂基坐标系之间的转换关系，其方法如下：

首先，通过摄像机2采集与特征平面重合的棋盘格标定板图像，通过图像处理程序获取角点特征；

其次，通过机械臂末端夹具8夹持带尖端工具，将工具的尖端与棋盘格标定板上呈九宫格分布的9个角点重合并记录机械臂7位置信息

最后，通过图像处理程序处理棋盘格标定板角点信息及所选取9个角点的图像坐标及机械臂位置信息完成手眼系统标定。

步骤2：获取示教参考姿态：利用机械臂末端夹具8抓取处于目标姿态的目标工件至摄像机视野方位内，使目标工件的特征平面与安装平面平行，记录此时的目标工件的特征平面为目标平面，记录此时的机械臂位置信息为取像位置。

利用摄像机采集目标工件的数字图像，记为目标数字图像，从该目标数字图像中提取目标工件特征平面的位姿信息作为姿态矫正依据，记为示教参考姿态[x₀，y₀，θ₀]^T，其中，[x₀，y₀]^T为坐标分量，θ₀为角度分量。

数字图像处理流程为图像二值化、形态学操作、高斯滤波、边缘检测及特征提取；所提取特征为图4所示零件特征平面内的两个特征圆；中心圆圆心坐标[x₀，y₀]^T及两圆心连线与摄像机坐标系x轴所成角度θ₀组成示教参考姿态[x₀，y₀，θ₀]^T。

步骤3：获取抓取工件姿态：利用机械臂末端夹具8抓取待装配工件至所述取像位置，使该待装配工件的特征平面位于所述目标平面内，即待装配工件的特征平面与目标平面共面。

利用摄像机2采集该待装配工件的数字图像，记为抓取数字图像，从该抓取数字图像中提取待装配工件特征平面的位姿信息，记为抓取工件姿态[x₁，y₁，θ₁]^T，其中，[x₁，y₁]^T为坐标分量，θ₁为角度分量。

步骤4：获取抓取工件姿态与示教参考姿态之间的工件位姿误差，所述工件位姿误差等于原始位姿误差、旋转引入位姿误差与残余位姿误差之和。

41)获取原始位姿误差：所述原始位姿误差[Δx₁，Δy₁，Δθ₁]^T等于示教参考姿态与抓取工件姿态之差，即：

[Δx₁，Δy₁，Δθ₁]^T＝[x₀，y₀，θ₀]^T-[x₁，y₁，θ₁]^T。

42)获取旋转引入位姿误差：利用机械臂7驱动待装配工件绕垂直于其特征平面的固定轴转动，利用摄像机获取待装配工件在不同旋转角度处的数字图像，从而获取位于待装配工件特征平面上的特征点圆心的坐标[x_i，y_i]^T(其中i＝1，2，3......，n，且n≥3；)，并采用最小二乘法拟合求解得到待装配工件绕固定轴转动的回转中心坐标[x_r，y_r]^T；回转中心坐标矫正旋转过程中因回转中心与特征点圆心不重合而引入的位姿差，即为旋转引入位姿误差。具体的，本实施例利用机械臂7驱动待装配工件绕垂直于其特征平面的固定轴转动30次，每次角度变化量为10°。具体的，旋转引入位姿误差[Δx₂，Δy₂，Δθ₂]^T的计算方法为：

其中，[x_r，y_r]^T为回转中心的坐标；l和α分别为特征点圆心与回转中心连线所得线段长度及该连线与摄像机坐标系X轴所成夹角；且：

其中，Δ^bx和Δ^by分别为特征点圆心坐标与回转中心坐标的X分量差及Y分量差；k₁，k₂为系数；且：

当Δ^bx≥0，Δ^by≥0时，k₁＝0，k₂＝1；

当Δ^bx＜0，Δ^by≥0时，k₁＝1，k₂＝-1；

当Δ^bx≥0，Δ^by＜0时，k₁＝2，k₂＝-1；

当Δ^bx＜0，Δ^by＜0时，k₁＝1，k₂＝1。

43)获取残余位姿误差：

43a)获取残余位姿差函数：测量在不同原始位姿误差角度分量条件下的残余位姿差，得到一系列原始位姿误差角度分量与残余位姿误差之间的数据对，拟合得到残余位姿差函数。

具体的，残余位姿差的测量方法为：利用原始位姿误差和旋转引入位姿误差矫正抓取工件姿态，记矫正后的待装配工件的抓取姿态为过渡姿态；测量所述示教参考姿态与该过渡姿态之间的位姿差，记为在当前的原始位姿误差的角度分量条件下的残余位姿差。本实施例通过人为控制原始位姿差角度分量Δθ₁，使Δθ₁取值大致分布于0°-360°的区间范围内，且相邻两个Δθ₁相差约为10°；通过摄像机及图像处理程序采集并记录每一个Δθ₁对应的残余位姿差，获得一组数据对。

本实施例的残余位姿差函数为：

其中，[Δx₃，Δy₃，Δθ₃]^T为残余位姿差，Δθ₁原始位姿误差的角度分量；ω₁、ω₂、a₀、a₁、b₀、b₁、c₀、c₁均为常数，即通过至少8组数据对即可求解得到常数ω₁、ω₂、a₀、a₁、b₀、b₁、c₀、c₁的值，从而得到残余位姿差函数。

43b)将当前原始位姿误差的角度分量代入所述残余位姿差函数，求解得到当前待装配工件的残余位姿误差[Δx₃，Δy₃，Δθ₃]^T。

如此，工件位姿误差[Δx，Δy，Δθ]^T等于原始位姿误差、旋转引入位姿误差与残余位姿误差之和，即为：

步骤5：误差补偿：利用所述工件位姿误差[Δx，Δy，Δθ]^T矫正所述抓取工件姿态[x₁，y₁，θ₁]^T。

本实施例基于视觉图像的机器人工件抓取位姿误差补偿方法，利用摄像机为机器人提供视觉系统，并利用视觉信息对机器人运动进行修正，结合数字图像特征提取算法及位姿矫正算法，通过求解原始位姿误差、旋转引入位姿误差与残余位姿误差来获取抓取工件姿态与示教参考姿态之间的工件位姿误差，实现了机器人工件抓取位姿误差补偿，提高了自动化装配系统的稳定性及兼容性。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (6)

1.一种基于视觉图像的机器人工件抓取位姿误差补偿方法，其特征在于：包括如下步骤：

步骤1：配置系统：按照设定位置关系安装机械臂和摄像机，构建机械臂基坐标系、机械臂末端夹具坐标系和摄像机坐标系，获得摄像机坐标系与机械臂基坐标系之间的转换关系，并使摄像机坐标系的Z轴垂直于安装平面；

步骤2：获取示教参考姿态：利用机械臂末端夹具抓取处于目标姿态的目标工件至摄像机视野方位内，使目标工件的特征平面与安装平面平行，记录此时的目标工件的特征平面为目标平面，记录此时的机械臂位置信息为取像位置；

利用摄像机采集目标工件的数字图像，记为目标数字图像，从该目标数字图像中提取目标工件特征平面的位姿信息作为姿态矫正依据，记为示教参考姿态[x₀，y₀，θ₀]^T；

步骤3：获取抓取工件姿态：利用机械臂末端夹具抓取待装配工件至所述取像位置，使该待装配工件的特征平面位于所述目标平面内；

利用摄像机采集该待装配工件的数字图像，记为抓取数字图像，从该抓取数字图像中提取待装配工件特征平面的位姿信息，记为抓取工件姿态[x₁，y₁，θ₁]^T；

步骤4：获取抓取工件姿态与示教参考姿态之间的工件位姿误差，所述工件位姿误差等于原始位姿误差、旋转引入位姿误差与残余位姿误差之和；

41)获取原始位姿误差：所述原始位姿误差[Δx₁，Δy₁，Δθ₁]^T等于示教参考姿态与抓取工件姿态之差；

42)获取旋转引入位姿误差：利用机械臂驱动待装配工件绕垂直于其特征平面的固定轴转动，利用摄像机获取待装配工件在不同旋转角度处的数字图像，从而获取位于待装配工件特征平面上的特征点圆心的坐标，并求解得到待装配工件绕固定轴转动的回转中心坐标；回转中心坐标矫正旋转过程中因回转中心与特征点圆心不重合而引入的位姿差，即为旋转引入位姿误差；

43)获取残余位姿误差：

43a)获取残余位姿差函数：测量在不同原始位姿误差角度分量条件下的残余位姿差，得到一系列原始位姿误差角度分量与残余位姿误差之间的数据对，拟合得到残余位姿差函数；

43b)将当前原始位姿误差的角度分量代入所述残余位姿差函数，求解得到当前待装配工件的残余位姿误差；

步骤5：误差补偿：利用所述工件位姿误差矫正所述抓取工件姿态。

2.根据权利要求1所述基于视觉图像的机器人工件抓取位姿误差补偿方法，其特征在于：所述机械臂基坐标系、机械臂末端夹具坐标系和摄像机坐标系的Z轴相互平行并均垂直于安装平面。

3.根据权利要求1所述基于视觉图像的机器人工件抓取位姿误差补偿方法，其特征在于：所述步骤42)中，旋转引入位姿误差[Δx₂，Δy₂，Δθ₂]^T的计算方法为：

其中，[x_r，y_r]^T为回转中心的坐标；l和α分别为特征点圆心与回转中心连线所得线段长度及该连线与摄像机坐标系X轴所成夹角；且：

其中，Δ^bx及Δ^by分别为特征点圆心坐标与回转中心坐标之间的X分量差及Y分量差；k₁，k₂为系数；且：

当Δ^bx≥0，Δ^by≥0时，k₁＝0，k₂＝1；

当Δ^bx＜0，Δ^by≥0时，k₁＝1，k₂＝-1；

当Δ^bx≥0，Δ^by＜0时，k₁＝2，k₂＝-1；

当Δ^bx＜0，Δ^by＜0时，k₁＝1，k₂＝1。

4.根据权利要求1所述基于视觉图像的机器人工件抓取位姿误差补偿方法，其特征在于：所述步骤43a)中，残余位姿差的测量方法为：利用原始位姿误差和旋转引入位姿误差矫正抓取工件姿态，记矫正后的待装配工件的抓取姿态为过渡姿态；测量所述示教参考姿态与该过渡姿态之间的位姿差，记为在当前的原始位姿误差的角度分量条件下的残余位姿差。

5.根据权利要求4所述基于视觉图像的机器人工件抓取位姿误差补偿方法，其特征在于：所述残余位姿差函数为：

其中，[Δx₃，Δy₃，Δθ₃]^T为残余位姿差，Δθ₁原始位姿误差的角度分量；ω₁、ω₂、a₀、a₁、b₀、b₁、c₀、c₁均为常数。

6.根据权利要求1所述基于视觉图像的机器人工件抓取位姿误差补偿方法，其特征在于：所述工件位姿误差为：

Images