CN117506937A - 一种基于多阶段视觉伺服控制的焊件自主摆放方法 - Google Patents

Abstract

本发明公开了一种基于多阶段视觉伺服控制的焊件自主摆放方法。该方法包括将焊件自主摆放分为焊件抓取阶段、焊件转移阶段和焊件摆放阶段，在焊件抓取阶段，通过构建的图像视觉伺服模型实现待摆放焊件的精确抓取，在焊接转移阶段，通过外置的相机获取焊件的空间位姿，利用构建的位置视觉伺服模型引导机械臂末端相机获取对应视野，为焊件摆放阶段的图像视觉伺服模型操作提供起始位置，在焊件摆放阶段，结合实际情况对焊件摆放阶段的特征点进行视野约束，其余控制设计与焊件抓取阶段相同。本发明采用多阶段视觉伺服控制，避免了传统算法中视野丢失的问题，保证焊件在转运过程中的安全，同时为其他阶段的操作提供较高的可操作度。

Description

一种基于多阶段视觉伺服控制的焊件自主摆放方法

技术领域

本发明涉机器人控制技术领域，具体涉及一种基于多阶段视觉伺服控制的焊件自主摆放方法。

背景技术

在现代制造业中，机器人焊接技术被大量的应用在各个工业场景，例如汽车制造、船舶工程、建筑工程。焊接机器人的出现大幅度提高了工业自动化的水准，提升生产质量的同时也可以保障技术人员的安全。通常，机器人焊接流程主要包含以下阶段：确认焊接任务、焊件摆放矫正、焊接任务规划、焊接任务执行、焊缝质量检测。现有的研究更多着力于焊接任务的自主化，而对焊件工序摆放流程的自主化研究偏少。目前，工业现场上对于焊件的摆放调整通常由自动化流水线实现准确的焊接工件摆放；但随着人机共融的趋势来袭，各类机器人焊接应用会出行在各类随机干扰的环境中，且由于人参与到机器人作业环境当中，因此对于焊件摆放的各类不确定性处理需求远远大于自动化流水线。

对于机器人实际运行环境的不确定性，实际系统通常需要结合视觉传感器来获取外界的实时信息。机器人基于视觉的控制方式通常分为两类：视觉规划控制和视觉伺服控制。基于视觉规划控制的方法有概率路线图法、人工势场法、a-star算法等。这一类方法需要很精确的相机标定信息，而且这类算法规划需要较长的计算时间，且在执行过程中外部环境发生变化也很难做出及时的应对方案。而视觉伺服控制根据视觉信号来实时调整机械臂的状态，对外界的变化会有及时的反应，基于视觉伺服的控制方法主要分为两种：基于位置的视觉伺服和基于图像的视觉伺服。基于位置的视觉伺服其误差信号为空间位姿，控制器的设计相对简单，但视觉检测端必须对图像进行三维重构，重构的结果受相机标定偏差、相机自身精度、重构算法精度等影响较大，这一影响会降低控制系统的控制精度。基于图像的视觉伺服其误差信号被定义在二维图像空间，无需对图像进行三维重建和手眼标定，其控制精度高，适合于实现高精度的焊接控制。

随着计算机视觉技术的发展，很多控制算法也被逐渐运用到了视觉伺服控制当中，例如PID控制和滑模控制。这些算法虽然工业场景中得到了广泛应用，但其在人机共融的复杂焊接环境中，很难去考虑物体的视野问题、机器人的碰撞问题。近年来，模型预测控制因为计算机算力提升和其处理约束的能力，被广泛应用到各类机器人上。目前研究已经实现将图像视觉伺服模型应用到模型预测控制器中，并对其进行视野范围的约束。约束条件也可以包含机械臂机身与障碍物的距离限制，从而实现一定程度的障碍物规避。但对于一个完整的焊件摆放流程中，需要考虑通过视觉实现焊件的抓取、焊件的转运、焊件的置放，而这些问题很难被单一策略的控制器解决。

发明内容

本发明的目的是针对现有技术存在的不足，提供一种基于多阶段视觉伺服控制的焊件自主摆放方法。

为实现上述目的，本发明提供了一种基于多阶段视觉伺服控制的焊件自主摆放方法，包括：

将焊件自主摆放分为焊件抓取阶段、焊件转移阶段和焊件摆放阶段；

在焊件抓取阶段，通过构建的图像视觉伺服模型实现待摆放焊件的精确抓取，所述图像视觉伺服模型的离散化方程表述为：

其中，为基于机器人末端的相机采集的图像数据引入的二维像素特征点组合，、/>、/>、/>为引入的四个二维像素特征点，k为时刻，/>为采样时间，T为矩阵的转置，/>为四个二维像素点的位置与相机的速度建立的图像雅可比矩阵，/>、/>、/>、/>分别为第一、二、三、四个特征点对应的图像雅可比矩阵，/>为特征点的深度，/>为机器人末端的相机的笛卡尔空间速度；

所述图像视觉伺服模型设计有相应的约束条件和优化方程，其控制目标为将中的所有特征点置于对应的期望特征点/>，所述图像视觉伺服模型的控制目标表示为：

其中，为特征点跟随误差，/>为极限函数符号；

在焊接转移阶段，通过外置的相机获取焊件的空间位姿，利用构建的位置视觉伺服模型引导机械臂末端相机获取对应视野，为焊件摆放阶段的图像视觉伺服模型操作提供起始位置，所述位置视觉伺服模型的离散化方程表述为：

其中，为机器人末端的姿态， />为机器人的雅克比矩阵，/>，/>为实数域，为机器人的6个关节的速度；

所述位置视觉伺服模型也设计有相应的约束条件和优化方程，其控制目标为将已抓取的焊件和待放置焊件保持期望的相对位置和之前所设计的固定姿态，所述位置视觉伺服模型的控制目标表示为：

其中，为机器人末端的期望姿态，/>为机器人末端姿态跟随误差；

在焊件摆放阶段，结合实际情况对焊件摆放阶段的特征点进行视野约束，其余控制设计与焊件抓取阶段相同。

进一步的，所述图像视觉伺服模型的优化方程为：

其中，为k时刻机器人末端的相机的笛卡尔空间速度的最优解， />为代价函数，

其中，、/>、/>均为权重矩阵，/>， />表示时刻，/>为第一预测步长，/>为第一控制步长，/>为机器人末端的相机的笛卡尔空间加速度。

进一步的，所述图像视觉伺服模型的约束条件为：

其中，、/>分别为机器人末端的相机的笛卡尔空间速度下限和上限，/>、分别为机器人末端的相机的笛卡尔空间加速度下限和上限，/>、/>分别为特征点在二维平面的最小值和最大值。

进一步的，所述位置视觉伺服模型的优化方程为：

其中，为k时刻机器人的关节速度的最优解，/>为代价函数；

其中，、/>、/>均为权重矩阵，/>，/>为第二预测步长，/>为第二控制步长，/>为机器人的关节加速度，/>表示时刻。

进一步的，所述位置视觉伺服模型的约束条件为：

其中，、/>分别为机器人的关节最小速度和最大速度，/>、/>分别为机器人的关节最小加速度和最大加速度，/>为机器人末端的高度，/>为机器人末端的高度的最小值，/>为机器人雅可比矩阵行列式值，/>为机器人雅可比矩阵行列式值的下限值。

有益效果：1）本发明采用多阶段视觉伺服控制，利用图像视觉伺服模型弥补位置视觉伺服模型的偏差，并依靠眼在手外的位置视觉伺服弥补眼在手上的图像视觉伺服模型视野范围狭隘的问题；

2）本发明针对图像视觉伺服阶段，对图像像素点位进行约束，始终保证所跟踪焊件在视野范围内，避免了传统算法中视野丢失的问题；

3）本发明针对位置视觉伺服阶段，通过对距离的约束和对雅可比矩阵行列式值得约束，保证焊件在转运过程中的安全，同时为其他阶段的操作提供较高的可操作度。

附图说明

图1是本发明实施例的基于多阶段视觉伺服控制的焊件自主摆放方法的流程示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，本实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。

如图1所示，本发明实施例提供了一种基于多阶段视觉伺服控制的焊件自主摆放方法，包括：

将焊件自主摆放分为焊件抓取阶段、焊件转移阶段和焊件摆放阶段。

在焊件抓取阶段，通过构建的图像视觉伺服模型实现待摆放焊件的精确抓取，图像视觉伺服模型的离散化方程表述为：

其中，为基于机器人末端的相机采集的图像数据引入的二维像素特征点组合，、/>、/>、/>为引入的四个二维像素特征点，k为时刻，/>为采样时间，T为矩阵的转置，/>为四个二维像素点的位置与相机的速度建立的图像雅可比矩阵，/>、/>、/>、/>分别为第一、二、三、四个特征点对应的图像雅可比矩阵，/>为特征点的深度，也就是待摆放焊件至机器人末端的相机的距离，/>为机器人末端的相机的笛卡尔空间速度。上述机器人为六轴机器人，其末端的相机一般安装在夹爪上侧。

图像视觉伺服模型设计有相应的约束条件和优化方程，其控制目标为将中的所有特征点置于对应的期望特征点/>，上述图像视觉伺服模型的控制目标表示为：

其中，为特征点跟随误差，/>为极限函数符号。

模型预测控制的核心是在预测范围内根据所定义的优化函数寻找到最优解，上述图像视觉伺服模型的优化方程为：

其中，为k时刻机器人末端的相机的笛卡尔空间速度的最优解，/>为代价函数，

其中，、/>、/>均为权重矩阵，/>， />表示时刻，/>为第一预测步长，/>为第一控制步长，/>为机器人末端的相机的笛卡尔空间加速度。

为了保证在控制过程平稳的同时又能让焊件始终在视野范围内，首先需要考虑对系统状态的约束。将图像视觉伺服模型的约束分为两部分，一是对机械臂运动学的限制，另外一部分则是对视野范围的约束。具体的，图像视觉伺服模型的约束条件为：

其中，、/>分别为机器人末端的相机的笛卡尔空间速度下限和上限，该约束条件的设置是为了保证求解的优化速度始终符合实际的机器人物理的限制范围。/>、分别为机器人末端的相机的笛卡尔空间加速度下限和上限，该约束条件的设置是为了避免末端速度发生大的突变，尽可能保证机械臂的平稳运行。/>、/>分别为特征点在二维平面的最小值和最大值，该约束条件的设置是为了确保所需要的特征点能够始终落在视野范围内，规避因特征点消失在视野范围内而导致的控制失效。

在焊接转移阶段，通过外置的相机获取焊件的空间位姿，利用构建的位置视觉伺服模型引导机械臂末端相机获取对应视野，为焊件摆放阶段的图像视觉伺服模型操作提供起始位置，所述位置视觉伺服模型的离散化方程表述为：

其中，为机器人末端的姿态，/>分别为机器人第1至6个关节的角速度，/>为机器人的雅克比矩阵，/>，/>为实数域， />为机器人的6个关节的速度。

位置视觉伺服模型也设计有相应的约束条件和优化方程，其控制目标为将已抓取的焊件和待放置焊件保持期望的相对位置和之前所设计的固定姿态，所述位置视觉伺服模型的控制目标表示为：

其中，为机器人末端的期望姿态，/>为机器人末端姿态跟随误差。

具体的，位置视觉伺服模型的优化方程为：

其中，为k时刻机器人的关节速度的最优解，/>为代价函数；

其中，、/>、/>均为权重矩阵，/>，/>为第二预测步长，/>为第二控制步长，/>为机器人的关节加速度。

位置视觉伺服模型的约束条件为：

其中，、/>分别为机器人的关节最小速度和最大速度，/>、/>分别为机器人的关节最小加速度和最大加速度，这两个约束条件是从机器人运动学限制出发来保证运行中的平稳性，与焊件抓取阶段类似。/>为机器人末端的高度，/>为机器人末端的高度的最小值，该约束条件可避免与地面和待放置焊件之间发生直接碰撞。/>为机器人雅可比矩阵行列式值，/>为机器人雅可比矩阵行列式值的下限值，该约束条件是尽量保持机械臂有较高的可操作度，避免在当前阶段执行时使机械臂陷入奇异。

焊件摆放阶段和焊件抓取阶段的设计类似，即都需要考虑机器人的物理约束和视野约束等问题。然而，由于焊件抓取后可能会对相机视野造成遮挡，沿用焊件抓取阶段的控制可能会导致视野丢失。因此，在焊件摆放阶段，结合实际情况对焊件摆放阶段的特征点进行视野约束，其余控制设计与焊件抓取阶段相同。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，其它未具体描述的部分，属于现有技术或公知常识。在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于多阶段视觉伺服控制的焊件自主摆放方法，其特征在于，包括：

将焊件自主摆放分为焊件抓取阶段、焊件转移阶段和焊件摆放阶段；

在焊件抓取阶段，通过构建的图像视觉伺服模型实现待摆放焊件的精确抓取，所述图像视觉伺服模型的离散化方程表述为：

；

；

；

其中，为基于机器人末端的相机采集的图像数据引入的二维像素特征点组合，/>、、/>、/>为引入的四个二维像素特征点，k为时刻，/>为采样时间，T为矩阵的转置，/>为四个二维像素点的位置与相机的速度建立的图像雅可比矩阵，/>、/>、/>、/>分别为第一、二、三、四个特征点对应的图像雅可比矩阵，/>为特征点的深度，/>为机器人末端的相机的笛卡尔空间速度；

所述图像视觉伺服模型设计有相应的约束条件和优化方程，其控制目标为将中的所有特征点置于对应的期望特征点/>，所述图像视觉伺服模型的控制目标表示为：

；

其中，为特征点跟随误差，/>为极限函数符号；

在焊接转移阶段，通过外置的相机获取焊件的空间位姿，利用构建的位置视觉伺服模型引导机械臂末端相机获取对应视野，为焊件摆放阶段的图像视觉伺服模型操作提供起始位置，所述位置视觉伺服模型的离散化方程表述为：

；

其中，为机器人末端的姿态， />为机器人的雅克比矩阵，/>，/>为实数域，/>为机器人的6个关节的速度；

所述位置视觉伺服模型也设计有相应的约束条件和优化方程，其控制目标为将已抓取的焊件和待放置焊件保持期望的相对位置和之前所设计的固定姿态，所述位置视觉伺服模型的控制目标表示为：

；

其中，为机器人末端的期望姿态，/>为机器人末端姿态跟随误差；

在焊件摆放阶段，结合实际情况对焊件摆放阶段的特征点进行视野约束，其余控制设计与焊件抓取阶段相同。

2.根据权利要求1所述的一种基于多阶段视觉伺服控制的焊件自主摆放方法，其特征在于，所述图像视觉伺服模型的优化方程为：

；

其中，为k时刻机器人末端的相机的笛卡尔空间速度的最优解， />为代价函数，

；

其中，、/>、/>均为权重矩阵，/>， />表示时刻，/>为第一预测步长，/>为第一控制步长，/>为机器人末端的相机的笛卡尔空间加速度。

3.根据权利要求2所述的一种基于多阶段视觉伺服控制的焊件自主摆放方法，其特征在于，所述图像视觉伺服模型的约束条件为：

；

；

其中，、/>分别为机器人末端的相机的笛卡尔空间速度下限和上限，/>、/>分别为机器人末端的相机的笛卡尔空间加速度下限和上限，/>、/>分别为特征点在二维平面的最小值和最大值。

4.根据权利要求1所述的一种基于多阶段视觉伺服控制的焊件自主摆放方法，其特征在于，所述位置视觉伺服模型的优化方程为：

；

其中，为k时刻机器人的关节速度的最优解，/>为代价函数；

；

其中，、/>、/>均为权重矩阵，/>，/>为第二预测步长，/>为第二控制步长，/>为机器人的关节加速度，/>表示时刻。

5.根据权利要求4所述的一种基于多阶段视觉伺服控制的焊件自主摆放方法，其特征在于，所述位置视觉伺服模型的约束条件为：

；

；

；

其中，、/>分别为机器人的关节最小速度和最大速度，/>、/>分别为机器人的关节最小加速度和最大加速度，/>为机器人末端的高度，/>为机器人末端的高度的最小值，/>为机器人雅可比矩阵行列式值，/>为机器人雅可比矩阵行列式值的下限值。