CN116872216A - 一种基于有限时间控制的机器人视觉伺服作业方法 - Google Patents

Abstract

本发明涉及高空作业机器人技术领域，具体为一种基于有限时间控制的机器人视觉伺服作业方法，包括以下具体步骤：S1、对螺栓紧固机械臂进行运动学建模，得到其各个关节的姿态转换矩阵；S2、进行相机的内参标定，分别确定相机坐标系和像素坐标系的位姿转换关系，得到像素坐标系和世界坐标系的映射关系；S3、搭建手眼标定平台，得到相机和螺栓紧固机械臂末端坐标系的位姿转换矩阵；S4、机器人上的相机实时拍摄图像用于利用相机拍摄的图像进行螺栓目标检测；S5、利用有限时间处理器计算相机需要的运动量，得到各个关节的运动量，驱动螺栓紧固机械臂各个关节电机和末端执行器作业。本发明提高了电力铁塔螺栓紧固作业的快速性和稳定性。

Description

一种基于有限时间控制的机器人视觉伺服作业方法

技术领域

本发明涉及高空作业机器人技术领域，具体涉及一种基于有限时间控制的机器人视觉伺服作业方法。

背景技术

随着经济的快速发展，各行业对电力的需求越来越多，所以对电力供应的稳定性以及安全性的要求也越来越高，因此维护和检修输电铁塔的正常工作也显得十分重要；但是铁塔上螺栓数量众多，平均每座220Kv铁塔就有4200颗螺栓，所以输电铁塔维护和检修的任务重，与此同时，螺栓本身安装位置的复杂性和确保拧螺栓过程中的牢固性也给螺栓紧固作业带来了挑战。

目前广泛采用的方法是视觉伺服控制，视觉伺服主要分为三类：基于位置的视觉伺服、基于图像的视觉伺服和混合视觉伺服。与其他方法相比，基于图像视觉伺服对目标特征的深度信息容忍度高，对相机内参误差要求不高，不需要目标的三维模型，精度高、稳定性强。但是IBVS也存在着一些问题：比如征深度估计不足的时候，会导致速度反馈不够及时，以至于目标物体离开相机视野；或者机械臂关节运动轨迹产生突变，对机械臂造成损伤。

发明内容

本发明目的是针对背景技术中存在的问题，提出一种基于有限时间控制的机器人视觉伺服作业方法。

本发明的技术方案：一种基于有限时间控制的机器人视觉伺服作业方法，包括以下具体步骤：

S1、对螺栓紧固机械臂进行运动学建模，得到其各个关节的姿态转换矩阵；

S2、进行相机的内参标定，分别确定相机坐标系和像素坐标系的位姿转换关系，得到像素坐标系和世界坐标系的映射关系；

S3、搭建手眼标定平台，根据实际运动数据，得到相机和螺栓紧固机械臂末端坐标系的位姿转换矩阵；

S4、机器人沿着电力铁塔上的一条腿进行攀爬作业，机器人上装载的螺栓紧固机械臂在机器人的初始位姿下，相机实时拍摄图像用于利用相机拍摄的图像进行螺栓目标检测；

识别螺栓目标之后进行图像预处理，获取螺栓中心点的像素坐标(u_b，v_b)，计算螺栓中心点像素坐标(u_b，v_b)和相机视野正中间的像素坐标(u_d，v_d)的像素偏差值(e_u，e_v)；

将像素的坐标和期望的位置作差得到系统误差如下：

其中，α为相机的像素横纵尺寸的倒数和焦距的乘积；

S5、利用有限时间处理器计算出使螺栓中心点与相机视野中心重合时，相机需要的运动量，再通过有限时间处理器进行运动学逆解运算得到各个关节的运动量，驱动螺栓紧固机械臂各个关节电机和末端执行器进行螺栓紧固作业；

将像素的坐标和期望的位置作差得到系统误差等式进行一阶求导，得到机械臂螺栓紧固伺服控制系统的表达式如下：

S＝L_uU_s+F(v，t)；

式中，U_s是系统的控制量

是与系统状态相关的干扰量；

引入一个变量δ：

其中，/>

若想实现机器人的螺栓精确对准，δ必须无限趋于0，基于此，考虑执行任务时遇到的抖动干扰或者复杂环境引发的扰动等以及机器人本身的机械误差，引入基于扰动观测补偿的有限时间控制律如下：

其中，h1，h2∈R+.存在控制器增益参数h1，h2使得像素目标跟踪误差能够在有限时间内收敛到0，即有限时间稳定，机器人能在有限时间内对准识别到的物体。

优选的，建立世界坐标系W-X₀-Y₀-Z₀、相机坐标系C-X_c-Y_c-Z_c、图像坐标系O-xy以及像素坐标系uv；

其中，像素坐标系uv以图像左上角为原点，像素为坐标单位的直角坐标系；图像坐标系O-xy以原点为二维平面中点；相机坐标系C-Xc_-Y_c-Z_c以相机光心定义为相机坐标原点O，Z_c轴与相机光轴重合，取拍摄方向为正方向，f为中心透视投影焦距；

选取现实世界中的点P(X₀，Y₀，Z₀)，P点为图像中的成像点，其在图像坐标系下的坐标为(x，y)，而对应的像素坐标系下的坐标为(u，v)，所以齐次变换下相机坐标系与世界坐标系的关系可以得出：

其中R为3*3的旋转矩阵，t为3*1的平移矢量；设f_x，f_y，u₀，v₀为相机的内参，而R和T为相机的外参，则推导出P点像素坐标与世界坐标之间的映射关系为：

优选的，在S3中将相机装在螺栓紧固机械臂的末端执行器，在多次运动时，因为螺栓紧固机械臂底座和标定板的位置关系始终不变，所以收集螺栓紧固机械臂末端运动到不同位置时相机采集到的标定板的图像，并记录对应时刻螺栓紧固机械臂末端相对于基坐标系的位置转换关系，用于求解相机和螺栓紧固机械臂末端坐标系的位姿关系；

对螺栓紧固机械臂移动过程中的任意两个位姿，有以下等式成立：

^BT_E2×^E2T_C2×^C2T₀＝^BT_E1×^E2T_C1×^C1T₀，

上式B、C、O和E分别表示机械臂基坐标系、相机坐标系，、标定板坐标系以及收集螺栓紧固机械臂末端执行器坐标系，经过左右移项后，可得：

转换成一般表达式为；

其中，A为两次运动的螺栓紧固机械臂末端与基座之间的位姿转换矩阵的乘积，B是两次运动的相机与标定板之间的位姿变换矩阵的乘积，X是需要求解的相机与机械臂末端执行器坐标系的位姿转换矩阵。

优选的，S4中，螺栓检测的方式为相机实时采集图像，再对采集到的图像进行预处理，对预处理后的图像进行边缘提取，根据特征点的几何信息进行特征点识别。

优选的，对采集到的图像进行预处理的方式包括滤波去噪处理和图像增强处理。

与现有技术相比，本发明的上述技术方案具有如下有益的技术效果：

本发明在已有攀爬机器人的基础上设计了螺栓紧固作业机械臂，在机器人高空作业的同时使用相机实时采集图像，通过图像预处理，最终得到螺栓的像素中心点坐标，通过相机进行标定，得到相机坐标系与该特征点的特征点坐标系之间的变换矩阵，最终可计算得到机器人的当前位姿矩阵，控制机械臂的运动使得螺栓在相机视野中的像素坐标能够快速稳定的收敛到视野中心，从而更精确的进行螺栓紧固的工作。

本发明在检测螺栓的时候采用了深度信息和螺栓检测相结合的方式，使得螺栓的像素中心点的误差变小，同时搭建了眼在手上的手眼标定平台，通过20组数据计算出了相机坐标系到末端工件坐标系的位姿转换矩阵，且经过多次测量，发现视野正中心的目标通过处理器控制机械臂移动固定的距离之后，拧螺栓工件的套筒中心刚好能对准目标，且误差在作业范围内可以忽略不计，这样大大提高的螺栓作业任务的精度。

本发明在基于视觉伺服的控制基础上融入了有限时间控制器，能够控制机械臂在有限时间内完成目标跟踪任务，使得目标像素中心点在相机视野正中心，并且能够有效的抑制在视觉伺服控制中产生的各种干扰，提高的螺栓紧固作业的快速性和稳定性，本发明简化了作业方式，提高了作业精度，且能够实现高空作业机器人在角钢塔任意高度位置作业时的精准控制。

附图说明

图1为本发明提出的一种实施例的流程图。

图2为本发明提出的一种实施例中相机成像几何模型图。

图3为本发明提出的一种实施例中手眼标定示意图。

图4为本发明提出的一种实施例中螺栓紧固作业机械臂的连杆结构图。

具体实施方式

如图1-4所示，本发明提出的一种基于有限时间控制的机器人视觉伺服作业方法，包括以下具体步骤：

S1、对螺栓紧固机械臂进行运动学建模，得到其各个关节的姿态转换矩阵；

其中，螺栓紧固机械臂包括机器人本体和用于控制机器人本体的设置于电脑端的上位机控制系统，机器人本体是一个四自由度的机械臂，基于视觉伺服的螺栓紧固机械臂控制主要由机械臂、相机、树莓派和处理器等组成；相机用来采集观察到的螺栓图像，树莓派里设计装载了一套图像处理系统，将采集到的图像进行图像预处理找到螺栓并确定螺栓的中心点坐标；处理器用来收到树莓派传输的信息，并分析螺栓此刻距离相机视野正中间的距离，利用有限时间控制器对机械臂各个关节发出控制指令，让螺栓处于相机视野正中心，此时机械臂装载的相机已经对准螺栓，根据手眼标定的结果进行螺栓紧固工作即可；

另外，在本实施例中，机器人作业的电力铁塔对象为角钢塔，角钢塔型号为XJJ157-1D2SZ2-27米；本实施例所涉及的机器人，采用中国专利公开号CN112356940A所提供的一种角钢塔用攀爬机器人；

如图4所示为螺栓紧固作业机械臂的连杆结构图，利用D-H法得到基坐标系到末端坐标系的位姿转换矩阵如下：

其中，r₁₁＝cosθ₂，

r₂₁＝0，r₃₁＝-sinθ₂，/>

S2、进行相机的内参标定，分别确定相机坐标系和像素坐标系的位姿转换关系，得到像素坐标系和世界坐标系的映射关系；

由相机成像几何模型可以得到像素坐标和世界坐标系的映射关系；

如图2所示，建立世界坐标系W-X₀-Y₀-Z₀、相机坐标系C-X_c-Y_c-Z_c、图像坐标系o-xy以及像素坐标系uv；

其中，像素坐标系uv以图像左上角为原点，像素为坐标单位的直角坐标系；

图像坐标系O-xy以原点为二维平面中点，单位mm；

相机坐标系C-X_c-Y_c-Z_c以相机光心定义为相机坐标原点0，Z_c轴与相机光轴重合，取拍摄方向为正方向，f为中心透视投影焦距，单位m；

世界坐标系w-X₀-Y₀-Z₀需要根据环境和作业任务来自己定义；

选取现实世界中的点P(X₀，Y₀，Z₀)，P点为图像中的成像点，其在图像坐标系下的坐标为(x，y)，而对应的像素坐标系下的坐标为(u，v).所以齐次变换下相机坐标系与世界坐标系的关系可以得出：

其中R为3*3的旋转矩阵，t为3*1的平移矢量；设f_x，f_y，u₀，v₀为相机的内参，而R和T为相机的外参，则推导出P点像素坐标与世界坐标之间的映射关系为：

S3、搭建手眼标定平台，多次运动时，记录对应的数据，根据实际运动数据，得到相机和螺栓紧固机械臂末端坐标系的位姿转换矩阵。

在S3中将相机装在螺栓紧固机械臂的末端执行器，在多次运动时，因为螺栓紧固机械臂底座和标定板的位置关系始终不变，所以收集螺栓紧固机械臂末端运动到不同位置时相机采集到的标定板的图像，并记录对应时刻螺栓紧固机械臂末端相对于基坐标系的位置转换关系，用于求解相机和螺栓紧固机械臂末端坐标系的位姿关系；

对螺栓紧固机械臂移动过程中的任意两个位姿，有以下等式成立：

^BTE₂×^E2T_C2×^C2T₀＝^BT_E1×^E2T_C1×^C1T₀，

上式B、C、O和E分别表示机械臂基坐标系、相机坐标系、标定板坐标系以及收集螺栓紧固机械臂末端执行器坐标系，经过左右移项后，可得：

转换成一般表达式为A×X＝X×B；

其中，A为两次运动的螺栓紧固机械臂末端与基座之间的位姿转换矩阵的乘积，B是两次运动的相机与标定板之间的位姿变换矩阵的乘积，X是需要求解的相机与机械臂末端执行器坐标系的位姿转换矩阵

S4、机器人沿着电力铁塔上的一条腿进行攀爬作业，机器人上装载的螺栓紧固机械臂在机器人的初始位姿下，相机实时拍摄图像用于利用相机拍摄的图像进行螺栓目标检测；

螺栓检测的方式为相机实时采集图像，再对采集到的图像进行预处理，对预处理后的图像进行边缘提取，根据特征点的几何信息进行特征点识别；对采集到的图像进行预处理的方式包括滤波去噪处理和图像增强处理，即使用高斯滤波器对图像进行滤波去噪，采用直方图均衡化进行图像增强；采用Canny边缘检测器对图像进行有效的边缘提取。

螺栓检测的具体方法为：

S41，首先使用一个高斯滤波器平滑输入图像，对原始图像进行卷积操作，然后计算梯度幅值图像和角度图像，对梯度幅值图像应用非最大抑制用以排除非边缘信息，最后用双阈值处理和连接分析来检测并连接边缘，高阈值和低阈值的比率设置为3∶1；

S42，使用Hough变换来完成螺栓特征点六边形轮廓的拟合：

将得到的图像信息转换到Hough空间中，然后在Hough空间中找到若干组六边形点集，六边形的每组对边斜率相同，且三组对边斜率角度相差60度，这一特征也相应的呈现与Hough空间中峰值的分布，得到六边形信息之后计算六边形中心点可得到螺栓中心位置，从而完成螺栓六边形轮廓的拟合，可以读取出螺栓六边形轮廓顶点的像素坐标；

识别螺栓目标之后进行图像预处理，获取螺栓中心点的像素坐标(u_b，v_b)，计算螺栓中心点像素坐标(u_b，v_b)和相机视野正中间的像素坐标(u_d，v_d)的像素偏差值(e_u，e_v)；

将像素的坐标和期望的位置作差得到系统误差如下：

其中，α为相机的像素横纵尺寸的倒数和焦距的乘积；

S5、利用有限时间处理器计算出使螺栓中心点与相机视野中心重合时，相机需要的运动量，再通过有限时间处理器进行运动学逆解运算得到各个关节的运动量，驱动螺栓紧固机械臂各个关节电机和末端执行器进行螺栓紧固作业；

将像素的坐标和期望的位置作差得到系统误差等式进行一阶求导，得到机械臂螺栓紧固伺服控制系统的表达式如下：

S＝L_uU_s+F(v，t)；

式中，U_s是系统的控制量

是与系统状态相关的干扰量；

引入一个变量δ：

其中，/>

若想实现机器人的螺栓精确对准，δ必须无限趋于0，最优选的δ最好等于0，基于此，考虑执行任务时遇到的抖动干扰或者复杂环境引发的扰动等以及机器人本身的机械误差，引入基于扰动观测补偿的有限时间控制律如下：

其中，h1，h2∈R+.存在控制器增益参数h1，h2使得像素目标跟踪误差能够在有限时间内收敛到0，即有限时间稳定，机器人能在有限时间内对准识别到的物体。

其中，根据相机拍摄图像，得到螺栓在图像中的位姿，控制机械臂的运动使得螺栓在相机视野中的像素坐标收敛到视野中心，从而更精确的进行螺栓紧固的工作；

在机器人末端执行器精准对准螺栓目标后，为了实现螺栓拧紧工作，开始着手设计径向运动的控制算法，由于机器人搭载了激光传感器，径向距离可以获取，但是，在运动过程中，激光传感器收到干扰反馈回来的数据可能会存在一定的误差；为了解决这个问题以及考虑到螺柱本身的长度，对搭载得伺服电机采用抗干扰和高精度得位置控制。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于此，在所属技术领域的技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下还可以作出各种变化。

Claims (5)

1.一种基于有限时间控制的机器人视觉伺服作业方法，其特征在于，包括以下具体步骤：

S1、对螺栓紧固机械臂进行运动学建模，得到其各个关节的姿态转换矩阵；

S2、进行相机的内参标定，分别确定相机坐标系和像素坐标系的位姿转换关系，得到像素坐标系和世界坐标系的映射关系；

S3、搭建手眼标定平台，根据实际运动数据，得到相机和螺栓紧固机械臂末端坐标系的位姿转换矩阵；

S4、机器人沿着电力铁塔上的一条腿进行攀爬作业，机器人上装载的螺栓紧固机械臂在机器人的初始位姿下，相机实时拍摄图像用于利用相机拍摄的图像进行螺栓目标检测；

识别螺栓目标之后进行图像预处理，获取螺栓中心点的像素坐标(u_b，v_b)，计算螺栓中心点像素坐标(u_b，v_b)和相机视野正中间的像素坐标(u_d，v_d)的像素偏差值(e_u，e_v)；

将像素的坐标和期望的位置作差得到系统误差如下：

其中，α为相机的像素横纵尺寸的倒数和焦距的乘积；

S5、利用有限时间处理器计算出使螺栓中心点与相机视野中心重合时，相机需要的运动量，再通过有限时间处理器进行运动学逆解运算得到各个关节的运动量，驱动螺栓紧固机械臂各个关节电机和末端执行器进行螺栓紧固作业；

将像素的坐标和期望的位置作差得到系统误差等式进行一阶求导，得到机械臂螺栓紧固伺服控制系统的表达式如下：

S＝L_uU_s+F(v，t)；

式中，U_s是系统的控制量

是与系统状态相关的干扰量；

引入一个变量δ：

其中，/>

若想实现机器人的螺栓精确对准，δ必须无限趋于0，基于此，考虑执行任务时遇到的抖动干扰或者复杂环境引发的扰动等以及机器人本身的机械误差，引入基于扰动观测补偿的有限时间控制律如下：

其中，h1，h2∈R+.存在控制器增益参数h1，h2使得像素目标跟踪误差能够在有限时间内收敛到0，即有限时间稳定，机器人能在有限时间内对准识别到的物体。

2.根据权利要求1所述的一种基于有限时间控制的机器人视觉伺服作业方法，其特征在于，建立世界坐标系W-X₀-Y₀-Z₀、相机坐标系C-X_c-Y_c-Z_c、图像坐标系o-xy以及像素坐标系uv；

其中，像素坐标系uv以图像左上角为原点，像素为坐标单位的直角坐标系；图像坐标系O-xy以原点为二维平面中点；相机坐标系C-X_c-Y_c-Z_c以相机光心定义为相机坐标原点O，Z_c轴与相机光轴重合，取拍摄方向为正方向，f为中心透视投影焦距；

选取现实世界中的点P(X₀，Y₀，Z₀)，P点为图像中的成像点，其在图像坐标系下的坐标为(x，y)，而对应的像素坐标系下的坐标为(u，v)，所以齐次变换下相机坐标系与世界坐标系的关系可以得出：

其中R为3*3的旋转矩阵，t为3*1的平移矢量；设f_x，f_y，u₀，v₀为相机的内参，而R和T为相机的外参，则推导出P点像素坐标与世界坐标之间的映射关系为：

3.根据权利要求1所述的一种基于有限时间控制的机器人视觉伺服作业方法，其特征在于，在S3中将相机装在螺栓紧固机械臂的末端执行器，在多次运动时，因为螺栓紧固机械臂底座和标定板的位置关系始终不变，所以收集螺栓紧固机械臂末端运动到不同位置时相机采集到的标定板的图像，并记录对应时刻螺栓紧固机械臂末端相对于基坐标系的位置转换关系，用于求解相机和螺栓紧固机械臂末端坐标系的位姿关系；

对螺栓紧固机械臂移动过程中的任意两个位姿，有以下等式成立：

^BT_E2×^E2T_C2×^C2T₀＝^BT_E1×^E2T_C1×^C1T₀，

上式B、C、O和E分别表示机械臂基坐标系、相机坐标系、标定板坐标系以及收集螺栓紧固机械臂末端执行器坐标系，经过左右移项后，可得：

转换成一般表达式为；

其中，A为两次运动的螺栓紧固机械臂末端与基座之间的位姿转换矩阵的乘积，B是两次运动的相机与标定板之间的位姿变换矩阵的乘积，X是需要求解的相机与机械臂末端执行器坐标系的位姿转换矩阵。

4.根据权利要求1所述的一种基于有限时间控制的机器人视觉伺服作业方法，其特征在于，S4中，螺栓检测的方式为相机实时采集图像，再对采集到的图像进行预处理，对预处理后的图像进行边缘提取，根据特征点的几何信息进行特征点识别。

5.根据权利要求4所述的一种基于有限时间控制的机器人视觉伺服作业方法，其特征在于，对采集到的图像进行预处理的方式包括滤波去噪处理和图像增强处理。