CN107627303B - 一种基于眼在手上结构的视觉伺服系统的pd-smc控制方法 - Google Patents

Abstract

本发明涉及视觉伺服系统领域，具体涉及一种基于眼在手上结构的视觉伺服系统的PD‑SMC控制方法。本发明针对现有视觉伺服系统控制方法中存在的不确定性和计算量大等问题。本发明首先设置期望图像，将期望图像的特征点集合作为期望视觉特征集；系统初始化后，以摄像机和目标体的相对位姿的当前状态为基准对目标期望图像作投影变换，得到摄像机当前成像图像；在视觉伺服控制器部分采用所提PD‑SMC方法，关节控制器部分使用比例控制方法；再从当前成像图像中提取视觉特征集，计算图像雅克比矩阵，进而计算摄像机在笛卡尔空间中的控制量u；计算摄像机坐标系中目标体的位姿，将其作为当前位姿，重复以上操作，直至误差为0。本发明可应用于目标抓取设备。

Description

一种基于眼在手上结构的视觉伺服系统的PD-SMC控制方法

技术领域

本发明涉及视觉伺服系统领域，具体涉及一种基于眼在手上结构的视觉伺服系统的PD-SMC控制方法。

背景技术

随着制造业领域对机械加工设备的灵活性、有效性的需求越来越高，视觉反馈被引入控制环路中来处理执行机构与环境间的动态相互作用以此满足多种自动化加工任务。摄像机作为视觉传感器应用于反馈系统中使其形成一个视觉伺服系统，视觉伺服按其反馈信息的不同可分为基于位置的视觉伺服(PBVS)和基于图像的视觉伺服(IBVS)。PBVS系统使用由图像信息转换成的目标相对于执行机构末端的位姿信息作为反馈信息，给出机构在直角坐标空间中的运动指令并传给其关节控制器完成控制任务。该方式属于在笛卡尔空间中描述任务，符合机器人学习习惯，然而该方式需要对摄像机进行标定并对目标体建模，控制精度依赖于从图像到位姿的估计精度、摄像机的成像几何模型及标定精度，保证这一过程的准确性很难，同时需求解机器人逆运动学方程，增大了计算量。IBVS系统直接使用图像特征作为反馈信息，由图像特征误差信号计算得到控制量，驱动执行机构完成伺服任务。该方式减少了位姿估计环节，缩减了计算量，同时也对摄像机模型误差和运动学标定误差相对不敏感。然而该方式需要实时对执行机构末端的变化量与图像特征变化量之间的图像雅可比矩阵进行估计，可能受到内参数及外参数不确定而带来的影响，摄像机内参包括焦距、主点、比例系数，外参指图像雅可比矩阵中的估计深度，深度估计属于计算机视觉中的难点。因此，需提出一种便捷有效的方式来克服以上不足，使IBVS系统得到更广泛的应用。

比例积分微分控制(PID)、预测控制、滑模控制及自适应控制均已被提出用来处理以上问题，这些控制方法的主要思想是产生速度或加速度向量作为控制输入来引导执行机构末端到达目标点。P控制或PD控制收敛效果良好，但面对由图像噪声或运动抖动引起的突发变化时，此种控制方式难以满足要求。预测控制及自适应控制计算量很大，滑模控制因其对系统模型及系数不确定性的强鲁棒性长久以来有着广泛的应用。基于此，一种组合的PD-SMC控制方法被提出用来克服传统IBVS系统中参数不确定带来的影响，同时保证系统全局的快速准确收敛性能。

大多数IBVS系统因其结构的简单，控制方案在2自由度或3自由度执行机构上完成。6自由度执行机构因其构架的灵活性和拥有更大的工作空间更适用于实际应用，但其实时控制相对于低自由度也更困难。

发明内容

针对上述问题，本发明将PD控制和SMC控制二者组合形成混合的控制方法运用在基于眼在手上结构的视觉伺服系统完成控制任务。

本发明为解决上述问题采取的技术方案是：一种基于眼在手上结构的视觉伺服系统上实现的PD-SMC控制方法，所应用的基于眼在手上结构的视觉伺服系统，包括视觉伺服控制部分和关节控制部分；所述视觉伺服控制部分包括摄像机，第一计算机和第二计算机；所述关节控制部分包括控制器和六自由度机械臂(Denso机器人)，摄像机安装在六自由度机械臂末端；第一计算机通过控制器连接六自由度机械臂，并通过通信网将命令传递给第二计算机，第二计算机连接六自由度机械臂并获得图像数据，再将图像数据传递回第一计算机，形成运动-反馈-运动循环，

具体步骤包括：

步骤a、捕捉目标图像，首先确定摄像机和目标体的相对位姿，采集此时的图像作为目标期望图像，将期望图像的特征点集合作为期望视觉特征集；

步骤b、初始化操作，令六自由度机械臂处于初始位置，重新设定摄像机和目标体的相对位姿作为当前状态，以当前状态作为基准对目标期望图像作仿射变换，得到所述摄像机当前成像图像，同时计算出所述摄像机在坐标系中的控制量；

步骤c、从当前成像图像中提取视觉特征集，计算出图像雅克比矩阵，进而计算出摄像机在笛卡尔空间中的控制量u，再将u转化为驱动摄像机运动到下一位姿的机械臂的各关节控制量，并控制机械臂运动；

步骤d、计算此时摄像机坐标系中目标体的位姿，将其作为当前位姿，判断图像特征误差是否为0，如果：

是，则结束；

否，则返回步骤2。

进一步地，步骤c中从当前成像图像中提取视觉特征集，计算出雅克比矩阵的具体运算步骤是：

e＝L_v4u (1)

空间存在一点P＝(X,Y,Z)，Z表示深度，视觉伺服系统的深度范围设定为Z_min≤Z≤Z_max，p＝(x,y)为其在图像平面内的投影，图像特征误差e表示为

f为摄像机焦距，摄像机在空间中的速度u表示为u＝(v_c,ω_c)，v_c＝(v_cx,v_cy,v_cz)和ω_c＝(ω_cx,ω_cy,ω_cz)分别表示摄像机的线速度和角速度，雅克比矩阵L_v4表示为：

则：

进一步地，所述步骤c中计算出摄像机在笛卡尔空间中的控制量u的公式为：

其中，K_d表示微分控制部分正系数矩阵，K_p表示比例控制部分正系数矩阵，K_s表示滑模控制部分正系数矩阵,

表示图像特征点的速度，s为滑模面，当e达到所设定的滑模面s上时，便在其上运动，此时，s表示为：

表示实时图像平面特征，

表示目标图像平面特征。

有益效果：

第一，本发明的视觉伺服系统的深度设定在一定范围内，可以处理深度引起的不确定性，保证估计雅克比矩阵的可用性；

第二，本发明的控制方法应用在6自由度执行机构的IBVS系统上时，同预测、自适应控制方法相比具有更少计算量的，且能保证系统整体稳定性；

第三，本发明的控制方法根据移动过程中特征误差变化情况进行比对，相比于传统IBVS方法，应用组合PD-SMC方法系统能够获得更快的收敛速度；

第四，本发明的控制方法根据移动过程中图像平面内的特征点轨迹进行比对，相比于传统IBVS，在移动过程中可缓解由参数不确定引起的系统不确定性问题，特别是在接近目标位置时变动较大处，能够获得更平滑、优化的运动轨迹；

第五，本发明采用组合PD-SMC方法完成了视觉伺服控制器的设计，无需添加额外传感器，基于原有系统对视觉伺服部分进行算法调整即可，节约了成本。

附图说明

图1本发明的基于图像的视觉伺服系统整体结构示意图；

图中：1-第一计算机，2-控制器，3-六自由度机械臂，4-摄像机，5-第二计算机；

图2本发明的控制方法的流程图；

图3本发明的控制原理图；

图4本发明的控制方法移动过程中图像特征点的位置变化图；

图5本发明的控制方法与传统IBVS方法移动过程中特征误差变化对比图；

图6本发明的控制方法与传统IBVS方法移动过程中图像平面内的特征点轨迹对比图；

图7本发明的控制方法与传统IBVS方法移动过程中笛卡尔空间的摄像机轨迹对比图。

具体实施方式

具体实施方式1：结合图1～图7说明实施方式，一种基于眼在手上结构的视觉伺服系统上实现的PD-SMC控制方法，所应用的基于眼在手上结构的视觉伺服系统结构如图1所示，包括视觉伺服控制部分和关节控制部分；所述视觉伺服控制部分包括摄像机，第一计算机和第二计算机；所述关节控制部分包括控制器和六自由度机械臂(Denso机器人)，摄像机安装在六自由度机械臂末端；第一计算机通过控制器连接六自由度机械臂，并通过通信网将命令传递给第二计算机，第二计算机连接六自由度机械臂并获得图像数据，再将图像数据传递回第一计算机，形成运动-反馈-运动循环，

本实施方式的方法流程图如图2所示，具体步骤包括：

步骤a、捕捉目标图像，首先确定摄像机和目标体的相对位姿，采集此时的图像作为目标期望图像，将期望图像的特征点集合作为期望视觉特征集；

步骤b、初始化操作，令六自由度机械臂处于初始位置，重新设定摄像机和目标体的相对位姿作为当前状态，以当前状态作为基准对目标期望图像作仿射变换，得到所述摄像机当前成像图像，同时计算出所述摄像机在坐标系中的控制量；

步骤c、从当前成像图像中提取视觉特征集，计算出图像雅克比矩阵，进而计算出摄像机在笛卡尔空间中的控制量u，再将u转化为驱动摄像机运动到下一位姿的机械臂的各关节控制量，并控制机械臂运动；

步骤d、计算此时摄像机坐标系中目标体的位姿，将其作为当前位姿，判断图像特征误差是否为0，如果：

是，则结束；

否，则返回步骤2。

进一步地，步骤c中从当前成像图像中提取视觉特征集，计算出雅克比矩阵的具体运算步骤是：

e＝L_v4u (1)

空间存在一点P＝(X,Y,Z)，Z表示深度，视觉伺服系统的深度范围设定为Z_min≤Z≤Z_max，p＝(x,y)为其在图像平面内的投影，图像特征误差e表示为

f为摄像机焦距，摄像机在空间中的速度u表示为u＝(v_c,ω_c)，v_c＝(v_cx,v_cy,v_cz)和ω_c＝(ω_cx,ω_cy,ω_cz)分别表示摄像机的线速度和角速度，雅克比矩阵L_v4表示为：

则：

进一步地，所述步骤c中计算出摄像机在笛卡尔空间中的控制量u的公式为：

其中，K_d表示微分控制部分正系数矩阵，K_p表示比例控制部分正系数矩阵，K_s表示滑模控制部分正系数矩阵,

表示图像特征点的速度，s为滑模面，当e达到所设定的滑模面s上时，便在其上运动，此时，s表示为：

表示实时图像平面特征，

表示目标图像平面特征

本实施方式的基于图像的视觉伺服系统的控制原理如图3所示：本控制方式直接以图像特征作为反馈信息，由图像特征误差信号通过视觉伺服控制部分的组合PD-SMC控制器得到摄像机速度，通过微分控制部分得到微分控制部分正系数矩阵K_d，通过比例控制部分得到比例控制部分正系数矩阵K_p，通过滑模控制部分得到滑模控制部分正系数矩阵K_s，再经由机器人控制部分的关节控制器将其变换到机器人运动空间中，得到各个关节的运动量，进而驱动机械手向目标处运动，完成伺服任务。

图4为采用本实施方式的控制方法移动过程中图像特征点的位置变化图，其中4(a)为初始位置，4(b)为抵达位置。

图5为采用本实施方式的控制方法与传统IBVS方法移动过程中特征误差变化对比图，图中5(a)为采用传统IBVS方法移动过程中特征误差变化，5(b)为采用本实施方式的控制方法移动过程中特征误差变化，在完成同样伺服任务时，从图像特征误差图中可观察到传统IBVS方法和组合PD-SMC方法用时分别为120秒和95秒，本实施例的方法用时更少，系统收敛速度更快；

图6为采用本实施方式的控制方法与传统IBVS方法移动过程中图像平面内的特征点轨迹对比图，图6(a)为采用传统IBVS方法移动过程中图像平面内的特征点轨迹，图6(b)为采用本实施方式的控制方法移动过程中图像平面内的特征点轨迹，从图像平面中的图像点运动轨迹来观察到在接近目标位置时，传统IBVS方法其图像轨迹变动较大，而组合PD-SMC方法图像轨迹则更显平滑；

图7为采用本实施方式的控制方法与传统IBVS方法移动过程中笛卡尔空间的摄像机轨迹对比图，图7(a)为采用传统IBVS方法移动过程中笛卡尔空间的摄像机轨迹，图7(b)为采用本实施方式的控制方法移动过程中笛卡尔空间的摄像机轨迹，从移动过程中笛卡尔空间的摄像机轨迹图可观察到，相对传统IBVS方法，组合PD-SMC方法下摄像机的空间整体运动轨迹更优化、平滑，体现了系统较好的鲁棒性。

Claims (1)

1.一种基于眼在手上结构的视觉伺服系统上实现的PD-SMC控制方法，所应用的基于眼在手上结构的视觉伺服系统，包括视觉伺服控制部分和关节控制部分；所述视觉伺服控制部分包括摄像机，第一计算机和第二计算机；所述关节控制部分包括控制器和六自由度机械臂，摄像机安装在六自由度机械臂末端；第一计算机通过控制器连接六自由度机械臂，并通过通信网将命令传递给第二计算机，第二计算机连接六自由度机械臂并获得图像数据，再将图像数据传递回第一计算机，形成运动-反馈-运动循环，

其特征在于，具体步骤包括：

步骤a、捕捉目标图像，首先确定摄像机和目标体的相对位姿，采集此时的图像作为目标期望图像，将期望图像的特征点集合作为期望视觉特征集；

步骤b、初始化操作，令六自由度机械臂处于初始位置，重新设定摄像机和目标体的相对位姿作为当前状态，以当前状态作为基准对目标期望图像作仿射变换，得到所述摄像机当前成像图像，同时计算出所述摄像机在坐标系中的控制量；

步骤c、从当前成像图像中提取视觉特征集，计算出图像雅克比矩阵，进而计算出摄像机在笛卡尔空间中的控制量u，再将u转化为驱动摄像机运动到下一位姿的机械臂的各关节控制量，并控制机械臂运动；

步骤d、计算此时摄像机坐标系中目标体的位姿，将其作为当前位姿，判断图像特征误差是否为0，如果：

是，则结束；

否，则返回步骤2；

步骤c中从当前成像图像中提取视觉特征集，计算出雅克比矩阵的具体运算步骤是：

e＝L_v4u (1)

空间存在一点P＝(X,Y,Z)，Z表示深度，视觉伺服系统的深度范围设定为Z_min≤Z≤Z_max，p＝(x,y)为其在图像平面内的投影，图像特征误差e表示为

f为摄像机焦距，摄像机在空间中的速度u表示为u＝(v_c,ω_c)，v_c＝(v_cx,v_cy,v_cz)和ω_c＝(ω_cx,ω_cy,ω_cz)分别表示摄像机的线速度和角速度，雅克比矩阵L_v4表示为：

则：

所述步骤c中计算出摄像机在笛卡尔空间中的控制量u的公式为：

其中，K_d表示微分控制部分正系数矩阵，K_p表示比例控制部分正系数矩阵，K_s表示滑模控制部分正系数矩阵,

表示图像特征点的速度，s为滑模面，当e达到所设定的滑模面s上时，便在其上运动，此时，s表示为：

s＝e＝ò-ò_d (5)

ò表示实时图像平面特征，ò_d表示目标图像平面特征。

Images