CN103105851B - 一种遥操纵机器人基于视觉的动觉示教控制方法 - Google Patents

Abstract

本发明提供一种遥操作机器人基于视觉的动觉示教控制方法，其步骤包括采用立体视觉技术对现场的作业对象及背景环境(障碍物)进行识别与空间信息提取；以通过视觉识别、计算出的作业对象与机器人末端间的位姿关系为参数，构建作业对象对机器人的虚拟吸引力；以机器人末端沿其速度方向与背景环境(障碍物)的距离为参数，构建机器人所受的障碍物排斥力；将作业对象虚拟吸引力、障碍物虚拟斥力以及机器人抓取物体时的真实作用力合成机器人示教力；通过主端系统与从端系统间的雅可比矩阵，将示教力向操作手柄反馈，从而实现对操作者的动觉示教。本发明可有效提高主从机器人系统的智能性、安全性与易操控性。

Description

一种遥操纵机器人基于视觉的动觉示教控制方法

技术领域

本发明属于机器人人机交互领域，特别涉及一种遥操纵机器人基于视觉的动觉示教控制方法。

背景技术

随着人类对海底、地下资源和宇宙空间的合理开发和利用，机器人对于高温、高压、强辐射等极限环境下作业任务的完成发挥了愈来愈重要的作用。机器人正朝着智能化的方向发展。然而，由于受控制、传感及人工智能等发展水平的制约，要研制出在变化环境下的全自主机器人是短期内难以达到的目标。机器人遥操纵技术将人的智慧参与到机器人的实时控制中，极大提高了复杂环境下机器人作业的适应性。因此，机器人的局部自主融入操作者的高级决策能力是目前遥操纵领域的发展趋势。

在主从机器人的控制过程中，操作者由于与机器人相距较远而无法亲身感知作业现场的真实环境，只能依据现场反馈的图像、声音、力/触觉等信息来完成作业任务。主从机器人控制领域仍有许多问题有待解决：首先，机器人作业任务完成的成功与否以及效率高低，过多的依赖于操作人员的技能水平和熟练程度；其次，现场反馈的视频图像信息在远距离传输中不可避免的存在较大时滞，而传统的“移动-等待”策略无疑大大降低了机器人的作业效率；同时，操作者由于无法直接感知图像中的景深信息，也就难以精确把握机器人与作业对象的距离远近，势必导致机器人操控效率低下。

再者，现有的主从机器人双向伺服控制策略几乎无一例外地强调“作业反力”的“再现与感知”，力反馈效果产生的前提是机器人已经与作业环境接触。这在某些诸如高速、重载等应用场合，机器人对作业环境的瞬间冲击，很可能在操作人员感知现场作业反力之前便已造成无法弥补的损失。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出一种全新的遥操纵机器人基于视觉的动觉示教控制方法。为达上述目的，本发明采用如下的技术方案：

一种遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，包括以下步骤：

S1、采用立体视觉技术对现场的作业对象及背景环境(障碍物)进行识别与空间信息提取；

S2、以步骤S1中获取的作业对象与机器人末端间的位姿关系为参数，构建作业对象对机器人的虚拟吸引力；

S3、以步骤S1中获取的机器人末端沿其速度方向与背景环境(障碍物)的距离为参数，构建机器人所受的障碍物排斥力；

S4、将作业对象虚拟吸引力、障碍物虚拟斥力以及机器人抓取物体时的真实作用力合成机器人示教力；

S5、通过主端系统与从端系统间的雅可比矩阵，将示教力向操作手柄反馈，从而实现对操作者的动觉示教。

根据权利要求1所述的遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，所述步骤S1包括：包括以下步骤：

S11.1、将Bumblebee双目摄像头采用eye-to-hand方式固定在现场环境正上方，光轴与地面垂直，简称为环境相机；

S11.2、根据环境相机图像中各像素点的颜色、灰度或纹理特征，从中剔除机器人区域及作业对象区域，以获得背景图像；

S11.3、根据图像匹配及摄像机标定的结果，实时计算背景图像中各像素点的空间坐标；

S11.4、采用基于空间自相关性的内插方式来预测估计所剔除的机器人区域及作业对象区域应有像素属性，并结合背景图像像素特征，生成背景环境的高程数据模型；

S12.1、将Kinect相机采用eye-in-hand方式固连于机器人末端，简称为手部相机；

S12.2、根据手部相机图像中各像素点的颜色、纹理特征，采用结合人口统计与区域增长的图像分割方法来提取作业对象区域，并采用分裂-合并算法提取该区域轮廓的近似多边形，取多边形的顶点为作业对象图像特征；

S12.3、根据图像匹配及摄像机标定的结果，实时计算作业对象区域各像素点的空间坐标，并构建其OBB(Oriented Bounding Box-有向包围盒)包围盒模型。

上述的遥操纵机器人基于视觉的动觉示教控制方法，所述步骤S2包括：设机器人处于由作业对象和障碍物构成的虚拟势场V中，根据Khatib的人工势场法原理，沿着势场负梯度方向的虚拟力可保证机器人的运动收敛于系统的低势能点，由此构建作业对象引力F_G为：

F_G=-(γ₀-γ)。

其中γ₀为机器人末端的当前位姿向量，γ为机器人末端的期望位姿向量。

上述的遥操纵机器人基于视觉的动觉示教控制方法，所述步骤S3包括：基于与步骤S2同样的理论，构建障碍物虚拟斥力F_O为：

$F_O=\left\{\begin{array}{cc}-\mathrm{\η}(\frac{1}{\mathrm{\ρ}}-\frac{1}{{\mathrm{\ρ}}_0})\frac{1}{{\mathrm{\ρ}}^2}V& \mathrm{\ρ}\≤{\mathrm{\ρ}}_0\\ 0& \mathrm{\ρ}>{\mathrm{\ρ}}_0\end{array}\right.$

其中，ρ为机器人末端与障碍物间的距离；ρ₀为设定的机器人末端与障碍物的安全距离；η为常数；V为机器人末端运动速度的单位向量。

上述的遥操纵机器人基于视觉的动觉示教控制方法，所述步骤S4包括：本着安全性第一、效率第二的原则，选择合理的加权系数，或根据机器人末端与作业对象及障碍物的相对位姿关系，通过时变的加权方式，将步骤S2的作业对象虚拟引力、步骤S3中的障碍物虚拟斥力以及通过传感器检测得到的机器人抓取物体时的真实作用力F_E进行合成：

F_m=αF_G+βF_O+F_E

其中，α、β分别为虚拟引力、虚拟斥力的影响系数。

上述的遥操纵机器人基于视觉的动觉示教控制方法所述步骤S5包括：通过主端系统与从端系统间的雅可比矩阵，将步骤S4中的示教力向手控器反馈。动觉引导在宏观上表现为手控器产生的对人手“推拽”和“示教”的运动趋势，可通过虚拟引导力作用下的位置预测控制，来实现手控器的运动觉提示效果。

本发明相对于现有技术具有如下的优点及技术效果：

1.将机器智能与人类高级决策的优点有机集成，可有效提高机器人的作业效率与局部自主。

2.降低对操作人员熟练程度的要求。

3.对可能发生的机器人与环境间的碰撞进行预测，可有效保证机器人作业系统的安全性。

4.能够缓解操作者控制机器人时的心理紧张及决策疲劳。

5.控制回路具有数据量小、信息丰富、超前预测的优点，可有效避免图像时滞导致的机器人操控盲目性。

附图说明

图1为控制系统流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此实施例，图1给出的是系统流程图。

本根据遥操纵机器人基于视觉的动觉示教控制方法，包括如下步骤：

S1、采用立体视觉技术对现场的作业对象及背景环境(障碍物)进行识别与空间信息提取；

S2、以步骤S1中获取的作业对象与机器人末端间的位姿关系为参数，构建作业对象对机器人的虚拟吸引力；

S3、以步骤S1中获取的机器人末端沿其速度方向与背景环境(障碍物)的距离为参数，构建机器人所受的障碍物排斥力；

S4、将作业对象虚拟吸引力、障碍物虚拟排斥力以及机器人抓取物体时的真实作用力合成机器人示教力；

S5、通过主端系统与从端系统间的雅可比矩阵，将示教力向操作手柄反馈，从而实现对操作者的动觉示教。

所述步骤S1包括以下步骤：

S11.1、将Bumblebee双目摄像头作为环境相机采用eye-to-hand方式固定在现场环境正上方，保证其光轴与地面垂直；

S11.2、根据环境相机获取的图像中各像素点的颜色或灰度特征，采用局部动态阈值的方法，实现前景和背景的二值化分割；

S11.3、根据环境相机标定的结果，通过基于空间自相关性的内插方式实时计算背景地形图像中各像素点的空间坐标，并生成3D点云；

S11.4、以半径为r₀的球顺次遍历背景地形的3D点云，若包含于球域内的像素个数小于一预设的常数k₀，则将该点视为孤立的误匹配点，从点云中予以剔除；

S11.5、采用Delauna三角网格算法对将采样后的3D点云进行处理，以实现背景地形的三维建模；

S12.1、将Kinect相机作为手部相机，采用eye-in-hand方式固连于机器人末端；

S12.2、根据手部相机图像中各像素点的颜色、纹理特征，采用结合人口统计与区域增长的图像分割方法来提取作业对象区域，对图像中各个物体进行标号，移除面积小于100个像素的物体，并采用分裂-合并算法提取作业对象的区域轮廓，取多边形的顶点为作业对象图像特征；

S12.3、根据图像匹配及摄像机标定的结果，实时计算作业对象区域各像素点的空间坐标，并构建其OBB(Oriented Bounding Box——有向包围盒)包围盒模型。

所述步骤S2包括以下步骤

S21、设机器人处于由作业队象和障碍物构成的虚拟势场V中，根据Khatib的人工势场法原理，沿着势场负梯度方向的虚拟力可保证机器人的运动收敛于系统的低势能点，其中γ₀为机器人末端的当前位姿向量，γ为机器人末端的期望位姿向量。由此构建作业对象引力F_G为：

F_G=-(γ₀-γ)；

所述步骤S3包括以下步骤：

S31、基于与步骤S2同样的理论，构建障碍物虚拟斥力F_O为：

$F_O=\left\{\begin{array}{cc}-\mathrm{\η}(\frac{1}{\mathrm{\ρ}}-\frac{1}{{\mathrm{\ρ}}_0})\frac{1}{{\mathrm{\ρ}}^2}V& \mathrm{\ρ}\≤{\mathrm{\ρ}}_0\\ 0& \mathrm{\ρ}>{\mathrm{\ρ}}_0\end{array}\right.$

其中，ρ为机器人末端与障碍物间的实时距离；ρ₀为设定的机器人末端与障碍物的安全距离；η为常数；V为机器人末端运动速度的单位向量。

所述步骤S4包括以下步骤：

S41、本着安全性第一、效率第二的原则，选择合理的加权系数，或根据机器人末端与作业对象及障碍物的相对位姿关系，通过时变的加权方式，将步骤S2的作业对象虚拟引力、步骤S3中的障碍物虚拟斥力以及通过传感器检测得到的机器人抓取物体时的真实作用力F_E进行合成：

F_m=αF_G+βF_O+F_E

其中，α、β分别为虚拟引力、虚拟斥力的影响系数。

所述步骤S5包括以下步骤：

S51、通过主端系统与从端系统间的雅可比矩阵，将步骤S4中的示教力向手控器反馈。动觉引导在宏观上表现为手控器产生的对人手“推拽”和“示教”的运动趋势，可通过虚拟引导力作用下的位置预测控制，来实现手控器的运动觉提示效果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，奇特的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，包括如下步骤：

S1、采用立体视觉技术对现场的作业对象及背景环境即障碍物进行识别与空间信息提取；

S2、以步骤S1中获取的作业对象与机器人末端间的位姿关系为参数，构建作业对象对机器人的虚拟引力F_G；

S3、以步骤S1中获取的机器人末端沿其速度方向与背景环境即障碍物的距离为参数，构建机器人所受的障碍物虚拟斥力F_O；

S4、将作业对象虚拟引力F_G、障碍物虚拟斥力F_O以及机器人抓取物体时的真实作用力F_E合成机器人示教力F_m；

S5、通过主端系统与从端系统间的雅可比矩阵，将示教力F_m向操作手柄反馈，从而实现对操作者的动觉示教；通过主端系统与从端系统间的雅可比矩阵，将步骤S4中的示教力F_m向手控器反馈，动觉引导在宏观上表现为手控器产生的对人手“推拽”和“示教”的运动趋势，可通过虚拟引导力作用下的位置预测控制，来实现手控器的运动觉和力觉提示效果。

2.根据权利要求1所述的遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，所述步骤S1包括：包括以下步骤：

S11.1、将Bumblebee双目摄像头采用eye-to-hand方式固定在现场环境正上方，光轴与地面垂直，简称为环境相机；

S11.2、根据环境相机图像中各像素点的颜色、灰度或纹理特征，从中剔除机器人区域及作业对象区域，以获得背景图像；

S11.3、根据图像匹配及摄像机标定的结果，实时计算背景图像中各像素点的空间坐标；

S11.4、采用基于空间自相关性的内插方式来预测估计所剔除的机器人区域及作业对象区域应有像素属性，并结合背景图像像素特征，生成背景环境的高程数据模型；

S12.1、将Kinect相机采用eye-in-hand方式固连于机器人末端，简称为手部相机；

S12.2、根据手部相机图像中各像素点的颜色、纹理特征，采用结合人口统计与区域增长的图像分割方法来提取作业对象区域，并采用分裂—合并算法提取该区域轮廓的近似多边形，取多边形的顶点为作业对象图像特征；

S12.3、根据图像匹配及摄像机标定的结果，实时计算作业对象区域各像素点的空间坐标，并构建其OBB(Oriented Bounding Box—有向包围盒)包围盒模型。

3.根据权利要求1所述的遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，所述步骤S2包括：设机器人处于由作业对象和障碍物构成的虚拟势场中，根据Khatib的人工势场法原理，沿着势场负梯度方向的虚拟力可保证机器人的运动收敛于系统的低势能点，由此构建作业对象虚拟引力F_G为：

F_G＝-(γ₀-γ)

其中γ₀为机器人末端的当前位姿向量，γ为机器人末端的期望位姿向量。

4.根据权利要求3所述的遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，所述步骤S3包括：基于与步骤S2同样的理论，构建障碍物虚拟斥力F_O为：

$F_O=\left\{\begin{array}{cc}-\mathrm{\η}(\frac{1}{\mathrm{\ρ}}-\frac{1}{{\mathrm{\ρ}}_0})\frac{1}{{\mathrm{\ρ}}^2}& \mathrm{\ρ}\≤{\mathrm{\ρ}}_0\\ 0& \mathrm{\ρ}>{\mathrm{\ρ}}_0\end{array}\right.$

其中，ρ为机器人末端与障碍物间的距离；ρ₀为设定的机器人末端与障碍物的安全距离；η为常数；V为机器人末端运动速度的单位向量。

5.根据权利要求1所述的遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，所述步骤S4包括：本着安全性第一、效率第二的原则，选择合理的加权系数，或根据机器人末端与作业对象及障碍物的相对位姿关系，通过时变的加权方式，将步骤S2的作业对象虚拟引力F_G、步骤S3中的障碍物虚拟斥力F_O以及通过传感器检测得到的机器人抓取物体时的真实作用力F_E合成机器人示教力F_m：

F_m＝αF_G+βF_O+F_E

其中，α、β分别为虚拟引力、虚拟斥力的影响系数。