CN113001547A - 一种基于混合现实的机器人遥操作控制方法 - Google Patents

Abstract

本发明公开了一种基于混合现实的机器人遥操作控制方法，提出两种操作模式，粗操作模式(CMM)和精细操作模式(FMM)，两种操作模式的结合有助于机器人的平稳运动；在两种操作模式基础上，又提出一种基于模糊逻辑的控制算法来调整机器人的位置、速度和力，并更新其工作空间，以处理潜在的操作故障，提高机器人的机动性；最后提出一种障碍李雅普诺夫函数(BLF)解决系统状态受限问题，设计与之对应的机器人控制率来保证基于混合现实遥操作系统的稳定性。本发明可以提供更好的临场感，并且在多个方面具有提高机器人操作性能的潜力。

Description

一种基于混合现实的机器人遥操作控制方法

技术领域

本发明属于机器人技术领域，具体涉及一种机器人遥操作控制方法。

背景技术

遥操作技术是一种在远距离跨度的约束下，为实现人与机器人同步交互的需求，通过信息化手段帮助人类实现感知和行为在远端延伸的方式。目前已经在深空、深海探测，核废料处理以及远程手术等领域得到广泛地应用。在实际的遥操作系统中，即便达到较为理想的位置和力追踪，遥操作系统也很难在不考虑环境和机器人的可视化情况下执行远程的任务。在一些不太复杂的情形中，利用静态摄像机和监视装置提供单视觉反馈，由于缺乏立体视觉和视差效应，该方法严重限制人类对于距离的感知，从而很大程度上降低了遥操作系统的临场感。

为了强化人类的场景意识，同时打破远距离的物理限制，虚拟现实(VR)作为一种有前景的技术被应用在遥操作系统中。它为操作者提供了对机器人和环境的沉浸式视觉反馈。然而基于虚拟现实的遥操作系统没有任何的触觉反馈或者物理结构，其可操作性较差，特别是在一些需要精细遥操作的场景中会出现操作失误的情形。

针对传统方法和VR技术的不足，基于混合现实的遥操作系统应用而生，可以提供更好的临场感，并且在多个方面具有提高机器人操作性能的潜力。

发明内容

为了克服现有技术的不足，本发明提供了一种基于混合现实的机器人遥操作控制方法，提出两种操作模式，粗操作模式(CMM)和精细操作模式(FMM)，两种操作模式的结合有助于机器人的平稳运动；在两种操作模式基础上，又提出一种基于模糊逻辑的控制算法来调整机器人的位置、速度和力，并更新其工作空间，以处理潜在的操作故障，提高机器人的机动性；最后提出一种障碍李雅普诺夫函数(BLF)解决系统状态受限问题，设计与之对应的机器人控制率来保证基于混合现实遥操作系统的稳定性。本发明可以提供更好的临场感，并且在多个方面具有提高机器人操作性能的潜力。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：所述控制方法包括粗操作模式CMM和精细操作模式FMM；CMM模式用于机器人远距离大范围运动；FMM模式用于小范围的精细运动；CMM模式和FMM模式通过机器人控制软件的虚拟按钮进行切换；

步骤2：机器人方向控制规则；

在CMM模式下，操作者通过机器人控制软件的虚拟代理确定机器人移动方向；在FMM模式中，当前的参考方向^oX_str恒定为机器人移动方向；

步骤3：机器人位置控制规则；

步骤3-1：采用一种基于模糊逻辑的方法定义FMM模式中的位置控制规则；

设X_r1代表机器人控制软件交互代理中心的位置，X_r3代表机器人末端执行器X_s的当前位置，X_r2是机器人移动路线和目标的交点，同时定义机器人控制软件交互代理和机器人位置之间的误差为：

e_p(t)＝X_r1(t-T)-X_o(t)

其中T代表时延，X_o(t)代表机器人的初始位置；

基于e_p(t)，定义如下的模糊隶属度μ₁,μ₂,μ₃，μ₁+μ₂+μ₃＝1：

其中，r和R分别代表机器人当前状态工作空间的两个圆形区域半径，σ>1和υ＞＞1为正常数；

机器人参考控制信号表示为：

X_r(t)＝μ₁X_r1(t-T)+μ₂X_r2(t)+μ₃X_r3(t)

当交互代理在||e_p||₂≤r区域内时，交互代理完全控制机器人；

当交互代理在r≤||e_p||₂≤R区域内时，机器人的姿态由X_r1和X_r2共同决定；通过设置σ>1，X_r1的控制权限传递给X_r1和X_r2；因此，机器人在X_r2的影响下不会超出最大的操作空间；

当交互代理在||e_p||₂>R区域时，被定义为操作失误；通过设置υ＞＞1，机器人将不受交互代理的控制，并停留在当前的位置，此时μ₃将增加到1；当机器人当前的位置X_s到达参考轨迹，机器人工作空间将会被更新；初始位置X₀在||X_s-X_r||≤ξ_s被更新到当前的位置；

通过利用上述的模糊隶属度和更新规则，更新机器人工作区域允许交互代理驱动机器人每步进行微小的移动；

步骤3-2：CMM模式中的位置控制规则，通过让r大于机器人物理工作空间的半径，交互代理完全控制机器人进行大范围的移动；

步骤4：机器人速度控制规则；

步骤4-1：在FMM模式设置基于模糊速度边界：

其中b_u2和b_l2均大于零，分别代表最大边界和最小边界值；σ₂>1为正常数，代表变化率，

代表模糊隶属度，有如下的定义：

其中，u₁,t_k-1代表u₁在t_k-1时刻的值，u₁,t_k代表u₁在t_k时刻的值；

步骤4-2：在CMM模式中设置基于模糊的速度边界：

其中b_u1和b_l1分别代表最大边界和最小边界，u_υ1和σ₁有如下的定义：

σ₁＝(σ_u-σ_l)*u_υ1+σ_l

上式中σ_u>1，σ_l<1，二者均为正常数；X_s代表末端执行器的位置，X_o机器人的位置；

步骤4-3：当机器人在初始位置X₀时，模糊隶属度u_υ1趋近于0，此时边界B_v1在其最小的边界，目的在于阻止机器人突然运动；在机器人运动当中，速度边界会增加到最大值边界，加速机器人的运动；当机器人到达期望的位姿，u_υ1到达1，通过降低速度的边界达到减速机器人的目的；

步骤5：机器人力控制规则；

假定外部力

的估计极限为常值B_f，任何超过B_f的力均被视为能导致系统崩溃的硬接触；如果机器人撞击某个物理障碍，估计力突变到B_f，在这一时刻机器人的位置被记录为X_sf，在力反馈机制作用下，促使机器人远离障碍物；中心点X_c会不断更新，其中以X_c为中心的同心圆半径分别为r和R，X_c位于X_sf和X_s直线上，同时X_c满足如下条件：

||X_sf-X_c||₂＝R

||X_s-X_c||₂≤|X_sf-X_c||₂

交互代理X_r1在最大的圆环外边，即它无法阻止机器人撞击物理障碍；机器人当前的位置X_s(X_r3)具有控制优先权，机器人将保持在当前的位置，阻止机器人与硬物体或者物理障碍的重复撞击；

步骤6：机器人状态受限下控制器的设计：

远端机器人的动力学模型如下所示：

其中q_s，

分别代表关节位置、关节速度、关节加速度，M_s(q_s)代表惯量矩阵，

代表离心力和柯氏力矩阵，G_s(q_s)代表重力项，

代表边界扰动，包括机器人的摩擦；τ_s代表控制输入，J代表雅克比矩阵，F_e代表无源环境力；

假设F_e未知，利用力观测器对其进行估计，估计力为

且

Δ_e为估计误差，估计误差包含未知的动力学、噪声和加速度信息；

利用模糊神经网络方法估计动力学，则：

其中，

为未知的估计误差、噪声、干扰和Δ_e；M_s，C_s，D_s和E_s均为时变的系数，用来描述非线性动力学系统；

控制输入τ_s有如下形式：

τ_s＝τ₁+τ₂+τ₃

其中

其中，τ₁用来弥补系统的动力学和不确定项来以此来增加系统的稳定性，τ₂是与位置误差有关的速度阻尼项，

为已知项，

包含未知噪声、扰动和环境力的估计误差，

c₃为控制增益，且满足c₃>0，φ₁为大于1的常数，0<φ₂<1；

采用如下的障碍李雅普诺夫函数解决机器人状态受限问题：

其中

z₁＝s₁-α₁，z₂＝s₂，z₃＝s₃-α₂，α₁和α₂为虚拟的控制项，其中虚拟项

本发明的有益效果如下：

本发明提出一种新型的机器人控制算法，用来遥操作系统的临场感和可操作性能，可以提供更好的临场感，并且在多个方面具有提高机器人操作性能的潜力。

附图说明

图1为本发明方法系统框架。

图2为本发明方法中虚拟环境中的交互代理。

图3为本发明方法中同心圆表示的工作区的定义。

图4为本发明方法中存在硬接触时改变工作空间的中心点。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本专利的目的是基于混合现实的遥操作系统，提出了一种新的遥操作的控制方法。首先设计一种新的混合现实界面，提供高沉浸度的虚拟视觉反馈以此提高系统的临场感；在混合现实界面的内部，设计一种交互代理来实现远程机器人的操作，允许更丰富、更自然的人-环境之间的交互。在控制方法方面：提出两种操作模式，即粗操作模式(CMM)和精细操作模式(FMM)，两种操作模式的结合有助于机器人的平稳运动；在两种操作模式基础上，又提出一种基于模糊逻辑的控制算法来调整机器人的位置、速度和力，并更新其工作空间，以处理潜在的操作故障，提高机器人的机动性；最后提出一种障碍李雅普诺夫函数(BLF)解决系统状态受限问题，设计与之对应的机器人控制率来保证基于混合现实遥操作系统的稳定性。

设计混合现实界面步骤如下：

1、利用Unity3D图形框架建立基于混合现实的界面。利用ROSBridge协议实现混合现实界面和机器人的连接。

系统的整体框架见附图1。任务空间包含多自由度机器人和RGB-D视觉传感器。机器人操作系统(ROS)作为任务空间中所有单元的基础框架，为了获得更好的系统灵活性，机器人和每个传感器运行各自的ROS实例。

2、开发服务器端ROSBridge包以此实现二进制的数据传输和消息的压缩减少宽带。界面端实现ROSBridge连接器，它用来发布期望姿势、操作员在环境中的姿态、手势以及与用户界面元素相关的状态。

所实现的界面应用了AV设置，该场景中包含了在虚拟环境中的机器人模型。该模型通过实时的机器人关节传感器和远端环境的RGB-D视觉传感器形成的点云进行增强。选择AV设置是为了将操作员和本地端进行隔离，将操作员的注意力引向远端的任务空间。

3、构建虚拟环境中的交互代理：即一个透明的领域中包含坐标框架和部分虚拟按钮。

交互代理用来控制机器人的位置和方向，减轻操作员的任务。交互代理是一种虚拟对象，操作者可以在虚拟环境中自由旋转和移动，如附图2所示。坐标框架用于定位期望的姿态，这些虚拟按钮可以与交互代理相连，其不同的按钮对应不同的功能。

一种基于混合现实的机器人遥操作控制方法，包括以下步骤：

步骤1：所述控制方法包括粗操作模式CMM和精细操作模式FMM；CMM模式用于机器人远距离大范围运动；FMM模式用于小范围的精细运动；CMM模式和FMM模式通过机器人控制软件的虚拟按钮进行切换；

由于虚拟代理不能被物理地接触，所以操作员很容易产生操作误差，为了解决该问题，提高系统的可操作性，本专利设计两种操作模式，即CMM和FMM，同时还包含一系列机器人状态调节模式。在交互代理区域创造的虚拟按钮，可以通过在虚拟环境中根据旋钮是否被按下的状态在“激活”和“停用”之间切换，使用该按钮可以实现两种控制模式的之间的切换。粗操作模式(CMM)是为了大范围的运动而设计的；精细操作模式(FMM)用于小范围的精细运动。通过给机器人提供持续不断的参考信号，即对应按钮始终处于激活状态，交互代理始终影响机器人的运动。为了防止FMM中的操作故障，需要有效的策略来调整机器人的状态，包括对于机器人方向、位置和速度。以下主要为两种操作模式中对机器人的方向、位置、速度和力的控制规则。

步骤2：机器人方向控制规则；

在CMM模式下，按钮为激活时，机器人的运动将被锁定，操作者可以自由地调整交互代理而不影响机器人。因此，操作者拥有足够的时间通过机器人控制软件的虚拟代理确定机器人移动方向；在FMM模式中，机器人需要连续的追踪交互代理，机器人执行任务将会变得复杂，由于需要同时处理多自由度机器人的位置和方向，将会给操作者带来沉重的负担，当按钮被激活(FMM启动)，当前的参考方向被记录并被视为FMM的参考方向。因此，在FMM模式下，参考方向总是恒定的^oX_str，操作者只需要调节机器人的位置，^oX_str在CMM模式下被更新。当前的参考方向^oX_str恒定为机器人移动方向；

步骤3：机器人位置控制规则；

步骤3-1：如图3所示，采用一种基于模糊逻辑的方法定义FMM模式中的位置控制规则；

设X_r1代表机器人控制软件交互代理中心的位置，X_r3代表机器人末端执行器X_s的当前位置，X_r2是机器人移动路线和目标的交点，同时定义机器人控制软件交互代理和机器人位置之间的误差为：

e_p(t)＝X_r1(t-T)-X_o(t)

其中T代表时延，X_o(t)代表机器人的初始位置；

基于e_p(t)，定义如下的模糊隶属度μ₁,μ₂,μ₃，μ₁+μ₂+μ₃＝1：

其中，r和R分别代表机器人当前状态下工作空间的两个圆形区域半径，其中R>r，二者由X_r1，X_r3和X_r2界定。σ>1和υ＞＞1为正常数，没有实际的物理意义，二者值的大小决定模糊隶属度μ₁,μ₂,μ₃变化的速率。

机器人参考控制信号表示为：

X_r(t)＝μ₁X_r1(t-T)+μ₂X_r2(t)+μ₃X_r3(t)

当交互代理在||e_p||₂≤r区域内时，交互代理完全控制机器人；

当交互代理在r≤||e_p||₂≤R区域内时，机器人的姿态由X_r1和X_r2共同决定；通过设置σ>1，X_r1的控制权限传递给X_r1和X_r2；因此，机器人在X_r2的影响下不会超出最大的操作空间；

当交互代理在||e_p||₂>R区域时，被定义为操作失误；通过设置υ＞＞1，机器人将不受交互代理的控制，并停留在当前的位置，此时μ₃将增加到1；当机器人当前的位置X_s到达参考轨迹，机器人工作空间将会被更新；初始位置X₀在||X_s-X_r||≤ξ_s被更新到当前的位置；

通过利用上述的模糊隶属度和更新规则，更新机器人工作区域允许交互代理驱动机器人每步进行微小的移动；

步骤3-2：CMM模式中的位置控制规则，通过让r大于机器人物理工作空间的半径，交互代理完全控制机器人进行大范围的移动；

步骤4：机器人速度控制规则；

步骤4-1：在FMM模式设置基于模糊速度边界：

其中b_u2和b_l2均大于零，分别代表最大边界和最小边界的值，σ₂代表变化率，

为模糊隶属度，有如下的定义：

其中，u₁,t_k-1代表u₁在t_k-1时刻的值，u₁,t_k代表u₁在t_k时刻的值。其中u₁也代表模糊隶属度，在前边已经定义过。

步骤4-2：在CMM模式中设置基于模糊的速度边界：

其中b_u1和b_l1分别代表最大最小边界，u_υ1和σ₁有如下的定义：

σ₁＝(σ_u-σ_l)*u_υ1+σ_l

上式中σ_u>1，σ_l<1，二者均为正常数；

步骤4-3：当机器人在初始位置X₀时，模糊隶属度u_υ1趋近于0，此时边界B_v1在其最小的边界，目的在于阻止机器人突然运动；在机器人运动当中，速度边界会增加到最大值边界，加速机器人的运动；当机器人到达期望的位姿，u_υ1到达1，通过降低速度的边界达到减速机器人的目的；

步骤5：机器人力控制规则；

假定外部力

的估计极限为常值B_f，任何超过B_f的力均被视为能导致系统崩溃的硬接触；如果机器人撞击某个物理障碍，估计力突变到B_f，在这一时刻机器人的位置被记录为X_sf，在力反馈机制作用下，促使机器人远离障碍物；如图4所示，中心点X_c会不断更新，其中以X_c为中心的同心圆半径分别为r和R，X_c位于X_sf和X_s直线上，同时X_c满足如下条件：

||X_sf-X_c||₂＝R

||X_s-X_c||₂≤|X_sf-X_c||₂

交互代理X_r1在最大的圆环外边，即它无法阻止机器人撞击物理障碍；机器人当前的位置X_s(X_r3)具有控制优先权，机器人将保持在当前的位置，阻止机器人与硬物体或者物理障碍的重复撞击；

步骤6：机器人状态受限下控制器的设计：

远端机器人的动力学模型如下所示：

其中q_s，

分别代表关节位置、关节速度、关节加速度，M_s(q_s)代表惯量矩阵，

代表离心力和柯氏力矩阵，G_s(q_s)代表重力项，

代表边界扰动，包括机器人的摩擦；τ_s代表控制输入，J代表雅克比矩阵，F_e代表无源环境力；

假设F_e未知，利用力观测器对其进行估计，估计力为

且

Δ_e为估计误差，估计误差包含未知的动力学、噪声和加速度信息；

利用模糊神经网络方法估计动力学，则：

其中，

为未知的估计误差、噪声、干扰和Δ_e；M_s，C_s，D_s和E_s均为时变的系数，用来描述非线性动力学系统；

控制输入τ_s有如下形式：

τ_s＝τ₁+τ₂+τ₃

其中

其中，τ₁用来弥补系统的动力学和不确定项来以此来增加系统的稳定性，τ₂是与位置误差有关的速度阻尼项，

为已知项，

包含未知噪声、扰动和环境力的估计误差，

c₃为控制增益，且满足c₃>0，φ₁为大于1的常数，0<φ₂<1，e_s＝X_s-X_r(t-T)；

采用如下的障碍李雅普诺夫函数解决机器人状态受限：

其中

z₁＝s₁-α₁，z₂＝s₂，z₃＝s₃-α₂，α₁和α₂为虚拟的控制项，其中虚拟项

Claims (1)

1.一种基于混合现实的机器人遥操作控制方法，其特征在于，包括以下步骤：

步骤1：所述控制方法包括粗操作模式CMM和精细操作模式FMM；CMM模式用于机器人远距离大范围运动；FMM模式用于小范围的精细运动；CMM模式和FMM模式通过机器人控制软件的虚拟按钮进行切换；

步骤2：机器人方向控制规则；

在CMM模式下，操作者通过机器人控制软件的虚拟代理确定机器人移动方向；在FMM模式中，当前的参考方向°X_str恒定为机器人移动方向；

步骤3：机器人位置控制规则；

步骤3-1：采用一种基于模糊逻辑的方法定义FMM模式中的位置控制规则；

设X_r1代表机器人控制软件交互代理中心的位置，X_r3代表机器人末端执行器X_s的当前位置，X_r2是机器人移动路线和目标的交点，同时定义机器人控制软件交互代理和机器人位置之间的误差为：

e_p(t)＝X_r1(t-T)-X_o(t)

其中T代表时延，X_o(t)代表机器人的初始位置；

基于e_p(t)，定义如下的模糊隶属度μ₁,μ₂,μ₃，μ₁+μ₂+μ₃＝1：

其中，r和R分别代表机器人当前状态工作空间的两个圆形区域半径，σ>1和υ＞＞1为正常数；

机器人参考控制信号表示为：

X_r(t)＝μ₁X_r1(t-T)+μ₂X_r2(t)+μ₃X_r3(t)

当交互代理在||e_p||₂≤r区域内时，交互代理完全控制机器人；

当交互代理在r≤||e_p||₂≤R区域内时，机器人的姿态由X_r1和X_r2共同决定；通过设置σ>1，X_r1的控制权限传递给X_r1和X_r2；因此，机器人在X_r2的影响下不会超出最大的操作空间；

当交互代理在||e_p||₂>R区域时，被定义为操作失误；通过设置υ＞＞1，机器人将不受交互代理的控制，并停留在当前的位置，此时μ₃将增加到1；当机器人当前的位置X_s到达参考轨迹，机器人工作空间将会被更新；初始位置X₀在||X_s-X_r||≤ξ_s被更新到当前的位置；

通过利用上述的模糊隶属度和更新规则，更新机器人工作区域允许交互代理驱动机器人每步进行微小的移动；

步骤3-2：CMM模式中的位置控制规则，通过让r大于机器人物理工作空间的半径，交互代理完全控制机器人进行大范围的移动；

步骤4：机器人速度控制规则；

步骤4-1：在FMM模式设置基于模糊速度边界：

其中b_u2和b_l2均大于零，分别代表最大边界和最小边界值；σ₂>1为正常数，代表变化率，

代表模糊隶属度，有如下的定义：

其中，u₁,t_k-1代表u₁在t_k-1时刻的值，u₁,t_k代表u₁在t_k时刻的值；

步骤4-2：在CMM模式中设置基于模糊的速度边界：

其中b_u1和b_l1分别代表最大边界和最小边界，u_υ1和σ₁有如下的定义：

σ₁＝(σ_u-σ_l)*u_υ1+σ_l

上式中σ_u>1，σ_l<1，二者均为正常数；X_s代表末端执行器的位置，X_o机器人的位置；

步骤4-3：当机器人在初始位置X₀时，模糊隶属度u_υ1趋近于0，此时边界B_v1在其最小的边界，目的在于阻止机器人突然运动；在机器人运动当中，速度边界会增加到最大值边界，加速机器人的运动；当机器人到达期望的位姿，u_υ1到达1，通过降低速度的边界达到减速机器人的目的；

步骤5：机器人力控制规则；

假定外部力

的估计极限为常值B_f，任何超过B_f的力均被视为能导致系统崩溃的硬接触；如果机器人撞击某个物理障碍，估计力突变到B_f，在这一时刻机器人的位置被记录为X_sf，在力反馈机制作用下，促使机器人远离障碍物；中心点X_c会不断更新，其中以X_c为中心的同心圆半径分别为r和R，X_c位于X_sf和X_s直线上，同时X_c满足如下条件：

||X_sf-X_c||₂＝R

||X_s-X_c||₂≤|X_sf-X_c||₂

交互代理X_r1在最大的圆环外边，即它无法阻止机器人撞击物理障碍；机器人当前的位置X_s(X_r3)具有控制优先权，机器人将保持在当前的位置，阻止机器人与硬物体或者物理障碍的重复撞击；

步骤6：机器人状态受限下控制器的设计：

远端机器人的动力学模型如下所示：

其中q_s，

分别代表关节位置、关节速度、关节加速度，M_s(q_s)代表惯量矩阵，

代表离心力和柯氏力矩阵，G_s(q_s)代表重力项，

代表边界扰动，包括机器人的摩擦；τ_s代表控制输入，J代表雅克比矩阵，F_e代表无源环境力；

假设F_e未知，利用力观测器对其进行估计，估计力为

且

△_e为估计误差，估计误差包含未知的动力学、噪声和加速度信息；

利用模糊神经网络方法估计动力学，则：

其中，

为未知的估计误差、噪声、干扰和△_e；M_s，C_s，D_s和E_s均为时变的系数，用来描述非线性动力学系统；

控制输入τ_s有如下形式：

τ_s＝τ₁+τ₂+τ₃

其中

其中，τ₁用来弥补系统的动力学和不确定项来以此来增加系统的稳定性，τ₂是与位置误差有关的速度阻尼项，

为已知项，

包含未知噪声、扰动和环境力的估计误差，

c₃为控制增益，且满足c₃>0，φ₁为大于1的常数，0<φ₂<1；

采用如下的障碍李雅普诺夫函数解决机器人状态受限问题：

其中

z₁＝s₁-α₁，z₂＝s₂，z₃＝s₃-α₂，α₁和α₂为虚拟的控制项，其中虚拟项

Images