CN112894820A - 柔性机械臂遥操作人机交互装置及系统 - Google Patents

Abstract

一种柔性机械臂遥操作人机交互装置，包括混合现实设备和控制模块，所述混合现实设备连接所述控制模块，所述控制模块通过通信链路连接柔性机械臂，所述控制模块通过所述混合现实设备向操作者提供模拟柔性机械臂真实工作场景的现实和虚拟相结合的可视化环境，使得操作者可直观控制虚拟目标进行遥操作，所述混合现实设备采集操作者在所述现实和虚拟相结合的可视化环境中的操作输入，所述控制模块根据所述混合现实设备采集的操作输入对所述柔性机械臂进行操作控制。通过本发明，操作者可便捷而精准地控制柔性机械臂完成狭缝穿越等非结构化环境下的复杂任务，精确快速地完成遥操作任务。

Description

柔性机械臂遥操作人机交互装置及系统

技术领域

本发明涉及遥操作系统，特别是涉及柔性机械臂遥操作人机交互装置及系统。

背景技术

特种机器人是一个新兴机器人领域，其相关研究已经成为了一个国家综合经济实力大小和国家竞争力水平高低的一个不可忽略的影响因素。特种机器人融合了机械原理、仿生学、机构学、传感技术等多个学科，有着较高的机器人技术要求。特种机器人依赖于对周围环境的感知及其智能决策能力，能够迅速改变自身的形状方位等适应环境，智能克服各类障碍物的限制，广泛应用于非结构化环境下的自主作业的特殊场合中，如医疗、军事、灾害救援、海洋探索等领域。根据不同领域需求，相关研究人员已经研制了不少相关的各种特种机器人，包括医疗机器人、排爆探险机器人、侦查机器人、空间机器人等。这些机器人能够针对不同的领域并且满足了不同场合下的特殊要求，大大拓宽了未来机器人的发展空间。

但随着其作业环境的复杂化以及其作业空间的狭窄化，特种机器人对环境适应性以及环境限制的克服能力有着越来越高的要求，以避开环境中各类障碍和顺利开展作业任务。由于传统的工业机器人中，电机、传动机构等被放置于关节臂杆中，这不仅增大了关节的质量，还增大了关节的尺寸。另外，作为离散关节型的传统型工业机器人，由于其自由度数的限制以及长而粗的刚性臂杆，难以完成狭小环境中各类障碍物的穿越，不能满足狭小空间下作业的要求。因此许多研究人员把目光投向了具有更多自由度更好弯曲特性的连续型机器人的研究中。

作为特种机器人的一种，连续型机器人一般利用弹性物体作为本体支撑，具有很好的弯曲特性和壁障能力。它通过增加机器人关节的个数，增加了其本身的自由度数，能够针对不同的环境呈现出不同的对应构型，形成一条圆滑的曲线，具有优越的弯曲特性和很强的避障能力，同时也具有极强的运动灵活性，适合于非结构环境下的众多障碍物的狭小空间作业。其中绳驱动超冗余柔性机械臂是一种典型的连续型机器人。

在遥操作系统中，操作者在较远处对机器人发出控制指令，机器人按照操作者的指令完成工作任务，同时将一些信号反馈给操作者，帮助操作者了解从端机器人的工作状况。遥操作机器人是一个种有人参与的机器人局部自主控制系统，涉及到人与机器人的交互和机器人与环境的交互，它充分发挥了人与机器人各自的优势并拓展了人的感知和行为能力。

常见的应用主要有，在航天活动中，只需要地面操作人员和/或位于舱内的宇航员对空间机器人进行遥操作，就可以完成空间站的维护或航天器燃料加注等任务，甚至是月球或火星表面的勘测。避免了出舱对宇航员带来的危险，有效地降低了航天任务的成本，并拓展了人类的探测能力。在核工业和化工产业，在处理一些核废料和有毒化工废料时，作业工人被禁止与环境直接接触。在执行水下探索任务时，要满足人类随心所欲地到达工作区域的要求，在技术上往往较难实现或者需要很高的成本代价。在远程医疗中，医生需要在长距离的远端进行遥控操作；而在微创手术中，可以采用微小的远程遥控手术器械，获得更小的手术创口和更佳的术后恢复效果。

遥操作系统主要指操作者通过主端人机交互设备来控制从端机器人进行探索和作业任务。典型的遥操作系统由操作者、人机交互设备、主控制器、通信通道、从控制器、从端机器人和环境等几部分组成。其工作模式是；操作者通过人机交互设备获取人的控制指令信息，通过无线电波、计算机网络等传输媒介传送给从端机器人，从端机器人按照接受到的指令在特定环境下进行工作，同时将自己的工作状态和与环境的相互作用力等信息返回给操作者，便于操作者作出正确的决策。

在常见的人机交互技术中，摇杆、仿机器人外形的控制器等接触式的机械设备是经常被用作操作员和机器人之间交互的工具。这类控制器的最大缺点是需要操作员进行相当不直观的手臂动作对机器人进行控制，这就需要操作员具备一定的操作经验才能有效的对机器人进行准确的控制。另外一种人机交互方式是采用对人手的位置和位姿进行实时跟踪的系统。属于这类型的设备有电磁跟踪设备，惯性传感器，数据手套等，这些都属于接触式的传感器，缺点也很明显，就是会阻碍操作员正常的手部动作。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的主要目的在于克服上述背景技术的缺陷，提供一种柔性机械臂遥操作人机交互装置。

为实现上述目的，本发明采用以下技术方案：

一种柔性机械臂遥操作人机交互装置，包括混合现实设备和控制模块，所述混合现实设备连接所述控制模块，所述控制模块通过通信链路连接所述柔性机械臂，所述控制模块通过所述混合现实设备向操作者提供模拟柔性机械臂真实工作场景的现实和虚拟相结合的可视化环境，使得操作者可直观控制虚拟目标进行遥操作，所述混合现实设备采集操作者在所述现实和虚拟相结合的可视化环境中的操作输入，所述控制模块根据所述混合现实设备采集的操作输入对所述柔性机械臂进行操作控制。

进一步地：

所述控制模块包括操作控制平台、人机交互界面和数据处理模块，所述操作控制平台负责虚拟操作场景的搭建、混合现实设备的管理以及与柔性机械臂的数据通信，所述数据处理模块负责控制数据的处理，将采集到的操作者输入信息转化为柔性机械臂控制数据，所述人机交互界面提供终端的显示与操作界面。

所述混合现实设备包括全息三维显示模块和传感器，所述全息三维显示模块显示虚拟模型，利用所述传感器构建所述虚拟模型和本地端工作环境的相对位姿坐标关系，所述传感器实时采集操作者的人手动作信息。

所述传感器包括头部跟踪单元、眼球跟踪单元、深度测量单元、惯性测量单元以及相机中的一种或多种。

所述混合现实设备包括头盔，所述全息三维显示模块和传感器安装在所述头盔上。

所述数据处理模块对所述混合现实设备采集的数据进行处理，包括数据滤波、柔性机械臂正逆解算法、虚拟模型和本地端工作环境相对位姿构建。

所述混合现实设备采集操作者的左手和右手同时针对可视化环境中以虚拟目标形式呈现的柔性机械臂的末端和中间模块的操作信息，所述控制模块根据所述操作信息控制所述柔性机械臂的位置姿态。

所述柔性机械臂采用基于绳索驱动并且超冗余设计。

一种柔性机械臂遥操作人机交互系统，包括所述的超冗余柔性机械臂遥操作人机交互装置和被遥操作的柔性机械臂。

所述柔性机械臂基于绳索驱动，所述柔性机械臂的各关节具有两个自由度，相邻关节相互垂直，通过各关节连接构成整体的超冗余柔性臂。

与现有技术相比，本发明具有如下有益效果：

本发明提供的柔性机械臂遥操作人机交互装置包括混合现实设备和控制模块，所述控制模块通过所述混合现实(MR)设备向操作者提供模拟柔性机械臂真实工作场景的现实和虚拟相结合的可视化环境，使得操作者可借助该可视化环境直观地控制虚拟目标进行遥操作，所述混合现实设备采集操作者在所述现实和虚拟相结合的可视化环境中的操作输入，所述控制模块根据所述混合现实设备采集的操作输入对所述柔性机械臂进行操作控制，由此，本发明的遥操作人机交互装置能够让操作者便捷而精准地控制柔性机械臂尤其是绳驱动超冗余柔性机械臂完成狭缝穿越等非结构化环境下的复杂任务，更加精确快速地完成遥操作任务。本发明能够提供的功能包括：(1)支持双手对柔性机械臂的操作；(2)支持对不同工作场景的精细操作；(3)支持复杂环境下的任务操作。

附图说明

图1为本发明一种实施例中的柔性机械臂示意图。

图2为本发明一种实施例的基于混合现实的柔性机械臂遥操作人机交互装置示意图。

图3为使用本发明一种实施例的柔性机械臂遥操作人机交互系统的使用示意图。

图4为本发明实施例的柔性机械臂终端运行流程图。

具体实施方式

以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

需要说明的是，当组件被称为“固定于”或“设置于”另一个组件，它可以直接在另一个组件上或者间接在该另一个组件上。当一个组件被称为是“连接于”另一个组件，它可以是直接连接到另一个组件或间接连接至该另一个组件上。另外，连接既可以是用于固定作用也可以是用于耦合或连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

参阅图1至图3，本发明实施例提供一种柔性机械臂遥操作人机交互装置，包括混合现实设备和控制模块，所述混合现实设备连接所述控制模块，所述控制模块通过通信链路连接所述柔性机械臂，所述控制模块通过所述混合现实设备向操作者提供模拟柔性机械臂真实工作场景的现实和虚拟相结合的可视化环境，使得操作者可直观控制虚拟目标进行遥操作，所述混合现实设备采集操作者在所述现实和虚拟相结合的可视化环境中的操作输入，所述控制模块根据所述混合现实设备采集的操作输入对所述柔性机械臂进行操作控制。

在优选的实施例中，所述控制模块包括操作控制平台、人机交互界面和数据处理模块，所述操作控制平台负责虚拟操作场景的搭建、混合现实设备的管理以及与柔性机械臂的数据通信，所述数据处理模块负责控制数据的处理，将采集到的操作者输入信息转化为柔性机械臂控制数据，所述人机交互界面提供终端的显示与操作界面。

在优选的实施例中，所述混合现实设备包括全息三维显示模块和传感器，所述全息三维显示模块显示虚拟模型，利用所述传感器构建所述虚拟模型和本地端工作环境的相对位姿坐标关系，所述传感器实时采集操作者的人手动作信息。

在优选的实施例中，所述传感器包括头部跟踪单元、眼球跟踪单元、深度测量单元、惯性测量单元以及相机中的一种或多种。

在优选的实施例中，所述混合现实设备包括头盔，所述全息三维显示模块和传感器安装在所述头盔上。

在优选的实施例中，所述数据处理模块对所述混合现实设备采集的数据进行处理，包括数据滤波、柔性机械臂正逆解算法、虚拟模型和本地端工作环境相对位姿构建。

在优选的实施例中，所述混合现实设备采集操作者的左手和右手同时针对可视化环境中以虚拟目标形式呈现的柔性机械臂的末端和中间模块的操作信息，所述控制模块根据所述操作信息控制所述柔性机械臂的位置姿态，尤其是在柔性机械臂前进过程中，操作者可以以此方式实时地调整中间臂杆状态，准确地完成避障。

在优选的实施例中，所述柔性机械臂采用基于绳索驱动并且超冗余设计。

在另一种实施例中，一种柔性机械臂遥操作人机交互系统，包括所述的超冗余柔性机械臂遥操作人机交互装置和被遥操作的柔性机械臂。

参阅图1和图3，在优选的实施例中，所述柔性机械臂基于绳索驱动，所述柔性机械臂的各关节具有两个自由度，相邻关节相互垂直，通过各关节连接构成整体的超冗余柔性臂。

本发明实施例提供的柔性机械臂遥操作人机交互装置中，所述控制模块通过所述混合现实(MR)设备向操作者提供模拟柔性机械臂真实工作场景的现实和虚拟相结合的可视化环境，使得操作者可借助该可视化环境直观地控制虚拟目标进行遥操作，所述混合现实设备采集操作者在所述现实和虚拟相结合的可视化环境中的操作输入，所述控制模块根据所述混合现实设备采集的操作输入对所述柔性机械臂进行操作控制，由此，本发明实施例的遥操作人机交互装置能够让操作者简便而精准地控制柔性机械臂尤其是绳驱动超冗余柔性机械臂完成狭缝穿越等非结构化环境下的复杂任务，更加精确快速地完成遥操作任务。本发明能够提供的功能包括：(1)支持双手对柔性机械臂的操作；(2)支持对不同工作场景的精细操作；(3)支持复杂环境下的任务操作。

以下进一步描述本发明具体实施例。

本发明实施例中的混合现实设备，其混合现实(MR)(包括增强现实和增强虚拟)指的是合并现实和虚拟世界而产生的新的可视化环境。在该可视化环境里物理和数字对象共存，并可实时互动。混合现实结合了虚拟和现实，提供虚拟的并实时运行的三维可视化操作环境。

本发明实施例中被遥操作的柔性机械臂采用基于绳索驱动并且超冗余设计，柔性臂各关节设计采用两个自由度设计，相邻关节相互垂直，通过各关节模块的连接构成整体的柔性臂，因而此柔性机械臂具有超冗余的三维空间运动能力，可操控实现狭小空间障碍穿越。如图1所示，柔性机械臂由20个双自由度模块化组成，共40个自由度，每一个模块可由绳控制这一段的角度。柔性机械臂的控制电机安放在臂杆根部。

基于混合现实的超冗余柔性机械臂遥操作人机交互装置，提供了可模拟柔性机械臂真实工作场景且操作者可直观控制目标的可视化环境。通过混合现实设备和控制模块，柔性机械臂遥操作人机交互装置可将人的操作意图转化为控制指令，当同时采集操作者双手的操作信息时，可实时生成、发送主、从操作命令序列，控制柔性机械臂完成指定的遥操作任务。

如图2所示，一个具体实施例的柔性机械臂遥操作人机交互装置包括MR设备和之相连的计算机，MR设备通过头盔上的相机实时采集人手动作信息并发送给计算机。计算机包括Unity操作平台、人机交互界面和数据处理模块。Unity操作平台是整个操作控制终端的软件平台。计算机可通过MR设备将虚拟的柔性机械臂显示给操作者。计算机通过数据处理模块，完成人手与Unity操作平台中虚拟柔性机械臂的交互。

Unity操作平台：作为整个操作终端的软件平台，负责虚拟操作场景的搭建、MR设备的管理、与柔性机械臂的数据通信等。

人机交互界面：人机交互界面是终端的显示界面，包括终端的开启停止、关键数据的显示、任务的选择、信息配置等等，并且可将虚拟模型显示给操作者。

数据处理模块：负责MR数据的处理，包括数据滤波、柔性机械臂正逆解算法、虚拟模型和本地端工作环境相对位姿构建等等。数据处理模块将MR设备相机采集到的人手信息转化为柔性机械臂控制数据。

MR设备可包括全息三维显示模块以及头部跟踪单元、眼球跟踪单元、深度、惯性测量单元、相机等传感器。由全息三维显示模块完成虚拟模型的显示；由传感器构建虚拟模型和本地端工作环境的相对位姿坐标关系，并实时采集人手动作信息。

如图3所示，通过柔性机械臂遥操作人机交互装置，操作员可以双手同时操作，通过MR设备，右手操作柔性机械臂的末端，左手操作柔性机械臂的中间模块，从而在柔性机械臂前进过程中，可以实时调整中间臂杆状态，准确地完成避障。

由于柔性机械臂实际工作环境的不确定性，在虚拟场景中不易绘制出完全一样的工作环境，例如工作环境中如果有贴纸包覆安装、线缆安装等，在虚拟场景中难于完全模拟，在实际操作中容易发生碰撞或者钩挂。为此，可以在本地操作端搭建和实际工作场景一致的工作环境。

如图4所示，实施例的柔性机械臂终端运行流程主要包括：

(1)任务开始；

(2)打开MR设备及计算机，运行软件；

(3)根据预设状态设置虚拟模型和本地端工作环境的位姿关系；

(4)采集人手运动数据并对数据进行处理；

(5)发送柔性机械臂控制数据；

(6)任务结束。

本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。

Claims (10)

1.一种柔性机械臂遥操作人机交互装置，其特征在于，所述遥操作人机交互装置包括混合现实设备和控制模块，所述混合现实设备连接所述控制模块，所述控制模块通过通信链路连接柔性机械臂，所述控制模块通过所述混合现实设备向操作者提供模拟柔性机械臂真实工作场景的现实和虚拟相结合的可视化环境，使得操作者可直观控制虚拟目标进行遥操作，所述混合现实设备采集操作者在所述现实和虚拟相结合的可视化环境中的操作输入，所述控制模块根据所述混合现实设备采集的操作输入对所述柔性机械臂进行操作控制。

2.如权利要求1所述的柔性机械臂遥操作人机交互装置，其特征在于，所述控制模块包括操作控制平台、人机交互界面和数据处理模块，所述操作控制平台负责虚拟操作场景的搭建、混合现实设备的管理以及与柔性机械臂的数据通信，所述数据处理模块负责控制数据的处理，将采集到的操作者输入信息转化为柔性机械臂控制数据，所述人机交互界面提供终端的显示与操作界面。

3.如权利要求1或2所述的柔性机械臂遥操作人机交互装置，其特征在于，所述混合现实设备包括全息三维显示模块和传感器，所述全息三维显示模块显示虚拟模型，利用所述传感器构建所述虚拟模型和本地端工作环境的相对位姿坐标关系，所述传感器实时采集操作者的人手动作信息。

4.如权利要求3所述的柔性机械臂遥操作人机交互装置，其特征在于，所述传感器包括头部跟踪单元、眼球跟踪单元、深度测量单元、惯性测量单元以及相机中的一种或多种。

5.如权利要求3或4所述的柔性机械臂遥操作人机交互装置，所述混合现实设备包括头盔，所述全息三维显示模块和传感器安装在所述头盔上。

6.如权利要求1至5任一项所述的柔性机械臂遥操作人机交互装置，其特征在于，所述数据处理模块对所述混合现实设备采集的数据进行处理，包括数据滤波、柔性机械臂正逆解算法、虚拟模型和本地端工作环境相对位姿构建。

7.如权利要求1至6任一项所述的柔性机械臂遥操作人机交互装置，其特征在于，所述混合现实设备采集操作者的左手和右手同时针对可视化环境中以虚拟目标形式呈现的柔性机械臂的末端和中间模块的操作信息，所述控制模块根据所述操作信息控制所述柔性机械臂的位置姿态。

8.如权利要求1至7任一项所述的柔性机械臂遥操作人机交互装置，其特征在于，所述柔性机械臂采用超冗余设计。

9.一种柔性机械臂遥操作人机交互系统，其特征在于，包括如权利要求1至8任一项所述的超冗余柔性机械臂遥操作人机交互装置和被遥操作的柔性机械臂。

10.如权利要求9所述的超冗余柔性机械臂遥操作人机交互系统，其特征在于，所述柔性机械臂基于绳索驱动，所述柔性机械臂的各关节具有两个自由度，相邻关节相互垂直，通过各关节连接构成整体的超冗余柔性臂。

Images