CN110834330B - 柔性机械臂遥操作人机交互终端及方法 - Google Patents

柔性机械臂遥操作人机交互终端及方法 Download PDF

Info

Publication number
CN110834330B
CN110834330B CN201911026093.4A CN201911026093A CN110834330B CN 110834330 B CN110834330 B CN 110834330B CN 201911026093 A CN201911026093 A CN 201911026093A CN 110834330 B CN110834330 B CN 110834330B
Authority
CN
China
Prior art keywords
mechanical arm
flexible
posture
flexible mechanical
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911026093.4A
Other languages
English (en)
Other versions
CN110834330A (zh
Inventor
朱晓俊
王学谦
梁斌
侯志立
刘厚德
孟得山
马云萱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN201911026093.4A priority Critical patent/CN110834330B/zh
Publication of CN110834330A publication Critical patent/CN110834330A/zh
Application granted granted Critical
Publication of CN110834330B publication Critical patent/CN110834330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)

Abstract

一种柔性机械臂遥操作人机交互终端及方法，该终端包括第一VR操作输入端、第二VR操作输入端和交互控制系统，第一VR操作输入端通信连接交互控制系统的第一控制信号输入接口，第二VR操作输入端通信连接交互控制系统的第二控制信号输入接口，交互控制系统通信连接柔性机械臂，其中，交互控制系统经配置接收针对柔性机械臂末端的第一位置姿态控制信号以及针对柔性机械臂的任一中间模块的第二位置姿态控制信号，并基于第一和第二位置姿态控制信号来控制柔性机械臂的位置姿态。使用本发明能够同时控制超冗余柔性机械臂的臂型状态和末端位姿，在面临复杂操作环境时，在柔性机械臂的前进过程中使臂杆避免与周围物体发生碰撞。

Description

柔性机械臂遥操作人机交互终端及方法
技术领域
本发明涉及柔性机械臂遥操作人机交互终端及方法。
背景技术
特种机器人是一个新兴机器人领域，其相关研究已经成为了一个国家综合经济实力大小和国家竞争力水平高低的不可忽略的影响因素。特种机器人融合了机械原理、仿生学、机构学、传感技术等多个学科，有着较高的机器人技术要求。特种机器人依赖于对周围环境的感知及其智能决策能力，能够迅速改变自身的形状方位等适应环境，智能克服各类障碍物的限制，广泛应用于非结构化环境下的自主作业的特殊场合中，如医疗、军事、灾害救援、海洋探索等领域。根据不同领域需求，相关研究人员已经研制了不少相关的各种特种机器人，包括医疗机器人、排爆探险机器人、侦查机器人、空间机器人等。这些机器人能够针对不同的领域并且满足了不同场合下的特殊要求，大大拓宽了未来机器人的发展空间。
但随着其作业环境的复杂化以及其作业空间的狭窄化，特种机器人对环境适应性以及环境限制的克服能力有着越来越高的要求，以避开环境中各类障碍和顺利开展作业任务。由于传统的工业机器人中，电机、传动机构等被放置于关节臂杆中，这不仅增大了关节的质量，还增大了关节的尺寸。另外，作为离散关节型的传统型工业机器人，由于其自由度数的限制以及长而粗的刚性臂杆，难以完成狭小环境中各类障碍物的穿越，不能满足狭小空间下作业的要求。因此许多研究人员把目光投向了具有更多自由度更好弯曲特性的连续型机器人的研究中。
作为特种机器人的一种，连续型机器人一般利用弹性物体作为本体支撑，具有很好的弯曲特性和避障能力。它通过增加机器人关节的个数，增加了其本身的自由度数，能够针对不同的环境呈现出不同的对应构型，形成一条圆滑的曲线，具有优越的弯曲特性和很强的避障能力，同时也具有极强的运动灵活性，适合于非结构环境下的众多障碍物的狭小空间作业。其中绳驱动超冗余柔性机械臂是一种典型的连续型机器人。
在遥操作系统中，操作者在较远处对机器人发出控制指令，机器人按照操作者的指令完成工作任务，同时将一些信号反馈给操作者，帮助操作者了解从端机器人的工作状况。遥操作机器人是一种有人参与的机器人局部自主控制系统，涉及到人与机器人的交互和机器人与环境的交互，它充分发挥了人与机器人各自的优势并拓展了人的感知和行为能力。
常见的应用主要有，在航天活动中，只需要地面操作人员和/或位于舱内的宇航员对空间机器人进行遥操作，就可以完成空间站的维护或航天器燃料加注等任务，甚至是月球或火星表面的勘测。避免了出舱对宇航员带来的危险，有效地降低了航天任务的成本，并拓展了人类的探测能力。在核工业和化工产业，在处理一些核废料和有毒化工废料时，作业工人被禁止与环境直接接触。在执行水下探索任务时，要满足人类随心所欲地到达工作区域的要求，在技术上往往较难实现或者需要很高的成本代价。在远程医疗中，医生需要在长距离的远端进行遥控操作；而在微创手术中，可以采用微小的远程遥控手术器械，获得更小的手术创口和更佳的术后恢复效果。
遥操作系统主要指操作者通过主端人机交互设备来控制从端机器人进行探索和作业任务。典型的遥操作系统由操作者、人机交互设备、主控制器、通信通道、从控制器、从端机器人和环境等几部分组成。其工作模式是；操作者通过人机交互设备获取人的控制指令信息，通过无线电波、计算机网络等传输媒介传送给从端机器人，从端机器人按照接受到的指令在特定环境下进行工作，同时将自己的工作状态和与环境的相互作用力等信息返回给操作者，便于操作者作出正确的决策。高性能的遥操作系统可使操作者真实地感觉到机器人与作业环境之间的交作用，就好像是操作者自己直接在用手进行操作一样，具有身临其境的感觉。
在常见的人机交互技术中，摇杆、仿机器人外形的控制器等接触式的机械设备是经常被用作操作员和机器人之间交互的工具。这类控制器的最大缺点是需要操作员进行相当不直观的手臂动作对机器人进行控制，这就需要操作员具备一定的操作经验才能有效的对机器人进行准确的控制。另外一种人机交互方式是采用对人手的位置和位姿进行实时跟踪的系统。属于这类型的设备有电磁跟踪设备，惯性传感器，数据手套等，这些都属于接触式的传感器，缺点也很明显，就是会阻碍操作员正常的手部动作。另外一种是基于VR虚拟现实的交互技术有着明显的优势。能给人真实的临场感，给用户带来真正沉浸式的体验，更加真实，操作空间更大。VR设备由左右两个手柄和一个VR头显组成。虚拟现实头戴式显示设备，简称VR头显，是一种利用头戴式显示设备将人的对外界的视觉、听觉封闭，引导用户产生一种身在虚拟环境中的感觉。其显示原理是左右眼屏幕分别显示左右眼的图像，人眼获取这种带有差异的信息后在脑海中产生立体感。手柄用来操作虚拟场景中的物体。
将VR设备应用于遥操作中，控制更加直观自然。
申请人提出的在先申请201910447859.X公开了一种柔性机械臂遥操作的人机交互终端及方法。对柔性机械臂采用基于绳索驱动并且超冗余设计，具有超冗余的三维空间运动能力。该人机交互终端通过VR头戴显示器生成柔性机械臂的三维立体可视化场景；通过操作手柄控制柔性机械臂末端姿态，从而控制柔性机械臂臂型，以达到亲自操作柔性机械臂的效果。已有的人机交互终端及方法由一个人操作一个机械臂，当操作工作环境复杂，单人完成复杂任务需要时间长，当任务复杂时，需同时注意机器人状态和周边环境状态时，单人无法同时处理多传感器返回信息。尤其是，对于如申请201910447859.X公开的柔性机械臂，由于该柔性机械臂的自由度大，且臂杆长度大，单人操作机械臂时，只能注意和操作某一部分的臂杆情况，当面临复杂操作环境时，例如狭缝穿越任务时，不但要操作末端到达指定位置，还要保障臂杆其他部分不与目标发生碰撞，实现起来较困难，特别是难以遥操作柔性机械臂在非结构环境下的众多障碍物的狭小空间内作业。
发明内容
本发明的主要目的在于，提供一种柔性机械臂遥操作人机交互终端及方法，以克服现有技术的上述缺陷。
为实现上述目的，本发明采用以下技术方案：
一种柔性机械臂遥操作人机交互终端，所述柔性机械臂采用基于绳索驱动并且超冗余设计，通过具有两个以上自由度的多个关节模块的连接构成整体的柔性机械臂，所述遥操作人机交互终端包括第一VR操作输入端、第二VR操作输入端和交互控制系统，所述第一VR操作输入端通信连接所述交互控制系统的第一控制信号输入接口，所述第二VR操作输入端通信连接所述交互控制系统的第二控制信号输入接口，所述交互控制系统通信连接所述柔性机械臂，其中，所述交互控制系统经配置接收由所述第一VR 操作输入端传来的针对所述柔性机械臂末端的第一位置姿态控制信号，以及由所述第二VR操作输入端传来的针对所述柔性机械臂的任一中间模块的第二位置姿态控制信号，并基于所述第一位置姿态控制信号和所述第二位置姿态控制信号来控制所述柔性机械臂的位置姿态。
进一步地：
所述交互控制系统经配置将所述第一位置姿态控制信号转化为所述柔性机械臂的实际末端的位置姿态数据，并且将所述任一中间模块虚拟成所述柔性机械臂的末端，并将所述第二位置姿态控制信号转化为此刻操作的虚拟场景中柔性机械臂虚拟末端的位置姿态数据；根据所述柔性机械臂的实际末端的位置姿态数据和所述柔性机械臂的虚拟末端的位置姿态数据，通过柔性臂逆解算法，计算出所述柔性机械臂的中各个关节模块的旋转角度，得到所述柔性机械臂的位置姿态的控制数据。
所述第一VR操作输入端和所述第二VR操作输入端各自包括VR头盔显示装置和操作手柄，所述VR头盔显示装置和操作手柄用来作为柔性机械臂的操作场景显示和人机交互设备，实时采集人手动作信息并发送给所述交互控制系统。
所述交互控制系统包括第一计算机和第二计算机，所述第一计算机作为主计算机，所述第二计算机作为从计算机，所述第一计算机实时获取所述第一位置姿态控制信号，所述第二计算机实时获取所述第二位置姿态控制信号，处理后得到的位置姿态数据并发送给所述第一计算机，所述第一计算机根据对所述第一位置姿态控制信号处理后得到的位置姿态数据和从所述第二计算机接收的位置姿态数据，计算得到所述柔性机械臂的位置姿态的控制数据。
所述第一计算机和所述第二计算机各自包括Unity操作平台、人机交互界面和数据处理模块，所述Unity操作平台是操作终端的软件平台，负责虚拟操作场景的搭建、VR设备的管理、与柔性机械臂的数据通信，所述人机交互界面模块是操作终端的显示界面，所述数据处理模块用于将VR 操作输入端传来的位置姿态控制信号转化为柔性机械臂位置姿态的控制数据。
一种基于VR的柔性机械臂遥操作人机交互方法，使用所述的柔性机械臂遥操作人机交互终端进行人机交互，其中，所述交互控制系统接收由所述第一VR操作输入端传来的针对所述柔性机械臂末端的第一位置姿态控制信号，以及由所述第二VR操作输入端传来的针对所述柔性机械臂的任一中间模块的第二位置姿态控制信号，并基于所述第一位置姿态控制信号和所述第二位置姿态控制信号来控制所述柔性机械臂的位置姿态。
进一步地，所述交互控制系统将所述第一位置姿态控制信号转化为所述柔性机械臂的实际末端的位置姿态数据，并且将所述任一中间模块虚拟成所述柔性机械臂的末端，并将所述第二位置姿态控制信号转化为此刻操作的虚拟场景中柔性机械臂虚拟末端的位置姿态数据；根据所述柔性机械臂的实际末端的位置姿态数据和所述柔性机械臂的虚拟末端的位置姿态数据，通过柔性臂逆解算法，计算出所述柔性机械臂的中各个关节模块的旋转角度，得到所述柔性机械臂的位置姿态的控制数据。
本发明具有如下有益效果：
针对自由度大且臂杆长度大的超冗余柔性机械臂，本发明提供了一种遥操作人机交互终端和人机交互方法，通过本发明的交互终端和交互方法，可以同时控制超冗余柔性机械臂的臂型状态和末端位姿，在面临复杂操作环境时，例如狭缝穿越任务时，通过本发明既可以操作柔性机械臂末端到达指定位置，在柔性机械臂的前进过程中，还可以实时调整中间臂杆状态，有效地确保臂杆的其他部分避免与周围物体发生碰撞，完成避障，从而能够顺利地完成未知环境下的复杂任务，因此，本发明非常适于控制超冗余柔性机械臂在非结构环境下的众多障碍物的狭小空间作业的遥操作。
附图说明
图1是柔性机械臂示意图。
图2是本发明实施例柔性机械臂交互终端组成示意图。
图3是本发明实施例柔性机械臂交互遥操控示意图。
图4是本发明实施例柔性机械臂交互终端运行流程图。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于信号连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
柔性机械臂采用基于绳索驱动并且超冗余设计，柔性臂关节设计采用两个自由度设计，相邻关节相互垂直，通过各模块的连接构成整体的柔性臂，因而此构型机械臂具有超冗余的三维空间运动能力，可实现狭小空间障碍穿越。如图1所示，柔性机械臂由20个双自由度模块化组成，共40 个自由度，每一个模块由绳控制这一段的角度。柔性机械臂的控制电机安放在臂杆根部。
由于臂杆的超冗余和长度过大，本发明提供一种可以同时控制柔性机械臂的末端和臂杆构型的人机交互遥操作终端，完成机械臂控制。
在优选的实施例中，一种柔性机械臂遥操作人机交互终端，所述柔性机械臂采用基于绳索驱动并且超冗余设计，通过具有两个以上自由度的多个关节模块的连接构成整体的柔性机械臂。所述遥操作人机交互终端包括第一VR操作输入端、第二VR操作输入端和交互控制系统，所述第一VR 操作输入端通信连接所述交互控制系统的第一控制信号输入接口，所述第二VR操作输入端通信连接所述交互控制系统的第二控制信号输入接口，所述交互控制系统通信连接所述柔性机械臂，其中，所述交互控制系统经配置接收由所述第一VR操作输入端传来的针对所述柔性机械臂末端的第一位置姿态控制信号，以及由所述第二VR操作输入端传来的针对所述柔性机械臂的任一中间模块的第二位置姿态控制信号，并基于所述第一位置姿态控制信号和所述第二位置姿态控制信号来控制所述柔性机械臂的前进方向和包括臂型状态与末端位姿在内的位置姿态。
通过使用本发明实施例的柔性机械臂遥操作人机交互终端，可以同时控制超冗余柔性机械臂的臂型状态和末端位姿，在面临复杂操作环境时，例如狭缝穿越任务时，通过本发明既可以操作柔性机械臂末端到达指定位置，在柔性机械臂的前进过程中，还可以实时调整中间臂杆状态，有效地确保臂杆的其他部分避免与周围物体发生碰撞，完成避障，从而能够顺利地完成未知环境下的复杂任务，因此，本发明的人机交互终端非常适于控制超冗余柔性机械臂在非结构环境下的众多障碍物的狭小空间作业的遥操作。
在优选的实施例中，所述交互控制系统经配置将所述第一位置姿态控制信号转化为所述柔性机械臂的实际末端的位置姿态数据，并且将所述任一中间模块虚拟成所述柔性机械臂的末端，并将所述第二位置姿态控制信号转化为此刻操作的虚拟场景中柔性机械臂虚拟末端的位置姿态数据；根据所述柔性机械臂的实际末端的位置姿态数据和所述柔性机械臂的虚拟末端的位置姿态数据，通过柔性臂逆解算法，计算出所述柔性机械臂的中各个关节模块的旋转角度，得到所述柔性机械臂的位置姿态的控制数据。
具体地，通过计算出各关节的旋转角度，进而计算控制该关节的绳索长度，最后可得控制绳索长度的电机角度。
柔性机械臂交互终端主要功能是将人的操作意图转化为控制指令，实时生成、发送主从操作命令序列，控制柔性机械臂完成指定的遥操作任务。
一种具体实施例的柔性机械臂遥操作人机交互终端如图2至图4所示，包括两套VR头盔显示装置和手柄和两台计算机，可以由两个操作员来进行操作。两套VR头盔显示装置和手柄分别作为第一VR操作输入端和第二VR 操作输入端。两台计算机作为交互控制系统。头盔显示装置和手柄用来作为柔性机械臂的操作场景显示和人机交互设备，实时采集人手动作信息并发送给与之相连的计算机。两台计算机各自包括Unity操作平台、人机交互界面和数据处理模块。两台计算机分为一主一辅。工作时，主计算机用于控制柔性机械臂的位置姿态并交互数据，主计算机从作为第一VR操作输入端的VR头盔显示装置和手柄实时获取操作员1的操作数据，辅计算机从作为第二VR操作输入端的VR头盔显示装置和手柄实时获取操作员2的操作数据，并将数据发送给主计算机进行进一步处理，以根据两个操作数据生成所述柔性机械臂的位置姿态的控制数据。
参见图3和图4，使用柔性机械臂遥操作人机交互终端时，针对柔性臂过长的特点，一个操作员通过操控，可针对柔性机械臂的末端生成第一位置姿态控制信，对应于虚拟操作场景中柔性臂的末端，另一个操作员通过操控，可针对柔性机械臂的臂杆中间段生成第二位置姿态控制信号，对应于虚拟操作场景中柔性机械臂的任一关节段。基于第一位置姿态控制信和第二位置姿态控制信号，在柔性机械臂前进过程中可以实时调整中间臂杆状态，完成避障。具体地，由计算机1获取VR设备1的位置姿态数据转化为柔性臂末端位置姿态数据，由计算机2获取VR设备2的位置姿态数据，转化为VR设备2此刻操作的虚拟场景中柔性臂末端的位置姿态数据，并将以上两个数据作为柔性臂逆解算法的输入，从而计算出整个柔性臂每个关节的旋转角度，即为柔性臂的控制数据。
由此，在实际操作时，操作员1可以负责操作臂杆前进的方向，操作员2可以负责操作柔性机械臂臂型，以控制柔性机械臂在前进过程中避免臂杆和周围物体发生碰撞。
参见图2，具体地，两台计算机分别包括Unity操作平台、人机交互界面模块和数据处理模块。
Unity操作平台：主要功能是整个操作终端的软件平台，负责虚拟操作场景的搭建、VR设备的管理、与柔性机械臂的数据通信等。
人机交互界面模块：人机交互界面模块是终端的显示界面，包括终端的开启停止、关键数据的显示、任务的选择、信息配置等等。给操作者提供柔性臂虚拟操作场景。
数据处理模块：负责VR数据的处理，包括数据滤波、柔性机械臂正逆解算法等等。功能是将VR手柄数据转化为柔性机械臂控制数据。
参见图2至图4，应用的运行流程：
(1)任务开始；
(2)打开两套VR设备及计算机，运行软件；
(3)操作员开始操作；
(4)采集VR手柄运动数据并对数据进行处理；
(5)在主计算机上对两套控制数据进行同步融合处理；
(6)由主计算机发送柔性机械臂控制数据；
(7)任务结束。
应用实例的主要特点有：
(1)遥操作终端有两套VR头盔显示装置和手柄、两台计算机。
(2)终端支持双人同时在线对柔性机械臂的操作。
(3)支持通过VR设备将双人的操作数据转换为超冗余柔性机械臂的控制数据。
(4)实时发送操作命令，控制数据可同时控制柔性机械臂的末端位姿和柔性机械臂的臂型。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

Claims (4)

1.一种柔性机械臂遥操作人机交互终端，所述柔性机械臂采用基于绳索驱动并且超冗余设计，通过具有两个以上自由度的多个关节模块的连接构成整体的柔性机械臂，其特征在于,所述遥操作人机交互终端包括第一VR操作输入端、第二VR操作输入端和交互控制系统，所述第一VR操作输入端通信连接所述交互控制系统的第一控制信号输入接口，所述第二VR操作输入端通信连接所述交互控制系统的第二控制信号输入接口，所述交互控制系统通信连接所述柔性机械臂，其中，所述交互控制系统经配置接收由所述第一VR操作输入端传来的针对所述柔性机械臂末端的第一位置姿态控制信号，以及由所述第二VR操作输入端传来的针对所述柔性机械臂的任一中间模块的第二位置姿态控制信号，并基于所述第一位置姿态控制信号和所述第二位置姿态控制信号来控制所述柔性机械臂的位置姿态；
所述交互控制系统经配置将所述第一位置姿态控制信号转化为所述柔性机械臂的实际末端的位置姿态数据，并且将所述任一中间模块虚拟成所述柔性机械臂的末端，并将所述第二位置姿态控制信号转化为此刻操作的虚拟场景中柔性机械臂虚拟末端的位置姿态数据；根据所述柔性机械臂的实际末端的位置姿态数据和所述柔性机械臂的虚拟末端的位置姿态数据，通过柔性臂逆解算法，计算出所述柔性机械臂的中各个关节模块的旋转角度，得到所述柔性机械臂的位置姿态的控制数据。
2.如权利要求1所述的柔性机械臂遥操作人机交互终端，其特征在于,所述第一VR操作输入端和所述第二VR操作输入端各自包括VR头盔显示装置和操作手柄，所述VR头盔显示装置和操作手柄用来作为柔性机械臂的操作场景显示和人机交互设备，实时采集人手动作信息并发送给所述交互控制系统。
3.如权利要求1至2任一项所述的柔性机械臂遥操作人机交互终端，其特征在于,所述交互控制系统包括第一计算机和第二计算机，所述第一计算机作为主计算机，所述第二计算机作为从计算机，所述第一计算机实时获取所述第一位置姿态控制信号，所述第二计算机实时获取所述第二位置姿态控制信号，处理后得到位置姿态数据并发送给所述第一计算机，所述第一计算机根据对所述第一位置姿态控制信号处理后得到的位置姿态数据和从所述第二计算机接收的位置姿态数据，计算得到所述柔性机械臂的位置姿态的控制数据。
4.一种基于VR的柔性机械臂遥操作人机交互方法，其特征在于,使用如权利要求1至3任一项所述的柔性机械臂遥操作人机交互终端进行人机交互，其中，所述交互控制系统接收由所述第一VR操作输入端传来的针对所述柔性机械臂末端的第一位置姿态控制信号，以及由所述第二VR操作输入端传来的针对所述柔性机械臂的任一中间模块的第二位置姿态控制信号，并基于所述第一位置姿态控制信号和所述第二位置姿态控制信号来控制所述柔性机械臂的位置姿态；
所述交互控制系统将所述第一位置姿态控制信号转化为所述柔性机械臂的实际末端的位置姿态数据，并且将所述任一中间模块虚拟成所述柔性机械臂的末端，并将所述第二位置姿态控制信号转化为此刻操作的虚拟场景中柔性机械臂虚拟末端的位置姿态数据；根据所述柔性机械臂的实际末端的位置姿态数据和所述柔性机械臂的虚拟末端的位置姿态数据，通过柔性臂逆解算法，计算出所述柔性机械臂的中各个关节模块的旋转角度，得到所述柔性机械臂的位置姿态的控制数据。
CN201911026093.4A 2019-10-25 2019-10-25 柔性机械臂遥操作人机交互终端及方法 Active CN110834330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911026093.4A CN110834330B (zh) 2019-10-25 2019-10-25 柔性机械臂遥操作人机交互终端及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911026093.4A CN110834330B (zh) 2019-10-25 2019-10-25 柔性机械臂遥操作人机交互终端及方法

Publications (2)

Publication Number Publication Date
CN110834330A CN110834330A (zh) 2020-02-25
CN110834330B true CN110834330B (zh) 2020-11-13

Family

ID=69575607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911026093.4A Active CN110834330B (zh) 2019-10-25 2019-10-25 柔性机械臂遥操作人机交互终端及方法

Country Status (1)

Country Link
CN (1) CN110834330B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113211440B (zh) * 2021-05-12 2022-07-01 清华大学深圳国际研究生院 一种基于多姿态解算的连续型机器人形状感知方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111438673B (zh) * 2020-03-24 2022-04-22 西安交通大学 基于立体视觉和手势控制的高空作业遥操作方法及系统
CN111459277B (zh) * 2020-04-01 2023-05-30 重庆大学 基于混合现实的机械臂遥操作系统及交互界面构建方法
CN111409074A (zh) * 2020-04-03 2020-07-14 江苏集萃华科智能装备科技有限公司 基于协作机械臂的遥操作双臂移动机器人系统
CN112603546A (zh) * 2020-12-24 2021-04-06 哈尔滨思哲睿智能医疗设备有限公司 一种基于腹腔镜手术机器人的远程手术系统及控制方法
CN112894820A (zh) * 2021-01-29 2021-06-04 清华大学深圳国际研究生院 柔性机械臂遥操作人机交互装置及系统
CN116115349A (zh) * 2023-04-18 2023-05-16 中国科学院理化技术研究所 进针机械手控制系统及微创手术机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777736A (zh) * 2016-12-27 2017-05-31 浙江大学 用于绳驱动冗余机械臂运动学模型的仿真平台及仿真方法
CN110039547A (zh) * 2019-05-27 2019-07-23 清华大学深圳研究生院 一种柔性机械臂遥操作的人机交互终端及方法
CN110047349A (zh) * 2019-05-24 2019-07-23 国网浙江省电力有限公司培训中心 输电线路带电作业混合培训系统及方法
CN110181517A (zh) * 2019-06-21 2019-08-30 西北工业大学 一种基于虚拟夹具的双人遥操作训练方法
GB2572213A (en) * 2018-03-23 2019-09-25 Sony Interactive Entertainment Inc Second user avatar method and system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040162637A1 (en) * 2002-07-25 2004-08-19 Yulun Wang Medical tele-robotic system with a master remote station with an arbitrator

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777736A (zh) * 2016-12-27 2017-05-31 浙江大学 用于绳驱动冗余机械臂运动学模型的仿真平台及仿真方法
GB2572213A (en) * 2018-03-23 2019-09-25 Sony Interactive Entertainment Inc Second user avatar method and system
CN110047349A (zh) * 2019-05-24 2019-07-23 国网浙江省电力有限公司培训中心 输电线路带电作业混合培训系统及方法
CN110039547A (zh) * 2019-05-27 2019-07-23 清华大学深圳研究生院 一种柔性机械臂遥操作的人机交互终端及方法
CN110181517A (zh) * 2019-06-21 2019-08-30 西北工业大学 一种基于虚拟夹具的双人遥操作训练方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113211440B (zh) * 2021-05-12 2022-07-01 清华大学深圳国际研究生院 一种基于多姿态解算的连续型机器人形状感知方法

Also Published As

Publication number Publication date
CN110834330A (zh) 2020-02-25

Similar Documents

Publication Publication Date Title
CN110834330B (zh) 柔性机械臂遥操作人机交互终端及方法
Krupke et al. Comparison of multimodal heading and pointing gestures for co-located mixed reality human-robot interaction
Klamt et al. Remote mobile manipulation with the centauro robot: Full‐body telepresence and autonomous operator assistance
Fisher et al. Virtual environment display system
CN110039547B (zh) 一种柔性机械臂遥操作的人机交互终端及方法
WO2020221311A1 (zh) 基于可穿戴设备的移动机器人控制系统及控制方法
Fisher Virtual interface environment
US20200055195A1 (en) Systems and Methods for Remotely Controlling a Robotic Device
Fritsche et al. First-person tele-operation of a humanoid robot
Tachi et al. Tele-existence master-slave system for remote manipulation. II
Diftler et al. Evolution of the NASA/DARPA robonaut control system
CN112828916B (zh) 冗余机械臂遥操作组合交互装置及冗余机械臂遥操作系统
CN107430389B (zh) 超灵巧型系统用户界面
CN112894820A (zh) 柔性机械臂遥操作人机交互装置及系统
Muszynski et al. Adjustable autonomy for mobile teleoperation of personal service robots
KR101736752B1 (ko) 자기중심 원격제어 방법, 시스템 및 장치
Ha et al. Whole-body multi-modal semi-autonomous teleoperation of mobile manipulator systems
CN115157261A (zh) 基于混合现实的柔性机械臂遥操作人机交互装置及方法
Ryu et al. Multi-modal user interface for teleoperation of ROBHAZ-DT2 field robot system
Torielli et al. TelePhysicalOperation: remote robot control based on a virtual “marionette” type interaction interface
Batsomboon et al. A survey of telesensation and teleoperation technology with virtual reality and force reflection capabilities
Szczurek et al. From 2D to 3D mixed reality human-robot interface in hazardous robotic interventions with the use of redundant mobile manipulator
Jung et al. Robotic remote control based on human motion via virtual collaboration system: A survey
Bejczy Teleoperation and telerobotics
Magenes et al. Hand movement strategies in telecontrolled motion along 2-D trajectories

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant