CN108127673A - 一种基于多传感器融合的非接触式机器人人机交互系统 - Google Patents

一种基于多传感器融合的非接触式机器人人机交互系统 Download PDF

Info

Publication number
CN108127673A
CN108127673A CN201711365422.9A CN201711365422A CN108127673A CN 108127673 A CN108127673 A CN 108127673A CN 201711365422 A CN201711365422 A CN 201711365422A CN 108127673 A CN108127673 A CN 108127673A
Authority
CN
China
Prior art keywords
robot
operator
arm
module
vibrational feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711365422.9A
Other languages
English (en)
Inventor
李会军
易润泽
宋爱国
徐宝国
曾洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201711365422.9A priority Critical patent/CN108127673A/zh
Publication of CN108127673A publication Critical patent/CN108127673A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种基于多传感器融合的非接触式机器人人机交互系统，包括：多通道表面肌电传感器、惯性测量单元、微处理器测量控制装置、数据通信装置、Kinect体感设备、振动反馈设备以及PC终端。本发明融合多种传感器，可实现通过操作者的手臂以及手部动作直接控制机器人，降低了对操作者的空间束缚以及操作技巧的要求，有效提高了人机交互的自然性；构建了基于Unity3D游戏引擎的机器人虚拟场景，能够实时渲染机器人的运动状态，辅助操作者快速调整动作，让操作者直观的感受遥操作过程；加入了振动反馈设备，在遥操作过程关键时间点为操作者提供振动反馈，可提高系统人机功效，同时增加遥操作安全性和可靠性。

Description

一种基于多传感器融合的非接触式机器人人机交互系统
技术领域
本发明属于机器人技术领域，涉及一种基于多传感器融合的非接触式机器人人机交互系统。
背景技术
随着人类对探索更广泛未知自然的渴望日益强烈，同时保护自身安全的观念逐步增强，在一系列诸如航空航天、卫星遥感遥测、深海探索以及核能开发等作业环境恶劣或必须在远距离下操纵作业的领域，都需要远程控制机器人进行作业的系统。机器人遥操作系统的实现，很大程度上改变了机器人作业方式并拓展了机器人的作业能力，使人们免于直接出现在机器人作业环境中，在本地即能对其进行控制。
机器人遥操作人机交互系统最主要的作用是尽可能准确地获取操作者的控制意图并下发控制指令。传统的交互设备(如键盘和手控器等)普遍需要操作者适应设备，操作方式机械，运动范围受限，交互过程不自然。
发明内容
为解决上述问题，本发明公开了一种基于多传感器融合的非接触式机器人人机交互系统，灵活使用多种传感手段，让操作者在活动范围基本不受限制的情况下方便自如的下发控制指令，不对操作带来较大负担，增进了交互的自然性与主动性。
为了达到上述目的，本发明提供如下技术方案：
一种基于多传感器融合的非接触式机器人人机交互系统，包括：多通道表面肌电传感器、惯性测量单元、微处理器测量控制装置、数据通信装置、Kinect体感设备、振动反馈设备以及PC终端；
所述多通道表面肌电传感器设置在操作者手臂前臂上，用于采集肌电信号；所述惯性测量单元设置在操作者手臂前臂上，用于测量手臂前臂姿态角度；所述微处理器测量控制装置用于读取和转换多通道表面肌电传感器和惯性测量单元采集到的数据；所述数据通信装置用于接收微处理器测量控制装置输出的数据，并传送至PC终端；所述振动反馈设备设置在操作者身体上通过振动反馈给操作者操作提示，振动反馈设备与微处理器测量控制装置连接；所述Kinect体感设备用于测量人手手臂的关节位置信息并传输至PC终端；
所述PC终端包括数据显示模块、手臂运动解算模块、手部动作识别模块、机器人运动逆解算模块和虚拟场景渲染模块；
所述手臂运动解算模块根据采集到的手臂前臂的欧拉角以及手臂各关节的位置，通过姿态解算出手臂各关节的姿态角，获得操作者的手臂姿态变化情况；
所述手部动作识别模块通过对多通道表面肌电传感器采集的肌电信号进行特征提取并利用模式识别的方法，识别操作者手掌张合情况，将其用于机器人末端机械手爪的开合控制；
所述机器人运动逆解算模块将所述运动轨迹映射到机器人的运动坐标系中，通过逆解算计算出机器人的关节角，将其用于机器人控制；
所述虚拟场景渲染模块构建出机器人的三维虚拟场景，根据操作者手臂的运动与手部动作和逆解算模块计算出的机器人的关节角，实时渲染机器人的运动状态，在接收到机器人运动逆解算模块提供的各关节目标角度后，虚拟机器人转动到相应的角度。
进一步的，所述多通道表面肌电传感器为肌电臂环。
进一步的，所述的惯性测量单元为9轴MEMS传感器。
进一步的，所述振动反馈设备在操作者超出操作范围以及机械手爪抓取到物品等时刻提供相应的振动反馈。
进一步的，所述振动反馈设备为小型振动马达。
进一步的，所述数据通信装置包括蓝牙主从机。
进一步的，所述机器人运动逆解算模块利用KDL机器人运动学计算库，根据实际使用过程中的机器人各关节尺寸及其连接关系构建相应的数学模型，通过提供机器人末端位置及姿态角度进行逆解算过程，得出各关节的目标角度。
进一步的，所述虚拟场景渲染模块采用Unity3D游戏引擎构建机器人的三维虚拟场景。
与现有技术相比，本发明具有如下优点和有益效果：
首先本发明融合多种传感器，为非接触式人机交互方式，可实现通过操作者的手臂以及手部动作直接控制机器人，可用于机器人遥操作系统，降低了对操作者的空间束缚以及操作技巧的要求，有效提高了人机交互的自然性；其次，本发明构建了基于Unity3D游戏引擎的机器人虚拟场景，能够实时渲染机器人的运动状态，辅助操作者快速调整动作，让操作者直观的感受遥操作过程；此外，本发明还加入了振动反馈设备，在遥操作过程关键时间点为操作者提供振动反馈，可提高系统人机功效，同时增加遥操作安全性和可靠性。
附图说明
图1为本发明系统架构图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
如图1所示，本发明提供的基于多传感器融合的非接触式机器人人机交互系统，包括：多通道表面肌电传感器、惯性测量单元、微处理器测量控制装置、数据通信装置、Kinect体感设备、振动反馈设备以及PC终端。多通道表面肌电传感器设置在操作者手臂前臂上，用于采集肌电信号。惯性测量单元设置在操作者手臂前臂上，用于测量手臂前臂姿态角度。微处理器测量控制装置用于读取和转换多通道表面肌电传感器和惯性测量单元采集到的数据。数据通信装置用于接收微处理器测量控制装置输出的数据，并传送至PC终端。振动反馈设备设置在操作者身体上通过振动反馈给操作者一定的操作提示，微处理器测量控制装置与振动反馈设备连接向其下达振动指令。Kinect体感设备与PC终端具有数据连接，用于测量人手手臂的关节位置信息。
具体的说，多通道表面肌电传感器为佩戴在手臂前臂上肌电臂环。肌电臂环中每个通道对表面肌电信号进行滤波放大，得到有效频带为10Hz～500Hz放大约1000倍的信号，然后经过微处理器测量控制装置中的ADC将其转换为数字信号，采样频率为1kHz，这些数据最终通过数据通信装置发送至PC终端。
惯性测量单元为9轴MEMS传感器JY901，其固定于手臂前臂上，微处理器测量控制装置通过IIC总线与其通信，获得其测量的手臂前臂空间欧拉角，然后通过数据通信装置发送至PC终端，并在数据显示模块中显示。
微处理器测量控制装置由微处理器构成，用于读取和转换来自多通道表面肌电传感器和惯性测量单元的数据。
数据通信装置通过串口接收微处理器测量控制装置的数据，并通过蓝牙发送到PC终端。数据通信装置中包括蓝牙主从机。
Kinect设备可获取深度图像，通过USB数据线将数据传输至PC终端，利用Windows提供的Kinect SDK可得到人手手臂关于Kinect体感设备的各个关节位置信息，其中手臂末端手腕处的位置信息用来控制机器人。
所述的振动反馈设备为小型振动马达，同样固定在操作者手臂前臂上，在操作者超出操作范围以及机械手爪抓取到物品等时刻，PC终端可发送控制指令给微控制器测量控制装置启动振动马达以提供相应的振动反馈。
PC终端包括数据显示模块、手臂运动解算模块、手部动作识别模块、机器人运动逆解算模块和虚拟场景渲染模块。数据显示模块为显示屏。
手臂运动解算模块根据采集到的手臂前臂的欧拉角以及手臂各关节的位置，通过姿态解算出手臂各关节的姿态角，获得操作者的手臂姿态变化情况(即运动轨迹)。解算后的数据被发送至数据显示模块中进行显示。
手部动作识别模块通过对多通道表面肌电传感器采集的肌电信号进行特征提取并利用模式识别的方法，识别操作者手掌张合情况，将其用于机器人末端机械手爪的开合控制。模式识别的计算过程使用开源的SVM库LIBSVM。
机器人运动逆解算模块将手臂末端的位置以及欧拉角信息组合而成的运动轨迹映射到机器人的运动坐标系中，通过逆解算计算出机器人的关节角，将其用于机器人控制。具体实现，本发明利用基于C++语言的KDL机器人运动学计算库，根据实际使用过程中的机器人各关节尺寸及其连接关系构建相应的数学模型，通过提供机器人末端位置及姿态角度进行逆解算过程，得出各关节的目标角度。
虚拟场景渲染模块采用Unity3D游戏引擎构建出机器人的三维虚拟场景，根据操作者手臂的运动与手部动作和逆解算模块计算出的机器人的关节角，实时渲染机器人的运动状态。具体的，通过将机器人各关节的OBJ类型模型文件导入Unity3D中成为组件，然后将它们按照相应连接关系进行连接并设置父子组件关系，这样在转动父组件时，Unity3D会对其后的子组件自动跟随转动，无需单独调整。在接收到机器人运动逆解算模块提供的各关节目标角度后，虚拟机器人将转动到相应的角度，保证了虚拟场景中机器人跟随操作者手臂末端运动的一致性。
本系统实现方法如下：
当整个系统上电后，各模块均进行初始化工作。
在初始化过程中，微处理器测量控制装置开始对多通道表面肌电传感器的肌电信号进行AD转换，并从9轴MEMS传感器JY901读取姿态角度，当数据通信装置中蓝牙主从机完成自动匹配后，利用串口将这些数据发送到PC终端；同时，PC终端各模块进入准备状态，虚拟场景将机器人置于初始位置。
在PC终端打开Kinect和串口后，终端开始处理传感器的数据，完成手臂运动解算后将其置于数据显示模块进行显示。
完成机器人运动逆解算以及手部动作识别后，通过Socket将这些控制信息发送到虚拟场景渲染模块，虚拟场景进行对应的动作。当PC终端机器人运动逆解算模块解算失败，即操作者运动范围超出解算范围，或者机器人机械手抓成功完成抓取，则通过数据通信装置发送振动反馈指令给操作者振动提示。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种基于多传感器融合的非接触式机器人人机交互系统，其特征在于，包括：多通道表面肌电传感器、惯性测量单元、微处理器测量控制装置、数据通信装置、Kinect体感设备、振动反馈设备以及PC终端；
所述多通道表面肌电传感器设置在操作者手臂前臂上，用于采集肌电信号；所述惯性测量单元设置在操作者手臂前臂上，用于测量手臂前臂姿态角度；所述微处理器测量控制装置用于读取和转换多通道表面肌电传感器和惯性测量单元采集到的数据；所述数据通信装置用于接收微处理器测量控制装置输出的数据，并传送至PC终端；所述振动反馈设备设置在操作者身体上通过振动反馈给操作者操作提示，振动反馈设备与微处理器测量控制装置连接；所述Kinect体感设备用于测量人手手臂的关节位置信息并传输至PC终端；
所述PC终端包括数据显示模块、手臂运动解算模块、手部动作识别模块、机器人运动逆解算模块和虚拟场景渲染模块；
所述手臂运动解算模块根据采集到的手臂前臂的欧拉角以及手臂各关节的位置，通过姿态解算出手臂各关节的姿态角，获得操作者的手臂姿态变化情况；
所述手部动作识别模块通过对多通道表面肌电传感器采集的肌电信号进行特征提取并利用模式识别的方法，识别操作者手掌张合情况，将其用于机器人末端机械手爪的开合控制；
所述机器人运动逆解算模块将所述运动轨迹映射到机器人的运动坐标系中，通过逆解算计算出机器人的关节角，将其用于机器人控制；
所述虚拟场景渲染模块构建出机器人的三维虚拟场景，根据操作者手臂的运动与手部动作和逆解算模块计算出的机器人的关节角，实时渲染机器人的运动状态，在接收到机器人运动逆解算模块提供的各关节目标角度后，虚拟机器人转动到相应的角度。
2.根据权利要求1所述的基于多传感器融合的非接触式机器人人机交互系统，其特征在于：所述多通道表面肌电传感器为肌电臂环。
3.根据权利要求1所述的基于多传感器融合的非接触式机器人人机交互系统，其特征在于：所述的惯性测量单元为9轴MEMS传感器。
4.根据权利要求1所述的基于多传感器融合的非接触式机器人人机交互系统，其特征在于：所述振动反馈设备在操作者超出操作范围以及机械手爪抓取到物品等时刻提供相应的振动反馈。
5.根据权利要求1或4所述的基于多传感器融合的非接触式机器人人机交互系统，其特征在于：所述振动反馈设备为小型振动马达。
6.根据权利要求1或4所述的基于多传感器融合的非接触式机器人人机交互系统，其特征在于：所述数据通信装置包括蓝牙主从机。
7.根据权利要求1所述的基于多传感器融合的非接触式机器人人机交互系统，其特征在于：所述机器人运动逆解算模块利用KDL机器人运动学计算库，根据实际使用过程中的机器人各关节尺寸及其连接关系构建相应的数学模型，通过提供机器人末端位置及姿态角度进行逆解算过程，得出各关节的目标角度。
8.根据权利要求1所述的基于多传感器融合的非接触式机器人人机交互系统，其特征在于：所述虚拟场景渲染模块采用Unity3D游戏引擎构建机器人的三维虚拟场景。
CN201711365422.9A 2017-12-18 2017-12-18 一种基于多传感器融合的非接触式机器人人机交互系统 Pending CN108127673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711365422.9A CN108127673A (zh) 2017-12-18 2017-12-18 一种基于多传感器融合的非接触式机器人人机交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711365422.9A CN108127673A (zh) 2017-12-18 2017-12-18 一种基于多传感器融合的非接触式机器人人机交互系统

Publications (1)

Publication Number Publication Date
CN108127673A true CN108127673A (zh) 2018-06-08

Family

ID=62390624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711365422.9A Pending CN108127673A (zh) 2017-12-18 2017-12-18 一种基于多传感器融合的非接触式机器人人机交互系统

Country Status (1)

Country Link
CN (1) CN108127673A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109331453A (zh) * 2018-08-07 2019-02-15 燕山大学 基于肌电反馈与Kinect交互的虚拟康复系统及训练方法
CN109357696A (zh) * 2018-09-28 2019-02-19 西南电子技术研究所（中国电子科技集团公司第十研究所） 多源传感器信息融合闭环测试架构
CN109500836A (zh) * 2018-11-15 2019-03-22 上海宇航系统工程研究所 空间失效卫星操控综合试验系统
CN109901539A (zh) * 2019-03-27 2019-06-18 辽东学院 一种应用于智能家居的人机交互系统及其控制方法
CN110119207A (zh) * 2019-05-14 2019-08-13 重庆大学 基于人体自然信号的虚拟现实机器人交互系统及交互方法
CN110142769A (zh) * 2019-04-11 2019-08-20 浙江工业大学 基于人体姿态识别的ros平台在线机械臂示教系统
CN111221408A (zh) * 2019-11-11 2020-06-02 路邦科技授权有限公司 一种机器人触感反馈手套的控制系统
CN111531537A (zh) * 2020-05-07 2020-08-14 金陵科技学院 基于多传感器的机械臂控制方法
WO2020192396A1 (zh) * 2019-03-22 2020-10-01 五邑大学 一种体感装置、游戏机装置以及肢体动作信号处理方法
CN113146612A (zh) * 2021-01-05 2021-07-23 上海大学 一种虚实结合和人机交互的水下遥控机器人机械手作业系统及方法
CN113450903A (zh) * 2021-06-29 2021-09-28 广东人工智能与先进计算研究院 一种人体动作映射方法、装置、计算机设备和存储介质
DE102021131028A1 (de) 2021-11-26 2023-06-01 Schaeffler Technologies AG & Co. KG Verbesserte Mensch-Roboter-Interaktion durch erweiterte Realität
CN118061200A (zh) * 2024-04-19 2024-05-24 中国科学技术大学 基于振动诱导的用于遥操作系统的力反馈方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118227A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于kinect的摄像机PTZ控制方法、装置和系统
CN104108097A (zh) * 2014-06-25 2014-10-22 陕西高华知本化工科技有限公司 基于手势控制的上下料机械手系统
CN104308844A (zh) * 2014-08-25 2015-01-28 中国石油大学(华东) 一种五指仿生机械手的体感控制方法
CN205055410U (zh) * 2015-07-16 2016-03-02 浙江工业大学 一种基于手势控制的抓娃娃机
CN105690386A (zh) * 2016-03-23 2016-06-22 北京轩宇智能科技有限公司 一种新型机械手臂遥操作系统及遥操作方法
CN106313086A (zh) * 2016-08-21 2017-01-11 西安科技大学 一种煤矿救援机器人远程控制系统和控制方法
CN106695794A (zh) * 2017-02-20 2017-05-24 苏州晨本智能科技有限公司 一种基于表面肌电信号的移动机器臂系统及其控制方法
CN106909216A (zh) * 2017-01-05 2017-06-30 华南理工大学 一种基于Kinect传感器的仿人机械手控制方法
CN107199566A (zh) * 2017-06-02 2017-09-26 东南大学 一种基于虚拟手臂的面向空间站机器人的遥操作系统
CN107272454A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的实时人机交互方法
CN206643905U (zh) * 2017-04-14 2017-11-17 天津理工大学 一种轮式多机械手智能捡球机器人

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118227A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于kinect的摄像机PTZ控制方法、装置和系统
CN104108097A (zh) * 2014-06-25 2014-10-22 陕西高华知本化工科技有限公司 基于手势控制的上下料机械手系统
CN104308844A (zh) * 2014-08-25 2015-01-28 中国石油大学(华东) 一种五指仿生机械手的体感控制方法
CN205055410U (zh) * 2015-07-16 2016-03-02 浙江工业大学 一种基于手势控制的抓娃娃机
CN105690386A (zh) * 2016-03-23 2016-06-22 北京轩宇智能科技有限公司 一种新型机械手臂遥操作系统及遥操作方法
CN106313086A (zh) * 2016-08-21 2017-01-11 西安科技大学 一种煤矿救援机器人远程控制系统和控制方法
CN106909216A (zh) * 2017-01-05 2017-06-30 华南理工大学 一种基于Kinect传感器的仿人机械手控制方法
CN106695794A (zh) * 2017-02-20 2017-05-24 苏州晨本智能科技有限公司 一种基于表面肌电信号的移动机器臂系统及其控制方法
CN206643905U (zh) * 2017-04-14 2017-11-17 天津理工大学 一种轮式多机械手智能捡球机器人
CN107199566A (zh) * 2017-06-02 2017-09-26 东南大学 一种基于虚拟手臂的面向空间站机器人的遥操作系统
CN107272454A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的实时人机交互方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109331453A (zh) * 2018-08-07 2019-02-15 燕山大学 基于肌电反馈与Kinect交互的虚拟康复系统及训练方法
CN109357696A (zh) * 2018-09-28 2019-02-19 西南电子技术研究所（中国电子科技集团公司第十研究所） 多源传感器信息融合闭环测试架构
CN109357696B (zh) * 2018-09-28 2020-10-23 西南电子技术研究所（中国电子科技集团公司第十研究所） 多源传感器信息融合闭环测试架构
CN109500836A (zh) * 2018-11-15 2019-03-22 上海宇航系统工程研究所 空间失效卫星操控综合试验系统
WO2020192396A1 (zh) * 2019-03-22 2020-10-01 五邑大学 一种体感装置、游戏机装置以及肢体动作信号处理方法
CN109901539A (zh) * 2019-03-27 2019-06-18 辽东学院 一种应用于智能家居的人机交互系统及其控制方法
CN110142769B (zh) * 2019-04-11 2021-10-15 浙江工业大学 基于人体姿态识别的ros平台在线机械臂示教系统
CN110142769A (zh) * 2019-04-11 2019-08-20 浙江工业大学 基于人体姿态识别的ros平台在线机械臂示教系统
CN110119207A (zh) * 2019-05-14 2019-08-13 重庆大学 基于人体自然信号的虚拟现实机器人交互系统及交互方法
CN111221408A (zh) * 2019-11-11 2020-06-02 路邦科技授权有限公司 一种机器人触感反馈手套的控制系统
CN111531537A (zh) * 2020-05-07 2020-08-14 金陵科技学院 基于多传感器的机械臂控制方法
CN111531537B (zh) * 2020-05-07 2022-11-01 金陵科技学院 基于多传感器的机械臂控制方法
CN113146612A (zh) * 2021-01-05 2021-07-23 上海大学 一种虚实结合和人机交互的水下遥控机器人机械手作业系统及方法
CN113450903A (zh) * 2021-06-29 2021-09-28 广东人工智能与先进计算研究院 一种人体动作映射方法、装置、计算机设备和存储介质
DE102021131028A1 (de) 2021-11-26 2023-06-01 Schaeffler Technologies AG & Co. KG Verbesserte Mensch-Roboter-Interaktion durch erweiterte Realität
CN118061200A (zh) * 2024-04-19 2024-05-24 中国科学技术大学 基于振动诱导的用于遥操作系统的力反馈方法及装置

Similar Documents

Publication Publication Date Title
CN108127673A (zh) 一种基于多传感器融合的非接触式机器人人机交互系统
TWI805545B (zh) 用於藉由示範來程式化機器人之方法和電腦程式產品
CN107943283B (zh) 基于手势识别的机械臂位姿控制系统
US10654171B2 (en) Operation device for operating robot, robot system, and operation method
CN105690386B (zh) 一种机械手臂遥操作系统及遥操作方法
CN107856014B (zh) 基于手势识别的机械臂位姿控制方法
US20090132088A1 (en) Transfer of knowledge from a human skilled worker to an expert machine - the learning process
CN103895022A (zh) 穿戴式体感控制机械手
CN107030692B (zh) 一种基于感知增强的机械手遥操作方法及系统
CN102814814A (zh) 一种双臂机器人基于Kinect的人机交互方法
CN110039547A (zh) 一种柔性机械臂遥操作的人机交互终端及方法
CN103926847A (zh) 一种机器人仿真系统
US20210200311A1 (en) Proxy controller suit with optional dual range kinematics
CN205068294U (zh) 机器人人机交互装置
CN108828996A (zh) 一种基于视觉信息的机械臂遥操作系统及方法
CN107199566A (zh) 一种基于虚拟手臂的面向空间站机器人的遥操作系统
Cannan et al. A Multi-sensor armband based on muscle and motion measurements
WO2019083406A1 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
Sharma et al. Design and implementation of robotic hand control using gesture recognition
Solly et al. Gesture controlled mobile robot
Kristof et al. Applications based on electromyography sensors
KR101568084B1 (ko) 이족보행로봇의 보행 모방 제어장치
CN210698174U (zh) 一种具有保护功能的按摩执行器系统
CN108710443B (zh) 位移数据的生成方法和控制系统
Muhammad et al. POSTER: Human-Robot Interaction: A Myo Armband Using EMG and IMU Signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180608

RJ01 Rejection of invention patent application after publication