CN110119207A - 基于人体自然信号的虚拟现实机器人交互系统及交互方法 - Google Patents

基于人体自然信号的虚拟现实机器人交互系统及交互方法 Download PDF

Info

Publication number
CN110119207A
CN110119207A CN201910398303.6A CN201910398303A CN110119207A CN 110119207 A CN110119207 A CN 110119207A CN 201910398303 A CN201910398303 A CN 201910398303A CN 110119207 A CN110119207 A CN 110119207A
Authority
CN
China
Prior art keywords
robot
virtual reality
gesture
myoelectric
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910398303.6A
Other languages
English (en)
Inventor
赵雪
陈小安
合烨
吴鹏凡
曾君
雷霆
范磊
陈天弛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201910398303.6A priority Critical patent/CN110119207A/zh
Publication of CN110119207A publication Critical patent/CN110119207A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于人体自然信号的虚拟现实机器人交互系统及交互方法，本发明通过能采集人体姿态语言并通过人体姿态语言控制机器人运行，并且能根据用户需求，将用户的手及手臂关节的空间状态信息和肌电信息状态映射到虚拟机器人末端，增强了交互适应性，使用户具有良好的体验感。

Description

基于人体自然信号的虚拟现实机器人交互系统及交互方法
技术领域
本发明涉及一种基于人体自然信号的虚拟现实机器人交互系统及交互方法。
背景技术
许多现有的虚拟交互设备包括遥控器，带位置跟踪数据手套和视觉捕捉装置。然而这些设备在虚拟现实环境下促进人与机器人交互受限。例如HTC VIVE，采用控制器上位置传感器来捕捉人手运动位置，但是通过控制器上按钮才能实现控制指令发送，缺少人与虚拟现实交互的自然感。特别是移动虚拟现实中的物体时，用户是通过按下按钮，而不是做出自然的抓取姿势。
例如接触式手势识别设备5DT CyberGlove配合空间定位装置或者非接触式手势识别设备Kinect能识别人手的状态和位置，其人手运动速度与虚拟现实机器人运动速度的比值是预先设定的常量，由于比值没有根据用户需求实时改变，用户在交互过程中交互体验感会降低。
发明内容
本发明的目的是提供一种基于表肌电信号和手势信号的虚拟现实机器人交互系统，以解决传统按钮式交互遇到的操作繁琐和传统数据手套交互适应性差的问题。
为解决上述技术问题，本发明提供一种基于表肌电信号和手势信号的虚拟现实机器人交互系统，包括手势采集装置、皮表肌肉电采集装置以及分别与所述手势采集装置和皮表肌肉电采集装置通信连接的控制器；其中，
手势采集装置用于采集手及手臂关节的位置信息和状态信息，输出包括平移和旋转的空间状态信息；
皮表肌肉电采集装置用于采集人体手臂皮表肌电信息，输出肌电信息；
控制器用于获取手及手臂关节的所述空间状态信息以及人手臂肌肉的所述肌电信息，并根据所述空间状态信息识别当前的手势类别，根据所述肌电信息计算机器人模型动力学影响参数；再根据所述手势类别控制机器人末端执行器的动作，通过所述机器人模型动力学影响参数控制人手运动速度与虚拟现实机器人运动速度的比值。
进一步地，该虚拟现实机器人交互系统还包括虚拟现实机器人驱动驱动器，所述虚拟现实机器人驱动器用于根据所述控制器发出的控制指令控制控制机器人末端执行器动作。
进一步地，该虚拟现实机器人交互系统还包括虚拟现实机器人模型，所述虚拟现实机器人模型用于将机器人运动通过3D图像实时反馈给用户。
进一步地，所述手势采集装置可采用非接触式体感控制器或采用接触式数据手套和空间定位装置。
进一步地，所述皮表肌肉电采集装置可采用可穿戴式皮表肌肉电传感器。
此外，本申请还提供了一种基于表肌电信号和手势信号的虚拟现实机器人交互方法，包括以下步骤：
S1：获取手及手臂关节的空间状态信息以及人体手臂的肌电信息；
S2：根据所述空间状态信息识别当前的手势类别，根据所述肌电信息计算机器人模型动力学影响参数；
S3：根据手势类别、机器人模型动力学影响参数及虚拟现实动力学模型建立人机交互装配模型，根据所述手势类别控制机器人末端执行器的动作，根据所述机器人模型动力学影响参数控制人手运动速度与虚拟现实机器人运动速度的比值。
进一步地，所述手势类别识别方法具体包括：
将手指的关节弯曲度作为输入层，依次经过权值、求和、激活后输出手势类型，最后输出结果为：
其中，αi为关节弯曲度，ωi为权值，f()为激活函数。
进一步地，所述机器人模型动力学影响参数计算方法具体包括：
将人体手臂的肌电信息作为输入信号，依次经过卡尔曼滤波、整流、求包络后得到机器人模型动力学影响参数。
进一步地，所述人机交互装配模型为：
物体的平移分量为
rPn+1＝rPn+Δt·rUn+1，(2)
rUn+1＝hUn+1·β，(3)
hUn+1＝(hPn+1-hPn)/Δt，(4)
其中，rPn表示n序列时刻物体在机器人坐标系位置，rUn表示n序列时刻物体在机器人坐标系速度，hPn表示n序列时刻物体在人手坐标系位置，hUn表示n序列时刻物体在人手坐标系速度，β为采集的肌电系数，作为机器人模型动力学影响参数，Δt为n与n+1的时间差；
物体的旋转分量由四元数表示，四元数由一个标量和一个向量构成，假设三维空间下标准正交基的3个单位向量为， 则四元数q可以用公式(5)表示
手的旋转变化可以表示为
Δhq(n+1)＝hq(n+1) hq(n) -1，(6)
四元数归一化可以求单位四元数
人手旋转角度变化求解
Δhθ(n+1)＝2arccos(Δhq(n+1)0)，(8)
人手旋转轴求解
通过(8)(9)得到机器人末端四元数变化量
其中机器人末端旋转角度与手旋转角度关系可以表示为
Δrθ(n+1)＝ψΔhθ(n+1)，(11)
rq(n+1)＝Δrq(n+1) rq(n)，(12)
其中，hq(n+1)为手的四元数，rq(n+1)为机器人末端的四元数，ψ是与肌电信号有关的控制系数，Δhθ(n+1)为人手在n+1时刻绕旋转轴旋转角度θ，Δrθ(n+1)为机器人末端在n+1时刻绕旋转轴旋转角度θ，为四元数旋转轴，q(n)0、q(n)1、q(n)2、q(n)3分别为四元数基本构成参数，T表示矩阵转置。
本发明的有益效果为：本发明通过能采集人体姿态语言并通过人体姿态语言控制机器人运行，并且能根据用户需求，将用户的手及手臂关节的空间状态信息和肌电信息状态映射到虚拟机器人末端，增强了交互适应性，使用户具有良好的体验感。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明的一个实施例的原理示意图。
图2为本发明的一个实施例的原理框图。
图3为物体平移的坐标变换。
图4为物体旋转的坐标变换。
图5为手势类别识别方法。
其中：1、皮表肌肉电采集装置；2、手势识别区域；3、手势采集装置；4、虚拟现实机器人模型；5、控制器；6、机器人驱动器。
具体实施方式
如图1所示的基于表肌电信号和手势信号的虚拟现实机器人交互系统，包括手势采集装置3、皮表肌肉电采集装置1以及分别与所述手势采集装置3和皮表肌肉电采集装置1通信连接的控制器5。
下面分别对手势采集装置3、皮表肌肉电采集装置1以及控制器5进行详细描述：
手势采集装置3用于采集手及手臂关节的位置信息和状态信息，输出包括平移和旋转的空间状态信息。人体的自然姿态语言包括手移动、旋转、抓取、挥舞等手势以及关节运动，可采用非接触式体感控制器5(Leap motion)或采用接触式数据手套配合空间定位装置对用户手势进行采集。将采集到的手及手臂关节的位置信息和状态信息通过深度学习等模式识别算法后获取用户当前的手势类别，并将该手势类别作为机器人模型动力学控制参数输入到系统中。
皮表肌肉电采集装置1用于采集人体手臂皮表肌电信息，输出肌电信息；皮表肌肉电采集装置1可采用穿戴式皮表肌肉电传感器如，EMG(肌肉电)，EEG(脑电图)采集身体内部生理信息。
控制器5用于获取手及手臂关节的所述空间状态信息以及人手臂肌肉的所述肌电信息，并根据所述空间状态信息识别当前的手势类别，根据所述肌电信息计算机器人模型动力学影响参数；再根据所述手势类别控制机器人末端执行器的动作，通过所述机器人模型动力学影响参数控制人手运动速度与虚拟现实机器人运动速度的比值。
如图2所示，通过深度学习等模式识别算法根据手势采集装置3采集到的空间状态信息获取当前手势类别，再将手势类别作为机器人模型动力学控制参数输入到系统中；皮表肌肉电采集装置1采集到的肌电信息通过滤波，整流，求包络后为机器人模型动力学影响参数输入到控制器5中。控制虚拟现实环境机器人末端执行器的平移、旋转、抓取、放松；通过机器人模型动力学影响参数(肌肉越用力，激活强度越大)控制上述从手平移、旋转等参数映射到虚拟机器人末端执行器平移、旋转等参数的比值大小，比如手平移1cm，机器人末端平移2cm还是平移3cm，是根据机器人模型动力学影响参数决定。控制器5的执行结果由虚拟现实机器人模型4将机器人运动通过3D图像实时反馈给用户。
该虚拟现实机器人交互系统还包括虚拟现实机器人驱动驱动器，所述虚拟现实机器人驱动器6用于根据所述控制器5发出的控制指令控制控制机器人末端执行器动作。该虚拟现实机器人驱动器6通过数据线如TCP网线，COM串口等连接到虚拟现实驱动机器人运行。
此外，本申请还提供了一种基于表肌电信号和手势信号的虚拟现实机器人交互方法，包括以下步骤：
S1：获取手及手臂关节的空间状态信息以及人体手臂的肌电信息；
S2：根据所述空间状态信息识别当前的手势类别，根据所述肌电信息计算机器人模型动力学影响参数；
S3：根据手势类别、机器人模型动力学影响参数及虚拟现实动力学模型建立人机交互装配模型，根据所述手势类别控制机器人末端执行器的动作，根据所述机器人模型动力学影响参数控制人手运动速度与虚拟现实机器人运动速度的比值。
其中，上述所述手势类别识别方法具体包括：
如图5所示，将手指的关节弯曲度作为输入层，依次经过权值、求和、激活后输出手势类型，最后输出结果为：
其中，αi为关节弯曲度，ωi为权值，f()为激活函数。
上述机器人模型动力学影响参数计算方法具体包括：
将人体手臂的肌电信息作为输入信号，依次经过卡尔曼滤波、整流、求包络后得到机器人模型动力学影响参数。通过以上步骤交互过程中人体肌肉信号可以转化为计算机可识别的数字信号，并影响机器人的运行。
上述人机交互装配模型为：
如图3所示，物体的平移分量为
rPn+1＝rPn+Δt·rUn+1，(2)
rUn+1＝hUn+1·β，(3)
hUn+1＝(hPn+1-hPn)/Δt，(4)
其中，rPn表示n序列时刻物体在机器人坐标系位置，rUn表示n序列时刻物体在机器人坐标系速度，hPn表示n序列时刻物体在人手坐标系位置，hUn表示n序列时刻物体在人手坐标系速度，β为采集的肌电系数，作为机器人模型动力学影响参数，Δt为n与n+1的时间差；
物体的旋转分量由四元数表示，四元数由一个标量和一个向量构成，假设三维空间下标准正交基的3个单位向量为， 则四元数q可以用公式(5)表示
手的旋转变化可以表示为
Δhq(n+1)＝hq(n+1) hq(n) -1，(6)
四元数归一化可以求单位四元数
人手旋转角度变化求解
Δhθ(n+1)＝2arccos(Δhq(n+1)0)，(8)
人手旋转轴求解
通过(8)(9)得到机器人末端四元数变化量
其中机器人末端旋转角度与手旋转角度关系可以表示为
Δrθ(n+1)＝ψΔhθ(n+1)，(11)
rq(n+1)＝Δrq(n+1) rq(n)，(12)
其中，hq(n+1)为手的四元数，rq(n+1)为机器人末端的四元数，ψ是与肌电信号有关的控制系数，Δhθ(n+1)为人手在n+1时刻绕旋转轴旋转角度θ，Δrθ(n+1)为机器人末端在n+1时刻绕旋转轴旋转角度θ，为四元数旋转轴，q(n)0、q(n)1、q(n)2、q(n)3分别为四元数基本构成参数，T表示矩阵转置。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于表肌电信号和手势信号的虚拟现实机器人交互系统，其特征在于，包括
手势采集装置，用于采集手及手臂关节的位置信息和状态信息，输出包括平移和旋转的空间状态信息；
皮表肌肉电采集装置，用于采集人体手臂皮表肌电信息，输出肌电信息；
控制器，用于获取手及手臂关节的所述空间状态信息以及人手臂肌肉的所述肌电信息，并根据所述空间状态信息识别当前的手势类别，根据所述肌电信息计算机器人模型动力学影响参数；再根据所述手势类别控制机器人末端执行器的动作，通过所述机器人模型动力学影响参数控制人手运动速度与虚拟现实机器人运动速度的比值。
2.根据权利要求1所述的基于表肌电信号和手势信号的虚拟现实机器人交互系统，其特征在于，该虚拟现实机器人交互系统还包括虚拟现实机器人驱动驱动器，所述虚拟现实机器人驱动器用于根据所述控制器发出的控制指令控制控制机器人末端执行器动作。
3.根据权利要求1或2所述的基于表肌电信号和手势信号的虚拟现实机器人交互系统，其特征在于，该虚拟现实机器人交互系统还包括虚拟现实机器人模型，所述虚拟现实机器人模型用于将机器人运动通过3D图像实时反馈给用户。
4.根据权利要求1所述的基于表肌电信号和手势信号的虚拟现实机器人交互系统，其特征在于，所述手势采集装置可采用非接触式体感控制器或采用接触式数据手套和空间定位装置。
5.根据权利要求1所述的基于表肌电信号和手势信号的虚拟现实机器人交互系统，其特征在于，所述皮表肌肉电采集装置可采用可穿戴式皮表肌肉电传感器。
6.一种基于表肌电信号和手势信号的虚拟现实机器人交互方法，其特征在于，包括以下步骤：
S1：获取手及手臂关节的空间状态信息以及人体手臂的肌电信息；
S2：根据所述空间状态信息识别当前的手势类别，根据所述肌电信息计算机器人模型动力学影响参数；
S3：根据手势类别、机器人模型动力学影响参数及虚拟现实动力学模型建立人机交互装配模型，根据所述手势类别控制机器人末端执行器的动作，根据所述机器人模型动力学影响参数控制人手运动速度与虚拟现实机器人运动速度的比值。
7.根据权利要求6所述的虚拟现实机器人交互方法，其特征在于，所述手势类别识别方法具体包括：
将手指的关节弯曲度作为输入层，依次经过权值、求和、激活后输出手势类型，最后输出结果为：
其中，αi为关节弯曲度，ωi为权值，f()为激活函数。
8.根据权利要求7所述的虚拟现实机器人交互方法，其特征在于，所述机器人模型动力学影响参数计算方法具体包括：
将人体手臂的肌电信息作为输入信号，依次经过卡尔曼滤波、整流、求包络后得到机器人模型动力学影响参数。
9.根据权利要求8所述的虚拟现实机器人交互方法，其特征在于，所述人机交互装配模型为：
物体的平移分量为
rPn+1＝rPn+Δt·rUn+1， (2)
rUn+1＝hUn+1·β， (3)
hUn+1＝(hPn+1-hPn)/Δt， (4)
其中，rPn表示n序列时刻物体在机器人坐标系位置，rUn表示n序列时刻物体在机器人坐标系速度，hPn表示n序列时刻物体在人手坐标系位置，hUn表示n序列时刻物体在人手坐标系速度，β为采集的肌电系数，作为机器人模型动力学影响参数，Δt为n与n+1的时间差；
物体的旋转分量由四元数表示，四元数由一个标量和一个向量构成，假设三维空间下标准正交基的3个单位向量为， 则四元数q可以用公式(5)表示
手的旋转变化可以表示为
Δhq(n+1)＝hq(n+1) hq(n) -1， (6)
四元数归一化可以求单位四元数
人手旋转角度变化求解
Δhθ(n+1)＝2arccos(Δhq(n+1)0)， (8)
人手旋转轴求解
通过(8)(9)得到机器人末端四元数变化量
其中机器人末端旋转角度与手旋转角度关系可以表示为
Δrθ(n+1)＝ψΔhθ(n+1)， (11)
rq(n+1)＝Δrq(n+1) rq(n)， (12)
其中，hq(n+1)为手的四元数，rq(n+1)为机器人末端的四元数，ψ是与肌电信号有关的控制系数，Δhθ(n+1)为人手在n+1时刻绕旋转轴旋转角度θ，Δrθ(n+1)为机器人末端在n+1时刻绕旋转轴旋转角度θ，为四元数旋转轴，q(n)0、q(n)1、q(n)2、q(n)3分别为四元数基本构成参数，T表示矩阵转置。
CN201910398303.6A 2019-05-14 2019-05-14 基于人体自然信号的虚拟现实机器人交互系统及交互方法 Pending CN110119207A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910398303.6A CN110119207A (zh) 2019-05-14 2019-05-14 基于人体自然信号的虚拟现实机器人交互系统及交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910398303.6A CN110119207A (zh) 2019-05-14 2019-05-14 基于人体自然信号的虚拟现实机器人交互系统及交互方法

Publications (1)

Publication Number Publication Date
CN110119207A true CN110119207A (zh) 2019-08-13

Family

ID=67522349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910398303.6A Pending CN110119207A (zh) 2019-05-14 2019-05-14 基于人体自然信号的虚拟现实机器人交互系统及交互方法

Country Status (1)

Country Link
CN (1) CN110119207A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111531537A (zh) * 2020-05-07 2020-08-14 金陵科技学院 基于多传感器的机械臂控制方法
CN112405539A (zh) * 2020-11-11 2021-02-26 东南大学 一种基于肌电信号和脑电错误电位的机器人自然控制方法
CN112691002A (zh) * 2021-03-24 2021-04-23 上海傅利叶智能科技有限公司 基于手势交互康复机器人的控制方法、装置和康复机器人
CN113282173A (zh) * 2021-05-21 2021-08-20 燕山大学 一种基于虚拟现实的双臂机器人远程实时控制系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201684048U (zh) * 2010-06-10 2010-12-29 上海理工大学 具有比例调速功能的肌电假手控制系统
CN105877745A (zh) * 2016-03-29 2016-08-24 东北大学 基于表面肌电信号的直流电机速度控制系统及方法
CN106527738A (zh) * 2016-12-08 2017-03-22 东北大学 一种用于虚拟现实系统的多信息体感交互手套系统及方法
CN206869888U (zh) * 2017-02-20 2018-01-12 苏州晨本智能科技有限公司 一种基于表面肌电信号的移动机器臂系统
CN108062102A (zh) * 2018-01-16 2018-05-22 苏州晨本智能科技有限公司 一种手势控制具有辅助避障功能的移动机器人遥操作系统
CN108127673A (zh) * 2017-12-18 2018-06-08 东南大学 一种基于多传感器融合的非接触式机器人人机交互系统
CN109453509A (zh) * 2018-11-07 2019-03-12 龚映清 一种基于肌电和运动捕捉的虚拟上肢控制系统及其方法
CN109739358A (zh) * 2019-01-03 2019-05-10 京东方科技集团股份有限公司 基于裸眼3d的手势碰撞检测方法及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201684048U (zh) * 2010-06-10 2010-12-29 上海理工大学 具有比例调速功能的肌电假手控制系统
CN105877745A (zh) * 2016-03-29 2016-08-24 东北大学 基于表面肌电信号的直流电机速度控制系统及方法
CN106527738A (zh) * 2016-12-08 2017-03-22 东北大学 一种用于虚拟现实系统的多信息体感交互手套系统及方法
CN206869888U (zh) * 2017-02-20 2018-01-12 苏州晨本智能科技有限公司 一种基于表面肌电信号的移动机器臂系统
CN108127673A (zh) * 2017-12-18 2018-06-08 东南大学 一种基于多传感器融合的非接触式机器人人机交互系统
CN108062102A (zh) * 2018-01-16 2018-05-22 苏州晨本智能科技有限公司 一种手势控制具有辅助避障功能的移动机器人遥操作系统
CN109453509A (zh) * 2018-11-07 2019-03-12 龚映清 一种基于肌电和运动捕捉的虚拟上肢控制系统及其方法
CN109739358A (zh) * 2019-01-03 2019-05-10 京东方科技集团股份有限公司 基于裸眼3d的手势碰撞检测方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周红进，许江宁，覃方君: "《无陀螺惯性导航技术》", 31 December 2017 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111531537A (zh) * 2020-05-07 2020-08-14 金陵科技学院 基于多传感器的机械臂控制方法
CN111531537B (zh) * 2020-05-07 2022-11-01 金陵科技学院 基于多传感器的机械臂控制方法
CN112405539A (zh) * 2020-11-11 2021-02-26 东南大学 一种基于肌电信号和脑电错误电位的机器人自然控制方法
CN112405539B (zh) * 2020-11-11 2022-03-04 东南大学 一种基于肌电信号和脑电错误电位的机器人自然控制方法
CN112691002A (zh) * 2021-03-24 2021-04-23 上海傅利叶智能科技有限公司 基于手势交互康复机器人的控制方法、装置和康复机器人
CN112691002B (zh) * 2021-03-24 2021-06-29 上海傅利叶智能科技有限公司 基于手势交互康复机器人的控制装置和康复机器人
CN113282173A (zh) * 2021-05-21 2021-08-20 燕山大学 一种基于虚拟现实的双臂机器人远程实时控制系统及方法

Similar Documents

Publication Publication Date Title
CN110119207A (zh) 基于人体自然信号的虚拟现实机器人交互系统及交互方法
CN107378944B (zh) 一种基于主成分分析法的多维表面肌电信号假手控制方法
Mahmud et al. Interface for human machine interaction for assistant devices: A review
KR101762638B1 (ko) 최소 침습 수술 시스템에서 손 제스처 제어를 위한 방법 및 장치
Liu et al. A glove-based system for studying hand-object manipulation via joint pose and force sensing
KR101789064B1 (ko) 원격조종 최소 침습 종속 수술 기구의 손 제어를 위한 방법 및 시스템
KR101762631B1 (ko) 주 손가락 추적 장치 및 최소 침습 수술 시스템에서의 사용 방법
KR101785360B1 (ko) 최소 침습 수술 시스템에서 손 존재 검출을 위한 방법 및 시스템
CN109062398B (zh) 一种基于虚拟现实与多模态人机接口的航天器交会对接方法
CN107856014B (zh) 基于手势识别的机械臂位姿控制方法
CN106730638B (zh) 基于交互力识别运动意图的欠驱动康复机器人的控制方法
Babu et al. Holding, grasping and sensing of prosthetic robot arm like a real human hand, a journey beyond limits: an extensive review
CN115016645B (zh) 假手指协同控制用多自由度采集的数据手套
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
Chu et al. The helping hand: An assistive manipulation framework using augmented reality and tongue-drive interfaces
Katyal et al. HARMONIE: A multimodal control framework for human assistive robotics
CN115170773A (zh) 一种基于元宇宙的虚拟课堂动作交互系统和方法
Garcia et al. EEG control of an industrial robot manipulator
Boru et al. Novel technique for control of industrial robots with wearable and contactless technologies
Kao et al. Novel digital glove design for virtual reality applications
Altayeb Hand gestures replicating robot arm based on MediaPipe
Stölzle et al. Guiding Soft Robots with Motor-Imagery Brain Signals and Impedance Control
Wang et al. EXGbuds: Universal wearable assistive device for disabled people to interact with the environment seamlessly
Chu et al. Hands-free assistive manipulator using augmented reality and tongue drive system
CN108127667B (zh) 一种基于关节角增量的机械臂体感交互控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190813