CN105589558A - 基于表面肌电信号的虚拟现实头盔减负随动系统及方法 - Google Patents

基于表面肌电信号的虚拟现实头盔减负随动系统及方法 Download PDF

Info

Publication number
CN105589558A
CN105589558A CN201510870466.1A CN201510870466A CN105589558A CN 105589558 A CN105589558 A CN 105589558A CN 201510870466 A CN201510870466 A CN 201510870466A CN 105589558 A CN105589558 A CN 105589558A
Authority
CN
China
Prior art keywords
flexible cable
signal
unit
motion detection
servo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510870466.1A
Other languages
English (en)
Other versions
CN105589558B (zh
Inventor
吴东苏
李鹏
刘礼浩
金亮
王林
顾宏斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201510870466.1A priority Critical patent/CN105589558B/zh
Publication of CN105589558A publication Critical patent/CN105589558A/zh
Application granted granted Critical
Publication of CN105589558B publication Critical patent/CN105589558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/0406—Accessories for helmets
    • A42B3/0433—Detecting, signalling or lighting devices
    • A42B3/0466—Means for detecting that the user is wearing a helmet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Prostheses (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

本发明涉及一种基于人体表面肌电信号驱动的虚拟现实头盔显示器减负随动系统及工作步骤。该系统包括安装在颈部的表面肌电检测单元，内周均匀布置六组柔性钢索驱动装置的机械上平台，每组包括伺服电机、同步齿形带、柔索滚轮、拉力传感器、柔索导向轮，六根柔性钢索通过上平台外周的六个导向轮与头盔显示器相连，以及数据采集单元、计算机系统和减负随动控制算法软件系统。本发明的特点是：融合了生物电信号和传统机械测量信号各自的特点，通过检测头颈部表面信号估计头部运动意图，并利用建立的肌电-力模型估计颈部肌肉受力，同时通过机构中的拉力传感器和电机位置速度信号反馈对关节空间中的六根柔索实现高精度的力控制和位置控制，进而对任务空间中的头盔实现实时减负和随动控制。本发明的目的是减轻头盔显示器本身重量和线缆对佩戴者所带来的侵入感和束缚感，提高体验虚拟现实环境的沉浸感觉；同时为虚拟现实系统提供佩戴者高实时性和高精度的六自由度头部运动信息。

Description

基于表面肌电信号的虚拟现实头盔减负随动系统及方法
技术领域
本发明涉及一种虚拟显示的交互设备，尤其涉及改善虚拟现实的头盔显示器。
背景技术
头盔显示器是虚拟现实领域常见的设备，主要用于三位立体虚拟场景的显示。高分辨率、高对比度、大视场角的头盔显示器通常很重且体积较大，显示系统和传感器的信号线也较多，这就造成佩戴时体验者往往行动不便，而且头颈部很容易疲劳，长时间佩戴会大大影响虚拟现实系统的沉浸感，造成体验效果的急剧下降；同时现有的运用于虚拟现实头盔的超声或电磁头部运动检测传感器，会受到外部环境的干扰，造成准确性下降，难以满足虚拟现实交互的要求。
已授权专利(专利授权号CN101791159B)提出了一种六自由度并联机构头盔伺服系统，利用伺服电机带动连接头盔的六根并联滚珠丝杠实现头盔显示器减负的功能，由于其所有的驱动部件包括电机、同步齿形带和滚珠丝杠机构都安装在运动支链上，造成运动部件惯量很大，难以达到快速响应的要求，同时由于采用力传感器的方式对头部运动力进行检测延时较大，又使用刚性结构，对快速的头部运动无法进行实时伺服运动，会影响虚拟现实的体验效果。
发明内容
本发明的目的是提供一种减轻虚拟现实体验者佩戴头盔显示器负荷的装置及方法，从而提高在虚拟环境中漫游时的舒适度，增强虚拟现实的沉浸感；同时利用系统中的测量装置跟踪体验者的头部运动位置，为虚拟现实的视景环境提供运动反馈信息。
本发明为实现上述目的，采用如下技术方案：
基于表面肌电信号驱动的虚拟现实头盔减负系统，其特征在于包括柔索驱动和运动检测单元、上平台、柔索导向单元、可控伸缩柔性钢索、表面肌电测量单元、数据采集单元、控制计算机及基于表面肌电信息反馈的减负控制算法。上平台六边形结构内侧布置安装六组柔索驱动和运动检测单元，柔索导向单元安装于上平台六边形结构内侧和外侧，柔索经驱动和运动检测单元引出，通过柔索导向单元与头盔显示器连接；柔索驱动和运动检测单元的信号输出端以及表面肌电测量单元的输入端与数据采集单元的信号输入端相连接，数据采集单元的信号输出端与伺服电机驱动器的信号输入端相连接；数据采集单元与控制计算机相连接。
本发明的柔索驱动和运动检测单元中包括伺服电机、同步齿形带、转角和转速传感器、柔索滚轴、柔索拉力传感器和柔索导向轮。伺服电机、转速和转角传感器串行连接于安装孔上，伺服电机和柔索滚轴安装在电机传动安装支架上，通过同步齿形带和同步齿形带驱动轮进行连接，同步齿形带通过同步齿形带限位器进行限位，滚轴上的柔索180度反方向绕过拉力传感器上安装的柔索导向轮，通过上平台结构件和柔索导向单元。
本发明的柔索导向单元中包括通过安装孔(20)安装在上平台(2)六边形结构内侧的导向轮(16)和外侧的导向轮(15)。
本发明的基于表面肌电信息反馈的减负控制算法安装于控制计算机，通过建立基于神经网络的力-肌电信号模型，实时估算出头部的运动力和力矩，结合柔索驱动和运动检测单元中传感器输出的柔索运动信息和拉力信息，以优化减轻佩戴者的头部负荷为目标，计算出柔索驱动和运动检测单元中驱动伺服电机的输入电压信号。
本发明采用上述技术方案，与现有技术相比具有如下优点：
本发明提出的头盔减负系统，是利用表面肌电信号检测及六自由度并联柔索机构实现的。该系统的有益效果有三项：一是采用佩戴者的头颈部肌电信号作为头部力反馈，由于肌电信号建立于头部运动之前，时延很低，可以实时实现头盔减负算法的计算，让佩戴者感觉无重量和束缚感；二是采用并联柔索机构可以大大降低运动部件的惯性，进一步提高了执行机构的实时性，同时所有驱动装置都固定于上平台上无需移动，而且头盔显示器安装方便，只需要与柔索进行连接；三是系统可以通过关节空间内柔索的运动信息测量，对任务空间内六自由度头部运动位置和姿态进行正向运动学解算，能达到很高的稳定性和精度。
附图说明
图1是本发明的一种结构示意图。
图2是本发明头盔显示减负随动系统的俯视图。
图3是本发明柔索驱动和运动检测单元与柔索导向单元的结构示意图。
图4是本发明柔索滚轴与伺服电机通过同步齿形带相连的结构示意图。
图5是本发明柔索通过导向单元的结构示意图。
图6是本发明基于表面肌电信息反馈的减负随动控制算法的结构框图。
图中：1、柔索驱动和运动检测单元，2、上平台，3、柔索导向单元，4、可控伸缩柔性钢索，5、表面肌电测量单元，6、数据采集单元，7、控制计算机，8、头盔显示器，9、伺服电机，10、转速与转角传感器，11、柔索拉力传感器，12、柔索滚轴，13、电机传动安装支架，14、柔索导向轮，15、外柔索导向轮，16、内柔索导向轮，17、同步齿形带驱动轮，18、同步齿形带，19、同步齿形带限位器，20、安装孔。
具体实施方式
下面结合附图对本发明的技术方案进详细说明：
如图1和图2所示，基于表面肌电信号驱动的虚拟现实头盔减负系统，其特征在于包括柔索驱动和运动检测单元1、上平台2、柔索导向单元3、可控伸缩柔性钢索4、表面肌电测量单元5、数据采集单元6、控制计算机7及基于表面肌电信息反馈的减负控制算法。上平台2六边形结构内侧布置安装六组柔索驱动和运动检测单元1，柔索导向单元3安装于上平台2六边形结构内侧和外侧，柔索4经驱动和运动检测单元1引出，通过柔索导向单元3与头盔显示器8连接；柔索驱动和运动检测单元1的信号输出端以及表面肌电测量单元5的输入端与数据采集单元6的信号输入端相连接，数据采集单元6的信号输出端与伺服电机9驱动器的信号输入端相连接；数据采集单元6与控制计算机7相连接。
如图3和图4所示，柔索驱动和运动检测单元中包括伺服电机9、同步齿形带18、转角和转速传感器10、柔索滚轴12、柔索拉力传感器11和柔索导向轮14。伺服电机9、转速和转角传感器10串行连接于安装孔上，伺服电机9和柔索滚轴12安装在电机传动安装支架13上，通过同步齿形带18和同步齿形带驱动轮17进行连接，同步齿形带18通过同步齿形带限位器19进行限位，滚轴12上的柔索4按180度反方向绕过拉力传感器上安装的柔索导向轮14，通过上平台2结构件和柔索导向单元3。
如图5所示，柔索导向单元3，包括上平台六边形结构内侧的导向轮16和外侧的导向轮15，通过上平台2上的安装孔20进行连接。柔索4从导向轮中间的孔穿过。
本发明的表面肌电测量单元5包括多组表面肌电电极、参考电极和多通道表面肌电信息处理设备。提取头盔佩戴者头颈部表面肌电信息的步骤如下：在佩戴者颈部对应的肌肉位置放置采集电极，在耳垂上安放参考电极，多通道表面肌电信息处理设备对电极上获取的肌电电流进行放大整形滤波，处理后的信号送入数据采集单元6。
本发明的数据采集单元6主要由信号采集卡或其它信号采集电路组成，主要负责信号的采集与发送。柔索驱动和运动检测单元1中的电机转角和转速传感器10信号、柔索拉力传感器11信号、表面肌电测量单元5信号线路与数据采集单元6的数据采集端口相连，实现传感器数据的采集；数据采集单元6直接安装于控制计算机7，实现与控制计算机7间的数据交互；数据采集单元6的数据发送端口通过信号线路与伺服电机7驱动器的控制信号接口连接，实现控制信号的发送。
本发明的控制计算机7由工业控制计算机或其它数字计算机组成，主要负责基于表面肌电信息反馈的减负随动控制算法的实时计算、并联柔索结构的运动学和动力学解算、系统控制以及信号处理等。该系统的信号延迟远小于当前主流的头盔跟踪器。
如图6，基于表面肌电信息反馈的减负随动控制算法的结构如下：建立多输入多输出的神经网络模型，通过对应的肌电信息和头部运动信息，在头盔佩戴者头部多组不同运动速度和运动模式下对模型进行训练，得到佩戴者的头部运动肌电-力模型，通过这个模型实时估计佩戴者的头部运动力和力矩；通过检测六个伺服电机的位置和速度信号，结合肌电信号，预测出用户的头部运动位姿，通过逆Jacobian矩阵变换得到分支运动预测信息，通过并联柔索的动力学模型，计算出头盔系统在任务空间中的作用力；减负随动控制系统的控制目标是头与头盔之间的接触力最小，利用头盔-头力交互优化得出任务空间的交互期望力，然后通过反馈六根柔索上的拉力大小和逆Jacobian矩阵变化，计算得到任务空间中作用在头盔上的作用力和力矩，与交互期望力之间进行实时比较，通过控制计算机发出相应的电压信号输出到驱动柔索的伺服电机，实时改变柔索作用在头盔上的拉力，以便佩戴者感到头盔带来的束缚感和重量感减到最小，头盔系统可以无负担地随佩戴者头部随动；同时伺服电机上安装的转角传感器可以得到每根柔索的伸缩量，通过运动学正向计算，可以实时解算出头部的六自由度位置姿态信息，用于虚拟视景随头部运动的场景改变。

Claims (4)

1.基于表面肌电信号驱动的虚拟现实头盔减负随动系统，其特征在于包括柔索驱动和运动检测单元(1)、上平台(2)、柔索导向单元(3)、可控伸缩柔性钢索(4)、表面肌电测量单元(5)、数据采集单元(6)、控制计算机(7)及基于表面肌电信息反馈的减负随动控制算法。上平台(2)六边形结构内侧布置安装六组柔索驱动和运动检测单元(1)，柔索导向单元(3)安装于上平台(2)六边形结构内侧和外侧，柔索(4)经驱动和运动检测单元(1)引出，通过柔索导向单元(3)与头盔显示器(8)连接；柔索驱动和运动检测单元(1)的信号输出端以及表面肌电测量单元(5)的输入端与数据采集单元(6)的信号输入端相连接，数据采集单元(6)的信号输出端与伺服电机(9)驱动器的信号输入端相连接；数据采集单元6与控制计算机7的信号输入端相连接，。
2.根据权利要求1所述的柔索驱动和运动检测单元(1)中包括伺服电机(9)、同步齿形带(18)、转角和转速传感器(10)、柔索滚轴(12)、柔索拉力传感器(11)和柔索导向轮(14)。伺服电机(9)、转速和转角传感器(10)串行连接于安装孔上，伺服电机(9)和柔索滚轴(12)安装在电机传动安装支架(13)上，通过同步齿形带(18)和同步齿形带驱动轮(17)进行连接，同步齿形带(18)通过同步齿形带限位器(19)进行限位，滚轴(12)上的柔索(4)180度反方向绕过拉力传感器上安装的柔索导向轮(14)，通过上平台(2)结构件和柔索导向单元(3)。
3.根据权利要求1所述的柔索导向单元(3)，包括通过安装孔(20)安装在上平台(2)六边形结构内侧的导向轮(16)和外侧的导向轮(15)。
4.根据权利要求1所述的基于表面肌电信息反馈的减负随动控制算法安装于控制计算机，通过建立肌电-力信号模型，实时估算出头部的运动力和力矩，结合柔索驱动和运动检测单元中传感器输出的柔索运动信息和拉力信息，以优化减轻佩戴者的头部负荷为目标，计算出柔索驱动和运动检测单元中驱动伺服电机的输入电压信号。
CN201510870466.1A 2015-11-25 2015-11-25 基于表面肌电信号的虚拟现实头盔减负随动系统及方法 Active CN105589558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510870466.1A CN105589558B (zh) 2015-11-25 2015-11-25 基于表面肌电信号的虚拟现实头盔减负随动系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510870466.1A CN105589558B (zh) 2015-11-25 2015-11-25 基于表面肌电信号的虚拟现实头盔减负随动系统及方法

Publications (2)

Publication Number Publication Date
CN105589558A true CN105589558A (zh) 2016-05-18
CN105589558B CN105589558B (zh) 2022-02-18

Family

ID=55929200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510870466.1A Active CN105589558B (zh) 2015-11-25 2015-11-25 基于表面肌电信号的虚拟现实头盔减负随动系统及方法

Country Status (1)

Country Link
CN (1) CN105589558B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106112971A (zh) * 2016-07-14 2016-11-16 南京林业大学 一种基座铰点位置可自动调节的六自由度头颈部柔性外骨骼系统
CN108445764A (zh) * 2018-03-23 2018-08-24 吉林大学 Stewart平台的主动柔顺控制策略
CN110815170A (zh) * 2018-08-14 2020-02-21 中国科学院沈阳自动化研究所 一种基于并联柔索机构的重载吊装机器人
CN113050282A (zh) * 2021-03-04 2021-06-29 北京幻鲸数字科技有限公司 一种基于5g网络的虚拟现实多人协作系统及方法
CN113524144A (zh) * 2021-06-15 2021-10-22 中国科学院自动化研究所 人工肌肉装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034308A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于人体表面肌电信息的头盔显示器虚拟视觉时延补偿系统及方法
CN101791159A (zh) * 2010-01-29 2010-08-04 南京航空航天大学 一种六自由度并联机构头盔伺服系统
KR20120093504A (ko) * 2011-02-15 2012-08-23 서운수 자동 차광 고글
CN103440498A (zh) * 2013-08-20 2013-12-11 华南理工大学 基于lda算法的表面肌电信号识别方法
CN104950446A (zh) * 2015-06-19 2015-09-30 上海宏镜科技有限公司 可伸缩悬臂弹性梁头戴机构
CN104939419A (zh) * 2015-07-08 2015-09-30 成都梦工厂网络信息有限公司 虚拟现实头盔设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034308A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于人体表面肌电信息的头盔显示器虚拟视觉时延补偿系统及方法
CN101791159A (zh) * 2010-01-29 2010-08-04 南京航空航天大学 一种六自由度并联机构头盔伺服系统
KR20120093504A (ko) * 2011-02-15 2012-08-23 서운수 자동 차광 고글
CN103440498A (zh) * 2013-08-20 2013-12-11 华南理工大学 基于lda算法的表面肌电信号识别方法
CN104950446A (zh) * 2015-06-19 2015-09-30 上海宏镜科技有限公司 可伸缩悬臂弹性梁头戴机构
CN104939419A (zh) * 2015-07-08 2015-09-30 成都梦工厂网络信息有限公司 虚拟现实头盔设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
滕燕: "表面肌电信号采集与处理系统研究", 《机床与液压》 *
赵辉: "《五轴联动并联机床关键技术》", 30 April 2008, 知识产权出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106112971A (zh) * 2016-07-14 2016-11-16 南京林业大学 一种基座铰点位置可自动调节的六自由度头颈部柔性外骨骼系统
CN108445764A (zh) * 2018-03-23 2018-08-24 吉林大学 Stewart平台的主动柔顺控制策略
CN108445764B (zh) * 2018-03-23 2021-01-12 吉林大学 Stewart平台的主动柔顺控制策略
CN110815170A (zh) * 2018-08-14 2020-02-21 中国科学院沈阳自动化研究所 一种基于并联柔索机构的重载吊装机器人
CN113050282A (zh) * 2021-03-04 2021-06-29 北京幻鲸数字科技有限公司 一种基于5g网络的虚拟现实多人协作系统及方法
CN113524144A (zh) * 2021-06-15 2021-10-22 中国科学院自动化研究所 人工肌肉装置

Also Published As

Publication number Publication date
CN105589558B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN105589558A (zh) 基于表面肌电信号的虚拟现实头盔减负随动系统及方法
CN110742775B (zh) 基于力反馈技术的上肢主被动康复训练机器人系统
CN103263338B (zh) 一种上肢康复机器人
CN108524187B (zh) 一种六自由度的上肢康复机器人控制系统
CN101061984B (zh) 利用肌电信号提供机械帮助的康复机器人系统
CN101791159B (zh) 一种六自由度并联机构头盔伺服系统
CN105126302B (zh) 一种自动适应跑步者速度的跑步机
CN102225034B (zh) 步态康复训练机器人控制系统
CN108114405B (zh) 基于3d深度摄像头和柔性力敏传感器的跑步机自适应系统
CN112842824B (zh) 一种用于下肢康复恢复的训练方法
CN203576848U (zh) 一种基于生物信息感知的双侧镜像康复系统
CN205055307U (zh) 一种自动适应跑步者速度的跑步机
CN109091818A (zh) 基于导纳控制的绳牵引上肢康复机器人的训练方法及系统
CN110507322B (zh) 一种基于虚拟诱导肌电定量状态评估系统及方法
CN109521880B (zh) 一种基于混合生物电信号驱动的遥操作机器人系统及方法
CN106621207A (zh) 康复机器人的训练方法及康复机器人
CN109521784A (zh) 一种触觉感知式可穿戴上肢外骨骼无人机控制系统及方法
CN105082159A (zh) 一种基于脑电信号控制的工业机器人系统及示教方法
CN113244578B (zh) 一种桌面上平面上肢康复机器人的主动模式控制系统
CN112621487B (zh) 一种基于脑机控制的爬壁打磨装置及其控制方法
CN206081447U (zh) 一种用于多种康复训练运动的动力输出装置
CN202367759U (zh) 一种具有自动重力补偿的力觉交互装置
CN205905027U (zh) 一种机器人控制系统
CN105527046B (zh) 手臂支撑平台的接触力、压力检测装置及数据分析方法
CN202507280U (zh) 仿人机器人

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant