CN113616436B - 一种基于运动想象脑电与头姿的智能轮椅及控制方法 - Google Patents
一种基于运动想象脑电与头姿的智能轮椅及控制方法 Download PDFInfo
- Publication number
- CN113616436B CN113616436B CN202110969471.3A CN202110969471A CN113616436B CN 113616436 B CN113616436 B CN 113616436B CN 202110969471 A CN202110969471 A CN 202110969471A CN 113616436 B CN113616436 B CN 113616436B
- Authority
- CN
- China
- Prior art keywords
- wheelchair
- control
- head
- electroencephalogram
- fatigue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000003993 interaction Effects 0.000 claims abstract description 46
- 210000004556 brain Anatomy 0.000 claims abstract description 33
- 210000004237 neck muscle Anatomy 0.000 claims abstract description 14
- 230000033764 rhythmic process Effects 0.000 claims abstract description 8
- 230000001953 sensory effect Effects 0.000 claims abstract description 3
- 230000033001 locomotion Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000005611 electricity Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000003183 myoelectrical effect Effects 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 206010049565 Muscle fatigue Diseases 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 claims description 5
- 238000013210 evaluation model Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006461 physiological response Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000012417 linear regression Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 230000007423 decrease Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 206010033892 Paraplegia Diseases 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/10—Parts, details or accessories
- A61G5/1051—Arrangements for steering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/22—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering for automatically guiding movable devices, e.g. stretchers or wheelchairs in a hospital
Landscapes
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于运动想象脑电与头姿的智能轮椅及控制方法，智能轮椅装置包括电动轮椅和附加装置脑电采集设备、头姿采集设备、颈部肌电采集设备、头部姿态估计模块、虚拟光标控制模块、轮椅人机交互接口模块、疲劳感知模块和智能轮椅。控制方法包括：(1)运动想象脑电控制模式使用感觉运动节律控制虚拟光标，头姿交互控制模式使用头部姿态控制虚拟光标；(2)根据用户颈部肌肉的疲劳状态切换运动想象脑电与头姿两种控制方式；(3)根据虚拟光标的坐标位置并通过差分运动学模型计算轮椅左右轮对应的转速。利用该控制方法及装置，可连续调节智能轮椅的速度和转向角度，缓解了用户操作时颈部肌肉的疲劳程度，提升了智能轮椅的连续性和舒适性。
Description
技术领域
本发明涉及脑-机接口与机器视觉技术领域，具体涉及一种基于运动想象脑电和头姿交互的智能轮椅连续控制方法及系统。
背景技术
随着当今社会对于老年人群和残疾人群关注度的提升，如何满足上述群体的出行需求，成为亟待解决的社会热点问题。近年来，智能轮椅在解决老年和残疾群体的出行问题中扮演了重要的角色。脑-机接口是一项新兴的技术，其最终研究目标之一是通过实时解码用户的大脑活动来实现对外部设备的控制，可以帮助高位截瘫和偏瘫用户重新和外部世界建立联系。运动想象脑电信号作为一种典型的自发脑电，在受试者想象某种特定的动作而没有做出实际的肢体动作时，大脑皮层的感觉运动区域也会产生相应的电位变化。根据对应信号的增强和减弱变化现象，称之为事件相关同步和事件相关去同步现象。执行不同的运动想象动作，会使不同位置的Mu和Beta节律产生对应的变化。将事件相关同步和事件相关去同步现象作为判断不同的运动想象动作的重要依据，更能直观体现受试者的主观意愿，使运动想象脑-机接口被广泛使用。头姿交互利用摄像头实时获取用户头部的特定动作，将其转化为控制指令，实现对外部设备的控制。头姿交互控制可以通过直观的头部运动，帮助用户完成轮椅的人机交互，但容易因颈部肌肉疲劳给用户带来二次损伤。传统的脑-机接口控制智能轮椅，主要基于对脑电信号的四分类识别进行控制。通常只能每采集一段脑电信号，对脑电信号分类后，得到一个离散的前进、后退、左转或右转控制指令，其乘坐体验与其他传统方式控制的差距较大，且无法调节速度，不具备连续性和舒适性。
本发明所提出的连续控制方法基于运动想象脑电和头姿交互，并实时监测受试者颈部肌肉的疲劳状态作为切换为运动想象脑电控制的条件。在头姿控制模式下，当检测到用户颈部肌肉产生疲劳时切换到运动想象控制模式。在运动想象控制模式下，首先将解码后的运动想象脑电信号转化为虚拟光标的控制指令，然后将光标实时映射到轮椅控制界面，根据光标的位置实时连续输出智能轮椅左右轮的转速。
发明内容
发明目的：本发明的目的是提供一种基于运动想象脑电与头姿的智能轮椅及控制方法，实时监测用户颈部肌肉的疲劳生理相应，并以疲劳评估的结果为条件切换两种控制方式。其中的运动想象脑电控制模式解码用户运动想象时的脑电信号转化为一个虚拟光标的控制指令，并将光标实时映射到轮椅控制界面，根据光标位置连续实时对轮椅输出控制指令，使其具备调节速度和转向角度的能力。
技术方案：本发明所述的一种基于运动想象脑电与头姿的智能轮椅及控制方法，系轮椅系统包括：脑电采集设备、头姿采集设备、颈部肌电采集设备、头部姿态估计模块、虚拟光标控制模块、轮椅人机交互接口模块、疲劳感知模块和智能轮椅装置。一方面，Kinect传感器捕获的头姿深度图像经头姿估计模块估计出头部实时姿态后，进一步映射至机器人轮椅人机交互接口产生控制指令，实现轮椅的头姿交互控制；另一方面，Neuroscan脑电控制器实时采集运动想象脑电信号，经前期处理后用于虚拟光标的控制，受控的虚拟光标同步映射到机器人轮椅人机交互接口，产生连续脑电控制指令实现轮椅的交互；Delsys肌电传感器采集的颈部表面肌电信号经疲劳感知模块评估后，根据疲劳状态确定是否产生切换指令，实现头姿与脑电两种交互方式的切换。
方法主要包括以下步骤：
S1、在头姿控制模式下，利用Kinect深度相机实时获取用户的头部图像信息；
(1)利用随机森林融合最近点迭代算法估计受试者的头部姿态；
(2)将受试者的实时头部姿态坐标映射到轮椅控制模块；
(3)根据头部姿态坐标的变化，实时连续输出轮椅的速度指令。
S2、运动想象脑电控制需要通过筛选实验，获取受试者感觉运动节律参数，分析实验数据找到每位受试者各自最优的参数配置；
在此步骤中，脑电采集设备为Neuroscan公司研制的Synamp2放大器和64通道Quik-Cap电极帽，选用其中的FC6、FP4、FC2、FC1、FC3、FC5、C6、C4、C2、C5、C3、C1、CP6、CP4、CP2、CP5、CP3、CP1通道，使用Scan4.5采集软件采集用户的脑电信号。
S3、经过特征提取和特征转化，将受试者的脑电信号转化为虚拟光标的控制指令；
在此步骤中，使用共同平均参考滤波器对采集到的脑电信号进行空间滤波，计算出中心电极以外的所有电极的平均值，将其作为参考,其公式为
其中，sh(t)为t时刻目标电极的原始电位，为经过CAR空间滤波后的电位，si(t)为记录到的第i个电极处的电位。
再利用基于自回归模型的最大熵法(burg算法)进行时间滤波，将Mu节律和Beta节律的时域信号转换为频域特征进行分析。AR模型可表示为：
其中，u(n)为均值为零，方差为δ2的白噪声，p为阶数，ak为AR模型参数。计算出AR模型参数后，再计算功率谱：
根据对比用户进行运动想象和休息两种状态之间谱能量的变化，找出差异最大处的通道和频率代表与用户的运动想象最为相关，并将此处的脑电信号幅值作为最终的信号特征。
最后通过线性回归的方法，将信号特征转换为光标的控制信号，虚拟光标垂直运动分量公式为：
Mv＝ωrvRv+ωlvLv+bv
其中Rv为大脑右侧特定频段的幅值，Lv为左侧特定频段的幅值。ωrv和ωrv为对应权重系数。虚拟光标水平运动分量公式为：
Mh＝ωrhRh+ωlhLh+bh
其中Rh为大脑右侧特定频段的幅值，Lh为左侧特定频段的幅值。ωrh和ωlh为对应的权重系数。初始状态下，系数ωrv＝ωrv＝1，ωrh＝1，ωlh＝-1。在经历一次完整的实验过程后，根据先前的实验数据采用最小均方误差算法更新权重系数和偏移量。
S4、将S3步骤中受控的虚拟光标同步映射到机器人轮椅人机交互接口，生成轮椅左右轮的速度指令驱动轮椅运动。
在此步骤中，根据虚拟光标位置坐标(x，y)的变化实时连续输出轮椅的速度指令。其公式如下：
其中x和y为虚拟光标的坐标，x′和y′为映射后控制光标的坐标，vl和vr为左右轮轴心的移动速度，R为驱动轮半径，L为驱动轮轮距，v和ω为轮椅的线速度和角速度。将生成的速度指令按照差分运动学模型分解发送给底层的PID控制器调节左右轮电机的转速，驱动轮椅运动。
S5、实时监测用户颈部肌肉的疲劳生理响应，根据疲劳评估模型判断受试者颈部肌肉的疲劳状态，确定是否在运动想象脑电与头姿两种交互控制方式中进行切换。
在此步骤中，疲劳评估模型主要根据颈部肌肉疲劳生理响应的积分肌电值和平均功率频率，在一个评估周期内如果积分肌电值上升而平均功率频率降低，则判断用户处于疲劳状态，反之为非疲劳状态。当用户处于疲劳状态时，由头姿交互模式切换到运动想象脑电控制模式；当用户处于非疲劳状态时，由运动想象脑电控制模式切换到头姿交互模式。
附图说明
图1为智能轮椅结构图；
图2为基于运动想象脑电和头姿交互的智能轮椅连续控制系统结构图；
图3为轮椅控制模块界面示意图；
图4为运动想象脑电与头姿交互控制切换方法流程图。
有益效果
本发明提供一种基于运动想象脑电和头姿交互的智能轮椅连续控制方法及系统，将用户的脑电控制意图转化为一个虚拟光标的控制指令，并同时将受控光标实时映射到轮椅人机交互接口，根据光标位置连续实时对轮椅输出控制指令；同时，根据实时监测的用户颈部肌肉疲劳状态，在运动想象脑电与头姿两种交互控制方式中进行切换，缓解了用户的肌肉疲劳，提升了用户驾驶智能轮椅的连续性和舒适性。
具体实施方式
为了更清晰地阐明本发明的技术内容，下面结合附图及具体实施例来详细说明本发明，其中具体实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见图1为本发明使用的智能轮椅结构图，智能轮椅拥有以基本电动轮椅结构为主题以及安装在主体上的附属结构，包括Kinect深度相机101、PC控制器托盘102、轮椅主体103、前轮104、电机105、SynAmps2脑电采集设备106、蓄电池及逆变器107、后轮108。如图所示，SynAmps2脑电采集设备安装在智能轮椅背部，通过蓄电池经逆变器进行供电。Kinect深度相机安装在用户正前方，需确保能将用户的整个头部包含在采集画面中。脑电与头姿信号处理和轮椅控制由PC控制器进行处理，PC控制器放在用户正前方的托盘上，方便进行视觉反馈和人机交互。
参见图2为基于运动想象脑电与头姿结合的智能轮椅连续控制系统结构图，其主要的实现方案为：Kinect传感器捕获的头姿深度图像经头姿估计模块估计出头部实时姿态后，进一步映射至机器人轮椅人机交互接口产生控制指令，实现轮椅的头姿交互控制；Neuroscan脑电控制器实时采集运动想象脑电信号，经前期处理后用于虚拟光标的控制，受控的虚拟光标同步映射到机器人轮椅人机交互接口，产生连续脑电控制指令实现轮椅的交互；Delsys肌电传感器采集的颈部表面肌电信号经疲劳感知模块评估后，根据疲劳状态确定是否产生切换指令，实现头姿与脑电两种交互方式的切换；
参见图3为轮椅人机交互接口控制模块界面示意图，矩形区域为虚拟光标的运动区域，圆形区域为轮椅控制模块映射光标运动区域。
参见图4为运动想象脑电控制与头姿交互控制切换方法流程图，实时监测受试者颈部肌肉的疲劳状态；当判断出疲劳状态时，由头姿交互控制方式切换到运动想象脑电连续控制；当判断结果为肌肉处于恢复状态时，切换到头姿交互控制。
下面结合附图所示，更加具体地描述基于运动想象脑电与头姿的智能轮椅连续控制方法的实施例实现。
S1，受试者佩戴好与SynAmps2放大器相连的64导联Quik-Cap电极帽和Trigno无线表面肌电测试系统中的肌电传感器，在电极帽的FC6、FP4、FC2、FC1、FC3、FC5、C6、C4、C2、C5、C3、C1、CP6、CP4、CP2、CP5、CP3、CP1通道中注入导电膏，使用Scan4.5采集软件采集用户的脑电信号，并将Kinect深度相机放置在用户的正前方。
S2，首先启动头姿交互控制模式；
S21，利用随机森林融合最近点迭代算法估计受试者的头部姿态；
S22，将受试者的实时头部姿态坐标映射到轮椅控制模块；
S23，根据头部姿态坐标的变化，实时连续输出轮椅的速度指令。用户通过抬头、低头、向左侧头、向右侧头控制轮椅连续运动。
S3，经过特征提取和特征转化，将受试者的脑电信号转化为虚拟光标的控制指令。
S31，在BCI2000脑电处理软件中，先进行特征提取。用户根据提示想象左手或右手运动，使用共同平均参考滤波器对采集到的脑电信号进行空间滤波，计算出中心电极以外的所有电极的平均值，将其作为参考,其公式为
S32，再通过AR模型来计算空间滤波之后信号的频谱，AR模型可表示为：计算出AR模型参数后，再计算功率谱，其公式为：
S33，分析对比受试者在休息状态和想象左手或右手状态的频谱信息，找出差异最大处的通道和频率，并以该处的幅值作为最终提取的信号特征组成虚拟光标水平运动分量，其公式为：
Mh＝ωrhRh+ωlhLh+bh
分析对比受试者在休息状态和想象双手运动或放松状态的频谱信息，找出差异最大处的通道和频率，并以该处的幅值作为最终提取的信号特征组成虚拟光标垂直运动分量，其公式为：
Mv＝ωrvRv+ωlvLv+bv
初始状态下，系数ωrv＝ωrv＝1，ωrh＝1，ωlh＝-1。在经历一次完整的实验过程后，根据先前的实验数据采用最小均方误差算法更新权重系数和偏移量。
S4，在头姿交互控制过程中，每隔2分钟记录一次用户的头夹肌共6个传感器的肌电数据，每次记录30秒的肌电数据作为一次疲劳程度评估。
具体在一个评估周期内，以1000的数据点为时间窗，步长为500点进行重叠率为50％的滑动窗口计算。每次进行两种计算，分别得到每个窗口时间内的积分肌电值和平均功率频率，依次计算得到完整30秒内所有的积分肌电值和平均功率频率；然后对每次评估周期内的数据进行一维的最小二乘拟合，根据拟合后直线的斜率来判断对应评价指标在评价周期内的变化；当用户的积分肌电值上升而平均功率频率降低试，则判断用户处于疲劳状态，切换为运动想象脑电控制模式；其他情况则判断为非疲劳状态，继续保持头姿交互控制模式。
S5，将S3步骤中虚拟光标的位置通过TCP通信实时发送到轮椅控制模块，生成轮椅左右轮的速度指令驱动轮椅运动。根据虚拟光标位置坐标(x，y)的变化实时连续输出轮椅的速度指令，如图3所示。其公式如下：
将生成的速度指令按照差分运动学模型分解发送给底层的PID控制器调节左右轮电机的转速，驱动轮椅运动。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于运动想象脑电与头姿的智能轮椅，包括电动轮椅主体，其特征在于，还包括安装在主体上的附属结构：脑电采集设备、头姿采集设备、颈部肌电采集设备、头部姿态估计模块、虚拟光标控制模块、轮椅人机交互接口模块、疲劳感知模块；Kinect深度相机、PC控制器托盘、蓄电池及逆变器；
所述脑电采集设备安装在电动轮椅背部，通过蓄电池经逆变器进行供电；Kinect深度相机安装在用户正前方，脑电与头姿信号处理和轮椅控制由PC控制器进行处理，PC控制器放在用户正前方的托盘上，方便进行视觉反馈和人机交互；
所述脑电采集设备采集的脑电信号通过USB接口传输到虚拟光标控制模块，再使用TCP通信发送到轮椅人机交互接口，最后通过串口通信方式将控制指令传达给电动轮椅；
所述头姿采集设备采集的头部姿态通过USB接口传输到头部姿态估计模块，在使用TCP通信发送到轮椅人机交互接口，最后通过串口通信方式将控制指令传达给电动轮椅；
所述肌电采集设备采集的颈部肌电信号，通过TCP通信传输到疲劳感知模块，根据疲劳感知的结果判断切换脑电控制和头姿控制。
2.如权利要求1所述的智能轮椅的控制方法，其特征在于，一方面，Kinect传感器捕获的头姿深度图像经头姿估计模块估计出头部实时姿态后，进一步映射至机器人轮椅人机交互接口产生控制指令，实现轮椅的头姿交互控制；另一方面，Neuroscan脑电控制器实时采集运动想象脑电信号，经前期处理后用于虚拟光标的控制，受控的虚拟光标同步映射到机器人轮椅人机交互接口，产生连续脑电控制指令实现轮椅的交互；Delsys肌电传感器采集的颈部表面肌电信号经疲劳感知模块评估后，根据疲劳状态确定是否产生切换指令，实现头姿与脑电两种交互方式的切换；具体包括以下步骤：
S1、在头姿控制模式下，利用Kinect深度相机实时获取用户的头部姿态，具体包括：
S11、利用随机森林融合最近点迭代算法估计受试者的头部姿态；
S12、将受试者的实时头部姿态坐标映射到轮椅控制模块；
S13、根据头部姿态坐标的变化，实时连续输出轮椅的速度指令；
S2、在运动想象脑电控制模式下，运动想象脑电控制需要通过筛选实验，获取受试者感觉运动节律参数，分析实验数据找到每位受试者各自最优的参数配置；
S3、经过特征提取和特征转化，将受试者的脑电信号转化为虚拟光标的控制指令；
S4、将S3步骤中受控的虚拟光标同步映射到机器人轮椅人机交互接口，生成轮椅左右轮的速度指令驱动轮椅运动；
S5、实时监测用户颈部肌肉的疲劳生理响应，根据疲劳评估模型判断受试者颈部肌肉的疲劳状态，确定是否在运动想象脑电与头姿两种交互控制方式中进行切换。
3.如权利要求2所述的控制方法，其特征在于，在步骤S2中，脑电采集设备为Neuroscan公司研制的SynAmp2放大器和64通道Quik-Cap电极帽，选用其中的FC6、FC4、FC2、FC5、FC3、FC1、C6、C4、C2、C5、C3、C1、CP6、CP4、CP2、CP5、CP3、CP1共18个通道，使用Scan4.5采集软件采集用户的脑电信号。
4.如权利要求2所述的控制方法，其特征在于，所述步骤S3中，具体如下：在此步骤中，使用共同平均参考滤波器对采集到的脑电信号进行空间滤波，计算出中心电极以外的所有电极的平均值，将其作为参考,其公式为
其中，sh(t)为t时刻目标电极的原始电位，为经过CAR空间滤波后的电位，si(t)为记录到的第i个电极处的电位；
再利用基于自回归模型的最大熵法即burg算法进行时间滤波，将Mu节律和Beta节律的时域信号转换为频域特征进行分析；AR模型表示为：
其中，u(n)为均值为零，方差为δ2的白噪声，p为阶数，ak为AR模型参数;计算出AR模型参数后，再计算功率谱：
根据对比用户进行运动想象和休息两种状态之间谱能量的变化，找出差异最大处的通道和频率代表与用户的运动想象最为相关，并将此处的脑电信号幅值作为最终的信号特征；
最后通过线性回归的方法，将信号特征转换为光标的控制信号，虚拟光标垂直运动分量公式为：
Mv＝ωrvRv+ωlvLv+bv
其中Rv为大脑右侧特定频段的幅值，Lv为左侧特定频段的幅值；ωrv和ωrv为对应权重系数；虚拟光标水平运动分量公式为：
Mh＝ωrhRh+ωlhLh+bh
其中Rh为大脑右侧特定频段的幅值，Lh为左侧特定频段的幅值；ωrh和ωlh为对应的权重系数；初始状态下，系数ωrv＝ωrv＝1，ωrh＝1，ωlh＝-1；在经历一次完整的实验过程后，根据先前的实验数据采用最小均方误差算法更新权重系数和偏移量。
5.如权利要求2所述的控制方法，其特征在于，所述步骤S4中，根据虚拟光标位置坐标(x，y)的变化实时连续输出轮椅的速度指令，其公式如下：
其中x和y为虚拟光标的坐标，x′和y′为映射后控制光标的坐标，vl和vr为左右轮轴心的移动速度，R为驱动轮半径，L为驱动轮轮距，v和ω为轮椅的线速度和角速度；将生成的速度指令按照差分运动学模型分解发送给底层的PID控制器调节左右轮电机的转速，驱动轮椅运动。
6.如权利要求2所述的控制方法，其特征在于，所述步骤S5中，疲劳评估模型根据颈部肌肉疲劳生理响应的积分肌电值和平均功率频率，在一个评估周期内如果积分肌电值上升而平均功率频率降低，则判断用户处于疲劳状态，反之为非疲劳状态；当用户处于疲劳状态时，由头姿交互模式切换到运动想象脑电控制模式；当用户处于非疲劳状态时，由运动想象脑电控制模式切换到头姿交互模式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110969471.3A CN113616436B (zh) | 2021-08-23 | 2021-08-23 | 一种基于运动想象脑电与头姿的智能轮椅及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110969471.3A CN113616436B (zh) | 2021-08-23 | 2021-08-23 | 一种基于运动想象脑电与头姿的智能轮椅及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113616436A CN113616436A (zh) | 2021-11-09 |
| CN113616436B true CN113616436B (zh) | 2024-01-16 |
Family
ID=78387286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110969471.3A Active CN113616436B (zh) | 2021-08-23 | 2021-08-23 | 一种基于运动想象脑电与头姿的智能轮椅及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113616436B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115804695A (zh) * | 2023-01-09 | 2023-03-17 | 华南脑控(广东)智能科技有限公司 | 一种融合双姿态传感器的多模态脑机接口轮椅控制系统 |
| CN116483097B (zh) * | 2023-06-25 | 2023-08-22 | 小舟科技有限公司 | 人机交互智能轮椅的控制方法及装置、轮椅、存储介质 |
| CN117084872B (zh) * | 2023-09-07 | 2024-05-03 | 中国科学院苏州生物医学工程技术研究所 | 基于颈部肌电的助行器控制方法、系统、介质及助行器 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134240A (zh) * | 2019-05-14 | 2019-08-16 | 南京邮电大学 | 基于脑电与头姿混合接口的机器人轮椅控制系统 |
| CN110315544A (zh) * | 2019-06-24 | 2019-10-11 | 南京邮电大学 | 一种基于视频图像演示的机器人操作学习方法 |
| CN111708368A (zh) * | 2020-07-07 | 2020-09-25 | 上海工程技术大学 | 一种基于激光与视觉slam融合的智能轮椅 |
| CN111880656A (zh) * | 2020-07-28 | 2020-11-03 | 中国人民解放军国防科技大学 | 一种基于p300信号的智能脑控系统及康复设备 |
| CN113081525A (zh) * | 2021-03-30 | 2021-07-09 | 南京工程学院 | 一种智能助行设备及智能助行设备的控制方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012027336A1 (en) * | 2010-08-23 | 2012-03-01 | The Regents Of The University Of California | Orthesis system and methods for control of exoskeletons |
| BR112015006203B1 (pt) * | 2012-09-19 | 2022-05-24 | Follow Inspiration Unipessoal, Lda | Sistema autônomo para a localização de uma pessoa |
| US20180228430A1 (en) * | 2017-02-10 | 2018-08-16 | Mindmaze Holding Sa | System, method and apparatus for rehabilitation with tracking |
-
2021
- 2021-08-23 CN CN202110969471.3A patent/CN113616436B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134240A (zh) * | 2019-05-14 | 2019-08-16 | 南京邮电大学 | 基于脑电与头姿混合接口的机器人轮椅控制系统 |
| CN110315544A (zh) * | 2019-06-24 | 2019-10-11 | 南京邮电大学 | 一种基于视频图像演示的机器人操作学习方法 |
| CN111708368A (zh) * | 2020-07-07 | 2020-09-25 | 上海工程技术大学 | 一种基于激光与视觉slam融合的智能轮椅 |
| CN111880656A (zh) * | 2020-07-28 | 2020-11-03 | 中国人民解放军国防科技大学 | 一种基于p300信号的智能脑控系统及康复设备 |
| CN113081525A (zh) * | 2021-03-30 | 2021-07-09 | 南京工程学院 | 一种智能助行设备及智能助行设备的控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113616436A (zh) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113616436B (zh) | 一种基于运动想象脑电与头姿的智能轮椅及控制方法 | |
| He et al. | A wireless BCI and BMI system for wearable robots | |
| CN109366508A (zh) | 一种基于bci的高级机械臂控制系统及其实现方法 | |
| CN112114670B (zh) | 一种基于混合脑机接口的人机共驾系统及其控制方法 | |
| CN108478189A (zh) | 一种基于脑电信号的人体外骨骼机械臂控制系统及方法 | |
| CN110134240A (zh) | 基于脑电与头姿混合接口的机器人轮椅控制系统 | |
| CN109521880B (zh) | 一种基于混合生物电信号驱动的遥操作机器人系统及方法 | |
| CN104758130B (zh) | 一种基于脑机接口的智能护理装置及方法 | |
| CN105411580A (zh) | 一种基于触听觉诱发电位的脑控轮椅系统 | |
| CN102331782A (zh) | 一种多模态脑机接口的自动车控制方法 | |
| CN113143676B (zh) | 一种基于脑肌电协同的外肢体手指的控制方法 | |
| CN107961120A (zh) | 一种基于脑电控制的智能轮椅控制系统 | |
| CN106491251A (zh) | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 | |
| CN113359991B (zh) | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 | |
| CN116360600A (zh) | 一种基于稳态视觉诱发电位的空间定位系统 | |
| CN108433719B (zh) | 一种基于心电和操控数据的弯道驾驶能力评价方法 | |
| CN113647938A (zh) | 一种基于生理信号的超前检测运动状态变化的方法及系统 | |
| Liu et al. | Detection of lower-limb movement intention from EEG signals | |
| CN206147520U (zh) | 一种用于基于运动想象和p300相结合的脑机接口控制虚拟现实的数据采集装置 | |
| CN107168313A (zh) | 控制车辆驾驶的方法及装置 | |
| Ravirahul et al. | Mind wave controlled assistive robot | |
| Hassan et al. | Real-time control of a mobile robot using electrooculogram based eye tracking system | |
| Bharali et al. | A self-governing wheelchair for severely disabled patients in an indoor environment utilizing EEG and laser technologies | |
| CN112936259A (zh) | 一种适用于水下机器人的人机协作方法 | |
| Shashidhar et al. | Smart Electric Wheelchair for disabled and paralyzed person using Attention Values on Arduino |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |