CN115804695A - 一种融合双姿态传感器的多模态脑机接口轮椅控制系统 - Google Patents
一种融合双姿态传感器的多模态脑机接口轮椅控制系统 Download PDFInfo
- Publication number
- CN115804695A CN115804695A CN202211221512.1A CN202211221512A CN115804695A CN 115804695 A CN115804695 A CN 115804695A CN 202211221512 A CN202211221512 A CN 202211221512A CN 115804695 A CN115804695 A CN 115804695A
- Authority
- CN
- China
- Prior art keywords
- wheelchair
- user
- electric wheelchair
- module
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 230000003993 interaction Effects 0.000 claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims abstract description 20
- 230000004397 blinking Effects 0.000 claims abstract description 17
- 210000004556 brain Anatomy 0.000 claims description 26
- 230000000875 corresponding effect Effects 0.000 claims description 17
- 230000009471 action Effects 0.000 claims description 11
- 230000001276 controlling effect Effects 0.000 claims description 11
- 238000011065 in-situ storage Methods 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 51
- 238000000034 method Methods 0.000 abstract description 19
- 230000008569 process Effects 0.000 abstract description 5
- 210000003128 head Anatomy 0.000 description 37
- 238000010586 diagram Methods 0.000 description 5
- 230000004424 eye movement Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 208000020431 spinal cord injury Diseases 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种融合双姿态传感器的多模态脑机接口轮椅控制系统，包括用户头部信号采集与识别模块、用户头部姿态检测模块、蓝牙模块、人机交互界面、轮椅姿态检测模块、语音模块、指令生成模块、电动轮椅执行模块；本发明融合了用户在人机交互界面通过虚拟光标眨眼点击按钮控制电动轮椅运动模式与使用姿态角差值控制电动轮椅转向两种控制方式，相比于其他控制方式更加快速、准确、稳定，控制功能更加丰富；同时本发明还融合了语音信号触发停车指令，设置了多种防止电动轮椅误动作、误启动的措施，允许用户在使用过程中更多地观察周围环境，实用性好，安全性高。
Description
技术领域
本发明属于电动轮椅控制技术领域，具体涉及一种融合双姿态传感器的多模态脑机接口轮椅控制系统。
背景技术
瘫痪病人和行动不便的老年人对轮椅有很大需求，对于运动能力有障碍的人来说，普通轮椅并不能满足他们对舒适性和机动性的要求。因此，人们发明了电动轮椅，以节省使用者的体力，并增加其机动性。常见的电动轮椅控制方式很大部分是手动的，包括操纵方向杆和操作键盘，需要用户具有良好的上肢运动能力。然而，对于一些患有肌萎缩性侧索硬化(ALS)，脊髓损伤(SCI)等疾病造成严重运动障碍的人，深度瘫痪丧失四肢运动功能，很难通过传统的手动控制方式操控轮椅。需要为这类人群提供一种非手动的人机交互方式，让他们能够快速、准确地输出控制指令。
人机接口系统是一种允许用户与外部设备交互的通信系统。基于脑电信号的HMI也称为脑机接口，通常基于事件相关电位开发，包括慢皮质电位、稳态视觉诱发电位、P300电位和感觉运动节律(μ和β节律)。脑机接口可以将人的意图转化为控制信号，允许人的大脑和技术设备之间直接通信，不需要手动控制，提供了一种独立于大脑正常输出通路的传递大脑信息的沟通方法。与不同眼球运动相关的EOG信号，如水平/垂直眼球运动、凝视和眨眼，也被广泛用于开发人机界面。EOG通常具有很强的信号幅度，这使得它相对容易检测，因此适合为那些有能力控制其眼球运动的人开发人机界面。
姿态传感器是基于MEMS技术的高性能三维运动姿态测量系统。它包含三轴陀螺仪、三轴加速度计和三轴磁力计等辅助运动传感器，通过内嵌的低功耗ARM处理器输出校准过的角速度，加速度，磁数据等。通过基于四元数的传感器数据算法进行运动姿态测量，实时输出以四元数、欧拉角等表示的零漂移三维姿态数据。姿态传感器广泛应用在精准农业、太阳能光伏、通信基站、工程机械安全检测、智能机器人等多个领域，其主要作用就是控制平衡角度，进行安全检测，实现产品远程姿态监控，远程数据传输，保障人员或设备作业安全。
目前，基于脑电信号的脑机接口轮椅控制系统主要使用运动想象、P300以及SSVEP等脑电模式。例如中国专利(基于多模态脑机接口的智能轮椅，公开号：CN102309380A)，该发明通过运动想象和P300实现电动轮椅控制。中国专利(一种基于SSVEP的脑控轮椅的控制系统，公开号：CN112370259A)，该发明通过SSVEP实现电动轮椅控制。运动想象方法生成一个控制指令的最短，但是只能提供2到3个控制指令，通常主要用于控制轮椅转向，且运动想象方法需要先采集大量的训练数据训练模型，比较耗时，训练结果个体差异很大。P300和SSVEP可以提供丰富的控制命令，但是它们的响应时间比较长，准确率不高，容易造成疲劳，不适合长时间控制。以上控制方法均需要使用者佩戴电极帽，不便穿戴且所需通道数较多。同时基于视觉刺激发出指令的控制方式需要使用者一直注视显示屏幕，不利于使用者在轮椅行驶过程中观察环境，有一定危险性。
目前，基于眼电的轮椅控制系统主要通过检测眨眼信号来触发相应的控制按钮，实现电动轮椅控制。例如中国专利(基于眼电的轮椅控制系统，公开号：CN107007407A)，该发明通过检测眨眼信号并将其定位到某一个具体的按键上实现电动轮椅控制。使用眼电控制电动轮椅有以下缺点：第一，眨眼检测单元不能快速准确地识别眨眼是否为有意识眨眼，容易导致误操作；第二，区分不同眼部动作的准确率有待提高；第三，多种眼部动作的使用导致控制比较复杂，容易引起眼部疲劳，不适合长时间控制；第四，单纯地使用眼电控制轮椅需要使用者一直注视显示屏幕，不利于使用者在轮椅行驶过程中观察环境，有一定危险性。
目前，惯性测量单元在轮椅控制系统中主要用于姿态检测与控制。例如中国专利(一种基于双陀螺仪智能轮椅的姿态控制方法和装置，公开号：CN113244062A)，该发明通过检测使用者相对于轮椅的相对位姿信息，输出驱动指令，控制轮椅运转。但是该种控制方法对于严重运动障碍患者不友好，使用者无法灵活改变身体姿态，从而无法实现控制轮椅。
发明内容
本发明的目的在于提供一种融合双姿态传感器的多模态脑机接口轮椅控制系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种融合双姿态传感器的多模态脑机接口轮椅控制系统，包括用户头部信号采集与识别模块、用户头部姿态检测模块、蓝牙模块、人机交互界面、轮椅姿态检测模块、语音模块、指令生成模块、电动轮椅执行模块；
所述用户头部信号采集与识别模块用于采集用户的眼电和注意力信号，然后将采集到的多模态信号经放大滤波后进行特征提取与计算识别，实现对用户的眨眼检测和大脑专注度检测；
所述用户头部姿态检测模块由三轴加速度计、三轴陀螺仪和三轴磁力计构成头部姿态传感器，集成在用户头部佩戴的脑机智能头环上，用于获取用户头部实时的方位姿态角；
所述蓝牙模块通过蓝牙将脑机智能头环、平板电脑和电动轮椅连接起来，将脑机智能头环获取的眨眼信号传输给人机交互界面实现指令触发；将实时用户头部方位姿态角和轮椅方位姿态角传输给指令生成模块，用于生成电动轮椅转向指令并控制电动轮椅的转向速度；
所述人机交互界面通过平板电脑的显示屏进行呈现，通过蓝牙模块与脑机智能头环和电动轮椅连接，用于系统状态的显示以及为用户提供轮椅操控界面；
所述轮椅姿态检测模块安装在轮椅上的平板电脑，由三轴加速度计、三轴陀螺仪和三轴磁力计集成为轮椅姿态传感器，用于获取轮椅实时的方位姿态角；
所述语音模块集成在平板电脑上，用于接收用户的语音信号，收到语音信号后触发指令生成模块生成控制指令；
所述指令生成模块根据虚拟光标在人机交互界面中对不同功能按钮的点击，输出对应的控制指令给电动轮椅执行模块；根据用户头部方位姿态角和电动轮椅方位姿态角的角度差控制电动轮椅的转向方向和转向速度；根据语音模块收到的用户语音信号生成停车指令控制电动轮椅停车；
所述电动轮椅执行模块根据接收到的控制指令，控制电动轮椅执行相对应的动作。
优选的，用户在所述人机交互界面中用户通过虚拟光标眨眼点击按钮，是在用户头部信号采集与识别模块中对用户眨眼所产生的眼电信号进行实时检测，判断用户当前是否有眨眼动作。
优选的，专注度检测是对用户当前大脑专注度进行实时检测，输出一个指定区间范围内的数值，数值越大则代表用户大脑专注度越高；算法内部为用户大脑专注度检测预设了一个阈值，当系统检测到用户有执行眨眼动作并且专注度检测的输出大于预设阈值时，则控制虚拟光标执行一次点击操作，反之则虚拟光标不执行任何点击操作。
优选的，所述人机交互界面设置为功能选择界面和电动轮椅运行界面，界面上特定按钮的点击有效时间有限制，以防止电动轮椅误启动。
优选的，所述指令生成模块是融合了眼电信号、用户头部方位姿态角和电动轮椅方位姿态角的角度差、语音信号等多模态信号生成轮椅控制指令。
优选的，用户在电动轮椅静止状态下眨眼点击人机交互界面上的AI轮椅按钮进入功能选择界面，眨眼点击需要的运动状态，然后眨眼点击对应的启动按钮，电动轮椅开始动作；所有眨眼点击按钮触发的指令都只控制电动轮椅的运动模式或者控制电动轮椅直行方向的动作。
优选的，使用用户头部的方位姿态角和电动轮椅的方位姿态角角度差控制轮椅的转向；在控制算法内部将角度差通过一个PID控制器的比例控制环节，得到对应的电动轮椅转向角速度；同时设置一个固定的角度差阈值范围，在电动轮椅直行模式下，当角度差小于阈值下界时，电动轮椅向左转向；当角度差大于阈值上界时，电动轮椅向右转向；当角度差在阈值范围内时，电动轮椅直行；在电动轮椅原地转动模式下，当角度差小于阈值下界时，电动轮椅原地左转；当角度差大于阈值上界时，电动轮椅原地右转；当角度差在阈值范围内时，电动轮椅静止；当角度差越大时，对应的电动轮椅转向角速度越大，转向幅度越大；当语音模块识别到停车关键词“停车停车”后，所述指令生成模块生成停车指令传输给电动轮椅执行模块控制轮椅停车。
与现有技术相比，本发明的有益效果是：本发明能够快速准确地检测到用户眨眼信号和大脑专注度水平，从而快速准确地判断虚拟光标是否执行点击操作；能够实时检测用户头部姿态方位角和电动轮椅姿态方位角，通过角度差控制电动轮椅的转向，相比于其他控制方式更加快速、准确、顺滑；人机交互界面结合虚拟光标点击操作可以提供更丰富的控制指令，相比其他眼电控制方式更加快速准确，控制功能更加丰富；本发明设置了多种防止控制指令误触发，电动轮椅误启动的措施，用户使用更加安全；本发明允许用户在使用过程中无需一直注视显示屏幕，方便用户更好地观察周围环境；本发明还具有设备成本低，操作简单，实用性好的优点。
附图说明
图1是本发明具体实施方式中所述各装置佩戴、安装位置主视图；
图2是本发明具体实施方式中所述各装置佩戴、安装位置侧视图；
图3是本发明具体实施方式中所述各装置佩戴、安装位置俯视图；
图4是本发明具体实施方式的结构示意图；
图5是本发明人机交互界面功能选择界面示意图；
图6是本发明人机交互界面前进功能初始界面示意图；
图7是本发明人机交互界面前进功能运行界面示意图；
图8是本发明人机交互界面后退功能初始界面示意图；
图9是本发明人机交互界面后退功能运行界面示意图；
图10是本发明人机交互界面原地转动功能初始界面示意图；
图11是本发明人机交互界面原地转动功能运行界面示意图；
图12是本发明电动轮椅转向功能实现原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1至图12，本发明提供一种技术方案：
图1、图2和图3分别从主视、侧视、俯视三个方向，展示了本发明具体实施方式中所述各信号采集识别装置与姿态控制装置佩戴、安装位置：用户在额头正前方佩戴一款指定的脑机智能头环，坐在改装过的电动轮椅上；一款平板电脑显示屏朝向用户，固定在电动轮椅上；用户面向正前方坐好，准备控制电动轮椅。
如图4所示，本发明实施了一种融合双姿态传感器的多模态脑机接口轮椅控制系统，包括用户头部信号采集与识别模块1、用户头部姿态检测模块2、蓝牙模块3、人机交互界面4、轮椅姿态检测模块5、语音模块6、指令生成模块7、电动轮椅执行模块8。
所述用户头部信号采集与识别模块1用于采集用户的眼电和注意力信号，然后将采集到的多模态信号经放大滤波后进行特征提取与计算识别，实现对用户的眨眼检测和大脑专注度检测，检查所述信号波形特征参数是否满足阈值条件,从而判断用户是否存在眨眼和用户大脑的专注程度，并根据检测的结果对人机交互界面上的虚拟光标进行控制；
所述用户头部姿态检测模块2由三轴加速度计、三轴陀螺仪和三轴磁力计构成头部姿态传感器，集成在用户头部佩戴的脑机智能头环上，用于获取用户头部实时的方位姿态角。
所述蓝牙模块3通过蓝牙将脑机智能头环、平板电脑和电动轮椅连接起来，将用户头部信号采集与识别模块1获取的眨眼信号传输给人机交互界面4实现指令触发；将用户头部姿态检测模块2获取的实时用户头部方位姿态角和轮椅姿态检测模块5获取的轮椅方位姿态角传输给指令生成模块7，用于生成电动轮椅转向指令并通过蓝牙模块3发送给电动轮椅执行模块8；
所述人机交互界面4通过一个平板电脑的显示屏进行呈现，该平板电脑固定于轮椅之上，正面朝向用户，通过蓝牙模块3与用户头部姿态检测模块2和电动轮椅执行模块8连接，用于系统状态的显示以及为用户提供轮椅操控界面；
轮椅姿态检测模块5由固定在轮椅上的平板电脑提供，三轴加速度计、三轴陀螺仪和三轴磁力计集成为轮椅姿态传感器，用于获取轮椅实时的方位姿态角；
语音模块6集成在平板电脑上，用于接收用户的语音信号，收到语音信号后触发指令生成模块7生成控制指令；
指令生成模块7根据虚拟光标在人机交互界面5中对不同功能按钮的点击，通过蓝牙模块3输出对应的控制指令给电动轮椅执行模块8；根据用户头部方位姿态角和电动轮椅方位姿态角的角度差控制电动轮椅的转向方向和转向速度；当语音模块6识别到停车关键词“停车停车”后，所述指令生成模块7生成停车指令传输给电动轮椅执行模块8控制轮椅停车。
电动轮椅执行模块8根据接收到的控制指令，控制电动轮椅执行相对应的动作。
用户头部信号采集与识别模块1中，对用户眨眼所产生的眼电信号进行实时检测，判断用户当前是否有眨眼动作。专注度检测是对用户当前大脑专注度进行实时检测，输出一个指定区间范围内的数值，数值越大则代表用户大脑专注度越高。算法内部为用户大脑专注度检测预设了一个阈值，当系统检测到用户有执行眨眼动作并且专注度检测的输出大于预设阈值时，则控制虚拟光标执行一次点击操作，反之则虚拟光标不执行任何点击操作。
人机交互界面4，其包括功能选择界面、功能初始界面和功能运行界面三级界面。如图5所示是功能选择界面，该界面共有6个按钮。前进、后退和旋转三个功能按钮分别代表电动轮椅前进、后退和原地转动三种运动方式，用户点击需要的运动方式按钮后10秒内点击确定按钮后可跳转至对应的运动初始界面；点击退出按钮退出到进入界面；点击SOS按钮可发送求救信息。此界面下轮椅保持停止状态。如图6所示是前进功能初始界面，该界面共有2个按钮，此界面下轮椅保持停止状态。用户点击启动按钮后电动轮椅开始向前直行，界面切换至如图7所示的前进功能运行界面，启动按钮消失，显示加速、减速、停止和SOS按钮。只有点击启动按钮后轮椅才会动作；点击SOS按钮发送求救信息，跳转到功能选择界面，用户需重新选择操作功能；在10秒内点击启动按钮才有效，否则界面会跳转回功能选择界面，用户需要重新选择功能。如图7所示是前进功能运行界面，该界面共有4个按钮。电动轮椅默认以低速挡前进，用户点击加速按钮后，电动轮椅加速至高速挡运行；在高速状态下，用户点击减速按钮，电动轮椅减速至低速挡运行；点击停止按钮后电动轮椅停车，界面跳转到功能选择界面，用户需重新选择操作功能；点击SOS按钮后电动轮椅停车，并发送求救信息，界面跳转到功能选择界面，用户需重新选择操作功能。如图8所示是后退功能初始界面，该界面共有2个按钮，此界面下轮椅保持停止状态。用户点击倒车按钮后电动轮椅开始向后直行，界面切换至如图9所示的后退功能运行界面，倒车按钮消失，显示停止和SOS按钮。只有点击倒车按钮后轮椅才会动作；点击SOS按钮发送求救信息，跳转到功能选择界面，用户需重新选择操作功能；在10秒内点击倒车按钮才有效，否则界面会跳转回功能选择界面，用户需要重新选择功能。如图9所示是后退功能运行界面，该界面共有2个按钮。用户点击停止按钮后轮椅停车，界面跳转到功能选择界面，用户需重新选择操作功能。用户点击SOS按钮后轮椅停车，并发送求救信息，界面跳转到功能选择界面，用户需重新选择操作功能。如图10所示是原地转动功能初始界面，该界面共有2个按钮，此界面下轮椅保持停止状态。用户点击原地转动按钮后，电动轮椅先是处于停止状态，用户转头角度差超过设定阈值后轮椅开始原地转动，界面切换至如图11所示的后退功能运行界面，原地转动按钮消失，显示停止和SOS按钮。只有点击原地转动按钮后轮椅才会动作；点击SOS按钮发送求救信息，界面跳转到功能选择界面，用户需重新选择操作功能；在10秒内点击原地转动按钮才有效，否则界面会跳转回功能选择界面，用户需要重新选择功能。如图11所示是原地转动功能运行界面，该界面共有2个按钮。用户点击停止按钮后轮椅停车，界面跳转到功能选择界面，用户需重新选择操作功能。用户点击SOS按钮后轮椅停车，并发送求救信息，界面跳转到功能选择界面，用户需重新选择操作功能。
所述指令生成模块7是融合了眼电信号、用户头部方位姿态角和电动轮椅方位姿态角的角度差、语音信号等多模态信号生成轮椅控制指令的，其具体过程如下：用户在电动轮椅静止状态下眨眼点击人机交互界面4中的AI轮椅按钮进入功能选择界面，眨眼点击需要的运动状态，然后眨眼点击对应的启动按钮，电动轮椅开始动作。所有眨眼点击按钮触发的指令都只用来选择电动轮椅的运动模式或者控制电动轮椅直行方向的动作。使用用户头部方位姿态角和电动轮椅方位姿态角角度差控制轮椅的转向。如图12所示，在控制算法内部将角度差通过一个PID控制器的比例控制环节(P)，得到对应的电动轮椅转向角速度。同时设置一个固定的角度差阈值范围，在电动轮椅直行模式下(前进或后退)，当角度差小于阈值下界时，电动轮椅向左转向；当角度差大于阈值上界时，电动轮椅向右转向；当角度差在阈值范围内时，电动轮椅直行。在电动轮椅原点转动模式下，当角度差小于阈值下界时，电动轮椅原地左转；当角度差大于阈值上界时，电动轮椅原地右转；当角度差在阈值范围内时，电动轮椅静止。当角度差越大时，对应的电动轮椅转向角速度越大，转向幅度越大。当语音模块6识别到停车关键词“停车停车”后，所述指令生成模块7生成停车指令传输给电动轮椅执行模块8控制轮椅停车。
区分有意识眨眼与无意识眨眼是现有的眼电控制系统面临的一个普遍难题，不恰当的处理很容易会导致误触发。例如，仅识别到一次眨眼即控制虚拟光标点击，这在电动轮椅控制系统中将会存在安全隐患。但采用识别到多次连续眨眼后再控制虚拟光标点击的方式则会导致点击指令生成时间较长，影响在电动轮椅控制中对快速性的要求，也容易造成应急危险。为了解决这一问题，本发明采用眨眼检测和大脑专注度检测共同决策的方法，当系统检测到用户有执行眨眼动作且大脑专注度检测的输出大于阈值时，则控制虚拟光标执行一次点击操作，反之则虚拟光标不执行任何点击操作。这样不仅缩短了指令生成的时间，而且保证了系统的安全性。
本实施例中，选择InvenSense公司生产的MPU6050芯片和上海矽睿公司生产的QMC5883L芯片；MPU6050内置三轴MEMS陀螺仪和三轴MEMS加速度计，可以通过400kHz的I2C接口或者20MHz的SPI接口将六轴传感器原始数据传输给控制器；QMC5883L芯片源于Honeywell的HMC5883L芯片，是一款表面贴装的集成了信号处理电路的三轴磁性传感器，应用场景主要包括罗盘、导航、无人机、机器人和手持设备等一些高精度的场合，具有低噪声、高精度、低功耗、失调消除和温度补偿等优点。该设备拥有支持100kHz的标准模式和400kHz快速模式的I2C接口传输三轴原始磁强数据。
本发明较现有技术的一大优势在于引入了人机交互界面，并且采用双姿态传感器来控制界面中虚拟光标的移动，能够快速地将光标移动到某一具体按钮并能够准确检测到眨眼点击信号，从而实现了快速、准确且充分地提供电动轮椅控制指令。现有的非手动轮椅控制技术如脑电中的运动想象控制模式通常只能提供2到3个控制指令且准确率和用户预训练效果有很大关系；而P300控制模式生成一个控制命令一般需要4-6秒，SSVEP控制模式则容易引发疲劳和癫痫。现有基于眼电的轮椅控制技术生成控制指令的时间最少也要2-3秒。本发明公开的方法可以很好地解决这些问题。
本发明的另一大优势在于设备成本低，操作简单，实用性好，安全性高。该系统信号采集的硬件设备为自制的便携式放大器，只需使用三个干电极采集信号，成本低廉，且内置于可穿戴脑机智能头环中，操作更加便捷。本发明所提出的电动轮椅控制模式非常丰富，可满足用户在不同场景下的使用需求，适用范围广泛。用户在准备控制电动轮椅时需要在不同界面点击所需功能对应按钮，有效防止了因误触发导致轮椅误启动造成的安全隐患，且用户在电动轮椅运行过程中无需长时间注视屏幕，完全通过转动头部控制电动轮椅转向，便于用户观察周围环境，提高了电动轮椅使用时的安全性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种融合双姿态传感器的多模态脑机接口轮椅控制系统，其特征在于：包括用户头部信号采集与识别模块、用户头部姿态检测模块、蓝牙模块、人机交互界面、轮椅姿态检测模块、语音模块、指令生成模块、电动轮椅执行模块；
所述用户头部信号采集与识别模块用于采集用户的眼电和注意力信号，然后将采集到的多模态信号经放大滤波后进行特征提取与计算识别，实现对用户的眨眼检测和大脑专注度检测；
所述用户头部姿态检测模块由三轴加速度计、三轴陀螺仪和三轴磁力计构成头部姿态传感器，集成在用户头部佩戴的脑机智能头环上，用于获取用户头部实时的方位姿态角；
所述蓝牙模块通过蓝牙将脑机智能头环、平板电脑和电动轮椅连接起来，将脑机智能头环获取的眨眼信号传输给人机交互界面实现指令触发；将实时用户头部方位姿态角和轮椅方位姿态角传输给指令生成模块，用于生成电动轮椅转向指令并控制电动轮椅的转向速度；
所述人机交互界面通过平板电脑的显示屏进行呈现，通过蓝牙模块与脑机智能头环和电动轮椅连接，用于系统状态的显示以及为用户提供轮椅操控界面；
所述轮椅姿态检测模块安装在轮椅上的平板电脑，由三轴加速度计、三轴陀螺仪和三轴磁力计集成为轮椅姿态传感器，用于获取轮椅实时的方位姿态角；
所述语音模块集成在平板电脑上，用于接收用户的语音信号，收到语音信号后触发指令生成模块生成控制指令；
所述指令生成模块根据虚拟光标在人机交互界面中对不同功能按钮的点击，输出对应的控制指令给电动轮椅执行模块；根据用户头部方位姿态角和电动轮椅方位姿态角的角度差控制电动轮椅的转向方向和转向速度；根据语音模块收到的用户语音信号生成停车指令控制电动轮椅停车；
所述电动轮椅执行模块根据接收到的控制指令，控制电动轮椅执行相对应的动作。
2.根据权利要求1所述的一种融合双姿态传感器的多模态脑机接口轮椅控制系统，其特征在于：用户在所述人机交互界面中用户通过虚拟光标眨眼点击按钮，是在用户头部信号采集与识别模块中对用户眨眼所产生的眼电信号进行实时检测，判断用户当前是否有眨眼动作。
3.根据权利要求1所述的一种融合双姿态传感器的多模态脑机接口轮椅控制系统，其特征在于：专注度检测是对用户当前大脑专注度进行实时检测，输出一个指定区间范围内的数值，数值越大则代表用户大脑专注度越高；算法内部为用户大脑专注度检测预设了一个阈值，当系统检测到用户有执行眨眼动作并且专注度检测的输出大于预设阈值时，则控制虚拟光标执行一次点击操作，反之则虚拟光标不执行任何点击操作。
4.根据权利要求1所述的一种融合双姿态传感器的多模态脑机接口轮椅控制系统，其特征在于：所述人机交互界面设置为功能选择界面和电动轮椅运行界面，界面上特定按钮的点击有效时间有限制，以防止电动轮椅误启动。
5.根据权利要求1所述的一种融合双姿态传感器的多模态脑机接口轮椅控制系统，其特征在于：所述指令生成模块是融合了眼电信号、用户头部方位姿态角和电动轮椅方位姿态角的角度差、语音信号等多模态信号生成轮椅控制指令。
6.根据权利要求5所述的一种融合双姿态传感器的多模态脑机接口轮椅控制系统，其特征在于：用户在电动轮椅静止状态下眨眼点击人机交互界面上的AI轮椅按钮进入功能选择界面，眨眼点击需要的运动状态，然后眨眼点击对应的启动按钮，电动轮椅开始动作；所有眨眼点击按钮触发的指令都只控制电动轮椅的运动模式或者控制电动轮椅直行方向的动作。
7.根据权利要求5所述的一种融合双姿态传感器的多模态脑机接口轮椅控制系统，其特征在于：使用用户头部的方位姿态角和电动轮椅的方位姿态角角度差控制轮椅的转向；在控制算法内部将角度差通过一个PID控制器的比例控制环节，得到对应的电动轮椅转向角速度；同时设置一个固定的角度差阈值范围，在电动轮椅直行模式下，当角度差小于阈值下界时，电动轮椅向左转向；当角度差大于阈值上界时，电动轮椅向右转向；当角度差在阈值范围内时，电动轮椅直行；在电动轮椅原地转动模式下，当角度差小于阈值下界时，电动轮椅原地左转；当角度差大于阈值上界时，电动轮椅原地右转；当角度差在阈值范围内时，电动轮椅静止；当角度差越大时，对应的电动轮椅转向角速度越大，转向幅度越大；当语音模块识别到停车关键词“停车停车”后，所述指令生成模块生成停车指令传输给电动轮椅执行模块控制轮椅停车。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211221512.1A CN115804695A (zh) | 2023-01-09 | 2023-01-09 | 一种融合双姿态传感器的多模态脑机接口轮椅控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211221512.1A CN115804695A (zh) | 2023-01-09 | 2023-01-09 | 一种融合双姿态传感器的多模态脑机接口轮椅控制系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115804695A true CN115804695A (zh) | 2023-03-17 |
Family
ID=85482738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211221512.1A Pending CN115804695A (zh) | 2023-01-09 | 2023-01-09 | 一种融合双姿态传感器的多模态脑机接口轮椅控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115804695A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108524121A (zh) * | 2018-04-04 | 2018-09-14 | 西安电子科技大学 | 基于眼球控制屏幕的智能轮椅 |
| CN110134240A (zh) * | 2019-05-14 | 2019-08-16 | 南京邮电大学 | 基于脑电与头姿混合接口的机器人轮椅控制系统 |
| CN209575092U (zh) * | 2018-08-16 | 2019-11-05 | 广东工贸职业技术学院 | 智能轮椅控制装置、智能轮椅以及远程健康监护智能轮椅系统 |
| CN110658742A (zh) * | 2019-09-05 | 2020-01-07 | 四川省康复辅具技术服务中心 | 多模态协同操控的轮椅控制系统及方法 |
| CN111839926A (zh) * | 2020-06-18 | 2020-10-30 | 南京邮电大学 | 一种头姿交互控制与自主学习控制共享的轮椅控制方法及系统 |
| CN113156861A (zh) * | 2021-04-21 | 2021-07-23 | 华南脑控(广东)智能科技有限公司 | 轮椅智能控制系统 |
| CN113244062A (zh) * | 2021-06-22 | 2021-08-13 | 南京工程学院 | 一种基于双陀螺仪智能轮椅的姿态控制方法和装置 |
| CN113616436A (zh) * | 2021-08-23 | 2021-11-09 | 南京邮电大学 | 一种基于运动想象脑电与头姿的智能轮椅及控制方法 |
-
2023
- 2023-01-09 CN CN202211221512.1A patent/CN115804695A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108524121A (zh) * | 2018-04-04 | 2018-09-14 | 西安电子科技大学 | 基于眼球控制屏幕的智能轮椅 |
| CN209575092U (zh) * | 2018-08-16 | 2019-11-05 | 广东工贸职业技术学院 | 智能轮椅控制装置、智能轮椅以及远程健康监护智能轮椅系统 |
| CN110134240A (zh) * | 2019-05-14 | 2019-08-16 | 南京邮电大学 | 基于脑电与头姿混合接口的机器人轮椅控制系统 |
| CN110658742A (zh) * | 2019-09-05 | 2020-01-07 | 四川省康复辅具技术服务中心 | 多模态协同操控的轮椅控制系统及方法 |
| CN111839926A (zh) * | 2020-06-18 | 2020-10-30 | 南京邮电大学 | 一种头姿交互控制与自主学习控制共享的轮椅控制方法及系统 |
| CN113156861A (zh) * | 2021-04-21 | 2021-07-23 | 华南脑控(广东)智能科技有限公司 | 轮椅智能控制系统 |
| CN113244062A (zh) * | 2021-06-22 | 2021-08-13 | 南京工程学院 | 一种基于双陀螺仪智能轮椅的姿态控制方法和装置 |
| CN113616436A (zh) * | 2021-08-23 | 2021-11-09 | 南京邮电大学 | 一种基于运动想象脑电与头姿的智能轮椅及控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rechy-Ramirez et al. | Head movements based control of an intelligent wheelchair in an indoor environment | |
| Li et al. | A Smart Safety Helmet using IMU and EEG sensors for worker fatigue detection | |
| CN110658742A (zh) | 多模态协同操控的轮椅控制系统及方法 | |
| CN110850987A (zh) | 基于人体表达的二维意图的特定标识控制方法和装置 | |
| Sim et al. | The head mouse—Head gaze estimation" In-the-Wild" with low-cost inertial sensors for BMI use | |
| CN110584898B (zh) | 一种基于多传感器的脑控轮椅自动避障方法 | |
| CN109933205A (zh) | 一种车载眼神交互装置 | |
| CN105014676A (zh) | 一种机器人运动控制方法 | |
| CN109498375B (zh) | 一种人体运动意图识别控制装置及控制方法 | |
| CN106377228A (zh) | 基于Kinect的无人机操作员状态监视与分层控制方法 | |
| Taher et al. | EEG control of an electric wheelchair for disabled persons | |
| Soltani et al. | Design of a novel wearable human computer interface based on electrooculograghy | |
| CN113156861A (zh) | 轮椅智能控制系统 | |
| Wang et al. | Wearable sensors-based hand gesture recognition for human–robot collaboration in construction | |
| CN114652532A (zh) | 基于ssvep与注意力检测的多功能脑控轮椅系统 | |
| Wang et al. | Coordinated control of an intelligentwheelchair based on a brain-computer interface and speech recognition | |
| CN115741670B (zh) | 基于多模态信号和机器视觉融合控制的轮椅机械臂系统 | |
| CN115804695A (zh) | 一种融合双姿态传感器的多模态脑机接口轮椅控制系统 | |
| Cannan et al. | A Multi-sensor armband based on muscle and motion measurements | |
| CN115590695B (zh) | 一种基于眼电和人脸识别的轮椅控制系统 | |
| Gupta et al. | A portable & cost effective human computer interface device for disabled | |
| CN116270056A (zh) | 一种多模态轮椅控制系统 | |
| CN115712350A (zh) | 一种基于肌电检测的眨眼交流表达系统及控制方法 | |
| Kirbis et al. | Mobile device for electronic eye gesture recognition | |
| CN112121405A (zh) | 一种基于vr虚拟技术的游戏设备控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |