CN112089541A - 智能轮椅控制系统和方法 - Google Patents
智能轮椅控制系统和方法 Download PDFInfo
- Publication number
- CN112089541A CN112089541A CN202010997383.XA CN202010997383A CN112089541A CN 112089541 A CN112089541 A CN 112089541A CN 202010997383 A CN202010997383 A CN 202010997383A CN 112089541 A CN112089541 A CN 112089541A
- Authority
- CN
- China
- Prior art keywords
- intelligent wheelchair
- user
- brain magnetic
- signal
- wheelchair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000033001 locomotion Effects 0.000 claims abstract description 130
- 210000004556 brain Anatomy 0.000 claims abstract description 83
- 230000004888 barrier function Effects 0.000 claims abstract description 4
- 230000000007 visual effect Effects 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000013135 deep learning Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 230000000638 stimulation Effects 0.000 claims description 10
- 230000001939 inductive effect Effects 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 206010033892 Paraplegia Diseases 0.000 abstract description 6
- 238000002582 magnetoencephalography Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种智能轮椅控制系统和方法，所述系统包括：脑磁采集模块，脑磁采集模块用于采集用户的脑磁信号；自动导航传感模块，自动导航传感模块用于获取智能轮椅所处环境的障碍物信息和智能轮椅的实际运动数据；控制模块，控制模块分别与脑磁采集模块和自动导航传感模块相连，控制模块用于根据脑磁信号解析用户的目标运动方向，并根据目标运动方向、障碍物信息和实际运动数据生成相应的驱动控制信号；轮椅驱动模块，轮椅驱动模块与控制模块相连，轮椅驱动模块用于根据驱动控制信号驱动智能轮椅。本发明能够根据用户的脑磁信号方便地实现对智能轮椅的控制，满足高位截瘫等特殊用户的使用需求。
Description
技术领域
本发明涉及智能控制技术领域，具体涉及一种智能轮椅控制系统和一种智能轮椅控制方法。
背景技术
轮椅已经是活动不方便病人或者患者的常用设备，目前主要有手动和电动轮椅两种。
手动轮椅需要使用者用手驱动轮椅前进和转向，因此使用者要有比较强的上肢力量，使用便利性受到一定的限制。电动轮椅一定程度上缓解了这个问题，电力驱动，配合电动摇杆来控制轮椅，减轻了使用者的负担。
然而，对于高位截瘫等特殊患者来说，由于患者上肢和下肢都不能活动，因此不管是普通轮椅还是电动轮椅，患者都无法自行使用，这是一个需要解决的问题。
发明内容
本发明为解决上述技术问题，提供了一种智能轮椅控制系统和方法，能够根据用户的脑磁信号方便地实现对智能轮椅的控制，满足高位截瘫等特殊用户的使用需求。
本发明采用的技术方案如下：
一种智能轮椅控制系统，包括：脑磁采集模块，所述脑磁采集模块用于采集用户的脑磁信号；自动导航传感模块，所述自动导航传感模块用于获取所述智能轮椅所处环境的障碍物信息和所述智能轮椅的实际运动数据；控制模块，所述控制模块分别与所述脑磁采集模块和所述自动导航传感模块相连，所述控制模块用于根据所述脑磁信号解析用户的目标运动方向，并根据所述目标运动方向、所述障碍物信息和所述实际运动数据生成相应的驱动控制信号；轮椅驱动模块，所述轮椅驱动模块与所述控制模块相连，所述轮椅驱动模块用于根据所述驱动控制信号驱动所述智能轮椅。
所述脑磁采集模块包括：视觉诱发单元，所述视觉诱发单元用于向用户发出视觉刺激信号；穿戴式脑磁采集单元，所述穿戴式脑磁采集单元由用户穿戴，所述穿戴式脑磁采集单元用于采集用户在受到视觉刺激时的脑磁信号；第一无线传输单元，所述第一无线传输单元与所述穿戴式脑磁采集单元相连，并与所述控制模块进行无线通信连接，所述第一无线传输单元用于将所述脑磁信号传输至所述控制模块。
所述自动导航传感模块包括：激光雷达单元，所述激光雷达单元用于获取所述智能轮椅所处环境的激光探测数据；摄像单元，所述摄像单元用于获取所述智能轮椅所处环境的图像数据；惯性测量单元，所述惯性测量单元用于实时获取所述智能轮椅的三轴姿态角和加速度数据。
所述控制模块包括：第二无线传输单元，所述第二无线传输单元与所述第一无线传输单元进行无线通信连接，所述第二无线传输单元用于接收所述脑磁信号；计算单元，所述计算单元与所述第二无线传输单元相连，并分别通过传感器数据线与所述激光雷达单元、所述摄像单元和所述惯性测量单元相连，以及通过驱动控制信号线与所述轮椅驱动模块相连，所述计算单元用于通过CCA(Canonical Correlation Analysis，典型相关分析)和/或深度学习算法实时处理所述脑磁信号，以判断用户的目标运动方向，并根据所述目标运动方向、所述障碍物信息和所述实际运动数据进行自动避障的导航规划，以及根据规划结果生成所述驱动控制信号。
所述计算单元具体用于：对多通道的脑磁信号各自作巴特沃斯滤波；对滤波后信号进行线性降采样，降至预设频率，以预设窗长截取到预处理信号，若通过CCA算法处理，首先生成预设闪烁频率的正余弦模板，然后以所述视觉诱发单元产生的闪烁频率作为基础频率，将所述预处理信号与所述正余弦模板以CCA算法进行相关系数计算，并根据计算结果确定目标运动方向；若通过深度学习算法处理，将所述预处理信号导入预先训练好的神经网络，输出目标运动方向。
一种智能轮椅控制方法，包括以下步骤：采集用户的脑磁信号；获取所述智能轮椅所处环境的障碍物信息和所述智能轮椅的实际运动数据；根据所述脑磁信号解析用户的目标运动方向，并根据所述目标运动方向、所述障碍物信息和所述实际运动数据生成相应的驱动控制信号，以根据所述驱动控制信号驱动所述智能轮椅。
采集用户的脑磁信号，具体包括：向用户发出视觉刺激信号；采集用户在受到视觉刺激时的脑磁信号。
所述障碍物信息包括所述智能轮椅所处环境的激光探测数据和图像数据，所述实际运动数据包括所述智能轮椅的三轴姿态角和加速度数据。
根据所述脑磁信号解析用户的目标运动方向，并根据所述目标运动方向、所述障碍物信息和所述实际运动数据生成相应的驱动控制信号，以根据所述驱动控制信号驱动所述智能轮椅，具体包括：通过CCA和/或深度学习算法实时处理所述脑磁信号，以判断用户的目标运动方向，并根据所述目标运动方向、所述障碍物信息和所述实际运动数据进行自动避障的导航规划，以及根据规划结果生成所述驱动控制信号。
通过CCA和/或深度学习算法实时处理所述脑磁信号，以判断用户的目标运动方向，具体包括：对多通道的脑磁信号各自作巴特沃斯滤波；对滤波后信号进行线性降采样，降至预设频率，以预设窗长截取到预处理信号，若通过CCA算法处理，首先生成预设闪烁频率的正余弦模板，然后以所述视觉诱发单元产生的闪烁频率作为基础频率，将所述预处理信号与所述正余弦模板以CCA算法进行相关系数计算，并根据计算结果确定目标运动方向；若通过深度学习算法处理，将所述预处理信号导入预先训练好的神经网络，输出目标运动方向。
本发明的有益效果：
本发明通过采集用户的脑磁信号，并获取智能轮椅所处环境的障碍物信息和智能轮椅的实际运动数据，以及根据脑磁信号解析用户的目标运动方向，并根据目标运动方向、障碍物信息和实际运动数据驱动智能轮椅，由此，能够根据用户的脑磁信号方便地实现对智能轮椅的控制，满足高位截瘫等特殊用户的使用需求。
附图说明
图1为本发明实施例的智能轮椅控制系统的方框示意图；
图2为本发明一个实施例的智能轮椅控制系统的方框示意图；
图3为本发明实施例的智能轮椅控制方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例的智能轮椅控制系统包括脑磁采集模块10、自动导航传感模块20、控制模块30和轮椅驱动模块40。其中，脑磁采集模块10用于采集用户的脑磁信号；自动导航传感模块20用于获取智能轮椅所处环境的障碍物信息和智能轮椅的实际运动数据；控制模块30分别与脑磁采集模块10和自动导航传感模块20相连，控制模块30用于根据脑磁信号解析用户的目标运动方向，并根据目标运动方向、障碍物信息和实际运动数据生成相应的驱动控制信号；轮椅驱动模块40与控制模块30相连，轮椅驱动模块40用于根据驱动控制信号驱动智能轮椅。
在本发明的一个实施例中，如图2所示，脑磁采集模块10可包括视觉诱发单元11、穿戴式脑磁采集单元12和第一无线传输单元13。其中，视觉诱发单元11用于向用户发出视觉刺激信号；穿戴式脑磁采集单元12由用户穿戴，穿戴式脑磁采集单元12用于采集用户在受到视觉刺激时的脑磁信号；第一无线传输单元13与穿戴式脑磁采集单元12相连，并与控制模块30进行无线通信连接，第一无线传输单元13用于将脑磁信号传输至控制模块30。
如图2所示，自动导航传感模块20可包括激光雷达单元21、摄像单元22和惯性测量单元23。其中，激光雷达单元21用于获取智能轮椅所处环境的激光探测数据；摄像单元22用于获取智能轮椅所处环境的图像数据；惯性测量单元23用于实时获取智能轮椅的三轴姿态角和加速度数据。
如图2所示，控制模块30可包括第二无线传输单元31和计算单元32。其中，第二无线传输单元31与第一无线传输单元13进行无线通信连接，第二无线传输单元31用于接收脑磁信号；计算单元32与第二无线传输单元31相连，并分别通过传感器数据线与激光雷达单元21、摄像单元22和惯性测量单元23相连，以及通过驱动控制信号线与轮椅驱动模块40相连，计算单元32用于通过CCA和/或深度学习算法实时处理脑磁信号，以判断用户的目标运动方向，并根据目标运动方向、障碍物信息和实际运动数据进行自动避障的导航规划，以及根据规划结果生成驱动控制信号。
在本发明的一个实施例中，轮椅驱动模块40可包括轮椅电机和电机驱动板，电机驱动板可根据包含转速控制信息的驱动控制信号驱动轮椅电机转动，以使智能轮椅前进、后退，或驱动左右轮椅电机以不同的转速转动，以使智能轮椅转向。
在本发明的一个具体实施例中，视觉诱发单元11可包括LED和LED驱动板，LED可在LED驱动板的驱动下以设定频率发出刺激光。穿戴穿戴式脑磁采集单元12可包括穿戴设备如头盔、头带等和设置于穿戴设备上的脑磁图仪。第一无线传输单元13和第二无线传输单元31可均为蓝牙适配器，即脑磁采集模块10与控制模块30可进行蓝牙通信以传输脑磁信号。摄像单元22可包括双目摄像头。计算单元32可为具有运算和数据处理功能的计算机设备。
下面详细说明计算单元32根据脑磁信号解析用户的目标运动方向的流程。
首先对n通道的脑磁信号各自作5-85Hz巴特沃斯滤波，对滤波后信号进行线性降采样，降至预设频率，如250Hz，以预设窗长，如3秒截取到预处理信号S[n，750]，再将预处理信号导入相应的算法进行判断。
若通过CCA算法处理，首先生成预设闪烁频率xHz的1-5次谐波的正余弦模板，其中，8<x<16，然后以视觉诱发单元产生的闪烁频率作为基础频率，将预处理信号S[n，750]与正余弦模板以CCA算法进行相关系数计算，并根据计算结果确定目标运动方向。
具体地，可生成多个上述的正余弦模板，每个正余弦模板对应一个目标运动方向，例如对应前后左右等方向，在计算得到预处理信号与每个对应相应方向的正余弦模板的相关系数后，可取相关系数最大的相应方向作为目标运动方向。
若通过深度学习算法处理，将预处理信号导入预先训练好的神经网络，输出目标运动方向。
具体地，神经网络可包括一层注意力网络和三层CNN(Convolutional NeuralNetworks，卷积神经网络)网络(dropout＝0.5)，可通过包含大量脑磁信号与目标运动方向对应关系的数据集对该神经网络进行训练，在将预处理信号输入训练后的神经网络后，可取输出的预测分类概率最大的方向作为目标运动方向。
在得到目标运动方向后，控制模块30可结合根据激光探测数据、图像数据解析出的障碍物有无、位置等进行避障路径规划，并结合智能轮椅当前的三轴姿态角和加速度数据实现对智能轮椅的导航规划。进而，控制模块30可生成相应的驱动控制信号，驱动智能轮椅向用户的目标运动方向运动，并在遇到障碍物时转向或制动。
需要说明的是，上述两种算法可择一使用，也可并行使用。并行使用时，如果二者得到的目标运动方向一致，则将其作为最终的目标运动方向，并根据该最终的目标运动方向、上述的障碍物信息和实际运动数据生成相应的驱动控制信号，以驱动智能轮椅。如果不一致，则不生成驱动控制信号，即智能轮椅不动作。
此外，在本发明的一个实施例中，智能轮椅控制系统还可包括与控制模块相连的语音模块，语音模块可用于获取用户发出的语音指令，控制模块可解析用户语音指令中的目标运动方向，并根据用户的语音指令中的目标运动方向，结合上述的障碍物信息和实际运动数据生成相应的驱动控制信号，以驱动智能轮椅。
进一步地，本发明又一个实施例的智能轮椅控制系统，可在解析出用户语音指令中的目标运动方向后，将其与根据脑磁信号解析出的用户的目标运动方向相比较，如果二者一致，则将其作为最终的目标运动方向，并根据该最终的目标运动方向、上述的障碍物信息和实际运动数据生成相应的驱动控制信号，以驱动智能轮椅。如果从语音指令中与从脑磁信号中解析出的目标运动方向不一致，则不生成驱动控制信号，即智能轮椅不动作。由此，能够有效防止对智能轮椅的错误控制，保证智能轮椅运动的安全性。
根据本发明实施例的智能轮椅控制系统，通过采集用户的脑磁信号，并获取智能轮椅所处环境的障碍物信息和智能轮椅的实际运动数据，以及根据脑磁信号解析用户的目标运动方向，并根据目标运动方向、障碍物信息和实际运动数据驱动智能轮椅，由此，能够根据用户的脑磁信号方便地实现对智能轮椅的控制，满足高位截瘫等特殊用户的使用需求。
对应上述实施例的智能轮椅控制系统，本发明还提出一种智能轮椅控制方法。
如图3所示，本发明实施例的智能轮椅控制方法包括以下步骤：
S1，采集用户的脑磁信号。
具体地，可向用户发出视觉刺激信号，并采集用户在受到视觉刺激时的脑磁信号。
S2，获取智能轮椅所处环境的障碍物信息和智能轮椅的实际运动数据。
在本发明的一个实施例中，障碍物信息可包括智能轮椅所处环境的激光探测数据和图像数据，实际运动数据可包括智能轮椅的三轴姿态角和加速度数据。
S3，根据脑磁信号解析用户的目标运动方向，并根据目标运动方向、障碍物信息和实际运动数据生成相应的驱动控制信号，以根据驱动控制信号驱动智能轮椅。
在本发明的一个实施例中，可通过CCA和/或深度学习算法实时处理脑磁信号，以判断用户的目标运动方向，并根据目标运动方向、障碍物信息和实际运动数据进行自动避障的导航规划，以及根据规划结果生成驱动控制信号。
具体地，首先对n通道的脑磁信号各自作5-85Hz巴特沃斯滤波，对滤波后信号进行线性降采样，降至预设频率，如250Hz，以预设窗长，如3秒截取到预处理信号S[n，750]，再将预处理信号导入相应的算法进行判断。
若通过CCA算法处理，首先生成预设闪烁频率xHz的1-5次谐波的正余弦模板，其中，8<x<16，然后以视觉诱发单元产生的闪烁频率作为基础频率，将预处理信号S[n，750]与正余弦模板以CCA算法进行相关系数计算，并根据计算结果确定目标运动方向。
具体地，可生成多个上述的正余弦模板，每个正余弦模板对应一个目标运动方向，例如对应前后左右等方向，在计算得到预处理信号与每个对应相应方向的正余弦模板的相关系数后，可取相关系数最大的相应方向作为目标运动方向。
若通过深度学习算法处理，将预处理信号导入预先训练好的神经网络，输出目标运动方向。
具体地，神经网络可包括一层注意力网络和三层CNN网络(dropout＝0.5)，可通过包含大量脑磁信号与目标运动方向对应关系的数据集对该神经网络进行训练，在将预处理信号输入训练后的神经网络后，可取输出的预测分类概率最大的方向作为目标运动方向。
在得到目标运动方向后，可结合根据激光探测数据、图像数据解析出的障碍物有无、位置等进行避障路径规划，并结合智能轮椅当前的三轴姿态角和加速度数据实现对智能轮椅的导航规划。进而，控制模块30可生成相应的驱动控制信号，驱动智能轮椅向用户的目标运动方向运动，并在遇到障碍物时转向或制动。
需要说明的是，上述两种算法可择一使用，也可并行使用。并行使用时，如果二者得到的目标运动方向一致，则将其作为最终的目标运动方向，并根据该最终的目标运动方向、上述的障碍物信息和实际运动数据生成相应的驱动控制信号，以驱动智能轮椅。如果不一致，则不生成驱动控制信号，即智能轮椅不动作。
此外，在本发明的一个实施例中，还可获取用户发出的语音指令，解析用户语音指令中的目标运动方向，并根据用户的语音指令中的目标运动方向，结合上述的障碍物信息和实际运动数据生成相应的驱动控制信号，以驱动智能轮椅。
进一步地，在本发明又一个实施例中，可在解析出用户语音指令中的目标运动方向后，将其与根据脑磁信号解析出的用户的目标运动方向相比较，如果二者一致，则将其作为最终的目标运动方向，并根据该最终的目标运动方向、上述的障碍物信息和实际运动数据生成相应的驱动控制信号，以驱动智能轮椅。如果从语音指令中与从脑磁信号中解析出的目标运动方向不一致，则不生成驱动控制信号，即智能轮椅不动作。由此，能够有效防止对智能轮椅的错误控制，保证智能轮椅运动的安全性。
根据本发明实施例的智能轮椅控制方法，通过采集用户的脑磁信号，并获取智能轮椅所处环境的障碍物信息和智能轮椅的实际运动数据，以及根据脑磁信号解析用户的目标运动方向，并根据目标运动方向、障碍物信息和实际运动数据驱动智能轮椅，由此，能够根据用户的脑磁信号方便地实现对智能轮椅的控制，满足高位截瘫等特殊用户的使用需求。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种智能轮椅控制系统，其特征在于，包括：
脑磁采集模块，所述脑磁采集模块用于采集用户的脑磁信号；
自动导航传感模块，所述自动导航传感模块用于获取所述智能轮椅所处环境的障碍物信息和所述智能轮椅的实际运动数据；
控制模块，所述控制模块分别与所述脑磁采集模块和所述自动导航传感模块相连，所述控制模块用于根据所述脑磁信号解析用户的目标运动方向，并根据所述目标运动方向、所述障碍物信息和所述实际运动数据生成相应的驱动控制信号；
轮椅驱动模块，所述轮椅驱动模块与所述控制模块相连，所述轮椅驱动模块用于根据所述驱动控制信号驱动所述智能轮椅。
2.根据权利要求1所述的智能轮椅控制系统，其特征在于，所述脑磁采集模块包括：
视觉诱发单元，所述视觉诱发单元用于向用户发出视觉刺激信号；
穿戴式脑磁采集单元，所述穿戴式脑磁采集单元由用户穿戴，所述穿戴式脑磁采集单元用于采集用户在受到视觉刺激时的脑磁信号；
第一无线传输单元，所述第一无线传输单元与所述穿戴式脑磁采集单元相连，并与所述控制模块进行无线通信连接，所述第一无线传输单元用于将所述脑磁信号传输至所述控制模块。
3.根据权利要求2所述的智能轮椅控制系统，其特征在于，所述自动导航传感模块包括：
激光雷达单元，所述激光雷达单元用于获取所述智能轮椅所处环境的激光探测数据；
摄像单元，所述摄像单元用于获取所述智能轮椅所处环境的图像数据；
惯性测量单元，所述惯性测量单元用于实时获取所述智能轮椅的三轴姿态角和加速度数据。
4.根据权利要求3所述的智能轮椅控制系统，其特征在于，所述控制模块包括：
第二无线传输单元，所述第二无线传输单元与所述第一无线传输单元进行无线通信连接，所述第二无线传输单元用于接收所述脑磁信号；
计算单元，所述计算单元与所述第二无线传输单元相连，并分别通过传感器数据线与所述激光雷达单元、所述摄像单元和所述惯性测量单元相连，以及通过驱动控制信号线与所述轮椅驱动模块相连，所述计算单元用于通过CCA和/或深度学习算法实时处理所述脑磁信号，以判断用户的目标运动方向，并根据所述目标运动方向、所述障碍物信息和所述实际运动数据进行自动避障的导航规划，以及根据规划结果生成所述驱动控制信号。
5.根据权利要求4所述的智能轮椅控制系统，其特征在于，所述计算单元具体用于：
对多通道的脑磁信号各自作巴特沃斯滤波；
对滤波后信号进行线性降采样，降至预设频率，以预设窗长截取到预处理信号，
若通过CCA算法处理，首先生成预设闪烁频率的正余弦模板，然后以所述视觉诱发单元产生的闪烁频率作为基础频率，将所述预处理信号与所述正余弦模板以CCA算法进行相关系数计算，并根据计算结果确定目标运动方向；
若通过深度学习算法处理，将所述预处理信号导入预先训练好的神经网络，输出目标运动方向。
6.一种智能轮椅控制方法，其特征在于，包括以下步骤：
采集用户的脑磁信号；
获取所述智能轮椅所处环境的障碍物信息和所述智能轮椅的实际运动数据；
根据所述脑磁信号解析用户的目标运动方向，并根据所述目标运动方向、所述障碍物信息和所述实际运动数据生成相应的驱动控制信号，以根据所述驱动控制信号驱动所述智能轮椅。
7.根据权利要求6所述的智能轮椅控制方法，其特征在于，采集用户的脑磁信号，具体包括：
向用户发出视觉刺激信号；
采集用户在受到视觉刺激时的脑磁信号。
8.根据权利要求7所述的智能轮椅控制方法，其特征在于，所述障碍物信息包括所述智能轮椅所处环境的激光探测数据和图像数据，所述实际运动数据包括所述智能轮椅的三轴姿态角和加速度数据。
9.根据权利要求8所述的智能轮椅控制方法，其特征在于，根据所述脑磁信号解析用户的目标运动方向，并根据所述目标运动方向、所述障碍物信息和所述实际运动数据生成相应的驱动控制信号，以根据所述驱动控制信号驱动所述智能轮椅，具体包括：
通过CCA和/或深度学习算法实时处理所述脑磁信号，以判断用户的目标运动方向，并根据所述目标运动方向、所述障碍物信息和所述实际运动数据进行自动避障的导航规划，以及根据规划结果生成所述驱动控制信号。
10.根据权利要求9所述的智能轮椅控制方法，其特征在于，通过CCA和/或深度学习算法实时处理所述脑磁信号，以判断用户的目标运动方向，具体包括：
对多通道的脑磁信号各自作巴特沃斯滤波；
对滤波后信号进行线性降采样，降至预设频率，以预设窗长截取到预处理信号，
若通过CCA算法处理，首先生成预设闪烁频率的正余弦模板，然后以所述视觉诱发单元产生的闪烁频率作为基础频率，将所述预处理信号与所述正余弦模板以CCA算法进行相关系数计算，并根据计算结果确定目标运动方向；
若通过深度学习算法处理，将所述预处理信号导入预先训练好的神经网络，输出目标运动方向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010997383.XA CN112089541A (zh) | 2020-09-21 | 2020-09-21 | 智能轮椅控制系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010997383.XA CN112089541A (zh) | 2020-09-21 | 2020-09-21 | 智能轮椅控制系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112089541A true CN112089541A (zh) | 2020-12-18 |
Family
ID=73756433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010997383.XA Pending CN112089541A (zh) | 2020-09-21 | 2020-09-21 | 智能轮椅控制系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112089541A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113608532A (zh) * | 2021-07-29 | 2021-11-05 | 深圳市眼科医院 | 一种用于盲人出行的自动避障系统及其代步车 |
| CN114046796A (zh) * | 2021-11-04 | 2022-02-15 | 南京理工大学 | 一种智能轮椅自主行走算法、装置及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103263324A (zh) * | 2013-05-06 | 2013-08-28 | 西安电子科技大学 | 基于ssvep稳态视觉诱发电位的智能轮椅系统 |
| CN105455806A (zh) * | 2015-11-11 | 2016-04-06 | 中国人民解放军国防科学技术大学 | 基于gmi效应的脑磁信号探头、传感器及采集系统 |
| CN106095089A (zh) * | 2016-06-06 | 2016-11-09 | 郑黎光 | 一种获取感兴趣目标信息的方法 |
| CN106726209A (zh) * | 2016-11-24 | 2017-05-31 | 中国医学科学院生物医学工程研究所 | 一种基于脑机接口与人工智能的智能轮椅控制方法 |
| CN106821628A (zh) * | 2017-04-12 | 2017-06-13 | 中国医学科学院生物医学工程研究所 | 一种基于高速ssvep智能轮椅的控制器系统及其控制方法 |
| CN107562188A (zh) * | 2017-07-17 | 2018-01-09 | 北京大学 | 基于原子磁强计的脑机接口系统及其使用方法 |
| CN110123313A (zh) * | 2019-04-17 | 2019-08-16 | 中国科学院深圳先进技术研究院 | 一种自训练脑机接口系统及相关训练方法 |
| CN110840666A (zh) * | 2019-11-19 | 2020-02-28 | 华南理工大学 | 一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法 |
-
2020
- 2020-09-21 CN CN202010997383.XA patent/CN112089541A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103263324A (zh) * | 2013-05-06 | 2013-08-28 | 西安电子科技大学 | 基于ssvep稳态视觉诱发电位的智能轮椅系统 |
| CN105455806A (zh) * | 2015-11-11 | 2016-04-06 | 中国人民解放军国防科学技术大学 | 基于gmi效应的脑磁信号探头、传感器及采集系统 |
| CN106095089A (zh) * | 2016-06-06 | 2016-11-09 | 郑黎光 | 一种获取感兴趣目标信息的方法 |
| CN106726209A (zh) * | 2016-11-24 | 2017-05-31 | 中国医学科学院生物医学工程研究所 | 一种基于脑机接口与人工智能的智能轮椅控制方法 |
| CN106821628A (zh) * | 2017-04-12 | 2017-06-13 | 中国医学科学院生物医学工程研究所 | 一种基于高速ssvep智能轮椅的控制器系统及其控制方法 |
| CN107562188A (zh) * | 2017-07-17 | 2018-01-09 | 北京大学 | 基于原子磁强计的脑机接口系统及其使用方法 |
| CN110123313A (zh) * | 2019-04-17 | 2019-08-16 | 中国科学院深圳先进技术研究院 | 一种自训练脑机接口系统及相关训练方法 |
| CN110840666A (zh) * | 2019-11-19 | 2020-02-28 | 华南理工大学 | 一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113608532A (zh) * | 2021-07-29 | 2021-11-05 | 深圳市眼科医院 | 一种用于盲人出行的自动避障系统及其代步车 |
| CN114046796A (zh) * | 2021-11-04 | 2022-02-15 | 南京理工大学 | 一种智能轮椅自主行走算法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0634031B1 (en) | Apparatus and method for eye tracking interface | |
| AU2010239137B2 (en) | A method and system for controlling a device | |
| US5517021A (en) | Apparatus and method for eye tracking interface | |
| US11020294B2 (en) | Mobility and mobility system | |
| CN112089541A (zh) | 智能轮椅控制系统和方法 | |
| Müller et al. | Brain-computer interface based on visual evoked potentials to command autonomous robotic wheelchair | |
| CN1720008A (zh) | 用于设备的自动定位的装置和方法 | |
| CN106485233A (zh) | 可行驶区域检测方法、装置和电子设备 | |
| KR102179661B1 (ko) | 핸즈온정보 및 생체정보 복합검출 기반의 안전운전 및 헬스케어 제공 시스템 | |
| CN112114670B (zh) | 一种基于混合脑机接口的人机共驾系统及其控制方法 | |
| CN110334592A (zh) | 一种司机异常行为监测和安全保障系统及其方法 | |
| CN110641468A (zh) | 基于乘客行为控制自主车辆 | |
| CN109875583B (zh) | 一种基于ar技术的疲劳驾驶检测系统及方法 | |
| US20200294189A1 (en) | Information processing device, information processing method, recording medium storing program code, and information processing system | |
| CN114652532B (zh) | 基于ssvep与注意力检测的多功能脑控轮椅系统 | |
| Hoang et al. | Obstacle detection and warning for visually impaired people based on electrode matrix and mobile Kinect | |
| Ngo et al. | Wheelchair navigation system using EEG signal and 2D map for disabled and elderly people | |
| Yuan et al. | Brain teleoperation of a mobile robot using deep learning technique | |
| CN112936259B (zh) | 一种适用于水下机器人的人机协作方法 | |
| CN114631809A (zh) | 一种头部穿戴设备、用眼疲劳监测方法、装置及存储介质 | |
| Nandikolla et al. | Hybrid bci controller for a semi-autonomous wheelchair | |
| Fan et al. | A novel SSVEP-BCI approach combining visual detection and tracking for dynamic target selection | |
| CN116340735B (zh) | 一种基于长视野特征融合的棘波检测方法及系统 | |
| Simões et al. | EOG signal analysis based on multi-label classification by neural network backpropagation | |
| WO1999012137A1 (en) | Drowsiness/alertness monitor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201218 |
|
| RJ01 | Rejection of invention patent application after publication |