CN115454238A - 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 - Google Patents
一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 Download PDFInfo
- Publication number
- CN115454238A CN115454238A CN202211048225.5A CN202211048225A CN115454238A CN 115454238 A CN115454238 A CN 115454238A CN 202211048225 A CN202211048225 A CN 202211048225A CN 115454238 A CN115454238 A CN 115454238A
- Authority
- CN
- China
- Prior art keywords
- user
- ssvep
- signal
- brain
- visual stimulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种基于SSVEP‑MI融合的人车交互控制方法,包括:获取用户因中控显示屏上的多个预定区域中的其中一个预定区域产生的视觉刺激信号诱发和/或用户基于运动想象所产生的脑电位信号;对所述脑电位信号进行解码,并基于解码结果确定用户意图;基于用户意图,对车辆执行对应的控制。
Description
技术领域
本发明涉及人工智能和脑科学融合领域,具体为一种基于SSVEP-MI融合的人车交互控制方法、装置及汽车。
背景技术
静默条件下,环境嘈杂条件下语音交互不容易实现,脑机交互在这些特殊条件下存在优势。
脑机交互是指基于脑电位信号实现人脑与计算机或其他电子设备的通讯和控制。它是一种新的人机交互方式。其原理是通过脑电位信号检测技术获取神经系统的电活动变化,在对这些脑电位信号进行分类识别,分辨出引发脑电变化的动作意图,再用计算机把人的思维活动转变成命令信号驱动外部设备,从而在没有肌肉和外围神经直接参与的情况下,实现人脑对外部环境的直接控制。
环境嘈杂条件下语音交互不容易实现,脑机交互在这些特殊条件下存在优势。当然,在绝大多数情况下,语音和手势目前的技术具有先天的优势,但是脑电作为前瞻的技术布局是因为脑电的潜力更大,其信息编码的潜力远超语音和手势,其目前的技术发展水平还存在限制,但在未来其潜能巨大。
研究表明,当人受到一个固定频率的视觉刺激的时候,人的大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应。这个响应是被称为稳态视觉诱发电位——Steady-State Visual Evoked Potentials,SSVEP。
运动想象(Motor Imagery, MI),顾名思义,人在想象自己肢体(或肌肉)运动但没有实际运动输出时,人的特定脑区仍会有激活。通过分析脑电位信号,检测识别不同脑区的激活效果来判断用户意图,进而实现人脑与外部设备之间的直接通信与控制。目前常见的运动想象部位为:左右,右手,双脚和舌头。
BCI是Brain Computer Interface的缩写,即脑机接口技术。它是在人或动物脑(或者脑细胞的培养物)与外部设备间建立的直接连接通路。
对比文件1:专利CN 108459714 B 公开了一种基于MI和SSVEP双范式的少通道异步控制脑机接口系统,主要针对少通道的脑电位信号的BCI系统,采用运动想象范式作为BCI系统的开关模块,采用稳态视觉诱发电位范式作为BCI多选模块,将两个模块前后串联构成异步控制BCI系统,利用多变量经验模式分解算法将少通道脑电位信号分解成多个固有模态函数,提高少通道BCI系统控制效果和分类正确率。
对比文件2:专利 CN 113101021 A 公开了一种基于MI-SSVEP混合式脑机接口的机械臂控制方法,通过非侵入式脑电数据采集、脑电位信号在线预处理、脑电位信号在线处理与解码、生成用户意图目标并将目标转化为控制指令等步骤,实现对机械臂的控制。通过基于MI-SSVEP混合式脑机接口实验范式,增加了脑机接口控制机械臂系统的自由度数目,实现了对机械臂在三维空间的运动控制。
上述两个专利均采用MI-SSVEP混合范式脑机接口实现对不同操作系统的控制,对比文件1以运动想象范式作为系统的开关,SSVEP范式作为操控系统的主范式,承担所有功能模块的选择任务,要求用户在系统开启后,需要保持注视视觉刺激才能进行功能的操控,无法解决驾驶过程中眼不离路问题;对比文件2中以SSVEP各频率和MI范式各状态对应定义了的9种机械臂动作指令,SSVEP与MI范式各能控制4个动作指令,但人群中有30%左右的人天然无法进行运动想象的训练,即无法通过MI范式控制对应的4个指令,此系统未提供解决此问题的措施。
发明内容
本发明提供一种基于SSEVP-MI融合的人车交互控制方法、装置及汽车,用于解决驾驶员在驾驶过程手脚被占用时无法操控车内应用的问题,替代传统的人机交互模式。
本发明的技术方案为:
本发明提供了一种基于SSVEP-MI融合的人车交互控制方法,包括:
周期性地获取用户因中控显示屏上的多个预定区域中的其中一个预定区域产生的视觉刺激信号诱发和/或用户基于运动想象所产生的脑电位信号;
对采样周期内获取到的脑电位信号进行解码,并基于解码结果确定用户意图;
基于用户意图,对车辆执行对应的控制。
优选地,中控显示屏上的多个预定区域在产生视觉刺激信号时,每一预定区域所对应的视觉刺激频率不同;
同一预定区域在不同显示界面中所指代的功能不同,同一预定区域在不同显示界面中所对应的视觉刺激频率相同。
优选地,中控显示屏上显示有主功能区域和辅助功能区域,在主功能区域内的多个预定区域所指代的功能的触发仅能由用户基于视觉刺激信号诱发产生;在辅助功能区域的多个预定区域所指代的功能的触发可由用户基于视觉刺激信号诱发产生,或,由用户基于运动想象产生。
优选地,对采样周期内获取到的脑电位信号进行解码,并基于解码结果确定用户意图的步骤包括:
对采样周期内获取到的脑电位信号进行放大、滤波、伪迹去除处理;
将脑电位信号分别输入SSVEP电位信号特征提取通道和MI电位信号特征提取通道,以判断驾驶员在所述采样周期内是否基于视觉刺激信号诱发而产生脑电位信号;
若驾驶员基于视觉刺激信号诱发而产生脑电位信号,则使用fisher线性识别方法对提取到的SSVEP电位信号特征进行分类,并根据分类结果得到用户意图;
若驾驶员未基于视觉刺激信号诱发而产生脑电位信号,则使用LDA分类器对提取到的MI电位信号特征进行分类,并根据分类结果得到用户意图。
优选地,用户通过产生握紧左手拳头的想法产生执行辅助功能区域中的左侧预定区域对应功能的导电位信号,用户通过产生握紧右手拳头的想法产生执行辅助功能区域中的右侧预定区域对应功能的导电位信号。
本发明还提供了一种基于SSVEP-MI融合的人车交互控制装置,包括:
获取模块,用于周期性地对用户因中控显示屏上的多个预定区域中的其中一个预定区域产生的视觉刺激信号诱发和/或用户基于运动想象所产生的脑电位信号;
解码模块,用于对采样周期内获取到的脑电位信号进行解码,并基于解码结果确定用户意图;
控制模块,用于基于用户意图,对车辆执行对应的控制。
本发明还提供了一种汽车,包括:视觉刺激系统,信号采集系统及控制系统,视觉刺激系统用于在中控显示屏上的多个预定区域中的其中一个预定区域产生视觉刺激信号;信号采集系统用于周期性地对用户因中控显示屏上的多个预定区域中的其中一个预定区域产生的视觉刺激信号诱发和/或用户基于运动想象所产生的脑电位信号进行采集;以及对信号采集系统在采样周期内采集到的脑电位信号行解码,并基于解码结果确定用户意图,控制系统用于基于用户意图,对车辆执行对应的控制。本发明的有益效果为:
(1)两种范式可以随时交替操控车内应用,较为灵活;(2)以运动想象范式提供两个虚拟快捷按钮,使得用户在操控某些高频功能时无需注视中控显示屏,用户在驾驶过程中可达到眼不离路,提高了驾驶安全性;(3)以SSVEP作为主范式,运动想象作为辅助范式,SSVEP覆盖所有操控功能,运动想象包含部分操控功能,弥补了其他SSVEP-MI混合范式系统部分人群无法通过运动想象范式使用部分功能的缺陷。
附图说明
图1为本实施例中的汽车的结构图;
图2为本实施例中的中控显示屏的多个预定区域分布示意图;
图3为本实施例中进行脑电位信号采集与控制的逻辑图。
具体实施方式
如图1所示,本实施例的汽车包括视觉刺激系统、信号采集系统、以及控制系统。
1.视觉刺激系统用于产生视觉刺激信号,提供亮度足够、特定闪烁频率的诱发源,诱发大脑皮层产生视觉电位信号,同时也负责进行信息反馈,指导驾驶员进行多轮交互。视觉刺激系统通过车机中控显示屏展示给用户。
中控显示屏显示12个视觉刺激正方形闪烁块(即有12个预定区域),采用正弦波频率赋以每个闪烁块不同闪烁频率。中控显示屏中的每个闪烁块预设多个功能,同一闪烁块在不同显示界面指代功能不同,通过翻页或进入某功能的下一级的方式对闪烁块功能进行切换。
如图2,中控显示屏显示表现为两个区域(如图2所示),分别为主功能区域和辅助功能区域,主功能区域共有10个闪烁块以2*5的方式均匀分布,每一个闪烁块都预设为一个功能,如音乐、导航、电话等,仅可通过SSVEP范式进行驱动;辅助功能区域共2个闪烁块,分布在区域的左侧和右侧,这两个闪烁块预设为上一页、下一页或上一曲、下一曲等用户高频使用的辅助功能,可以通过SSVEP范式触发,也可以通过运动想象范式进行操控。
2.信号采集系统包括信号采集模块、解码模块两部分,具体工作逻辑如图3所示。
(1)信号采集模块:被试者配带脑电采集设备(脑电帽)通过电极记录下来头皮上的EEG信号;脑电帽采用32个电极,电极按国际标准贴在用户的枕叶和顶叶位置。
(2)解码模块:
1)通过wifi将采样周期内采集到的脑电位信号传输至解码模块中;
2)解码模块对采样周期内采集到的原始脑电位信号进行放大、滤波、伪迹去除处理。
3)将脑电位信号分别输入SSVEP电位信号特征提取通道和MI电位信号特征提取通道,以判断驾驶员在所述采样周期内是否基于视觉刺激信号诱发而产生脑电位信号;其中,SSVEP电位信号特征提取通道利用经典相关分析方法(CCA)来提取SSVEP电位信号特征,MI电位信号特征提取通道利用共空间模式算法(CSP)来提取MI电位信号特征。
首先,SSVEP电位信号特征提取通道只能提取SSVEP电位信号特征,若输入的脑电位信号为运动想象信号,则SSVEP电位信号特征提取通道无法进行特征提取;同理,MI电位信号特征提取通道只能提取MI电位信号特征,若输入的脑电位信号为SSVEP电位信号,则MI电位信号特征提取通道无法进行特征提取。
另外,CCA方法通过计算两组信号的典型相关系数来分析SSVEP信号,一组信号为所有电极采集的脑电位信号,另一组信号为各闪烁块的闪烁频率对应的参考信号,具体原理可以参考“应用于SSVEP脑电信号识别的CCA算法”中的计算原理。也就是说,通过计算脑电位信号和每一个闪烁块的闪烁频率对应的参考信号之间的典型相关系数来确定该SSVEP导电位信号是受到哪一个闪烁块的视觉刺激诱发。
CSP算法提取MI电位信号特征原理参照语“基于CSP的运动想象脑电信号特征提取与识别”中记载的提取原理。
4)若驾驶员基于视觉刺激信号诱发而产生脑电位信号,则使用fisher线性识别方法对提取到的SSVEP电位信号特征进行分类,并根据分类结果得到用户意图;若驾驶员未基于视觉刺激信号诱发而产生脑电位信号,则使用LDA分类器对提取到的MI电位信号特征进行分类,并根据分类结果得到用户意图;
由于CCA方法已经实现了SSVER信号和闪烁块的关联,因此,fisher线性识别方法可以进一步根据分类结果同该关联闪烁块当前界面所指代的功能进行比对,确定该分类结果对应的具体功能,实现用户意图的识别。同理,可以实现运动想象信号对应的用户意图。
5)输出指令。
3.车辆控制系统包括车机、空调、车窗、座椅、氛围灯等车内可控设施。
车机负责接收信号采集系统的输出的控制指令,控制指令经线缆传输至执行器进行命令的执行;控制指令还可以通过线缆反馈显示信号至视觉刺激系统,实现交互反馈。
本实施例中,用户通过注视中控显示屏上处于闪烁状态的第X个闪烁块,脑电帽采集到用户的脑电位信号后传输解码模块,车机接收到打开X功能指令并执行,通过中控显示屏反馈给用户;用户不再注视主控屏,通过产生左手握拳的想法,控制该功能界面的左侧辅助功能;或者用户继续注视屏幕,通过注视左侧辅助功能闪烁块,控制该功能界面的左侧辅助功能。
本发明上述实施例,能够解决驾驶员在驾驶过程手脚被占用时无法操控车内应用的问题,替代传统的人机交互模式。
Claims (7)
1.一种基于SSVEP-MI融合的人车交互控制方法,其特征在于,包括:
周期性地获取用户因中控显示屏上的多个预定区域中的其中一个预定区域产生的视觉刺激信号诱发和/或用户基于运动想象所产生的脑电位信号;
对采样周期内获取到的脑电位信号进行解码,并基于解码结果确定用户意图;
基于用户意图,对车辆执行对应的控制。
2.根据权利要求1所述的基于SSVEP-MI融合的人车交互控制方法,其特征在于,中控显示屏上的多个预定区域在产生视觉刺激信号时,每一预定区域所对应的视觉刺激频率不同;
同一预定区域在不同显示界面中所指代的功能不同,同一预定区域在不同显示界面中所对应的视觉刺激频率相同。
3.根据权利要求1或2所述的基于SSVEP-MI融合的人车交互控制方法,其特征在于,中控显示屏上显示有主功能区域和辅助功能区域,在主功能区域内的多个预定区域所指代的功能的触发仅能由用户基于视觉刺激信号诱发产生;在辅助功能区域的多个预定区域所指代的功能的触发可由用户基于视觉刺激信号诱发产生,或,由用户基于运动想象产生。
4.根据权利要求1所述的基于SSVEP-MI融合的人车交互控制方法,其特征在于,对采样周期内获取到的脑电位信号进行解码,并基于解码结果确定用户意图的步骤包括:
对采样周期内获取到的脑电位信号进行放大、滤波、伪迹去除处理;
将脑电位信号分别输入SSVEP电位信号特征提取通道和MI电位信号特征提取通道,以判断驾驶员在所述采样周期内是否基于视觉刺激信号诱发而产生脑电位信号;
若驾驶员基于视觉刺激信号诱发而产生脑电位信号,则使用fisher线性识别方法对提取到的SSVEP电位信号特征进行分类,并根据分类结果得到用户意图;
若驾驶员未基于视觉刺激信号诱发而产生脑电位信号,则使用LDA分类器对提取到的MI电位信号特征进行分类,并根据分类结果得到用户意图。
5.根据权利要求3所述的基于SSVEP-MI融合的人车交互控制方法,其特征在于,用户通过产生握紧左手拳头的想法产生执行辅助功能区域中的左侧预定区域对应功能的导电位信号,用户通过产生握紧右手拳头的想法产生执行辅助功能区域中的右侧预定区域对应功能的导电位信号。
6.一种基于SSVEP-MI融合的人车交互控制装置,其特征在于,包括:
获取模块,用于周期性地对用户因中控显示屏上的多个预定区域中的其中一个预定区域产生的视觉刺激信号诱发和/或用户基于运动想象所产生的脑电位信号;
解码模块,用于对采样周期内获取到的脑电位信号进行解码,并基于解码结果确定用户意图;
控制模块,用于基于用户意图,对车辆执行对应的控制。
7.一种汽车,其特征在于,包括:视觉刺激系统,信号采集系统及控制系统,视觉刺激系统用于在中控显示屏上的多个预定区域中的其中一个预定区域产生视觉刺激信号;信号采集系统用于周期性地对用户因中控显示屏上的多个预定区域中的其中一个预定区域产生的视觉刺激信号诱发和/或用户基于运动想象所产生的脑电位信号进行采集;以及对信号采集系统在采样周期内采集到的脑电位信号行解码,并基于解码结果确定用户意图,控制系统用于基于用户意图,对车辆执行对应的控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211048225.5A CN115454238A (zh) | 2022-08-30 | 2022-08-30 | 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211048225.5A CN115454238A (zh) | 2022-08-30 | 2022-08-30 | 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115454238A true CN115454238A (zh) | 2022-12-09 |
Family
ID=84300113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211048225.5A Pending CN115454238A (zh) | 2022-08-30 | 2022-08-30 | 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115454238A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116788271A (zh) * | 2023-06-30 | 2023-09-22 | 北京理工大学 | 基于人机协作控制的脑控驾驶方法及系统 |
CN117873330A (zh) * | 2024-03-11 | 2024-04-12 | 河海大学 | 一种脑电-眼动混合遥操作机器人控制方法、系统及装置 |
-
2022
- 2022-08-30 CN CN202211048225.5A patent/CN115454238A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116788271A (zh) * | 2023-06-30 | 2023-09-22 | 北京理工大学 | 基于人机协作控制的脑控驾驶方法及系统 |
CN116788271B (zh) * | 2023-06-30 | 2024-03-01 | 北京理工大学 | 基于人机协作控制的脑控驾驶方法及系统 |
CN117873330A (zh) * | 2024-03-11 | 2024-04-12 | 河海大学 | 一种脑电-眼动混合遥操作机器人控制方法、系统及装置 |
CN117873330B (zh) * | 2024-03-11 | 2024-05-17 | 河海大学 | 一种脑电-眼动混合遥操作机器人控制方法、系统及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115454238A (zh) | 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 | |
Pfurtscheller et al. | 15 years of BCI research at Graz University of Technology: current projects | |
Bi et al. | EEG-based brain-controlled mobile robots: a survey | |
CN103699216B (zh) | 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法 | |
CN103885445B (zh) | 一种脑控动物机器人系统以及动物机器人的脑控方法 | |
CN113227944B (zh) | 用于增强现实的脑机接口 | |
CN103699226A (zh) | 一种基于多信息融合的三模态串行脑-机接口方法 | |
CN1776572A (zh) | 基于稳态视觉诱发脑电波的计算机人机交互方法 | |
CN109065184B (zh) | 基于脑机接口的脑卒中患者语音交流看护控制系统及方法 | |
CN113053492B (zh) | 基于用户背景和情绪的自适应虚拟现实干预系统及方法 | |
CN112617863B (zh) | 一种面向左右脚运动意图侧向性识别的混合在线脑机接口方法 | |
CN117389441B (zh) | 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统 | |
CN107390869A (zh) | 基于运动视觉诱发电位的高效脑控中文输入方法 | |
CN108523883A (zh) | 一种基于实际动作建模的左右食指连续运动想象识别系统 | |
CN105929937A (zh) | 一种基于稳态视觉诱发电位的手机音乐播放系统 | |
CN113082448A (zh) | 基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统 | |
CN110688013A (zh) | 一种基于ssvep的英文键盘拼写系统及拼写方法 | |
Hsieh et al. | Home care by auditory Brain Computer Interface for the blind with severe physical disabilities | |
CN103869979A (zh) | 一种基于选择性感受的脑机接口系统 | |
CN107463259B (zh) | 车载显示设备以及用于车载显示设备的交互方法、装置 | |
CN114936574A (zh) | 一种基于bci的高灵活度机械手系统及其实现方法 | |
Nader et al. | Using BCI and EEG to process and analyze driver’s brain activity signals during VR simulation | |
CN118356580B (zh) | 单侧空间忽略康复训练方法及装置、设备、存储介质 | |
CN111651046A (zh) | 一种无手部动作的手势意图识别系统 | |
Lu et al. | BrainNets: Human emotion recognition using an Internet of Brian Things platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |