CN115454238A

CN115454238A - 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车

Info

Publication number: CN115454238A
Application number: CN202211048225.5A
Authority: CN
Inventors: 刘巍; 李昌; 张国杰; 施暄宣; 范有才
Original assignee: Chongqing Changan Automobile Co Ltd
Current assignee: Chongqing Changan Automobile Co Ltd
Priority date: 2022-08-30
Filing date: 2022-08-30
Publication date: 2022-12-09

Abstract

本发明涉及一种基于SSVEP‑MI融合的人车交互控制方法，包括：获取用户因中控显示屏上的多个预定区域中的其中一个预定区域产生的视觉刺激信号诱发和/或用户基于运动想象所产生的脑电位信号；对所述脑电位信号进行解码，并基于解码结果确定用户意图；基于用户意图，对车辆执行对应的控制。

Description

一种基于SSVEP-MI融合的人车交互控制方法、装置及汽车

技术领域

本发明涉及人工智能和脑科学融合领域，具体为一种基于SSVEP-MI融合的人车交互控制方法、装置及汽车。

背景技术

静默条件下，环境嘈杂条件下语音交互不容易实现，脑机交互在这些特殊条件下存在优势。

脑机交互是指基于脑电位信号实现人脑与计算机或其他电子设备的通讯和控制。它是一种新的人机交互方式。其原理是通过脑电位信号检测技术获取神经系统的电活动变化，在对这些脑电位信号进行分类识别，分辨出引发脑电变化的动作意图，再用计算机把人的思维活动转变成命令信号驱动外部设备，从而在没有肌肉和外围神经直接参与的情况下，实现人脑对外部环境的直接控制。

环境嘈杂条件下语音交互不容易实现，脑机交互在这些特殊条件下存在优势。当然，在绝大多数情况下，语音和手势目前的技术具有先天的优势，但是脑电作为前瞻的技术布局是因为脑电的潜力更大，其信息编码的潜力远超语音和手势，其目前的技术发展水平还存在限制，但在未来其潜能巨大。

研究表明，当人受到一个固定频率的视觉刺激的时候，人的大脑视觉皮层会产生一个连续的与刺激频率有关（刺激频率的基频或倍频处）的响应。这个响应是被称为稳态视觉诱发电位——Steady-State Visual Evoked Potentials，SSVEP。

运动想象（Motor Imagery, MI），顾名思义，人在想象自己肢体（或肌肉）运动但没有实际运动输出时，人的特定脑区仍会有激活。通过分析脑电位信号，检测识别不同脑区的激活效果来判断用户意图，进而实现人脑与外部设备之间的直接通信与控制。目前常见的运动想象部位为：左右，右手，双脚和舌头。

BCI是Brain Computer Interface的缩写，即脑机接口技术。它是在人或动物脑（或者脑细胞的培养物）与外部设备间建立的直接连接通路。

对比文件1：专利CN 108459714 B 公开了一种基于MI和SSVEP双范式的少通道异步控制脑机接口系统，主要针对少通道的脑电位信号的BCI系统，采用运动想象范式作为BCI系统的开关模块，采用稳态视觉诱发电位范式作为BCI多选模块，将两个模块前后串联构成异步控制BCI系统，利用多变量经验模式分解算法将少通道脑电位信号分解成多个固有模态函数,提高少通道BCI系统控制效果和分类正确率。

对比文件2：专利 CN 113101021 A 公开了一种基于MI-SSVEP混合式脑机接口的机械臂控制方法，通过非侵入式脑电数据采集、脑电位信号在线预处理、脑电位信号在线处理与解码、生成用户意图目标并将目标转化为控制指令等步骤，实现对机械臂的控制。通过基于MI-SSVEP混合式脑机接口实验范式，增加了脑机接口控制机械臂系统的自由度数目，实现了对机械臂在三维空间的运动控制。

上述两个专利均采用MI-SSVEP混合范式脑机接口实现对不同操作系统的控制，对比文件1以运动想象范式作为系统的开关，SSVEP范式作为操控系统的主范式，承担所有功能模块的选择任务，要求用户在系统开启后，需要保持注视视觉刺激才能进行功能的操控，无法解决驾驶过程中眼不离路问题；对比文件2中以SSVEP各频率和MI范式各状态对应定义了的9种机械臂动作指令，SSVEP与MI范式各能控制4个动作指令，但人群中有30%左右的人天然无法进行运动想象的训练，即无法通过MI范式控制对应的4个指令，此系统未提供解决此问题的措施。

发明内容

本发明提供一种基于SSEVP-MI融合的人车交互控制方法、装置及汽车，用于解决驾驶员在驾驶过程手脚被占用时无法操控车内应用的问题，替代传统的人机交互模式。

本发明的技术方案为：

本发明提供了一种基于SSVEP-MI融合的人车交互控制方法，包括：

周期性地获取用户因中控显示屏上的多个预定区域中的其中一个预定区域产生的视觉刺激信号诱发和/或用户基于运动想象所产生的脑电位信号；

对采样周期内获取到的脑电位信号进行解码，并基于解码结果确定用户意图；

基于用户意图，对车辆执行对应的控制。

优选地，中控显示屏上的多个预定区域在产生视觉刺激信号时，每一预定区域所对应的视觉刺激频率不同；

同一预定区域在不同显示界面中所指代的功能不同，同一预定区域在不同显示界面中所对应的视觉刺激频率相同。

优选地，中控显示屏上显示有主功能区域和辅助功能区域，在主功能区域内的多个预定区域所指代的功能的触发仅能由用户基于视觉刺激信号诱发产生；在辅助功能区域的多个预定区域所指代的功能的触发可由用户基于视觉刺激信号诱发产生，或，由用户基于运动想象产生。

优选地，对采样周期内获取到的脑电位信号进行解码，并基于解码结果确定用户意图的步骤包括：

对采样周期内获取到的脑电位信号进行放大、滤波、伪迹去除处理；

将脑电位信号分别输入SSVEP电位信号特征提取通道和MI电位信号特征提取通道，以判断驾驶员在所述采样周期内是否基于视觉刺激信号诱发而产生脑电位信号；

若驾驶员基于视觉刺激信号诱发而产生脑电位信号，则使用fisher线性识别方法对提取到的SSVEP电位信号特征进行分类，并根据分类结果得到用户意图；

若驾驶员未基于视觉刺激信号诱发而产生脑电位信号，则使用LDA分类器对提取到的MI电位信号特征进行分类，并根据分类结果得到用户意图。

优选地，用户通过产生握紧左手拳头的想法产生执行辅助功能区域中的左侧预定区域对应功能的导电位信号，用户通过产生握紧右手拳头的想法产生执行辅助功能区域中的右侧预定区域对应功能的导电位信号。

本发明还提供了一种基于SSVEP-MI融合的人车交互控制装置，包括：

获取模块，用于周期性地对用户因中控显示屏上的多个预定区域中的其中一个预定区域产生的视觉刺激信号诱发和/或用户基于运动想象所产生的脑电位信号；

解码模块，用于对采样周期内获取到的脑电位信号进行解码，并基于解码结果确定用户意图；

控制模块，用于基于用户意图，对车辆执行对应的控制。

本发明还提供了一种汽车，包括：视觉刺激系统，信号采集系统及控制系统，视觉刺激系统用于在中控显示屏上的多个预定区域中的其中一个预定区域产生视觉刺激信号；信号采集系统用于周期性地对用户因中控显示屏上的多个预定区域中的其中一个预定区域产生的视觉刺激信号诱发和/或用户基于运动想象所产生的脑电位信号进行采集；以及对信号采集系统在采样周期内采集到的脑电位信号行解码，并基于解码结果确定用户意图，控制系统用于基于用户意图，对车辆执行对应的控制。本发明的有益效果为：

（1）两种范式可以随时交替操控车内应用，较为灵活；（2）以运动想象范式提供两个虚拟快捷按钮，使得用户在操控某些高频功能时无需注视中控显示屏，用户在驾驶过程中可达到眼不离路，提高了驾驶安全性；（3）以SSVEP作为主范式，运动想象作为辅助范式，SSVEP覆盖所有操控功能，运动想象包含部分操控功能，弥补了其他SSVEP-MI混合范式系统部分人群无法通过运动想象范式使用部分功能的缺陷。

附图说明

图1为本实施例中的汽车的结构图；

图2为本实施例中的中控显示屏的多个预定区域分布示意图；

图3为本实施例中进行脑电位信号采集与控制的逻辑图。

具体实施方式

如图1所示，本实施例的汽车包括视觉刺激系统、信号采集系统、以及控制系统。

1.视觉刺激系统用于产生视觉刺激信号，提供亮度足够、特定闪烁频率的诱发源，诱发大脑皮层产生视觉电位信号，同时也负责进行信息反馈，指导驾驶员进行多轮交互。视觉刺激系统通过车机中控显示屏展示给用户。

中控显示屏显示12个视觉刺激正方形闪烁块（即有12个预定区域），采用正弦波频率赋以每个闪烁块不同闪烁频率。中控显示屏中的每个闪烁块预设多个功能，同一闪烁块在不同显示界面指代功能不同，通过翻页或进入某功能的下一级的方式对闪烁块功能进行切换。

如图2，中控显示屏显示表现为两个区域（如图2所示），分别为主功能区域和辅助功能区域，主功能区域共有10个闪烁块以2*5的方式均匀分布，每一个闪烁块都预设为一个功能，如音乐、导航、电话等，仅可通过SSVEP范式进行驱动；辅助功能区域共2个闪烁块，分布在区域的左侧和右侧，这两个闪烁块预设为上一页、下一页或上一曲、下一曲等用户高频使用的辅助功能，可以通过SSVEP范式触发，也可以通过运动想象范式进行操控。

2.信号采集系统包括信号采集模块、解码模块两部分，具体工作逻辑如图3所示。

（1）信号采集模块：被试者配带脑电采集设备（脑电帽）通过电极记录下来头皮上的EEG信号；脑电帽采用32个电极，电极按国际标准贴在用户的枕叶和顶叶位置。

（2）解码模块：

1）通过wifi将采样周期内采集到的脑电位信号传输至解码模块中；

2）解码模块对采样周期内采集到的原始脑电位信号进行放大、滤波、伪迹去除处理。

3）将脑电位信号分别输入SSVEP电位信号特征提取通道和MI电位信号特征提取通道，以判断驾驶员在所述采样周期内是否基于视觉刺激信号诱发而产生脑电位信号；其中，SSVEP电位信号特征提取通道利用经典相关分析方法（CCA）来提取SSVEP电位信号特征，MI电位信号特征提取通道利用共空间模式算法（CSP）来提取MI电位信号特征。

首先，SSVEP电位信号特征提取通道只能提取SSVEP电位信号特征，若输入的脑电位信号为运动想象信号，则SSVEP电位信号特征提取通道无法进行特征提取；同理，MI电位信号特征提取通道只能提取MI电位信号特征，若输入的脑电位信号为SSVEP电位信号，则MI电位信号特征提取通道无法进行特征提取。

另外，CCA方法通过计算两组信号的典型相关系数来分析SSVEP信号，一组信号为所有电极采集的脑电位信号，另一组信号为各闪烁块的闪烁频率对应的参考信号，具体原理可以参考“应用于SSVEP脑电信号识别的CCA算法”中的计算原理。也就是说，通过计算脑电位信号和每一个闪烁块的闪烁频率对应的参考信号之间的典型相关系数来确定该SSVEP导电位信号是受到哪一个闪烁块的视觉刺激诱发。

CSP算法提取MI电位信号特征原理参照语“基于CSP的运动想象脑电信号特征提取与识别”中记载的提取原理。

4）若驾驶员基于视觉刺激信号诱发而产生脑电位信号，则使用fisher线性识别方法对提取到的SSVEP电位信号特征进行分类，并根据分类结果得到用户意图；若驾驶员未基于视觉刺激信号诱发而产生脑电位信号，则使用LDA分类器对提取到的MI电位信号特征进行分类，并根据分类结果得到用户意图；

由于CCA方法已经实现了SSVER信号和闪烁块的关联，因此，fisher线性识别方法可以进一步根据分类结果同该关联闪烁块当前界面所指代的功能进行比对，确定该分类结果对应的具体功能，实现用户意图的识别。同理，可以实现运动想象信号对应的用户意图。

5）输出指令。

3.车辆控制系统包括车机、空调、车窗、座椅、氛围灯等车内可控设施。

车机负责接收信号采集系统的输出的控制指令，控制指令经线缆传输至执行器进行命令的执行；控制指令还可以通过线缆反馈显示信号至视觉刺激系统，实现交互反馈。

本实施例中，用户通过注视中控显示屏上处于闪烁状态的第X个闪烁块，脑电帽采集到用户的脑电位信号后传输解码模块，车机接收到打开X功能指令并执行，通过中控显示屏反馈给用户；用户不再注视主控屏，通过产生左手握拳的想法，控制该功能界面的左侧辅助功能；或者用户继续注视屏幕，通过注视左侧辅助功能闪烁块，控制该功能界面的左侧辅助功能。

本发明上述实施例，能够解决驾驶员在驾驶过程手脚被占用时无法操控车内应用的问题，替代传统的人机交互模式。

Claims

1.一种基于SSVEP-MI融合的人车交互控制方法，其特征在于，包括：

基于用户意图，对车辆执行对应的控制。

2.根据权利要求1所述的基于SSVEP-MI融合的人车交互控制方法，其特征在于，中控显示屏上的多个预定区域在产生视觉刺激信号时，每一预定区域所对应的视觉刺激频率不同；

3.根据权利要求1或2所述的基于SSVEP-MI融合的人车交互控制方法，其特征在于，中控显示屏上显示有主功能区域和辅助功能区域，在主功能区域内的多个预定区域所指代的功能的触发仅能由用户基于视觉刺激信号诱发产生；在辅助功能区域的多个预定区域所指代的功能的触发可由用户基于视觉刺激信号诱发产生，或，由用户基于运动想象产生。

4.根据权利要求1所述的基于SSVEP-MI融合的人车交互控制方法，其特征在于，对采样周期内获取到的脑电位信号进行解码，并基于解码结果确定用户意图的步骤包括：

5.根据权利要求3所述的基于SSVEP-MI融合的人车交互控制方法，其特征在于，用户通过产生握紧左手拳头的想法产生执行辅助功能区域中的左侧预定区域对应功能的导电位信号，用户通过产生握紧右手拳头的想法产生执行辅助功能区域中的右侧预定区域对应功能的导电位信号。

6.一种基于SSVEP-MI融合的人车交互控制装置，其特征在于，包括：

控制模块，用于基于用户意图，对车辆执行对应的控制。

7.一种汽车，其特征在于，包括：视觉刺激系统，信号采集系统及控制系统，视觉刺激系统用于在中控显示屏上的多个预定区域中的其中一个预定区域产生视觉刺激信号；信号采集系统用于周期性地对用户因中控显示屏上的多个预定区域中的其中一个预定区域产生的视觉刺激信号诱发和/或用户基于运动想象所产生的脑电位信号进行采集；以及对信号采集系统在采样周期内采集到的脑电位信号行解码，并基于解码结果确定用户意图，控制系统用于基于用户意图，对车辆执行对应的控制。