CN103083014A - 一种利用脑电控制车辆的方法和利用该方法的智能车辆 - Google Patents

Abstract

本发明提供一种利用脑电控制车辆的方法和利用该方法实现目的地选择的智能车辆，该方法通过采集用户注视对应目的地刺激时的脑电信号，通过分析脑电信号，识别出用户期望到达的目的地，然后将该目的地发送给智能车辆的自主导航系统并由其控制车辆移动到目的地。本发明提出的方法不需要任何的肢体运动和语言，只需要用户进行脑-机接口的任务，通过对脑电信号的分析获得命令，实现智能车辆的移动。

Description

一种利用脑电控制车辆的方法和利用该方法的智能车辆

技术领域

本发明涉及一种利用脑电控制车辆的方法和利用该方法的智能车辆。具体是指，利用脑电波进行目的地选择的方法和利用该方法进行控制的智能车辆，该智能车辆（尤其是智能车辆的控制系统）通过传感器等采集与用户注视目的地刺激时的脑电信号，通过分析脑电信号，识别出用户的意图，然后将用户所选择的目的地信息发送给智能车辆的自主导航系统，并由此控制智能车辆移动到达目的地。本发明提出的方法不需要任何的肢体运动和语言，只需要用户进行脑-机接口的任务，通过对对应脑电信号的分析获得命令，实现智能车辆的移动。本发明属于认知神经科学、信息技术领域和自动控制领域的综合应用。

背景技术

对于肢体运动障碍的患者而言，能够到室外进行运动成为这些患者的一种梦想。在现有的助残车辆中，主要以轮椅（代步车）为主。普通的轮椅需要有外力推动轮椅进行移动，或者通过轮椅使用者自身转动轮椅的双轮进行移动；而智能轮椅以电动轮椅为基础，在传统的电动轮椅的基础上，增加了各种计算控制单元，传感检测单元等智能设备，通过计算控制单元将手柄控制电压的变化信号传输给电机，实现对智能轮椅的控制。然而对于四肢均不能有效操作的高位截瘫患者而言，操作手柄也是一件很困难的事情。因此研究者根据不同的人群，研发出不同的适合各种人群的智能轮椅，如：适合肢体能动性比较好的人群的操作杆控制、按键控制等方式，适合肢体能动性比较差的人群的语音控制、肌电信号控制以及脑电控制等方式。

基于脑电的控制方式，直接建立了人大脑和被控物理设备（例如智能轮椅）之间的沟通，能够将用户的意图直接通过大脑传递给运动控制单元。实现完全不通过肢体运动或其它身体运动的对外界物理设备的控制。能够满足肢体严重运动障碍者移动的需求。但是现有的各种智能辅助移动设备，均以电动轮椅为基础。而轮椅在速度以及活动范围方面严重受限，这样也就造成用户的活动范围只能局限于轮椅的活动范围，无法进一步的扩大用户的自理能力和活动空间。

车辆作为一个高速运行的载人移动设备，在活动的范围和速度方面都远远的优于轮椅。但是对于肢体障碍者而言，车辆的控制是一个远比轮椅控制复杂的多的过程。对于对车辆的控制，在速度和安全性方面的要求要远远的高于轮椅等低速运行的辅助移动设备。脑-机接口技术在实时性和准确性方面的局限，是无法完全的满足高速和安全的要求。如何依据脑-控轮椅的方式，实现通过脑电对车辆的控制就成为一个严重制约脑-控车辆发展的一个问题。

事实上，现有的智能车辆能够利用本身所具有的智能控制功能、智能导航功能以及智能避障功能等方面的优势，在事先设定好的规则下，自主的完成用户所需要完成的任务。也就是说用户可以事先设定好对智能车辆的控制，其余的工作可以完全由智能车辆本身的智能部分完成。这样用户只是完成了选择的工作，更多的工作可以通过车辆本身的功能实现，只要用户的选择结果能够正确的反应用户的目的，智能车辆本身就可以有效的完成用户的需要。

现有的脑-机接口方式主要为P300、SSVEP以及MI三类，其中P300由于可以提供多种选择项，同时P300脑-机接口方式有较高的准确率，因此该方式在多项选择控制方面有明显的优势。虽然无论何种方式的脑-机接口方式，完全的识别准确是无法实现的，但是通过反复的确认，却可以很好的保障意图的识别。而意图的选择是在车辆静止下进行的，故不存在移动过程中速度和时间的问题，以及由此引发的安全性问题，因此该种形式的控制完全可以实现大脑对车辆的直接控制。

基于脑电进行目的地选择的智能车辆一般具有刺激显示系统、脑电信号采集及处理系统和智能车辆三部分组成。而决定系统是否能够顺利运行的关键在于三点：第一，脑-机接口所需要刺激是否能够充分的体现出用户所有可能的意图选择；第二，用户所选择目标对应的脑电反应是否能够准确的检测出来；第三，当智能车辆获得指令之后，是否能够有效的完成指令所规定的任务。由于，现有的脑-机接口主要是在事先规定好的刺激形式下，由用户根据自身的需要选择所需的对象，这样也就造成可选择的目的地数目的局限。而对于脑电的采集与分析而言，目前大部分的研究更多的是在室内实验室的条件下。对于有着更多干扰信息的汽车驾驶室内，现有的方法不能够可靠的检测出所需要的脑电信号。因此，提出一种新的基于脑电进行目的地选择的智能车辆成为本发明的目的。

发明内容

本发明通过事先设定的用户经常会出现的目的地作为刺激元素，考虑到目的地的多样性，本发明设计了一款可选择更新式刺激显示模块（从汽车运行过程中减少视角转移造成干扰的方面考虑，刺激显示模块采用抬头显示系统HUD的显示模式），该刺激显示模块将目的地分成网格显示，以及当目的地超过刺激显示模块的一个页面上的网格数时将目的地分成多页（每页具有相同的网格数）显示，呈现给用户。

本发明涉及一种基于脑电进行目的地选择的方法，所述方法包括：通过脑电采集模块采集用户由于注视由抬头显示系统显示的刺激信息而诱发出的脑电信号；通过脑电分析处理模块分析所述脑电信号以获得期望目的地信息；经过对期望目的地信息的多次确认，获得用户的最终真实意图。

通过脑电采集模块采集脑电信号的步骤包括：通过置于用户的大脑头皮上的脑电电极采集脑电信号，并通过脑电放大器获得并输出待处理的脑电信号。

通过脑电分析处理模块分析所述脑电信号的步骤包括：第一步，采用双线程模式记录数据，其中一个线程记录刺激闪烁的时间，在开始闪烁的同时，另一个线程记录通过脑电采集模块采集的脑电信号；第二步，如果闪烁持续预定轮数，则对所采集的脑电信号进行预处理；第三步，通过主成分分析法（PCA）对预处理之后的脑电信号进行分析，获得表征目的地的主要脑电信号特征；第四步，通过线性分类法（LDA）对所述主要脑电信号特征进行分类，获得目的地意图；最后，通过采用第一步至第四步的方法进行多次确认，获得用户的最终真实意图。以上5步作为目的地选择确认的一个周期。

对期望目的地信息的多次确认的步骤包括：对期望目的地信息的3次确认，如果3次确认中有两次以上识别为确认，则判断用户的最终真实意图是期望目的地，否则进入下一个周期的选择阶段。

刺激信息由刺激显示模块显示，刺激的显示模式是通过抬头显示系统的显示模式实现，刺激信息包括期望目的地的多个目的地图像，所述多个目的地图像中的每个按照一定顺序多次闪烁。

闪烁持续的预定轮数是10轮。所述预处理包括滤波处理和数据划分。

根据本发明的另一方面，提供一种利用上述方法的智能车辆，该智能车辆利用上述方法得到的用户的最终真实意图通过车辆自主控制模块进行自主控制，以到达目的地。

利用上述方法得到的用户的最终真实意图输出到包括在车辆自主控制模块中的导航模块，以将用户的最终真实意图转换成目的地的经纬度信息，从而控制智能车辆到达目的地。

附图说明

图1是本发明的系统框图。

图2本发明的刺激显示模块的显示界面。

图3本发明刺激显示模块的选择流程。

图4本发明所需要采集的脑电信号对应的通道位置。

图5是脑电放大器原理框图。

图6是脑电信号的处理流程图。

图7是本发明的目的地选择方法的流程图。

具体实施方式

该发明所描述的基于脑电信号进行目的地选择的方法和利用该方法的智能车辆系统特别适用于行动不便者，本领域技术人员可以根据该发明的基本设备和原理，进一步的扩展其他的辅助驾驶系统。

本发明的基本原理是当用户需要对车辆进行控制的时候，不用通过肢体或者语音动作，只需要通过注视刺激显示模块101中所要选择的目的地（如图2中标黑的网格A），大脑中对应的脑电区域就会出现相应的P300波形，通过脑电采集模块102采集对应位置头皮上的脑电信号以及通过脑电分析处理模块103对采集的脑电信号进行分析处理，获得用户的真实意图；然后，同样采用P300模式实现多次确认，实现意图的识别的准确性提升；最后可以通过信息处理模块104将用户意图发送给被控制车辆的导航模块105，由车辆控制器通过导航模块完成自主驾驶任务。

具体地说，如图7所示，本发明的方法包括：通过脑电采集模块102采集用户由于注视刺激信息而诱发出的脑电信号；通过脑电分析处理模块103分析所述脑电信号以获得期望目的地信息；经过对期望目的地信息的多次确认，获得用户的最终真实意图。其中，刺激信息由刺激显示模块101显示，刺激信息包括期望目的地的多个目的地图像，所述多个目的地图像中的每个按照一定顺序多次闪烁。刺激显示模块101将多个目的地图像分成网格显示（如图2所示，分成6个网格显示），当目的地图像超过刺激显示模块101的一个页面上的网格数时将目的地图像分成多页显示，呈现给用户（如图2所示，利用左右翻页健翻页，每页具有相同的网格数）。利用图3所示的方法确认用户选择的目的地（稍候将描述）。

进一步说，通过脑电采集模块102采集脑电信号的步骤（对应于图7的步骤701-703）包括：通过置于用户的大脑头皮上的脑电电极采集脑电信号，并通过脑电放大器（未示出）获得并输出待处理的脑电信号。

通过脑电分析处理模块103分析所述脑电信号的步骤（对应于图7的步骤704-712）包括：第一步，采用双线程模式记录数据（对应于步骤704），其中一个线程记录刺激闪烁的时间（对应于步骤705、706），在开始闪烁的同时，另一个线程记录通过脑电采集模块102采集的脑电信号（对应于步骤707、708）；第二步（对应于步骤709），如果闪烁持续预定轮数（例如，10轮），则对所采集的脑电信号进行预处理（例如，滤波处理和数据划分）；第三步（对应于步骤710），通过主成分分析法（PCA）对预处理之后的脑电信号进行处理，获得表征目的地的主要脑电信号特征；第四步（对应于步骤710），通过线性分类法（LDA）对所述主要脑电信号特征进行处理，获得目的地意图；最后，通过采用第一步至第四步的方法进行多次（例如，3次）确认，获得用户的最终真实意图，如果在这3次确认中有两次以上确认对应期望目的地信息，则判断用户的最终真实意图是期望目的地，否则重新进入选择目的地步骤进行下一个周期的选择和确认（对应于步骤711和712）。

下面参照图1至图6描述利用上述方法的智能车辆，该智能车辆的车辆自主控制模块包括扩展型目的地选择刺激显示模块101、脑电信号采集模块102、信号分析处理模块103、信息处理模块104、导航模块105等，以利用上述方法得到的用户的最终真实意图，通过车辆自主控制模块进行自主控制，以到达目的地。具体地说，当用户注视刺激显示模块101时，诱发出相应的脑电信号；脑电采集分析系统102通过对脑电信号的分析获得用户意图；之后通过中央处理器中存储的目的地位置信息（经纬度）列表，获得用户意图对应的位置，并通过无线传输装置将该信息传输给智能车辆导航模块105，由车辆自主完成到达目的地的任务。

如图1所示，一种基于脑电进行目的地选择的智能车辆的整体框图，包括如下部分。

（一）扩展型目的地选择刺激显示模块101

所述的刺激显示模块101可以实现不同的目的地选择，并可以根据用户的要求，增加新的可选项。然后通过抬头显示系统（HUD）的方式，显示在用户的前方。该刺激显示模块101可以根据用户需求进行翻页选择，进而获得更多的可选择项。在刺激显示模块101上显示的刺激显示界面见图2。该刺激显示模块101的功能是构建脑-机接口所需要的刺激信息。对在刺激显示模块101上显示的刺激信息的选择流程见图3。在步骤301中，用户选择目的地（如目的地A），如果在当前页面存在目的地（如目的地A），则用户直接选择目的地而无需通过左右键进行翻页选择；如果在当前页面不存在目的地（如目的地A），则用户通过左右键进行翻页，直到选择目的地为止。通过将用户选择的目的地转化为具体的刺激信息。并保有上下翻页和确认的刺激信息。在步骤302和303中，当用户在选择目的地（如：目的地A）或翻页结束之后，系统在之后的n次识别/确认过程中，只需要获得1次以上的“确认”识别，即可将该识别结果（如：目的地A）作为控制命令输出。

扩展型目的地选择刺激显示模块101，采用抬头显示模式作为最终刺激的显示模式，可以降低由于刺激材料的显示造成对用户的干扰。

（二）脑电信号采集模块102

所述的脑电信号采集模块102通过置于大脑头皮上的脑电电极采集获得脑电信号，在采集的过程中，用户通过注视所选择的目的地（如：目的地A）对应的刺激，以诱发出对应的脑电信号，并通过脑电放大器将放大之后的脑电信号传输给脑电分析处理模块103。脑电信号采集模块102的功能是通过脑电电极采集由刺激显示模块101诱发出的脑电信号，主要通过放置在头皮的脑电电极实现，脑电电极采用双极导联的方式。脑电电极具体的位置为国际64导联的10-20电极系统的P3,P4,P7,P8,PZ,CZ共6个位置，见图4。

从便携实用角度而言，该智能车辆还设计了一款脑电放大器，以放大通过脑电电极采集的脑电信号，脑电放大器原理框图如图5所示。脑电信号经过前置放大（步骤501）、高通滤波（步骤502）、50Hz陷波（步骤503）、低通滤波（步骤504）、后放大（步骤505）等处理。具体的前置放大器采用BURR-BROWN（BB）公司的INA128放大器，该放大器是一种专门用于生物电信号采集的军工产品级别的集成仪表放大器，具有很高的精度。低通滤波主要去除高频干扰，同时对信号进行中间级放大100倍，选择有源低通滤波方式，集成放大器选用通用的OP07。后级放大电路，采用通用OP07组成的放大结构。

（三）信号分析处理模块103

所述的脑电信号分析处理模块103实现对目的地的选择、翻转页的控制以及确认控制，在识别出结果之后，通过反复多次确认的脑-机接口方式提高其准确性，最终获得用户的准确意图。

在脑电信号分析处理模块103中，对于信号的处理流程如图6所示：

（1）数字滤波（步骤602）。对采集到的脑电信号（步骤601）进行0.53Hz—15Hz的带通滤波处理，去除肌电、眼电以及工频干扰等干扰信息。脑电信号的频率主要位于0-50Hz的范围，而在采集过程中，也必然受到心电、肌电噪声的干扰，所以，需要对所采集的数据进行滤波处理。这里选用的P300脑电电位主要位于低频段，故设计带通滤波器，通带范围为0.53-15Hz。

（2）数据划分（步骤603）。利用刺激显示模块101记录的刺激显示时间，定位所采集到的脑电信号对应分割脑电信号，将各个刺激开始闪烁之后512ms的数据分别存放在相应的缓存空间中。

（3）利用主成分分析（PCA）提取每个刺激对应脑电信号的特征信息（包含有效信息的95%）。（步骤604）

（4）分类器LDA设计（步骤604）。利用线性分析方法（LDA）对提取的特征进行分类，获得用户的选择意图（或者选择的目的地）；根据主成分分析的特征信息，在训练数据上，通过LDA方法，求解出最佳的映射参数。并将该参数扩展到在线检测上，对实时的脑电信号进行实时的识别；

（5）当用户选择出一个目的地或者翻转页之后，同样采用[1]-[4]的过程实施对确认项的选择（步骤605）。如果连续3次（其中有两次以上被识别为确认，即可被认为是确认），否则重新进入下一个周期的选择环节直到选择出目的地并进行确认位置；如果在选择阶段识别的结果并不是用户的真实意图，则用户需要注视除去“OK”键意外的同一个键，以保障获得较低的确认率

设定识别准确度为：P；识别周期：N

每一周期的准确率：

P_accuracy＝P×(P³+3×P²×(1-P))

每一周期的错误率：

$P_{\mathrm{error}}=(1-P)\×[{\left(\frac{1-P}{8}\right)}^3+3\×(1-\frac{1-P}{8})\×{\left(\frac{1-P}{8}\right)}^2]$

每一周期的拒判率：

P_rejection＝1-P_accuracy-P_error

因此从总体的识别过程为：

随着周期（识别的时间为N×T（单个周期所用时间））的变化，则识别的准确率变化为：

$P_N=P_{N-1}+P_{\mathrm{rejection}}^{N-1}\×P_{\mathrm{accuracy}}$

（以90%的识别准确率为例，在连续3个周期内即可达到99.8%的成功率，随着时间的不断推移将无限趋近于1-P_error<<0.01%）。

（四）信息处理模块104

信息处理模块104主要是负责整个系统的各项信息的存储和处理，如：脑电信号的临时性存储、刺激显示模块101的刺激信息存储、以及脑-机接口识别结果存储和传输和所有可选目的地的位置坐标信息。

（五）导航模块105

导航模块105负责接收用户选择目的地的位置信息，并根据该位置信息，自主导航实现对车辆的实际控制。

导航模块105接收由信息处理模块104获得的用户意图以及对应的位置坐标，通过将具体地理位置坐标作为导航的目标，由自主导航系统，实现对车辆的实际控制。

如上所述，利用上述方法的智能车辆和普通车辆相比较，具有无线接收指令系统以及自主导航，自主避障等功能，能够在目标确定的情况下，顺利完成到达目的地的任务。

Claims (8)

1.一种基于脑电控制车辆的方法，所述方法包括：

通过脑电采集模块采集由于用户注视抬头显示系统显示的目的地刺激而诱发的脑电信号；

通过脑电分析处理模块分析所述脑电信号以获得期望目的地信息；

经过对期望目的地信息的多次确认，获得用户的最终真实意图。

2.根据权利要求1所述的方法，其中，通过脑电采集模块采集脑电信号的步骤包括：

通过置于用户的大脑头皮上的脑电电极采集脑电信号，并通过脑电放大器获得并输出待处理的脑电信号。

3.根据权利要求1所述的方法，其中，通过脑电分析处理模块分析所述脑电信号的步骤包括：

第一步，采用双线程模式记录数据，其中一个线程记录刺激闪烁的时间，在开始闪烁的同时，另一个线程记录通过脑电采集模块采集的脑电信号；

第二步，如果闪烁持续预定轮数，则对所采集的脑电信号进行预处理；

第三步，通过主成分分析法对预处理之后的脑电信号进行分析，获得表征目的地的主要脑电信号特征；

第四步，通过线性分类法对所述主要脑电信号特征进行分类，获得目的地意图；

最后，通过采用第一步至第四步的方法进行多次确认，获得用户的最终真实意图。

以上的整个过程称为一个选择确认周期。

4.根据权利要求1所述的方法，其中，对期望目的地信息的多次确认的步骤包括：

对期望目的地信息的3次确认，

如果在这3次确认中有两次以上确认对应期望目的地信息，则判断用户的最终真实意图为期望目的地；否则本周期的选择无效，随进入下一个周期的选择。

5.根据权利要求1所述的方法，其中，刺激信息由刺激显示模块显示，刺激的显示模式是通过抬头显示系统的显示模式实现，刺激信息包括期望目的地的多个预设目的地图像，所述多个目的地图像中的每个按照一定顺序多次闪烁。

6.根据权利要求3所述的方法，其中，闪烁持续的预定轮数是10轮，所述预处理包括滤波处理和数据划分。

7.一种利用权利要求1-6的方法的智能车辆，所述智能车辆利用权利要求1-6的方法得到的用户的最终真实意图，并通过车辆自主控制模块进行自主控制，以到达目的地。

8.根据权利要求7所述的智能车辆，其中，利用权利要求1-6的方法得到的用户的最终真实意图输出到导航模块，以将用户的最终真实意图转换成目的地的经纬度信息，然后由车辆自主控制模块控制智能车辆到达目的地。

Images