CN108693973B - 一种融合脑电信号和环境信息的紧急状况检测系统 - Google Patents

Abstract

本发明涉及一种融合脑电信号与环境信息的紧急状况检测系统及其相关计算方法。本发明旨在提高自动驾驶过程中的脑控车的安全性及驾驶体验。本发明通过结合基于脑电信号的紧急刹车意图检测与基于环境信息的障碍检测，实现对紧急状况的识别，进一步使车辆紧急制动。本发明对于提高脑控驾驶、自动驾驶的安全性有重大意义。本发明属于车辆设计领域、人机交互科学、认知神经科学和自动控制领域的综合应用。

Description

一种融合脑电信号和环境信息的紧急状况检测系统

技术领域

本发明涉及一种融合脑电信号和环境信息的紧急状况检测系统。具体的来说，分别通过处理脑电信号和环境信息，实现对紧急刹车意图以及障碍物的检测，在通过决策规则实现对紧急状况的判断。本发明提出的方法不需要任何的肢体运动和语言，只需要驾驶员想象右脚刹车，通过对脑电信号和环境信息的分析获得命令，实现紧急状况下车辆的制动。本发明属于车辆设计领域、人机交互科学、认知神经科学和自动控制领域的综合应用。

背景技术

许多疾病都会引起神经元的死亡造成神经通路的损伤，使大脑无法通过正常的神经肌肉系统与外部环境进行交流。如何使这类患者能够像正常人一样和外界进行交流、控制车辆的运动成为紧迫的问题。脑-机接口(BCI)可以在人脑和计算机或其他外界设备之间建立一种直接的信息交流和控制通道，是一种不依赖与常规大脑输出通路(外围神经和肌肉组织)的全新的信息交流系统。由于低成本和便于使用，EEG信号被广泛的应用于发展BCI系统。BCI技术的不断发展，脑控轮椅和脑控车相继被研究。但是这些技术，尤其是脑控车，大多依赖于自动驾驶技术(脑控驾驶员仅仅负责选择目的地，而车辆自动完成驾驶过程)。然而在自动驾驶过程中，可能会遭遇一些突发的交通事件，比如车辆前方突然出现行人或者相邻车道的车辆突然插入当前车道等交通情况，这对车辆造成了极大的危险。

一种解决思路主要采用基于传感器的辅助驾驶系统，通过分析图像、距离等信息对障碍物进行检测并使车辆自动制动。尽管这些方法，有着较高的准确率；但其只能检测障碍物是否存在，而无法判断是否应立即制动。此外，由于传感器容易受到环境影响，这些障碍检测系统在复杂环境中性能往往会明显下降。另一种思路是通过检测驾驶员的生理信息识别刹车意图。但驾驶员刹车意图的产生与驾驶员右脚的运动想象有关，而与紧急状况没有必然联系。因此该技术在性能上存在局限，主要体现为虚警率过高。

我们认为障碍物的存在是紧急状况的客观条件，刹车意图检测是紧急状况的主观条件。要准确的识别紧急状况并制动是要兼顾这两个条件的。融合脑电信号和环境信息对紧急状况进行检测，是本发明的主要目的。

发明内容

根据本发明要求，提供一种融合脑电信号和环境信息的紧急状况检测系统，包括基于EEG的紧急刹车意图检测子系统、基于传感器的障碍检测子系统和决策子系统；其中，紧急刹车意图检测子系统由脑电采集模块以及脑电处理模块组成，脑电采集模块用于实时采集驾驶员的脑电信号并且进行放大和模数转换，通过数据线与脑电处理模块进行信号传输，脑电处理模块用于接收脑电信号并且对脑电信号进行处理，识别驾驶员的紧急刹车意图，并输出判别结果；障碍检测子系统用于获取车辆前方的环境信息，检测障碍物存在与否，并输出判别结果；决策子系统用于根据紧急刹车意图检测子系统以及障碍检测子系统的判别结果，对当前是否属于紧急状况进行判断并输出最终结果，同时实时选择新样本用于紧急刹车意图检测子系统中分类器的重新训练，使其具有自适应性。

本发明涉及一种融合脑电信号和环境信息的紧急状况检测方法，所述方法包括：步骤1，分别实时采集使用者脑电信号和环境信息，并且进行放大和模数转换；步骤2，紧急刹车意图检测子系统和障碍检测子系统分别接收脑电信息和环境信息并进行处理，判断刹车意图和障碍物是否存在；步骤3，决策子系统根据紧急刹车意图检测子系统以及障碍检测子系统的判别结果，对当前是否属于紧急状况进行判断并输出最终结果；同时实时选择用于重新训练紧急刹车意图检测子系统中的分类器的新样本；步骤4，车辆接受系统的输出命令并进行制动。

所述，步骤1包括：通过置于用户大脑头皮上的脑电电极采集用户的脑电信号，并通过脑电放大器获得并输出待处理的脑电信号；通过车载传感器获取环境信息，并传送给障碍检测系统。

所述，步骤2包括：步骤21，对采集到的原始脑电信号进行处理，判断驾驶员紧急刹车意图是否存在；步骤22，对环境信息进行处理，判断障碍物是否存在。

所述，步骤3包括：步骤31，根据紧急刹车意图检测子系统以及障碍检测子系统的输出，按照决策规则输出紧急状况检测的最终结果；步骤32，根据新样本选择规则，实时保存新样本。步骤33，将新样本集和离线保存的训练样本集合并，进行紧急刹车意图检测子系统中的分类器的重新训练。

所述，步骤21包括：步骤211，对脑电信号进行0.53-60Hz滤波，采用独立成分分析滤除眨眼伪迹，采用共平均参考和基线修正滤除噪音；步骤212，采用共空间模式对脑电数据进行变换，然后通过功率谱分析计算特征，利用相关分析选出的特征标签来提取特征。步骤213，将提取到的特征代入正则化线性判别分析模型，以判断是否存在紧急刹车意图。

所述，步骤31进一步阐述为：当紧急刹车意图检测子系统检测出紧急刹车意图且障碍检测子系统检测出障碍物时，决策子系统判断当前为紧急状况，向车辆发出制动命令；否则，决策子系统判断当前为正常情况，车辆继续行驶；

所述，步骤32进一步阐述为，当紧急刹车意图检测子系统未检测出紧急刹车意图且障碍检测子系统未检测出障碍物时，决策子系统保存当前输入紧急刹车意图检测子系统分类器的样本；

所述，步骤33进一步阐述为，当保存75个新样本后，重新训练分类器；自适应正常样本集由两部分组成，即离线保存的正常训练样本和实时存储的新样本，其中新样本在每次自适应训练后全部被清除；自适应紧急样本由离线保存的紧急训练样本组成。

本发明提出一种基于脑电信号和环境信息的紧急状态检测系统，其有利于提高脑控车及自动驾驶系统的安全性和驾驶体验。

附图说明

图1为本发明的工作系统框图；

图2为本发明所需要采集的脑电信号对应的通道位置；

图3为本发明的脑电处理模块流程示意图；

具体实施方式

本发明所描述的融合脑电信号和环境信息的紧急状况检测方法特别适用于严重残疾者，本领域技术人员可以根据该发明的基本设备和原理，与现有的各种基于传感器的障碍检测系统相结合，进一步扩展辅助驾驶系统。

本发明的基本原理是当紧急状况发生时，驾驶员在刺激下想象使用右脚刹车，通过对驾驶员脑电信号进行处理来检测紧急刹车意图；随后将刹车意图检测结果与障碍检测结果相结合，通过决策规则来产生紧急状况检测的最终结果。

下面结合附图和具体实施例对本发明提供的一种融合脑电信号和环境信息的紧急状况检测系统进行详细描述。

同时，在这里做以说明的是，为了使实施例更加详尽，下面的实施例为最佳、优选实施例，对于一些公知技术本领域技术人员也可采用其他替代方式而进行实施；而且附图部分仅是为了更具体的描述实施例，而并不旨在对本发明进行具体的限定。

本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外，为了避免对本发明的实质造成不必要的混淆，并没有详细说明众所周知的方法、过程、流程、元件和电路等。

在本发明的实施例中，提出了一种融合脑电信号和环境信息的紧急状况检测系统，参考图1，该系统包括基于脑电信号的紧急刹车意图检测子系统、基于传感器的障碍检测子系统和决策子系统。

所述紧急刹车意图检测子系统可以分为脑电采集模块、脑电处理模块；

其中，脑电采集模块应用脑电采集仪实时采集脑电信号并且进行放大和模数转换，通过数据线与处理器进行数据传输。采集的通道总数共16个，根据“10-20国际标准导联”将脑电采集电极放置在使用者头部的F3，F4，Fz，C3，C4，Cz，P7，P3，P4，P8，Pz，O1，O2，Oz，T7，T8位置，将参考电极放置在使用者耳垂上的A11、A12位置(各电极位置如图2所示)。采样频率设置为1000Hz。

其中，脑电处理模块用于接收脑电信号，并且对脑电信号进行处理，检测驾驶员的紧急刹车意图。系统以1s的窗宽，0.1s的步长对脑电信号进行处理。处理过程如图2所示，包括：步骤1、对原始脑电信号进行预处理，降低维度，滤除噪音；步骤2、从预处理后的数据中提取特征；步骤3、将特征代入分类器，进行分类。

其中，步骤1具体如下：

1)滤波去噪

由于采集脑电信号时极易受到外界的噪音干扰等，所以首先对脑电信号进行滤波处理，以滤除低频动作干扰等，对每个通道的脑电数据进行带通滤波，截止频率为0.53-60Hz。

2)独立成分分析

在眨眼过程中，眼睑快速划过眼球，造成眼部电位差的突变，从而产生眨眼伪迹，影响信号质量。针对眨眼伪迹，在预处理部分首先采用了独立成分分析的方法以实现信号源的分离。具体上就是将16个通道的脑电信号投影到源空间上，可表达为

Y(t)＝W₁·X(t)

其中X(t)＝[x₁(t),x₂(t),…,x_i(t)]^T，x_i(t)代表第i个电极所采集的数据，Y(t)＝[y₁(t),y₂(t),…,y_i(t)]^T，y_i(t)代表第i个独立成分，t代表采样时间点.W₁为解混矩阵(本发明中采用informax算法计算)。然后根据眨眼伪迹的特点(存在高幅值震荡)，去除相应的独立成分(通常是将第一个成分设为0)，最后通过逆变换再投影回原来的空间中：

X(t)＝W₁ ^-1·Y(t)

从而滤除眨眼伪迹。

3)降采样、共平均参考及基线修正

脑电数据被降采样到200Hz以降低计算量，共平均参考(CAR)被应用滤除一些各通道中共同存在的干扰(对各通道采集的脑电信号均可能产生影响，且噪音的活动情况大致相同，在采集的脑电信号中集中的表示为时域中一些具有共同特性的非脑电信号活动)，可表示为

其中C为通道总数，即16；其它符号与先前意义相同。最后采用基线修正，滤除基线零漂，其具体做法是对于某个窗内每个通道的每个采样值，减去该窗该通道前10％采样值的平均值。

其中，步骤2具体如下：

1)共空间模式

在特征提取部分，共空间模式(CSP)首先被应用，将16个通道的脑电信号投影到m个虚拟通道中，用于降低特征维度，提升特征质量。该过程可以表示为

Z(t)＝W₂·X(t)

其中Z(t)＝[z(t),z₂(t),…,z_m(t)]^T，z_m(t)第m个虚拟通道的数据，W₂是投影矩阵。虚拟通道数m通过离线反复调试获得，以实现最佳分类性能。

2)功率谱分析

我们采用了快速傅里叶变换方法，并计算功率谱值作为原始特征。其中50HZ的特征被丢弃，从而避免工频干扰的影响。随后根据离线分析获得的特征标签，从原始特征中提取最终特征。

其中，特征标签采用相关分析的方法获得。具体地，通过将每个特征与类别标签做相关分析，记录与实际类别标签变化相关的特征的标签，可表示为

R(j)＝|corr(v₁(j),v₂(j))|

其中v₁(j)＝[em_j(1),…,em_ej(k),no_j(1),…,no_j(l)]^T，em_j(k)和no_j(l)代表第j个特征所对应的第k个紧急样本和第l个正常样本，v₂(j)＝[ec_j(1),…,ec_j(k),nc_j(1),…,nc_j(l)]^T，ec_j(k)和nc_j(l)分别代表第k个紧急样本和第l个正常样本的类别标签，即ec_j＝1，nc_j＝-1；R(j)代表向量v₁(j)和v₂(j)的相关系数绝对值。R(j)的值越大，意味着第j个特征的分类性能越好。最终我们取R值最大的前n个特征作为最终提取的特征向量。特征维度n被限制在10-100的范位内，通过离线反复调试获得，以实现最佳分类性能。

其中，步骤3具体如下：

分类器采用了正则化线性判别分析的方法(RLDA)，其可以表达为

y＝w^Tx

其中x是输入特征向量，y是输出，w＝Σ′_w/(μ₁-μ₂)代表投影矩阵，μ₁和μ₂分别代表紧急和正常两类的输入特征向量的均值，∑′_w是标准化的类内离散度矩阵，可以通过下式计算

∑′_w＝(1-λ)∑_w+λvI

其中Σ_w是原始类内离散度矩阵，λ∈[0,1]是一个调节参数，I是单位矩阵，v＝trace(∑_w)/d，d是∑_w的维度。阈值Tr被设置以判别输出y。如果y>Tr，则判别结果y_ida＝1，即检测到驾驶员紧急刹车意图。否则y_ida＝-1，即未检测到刹车意图。

所述，障碍检测子系统可以采用已有技术，例如基于车载相机、激光传感器、雷达等的障碍检测。本发明旨在将设计的紧急刹车意图检测系统与现有的障碍检测系统进行对接，障碍检测系统非本发明的主要研究内容。

所述，决策子系统分为紧急状况判别模块和自适应模块；

其中，紧急状况判别模块的建立是由于单独的刹车意图检测算法虚警率过高，从而难以应用；而单独的行人检测系统只能检测潜在危险。因此，紧急状况判别模块的决策规则设计为，即

y_ida＝1∩y_odm＝1

其中y_ida和y_odm分别表示刹车意图和障碍物检测结果，当该规则被满足，则车辆制动；否者车辆正常行驶。

其中，自适应模块被建立以更新紧急刹车意图检测模型参数，从而使模型对驾驶员状态的变化产生适应性。具体上，通过构建自适应样本集，重新训练分类器。自适应样本集由两部分样本构成。第一部分样本被称为原始样本，原始样本是离线训练分类器的n维特征向量(n的含义见上文)，它们被预先永久保存在自适应样本集中(本发明中保存75个正常样本，25个紧急样本)，不做更新；第二部分样本被称为附加样本，附加样本同样是n维特征向量，它们是从实时输入到分类器中的新n维特征向量中选择的，选择的规则如下

y_ida＝-1∩y_odm＝-1

若满足规则，则保存当前y_ida所对应的n维特征向量到自适应样本集中，作为附加样本。附加样本作为正常样本使用。当附加样本累加到一定数量(本发明中是75个)，则利用自适应样本集，重新训练分类器。注意，若在累积附加样本时出现y_odm＝1的情况，则附加样本清零，重新累积。每次完成分类器的重新训练后，附加样本清零；间隔一段时间后(本发明中间隔为10秒)，重新开始累积附加样本并完成下一次自适应过程。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其他的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (2)

1.一种融合脑电信号和环境信息的紧急状况检测系统，包括基于脑电信号的紧急刹车意图检测子系统、基于传感器的障碍检测子系统和决策子系统；

其中，紧急刹车意图检测子系统由脑电采集模块以及脑电处理模块组成，脑电采集模块用于实时采集使用者的脑电信号并进行放大和模数转换，通过数据线与脑电处理模块进行信号传输，脑电处理模块用于接收脑电信号并进行处理，检测驾驶员的紧急刹车意图，并输出判别结果；

包括：对采集到的脑电信号进行处理，判断使用者紧急刹车意图是否存在；

进一步包括：

对脑电信号进行0.53-60Hz滤波，采用独立成分分析滤除眨眼伪迹，采用共平均参考和基线修正滤除噪音；

采用共空间模式对脑电信号进行变换，然后通过功率谱分析计算特征，利用相关分析选出的特征标签来提取特征；

将提取到的特征代入正则化线性判别分析模型，以判断是否存在紧急刹车意图；

障碍检测子系统用于获取车辆前方的环境信息，并检测障碍物存在与否，并输出判别结果；

决策子系统由紧急状况决策模块以及自适应模块组成，紧急状况决策模块根据紧急刹车意图检测子系统以及障碍检测子系统的判别结果，对当前是否属于紧急状况进行判断并输出最终结果，自适应模块实时选择新样本用于紧急刹车意图检测子系统中分类器的重新训练，使其具有自适应性；

包括：

根据紧急刹车意图检测子系统以及障碍检测子系统的输出，紧急状况决策模块按照决策规则输出紧急状况检测的最终结果；

自适应模块根据新样本选择规则，实时保存新样本；

将新样本集和离线保存的训练样本集合并，进行紧急刹车意图检测子系统中的分类器的重新训练；

具体为：

当紧急刹车意图检测子系统检测出紧急刹车意图且障碍检测子系统检测出障碍物时，决策子系统紧急状况决策模块判断当前为紧急状况，向车辆发出制动命令；否则，决策子系统紧急状况决策模块判断当前为正常情况，车辆继续行驶；

当紧急刹车意图检测子系统未检测出紧急刹车意图且障碍检测子系统未检测出障碍物时，决策子系统自适应模块保存当前输入紧急刹车意图检测子系统分类器的样本；

当保存75个新样本后，重新训练分类器；自适应正常样本集由两部分组成，即离线保存的正常训练样本和实时存储的新样本，其中新样本在每次自适应训练后全部被清除；自适应紧急样本由离线保存的紧急训练样本组成。

2.一种融合脑电信号和环境信息的紧急状况检测系统方法，包括：

步骤1，分别实时采集使用者脑电信号和环境信息，并且进行放大和模数转换；

步骤2，紧急刹车意图检测子系统和障碍检测子系统分别接收脑电信息和环境信息并进行处理，判断刹车意图和障碍物是否存在；

其中，步骤2包括：

步骤21，对采集到的脑电信号进行处理，判断使用者紧急刹车意图是否存在；

其中，步骤21进一步包括：

步骤211，对脑电信号进行0.53-60Hz滤波，采用独立成分分析滤除眨眼伪迹，采用共平均参考和基线修正滤除噪音；

步骤212，采用共空间模式对脑电数据进行变换，然后通过功率谱分析计算特征，利用相关分析选出的特征标签来提取特征；

步骤213，将提取到的特征代入正则化线性判别分析模型，以判断是否存在紧急刹车意图；

步骤22，对环境信息进行处理，判断障碍物是否存在；

步骤3，决策子系统根据紧急刹车意图检测子系统以及障碍检测子系统的输出，对当前是否属于紧急状况进行判断并输出最终结果；同时实时选择用于重新训练紧急刹车意图检测子系统中的分类器的新样本；

其中，步骤3包括：

步骤31，根据紧急刹车意图检测子系统以及障碍检测子系统的输出，紧急状况决策模块按照决策规则输出紧急状况检测的最终结果；

步骤32，自适应模块根据新样本选择规则，实时保存新样本；

步骤33，将新样本集和离线保存的训练样本集合并，进行紧急刹车意图检测子系统中的分类器的重新训练；

其中：

步骤31中，当紧急刹车意图检测子系统检测出紧急刹车意图且障碍检测子系统检测出障碍物时，决策子系统紧急状况决策模块判断当前为紧急状况，向车辆发出制动命令；否则，决策子系统紧急状况决策模块判断当前为正常情况，车辆继续行驶；

步骤32中，当紧急刹车意图检测子系统未检测出紧急刹车意图且障碍检测子系统未检测出障碍物时，决策子系统自适应模块保存当前输入紧急刹车意图检测子系统分类器的样本；

步骤33中，当保存75个新样本后，重新训练分类器；自适应正常样本集由两部分组成，即离线保存的正常训练样本和实时存储的新样本，其中新样本在每次自适应训练后全部被清除；自适应紧急样本由离线保存的紧急训练样本组成；

步骤4，车辆接受系统的输出命令并进行制动。

Images