CN110367975A

CN110367975A - 一种基于脑机接口的疲劳驾驶检测预警方法

Info

Publication number: CN110367975A
Application number: CN201910618660.9A
Authority: CN
Inventors: 徐欣; 丁佳伟
Original assignee: Nanjing Post and Telecommunication University
Current assignee: Nanjing Post and Telecommunication University; Nanjing University of Posts and Telecommunications
Priority date: 2019-07-10
Filing date: 2019-07-10
Publication date: 2019-10-25

Abstract

本发明提出了数字信号处理领域内的一种基于脑机接口的疲劳驾驶检测预警方法，包括以下步骤：步骤1）利用脑电信号采集设备采集脑电信号，并对其进行预处理；步骤2）实验者在模拟驾驶实验中完成相关任务，记录在实验场景下受试者从清醒到疲劳状态下的脑电信号，步骤3）将采集到的脑电信号通过蓝牙芯片传到计算机，通过伪迹减法去除眼动伪迹，采用独立成分分析法对脑电信号进行降噪；步骤4）对接收到的脑电信号进行eSense算法量化处理，得到“专注度”和“放松度”参数值；步骤5）将得到的参数值传到单片机，通过单片机的模数转换模块得到控制命令，控制蜂鸣器设备，本发明减少了疲劳驾驶的概率，从而降低了交通事故的发生率。

Description

一种基于脑机接口的疲劳驾驶检测预警方法

技术领域

本发明涉及一种疲劳检测方法，具体的说是一种疲劳驾驶检测预警方法，属于数字信号处理技术领域。

背景技术

生理性精神疲劳现已成为城市中的重要问题，严重威胁着人们的身体健康和生命财产安全。在交通驾驶、航空航天活动、人机系统监控等工作中，操控人员精神疲劳引起的瞬间的注意力分散、反应迟缓或协调性不够，都可能导致极为严重的事故。因此，疲劳脑电的分析和预防工作就变得尤为重要。

随着全球经济一体化，科学技术的不断创新发展，社会得到了快速进步，经济水平也得到了快速提升，人们生活变的更富裕，越来越多的人买上了汽车，道路变的越来越拥挤。经济社会飞速发展，人们生活节奏越来越快，导致人们压力越来越大，行车速度越来越快，交通事故频频发生。调查研究发现发生重大交通事故的主要原因之一是疲劳驾驶，据统计，由疲劳驾驶导致的交通事故比例为道路交通事故的20％～30％。驾驶疲劳是指驾驶人员长时间持续驾驶车辆后，产生心理机能和生理机能失调，导致驾驶机能下降的现象。疲劳驾驶会影响驾驶员对外界的注意力、感知力、判断力和运动力，极易导致交通事故。最近几年，国内由于疲劳驾驶直接导致的交通事故发生率不断增高。因为产生疲劳驾驶的原因是多方面的，特别是生理和心理方面，所以它是很难被及时察觉和准确检测的，并且不易控制。

目前，国内外主要通过三种方法检测驾驶疲劳，第一种方法：生物信号检测法，即通过检测驾驶人员的脑电信号、心电信号、肌电信号以及呼吸参数等；第二种方法：车辆行为检测法，即通过在车辆行驶过程中，检测驾驶人员控制车辆的参数，如车速、侧位移和白线位置等；第三种方法：物理反应检测法，即在驾驶车辆过程中，检测驾驶人员的头部和眼部行为，如低头和眨眼频率等。脑电信号被称为检测驾驶疲劳的“金标准”；通过测量和记录大脑中的脑电活动形成一个反馈信号，脑电活动由脑电信号的振幅、频率组成，测量和记录大脑中不同位置的脑电活动得到多个反馈信号，这样的反馈信号成为脑电反馈信号。脑电信号是大脑皮层不同活动区域反映大脑思维活动和外界行为刺激的一种内在表现，其在疲劳反应上具有相对普遍的共性特征，适用于对驾驶员疲劳状态的识别。

发明内容

本发明的目的是提供一种基于脑机接口的疲劳驾驶检测预警方法，减少疲劳驾驶的概率，从而降低交通事故的发生率。

本发明的目的是这样实现的：一种基于脑机接口的疲劳驾驶检测预警方法，包括以下步骤：

步骤1)利用脑电信号采集设备采集脑电信号，并对其进行放大，A/D转换，以数字信号存储；

步骤2)实验者在模拟驾驶实验中完成相关任务，记录在实验场景下受试者从清醒到疲劳状态下的脑电信号，记录相关状态的脑电信号范围值；

步骤3)将采集到的脑电信号通过蓝牙芯片传到计算机，通过伪迹减法去除眼动伪迹，采用独立成分分析法对脑电信号进行降噪；

步骤4)对接收到的脑电信号进行eSense算法量化处理，得到“专注度”和“放松度”参数值；

步骤5)将得到的参数值传到单片机，通过单片机的模数转换模块(A/D)得到控制命令，控制蜂鸣器设备，已达到疲劳预警目的。

作为本发明的进一步限定，步骤3)中伪迹减法具体为，采用公式：

y_t(i)＝y(i)-kx(i)-b

式中：y_t(i)表示去噪后的脑电信号，y(i)表示测量得到的脑电信号，x(i)表示伪迹，k表示比例常数，即矫正后的脑电信号是从测量的脑电信号中去除一定比例的眼动伪迹；其中k值的估算常用最小二乘线性回归法，即：

表示回归方程的截距，也就是眼电信号的基线。

作为本发明的进一步限定，所述独立成分分析法具体为：

假设X(t)＝[x₁(t)，x₂(t)，x₃(t)，...，x_n(t)]是一组由m个隐含变量产生的观测信号，设T表示数据样本的个数，t＝1，2，...，T为观测数据长度，设S(t)＝[s₁(t)，s₂(t)，s₃(t)，...，s_n(t)]为隐含在X(t)中的m维的一组随机变量，其中m≤n。转化为线性问题处理，即：

用矩阵形式定义推导X＝AS，设S_i为独立分量，A＝[a₁，a₂，...，a_m]∈R^n×n为一满秩矩阵；a_i(i＝1，2，...，m)是混合矩阵的基向量，即观测信号x_i是独立源S_i通过不同的权值a_ij线性加权构成；在处理独立成分算法过程中，系统目标通过匹配混合信号A的一个线性变换矩阵W，W为矩阵A的逆矩阵，输出y_i，即：

y(t)＝Wx(t)＝WAs(t)。

我们采集到的脑电原始信号，截取5s信号区间作为实验数据，经过矩阵中心化和漂白处理(如图2所示)，取样频率设置为10ms，取样值即为x_i(t)；X为取样值的矩阵表示形式。在公式X＝AS中，X是已知的，A、S都是未知的，我们采用盲信号分离的方法，即设法求出S。我们将上式中的列向量表示成x(i)＝As(i)，x(i)的每个分量都能由s(i)的分量线性表示。令W＝A^-1，那么

s(i)＝A^-1x(i)＝Wx(i)

将W表示成其中w_i∈Rⁿ，就得到求出S后，A就很容易解出了。

经过忙信号处理，我们很快就能得到经过处理后的采样信号(如图3所示)。

作为本发明的进一步限定，步骤2)中模拟驾驶实验设计策略是：使用模拟驾驶实验场景，被试者进行模拟驾驶实验测试；所述的视觉刺激实验主要是：通过设计不同场景的模拟驾驶实验来诱发人体的疲劳脑电；采用城市道路场景下的模拟驾驶实验，该场景下突发情况较多，路况复杂，被试者在实验过程中精神高度集中，不易产生疲劳，从情形到疲劳的时间相应较长；测试该场景下的装置有效性，并记录不同状态下的脑电信号情况。

作为本发明的进一步限定，步骤3)中的数据传输具体方法是：采用BCM417蓝牙模块，该模块采用了英国公CSR(CambridgeSilicon Radio)的Blue Core4-Ext芯片；该芯片使用V2.1+EDR规范，其具有的主要技术特点有：Class2标准、内置PCB射频天线、最大距离为10米、支持SPI编程接口、支持USB、UART、PCM等接口、支持9600，57600等多种波特率、支持主从一体模式、支持软硬件控制主从模块、支持多AT命令、节能与高速两种工作模式。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本次发明设计的疲劳驾驶预警系统可以实时提取人体的脑电数据，将伪迹减法和独立成分分析法相结合，对脑电信号进行预处理，大大提高了eSense算法对状态识别的准确性。本发明通过对预处理后脑电数据的分析来判断驾驶员所处的状态，当检测到驾驶员处于疲劳状态时，会通过PC机发送控制信号命令，驱动外设蜂鸣器进行预警。虽然系统设备都处在研究阶段，预警系统还只应用在实验的情况下，但为预防疲劳驾驶的研究提供了新思路新想法，一旦这样一套疲劳预警系统运用于实践中，就能够在很大程度上减少疲劳驾驶的概率，从而降低交通事故的发生率。

附图说明

图1为本发明工作流程图。

图2为原始脑电信号图。

图3为预处理后脑电信号图。

图4为本发明中注意力集中度和冥想程度图形值图。

图5为本发明中专注度和放松度参数值图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

一种基于脑机接口的疲劳驾驶检测预警方法，包括以下步骤：

针对疲劳驾驶检测预警的需要，本发明使用TGAM模块，该模块主要用于采集和输出脑电频谱、脑电图信号质量、原始脑电图，三个主要的脑电参数：“专注度”，“放松度”以及Rlink眨眼信号。利用神念科技公司的TGAM模块和脑电套件，通过人工焊接加工制作了脑电信号采集设备——ThinkGear脑电采集仪，此设备采集脑电信号时只需要一个简单的干电极接触点，因此它非常适用于玩具、视频游戏和健康设备中，同时它的功耗非常小，可以通过干电池供电，所以非常适合应用在便携式消费产品上。此外，在检测到驾驶员的疲劳状态后，利用蜂鸣器进行报警提示，从而刺激驾驶员进行状态调整或休息。

系统采用VC++6.0作为实验的开发环境，通过编写程序和使用TGAM芯片的软件开发包(SDK)进行数据的提取分析，利用脑电采集仪对多名不同的受试者进行多次脑电数据采集，获得大量实验数据，并记录受试者的疲劳状态，利用eSense算法分析处理对应的脑电信号数据，根据其状态和算法分析处理的结果，经过多次实验的分析研究，得到判断受试者所处状态的脑电数据临界值。在找到状态判断阈值后，系统分析处理脑电数据得到数值结果，根据数值所处的范围判断受试者所处的状态，然后通过串口向外设发出控制命令；这样系统的工作流程可以概括为三步：提取数值、判断状态、对外设传输控制命令，疲劳检测系统设计的流程图，如图1所示。

对于硬件设备，我们采用蜂鸣器作为驾驶员疲劳状态下的预警工具，对疲劳状态下的驾驶员进行听觉的刺激。主要硬件设备是单片机和蜂鸣器，单片机通过接收计算机传来的控制信号，经过模数转换模块程序算法处理，转换成实际控制命令，控制有源蜂鸣器的开和关。

实验过程具体如下：

被试者选择

根据美国公路管理局的调查统计表明，30岁以下的驾驶员造成交通事故的比例高达50％，打瞌睡造成的交通事故也包括在其中，其中驾驶员年龄在21岁-25岁之间占有最高值；因此在选择实验对象时，选择年龄在20岁-26岁的大学生，并且这些实验对象都通过了驾驶证考试，具有驾驶汽车的经历。为了达到预期的实验效果，要求实验对象身体健康，无严重精神病史和精神病药物服用史，无任何与睡眠有关的疾病；并且要求实验对象在采集数据的前一天要做好休息；采集数据前的3个小时不要喝提神饮料，如浓茶、咖啡等；采集数据前的1个小时不做剧烈运动。

1.脑电信号采集

脑电信号的采集设备采用NeuroSky公司的TGAM芯片制作而成，以512Hz采样频率采集脑电数据，采集脑电数据的频段在0～100Hz之间，脑电数据是连续的非平稳随机信号。脑电采集设备的采集端只有一个干电极，内置的TGMA芯片可以采集输出注意力集中度、冥想度、alpha波、beta波、delta波、theta波等的参数数值。其中注意力集中度和冥想程度可以反映出大脑所处的状态。此采集设备只需要一个干电极和一个参考电极即可进行信号采集，不需要像多通道脑电采集仪那样必须用多根导线作为信号的传输媒介。此外，脑电采集仪可以将采集的脑电数据直接通过蓝牙模块传送到PC，之后PC完成后续的信号数据处理和对外传输控制信号命令。

2.脑电信号预处理

计算机将收到的脑电信号进行预处理，通过伪迹减法去除眼动伪迹，采用独立成分分析法对脑电信号进行降噪，具体如下：

伪迹减法是去除眼动伪迹(EOG)最常用的一种方法，它有简单、直观、效果明显的有点。这种方法是基于测量得到的脑电信号是真实脑电信号与眼电信号的线性组合并且脑电信号与眼电信号不相关的假设基础上进行的。其主要公式：

y_t(i)＝y(i)-kx(i)-b

式中：y_t(i)表示去噪后的脑电信号，y(i)表示测量得到的脑电信号，x(i)表示伪迹，k表示比例常数，即矫正后的脑电信号是从测量的脑电信号中去除一定比例的眼动伪迹。其中k值的估算常用最小二乘线性回归法，即：

表示回归方程的截距，也就是眼电信号的基线。利用伪迹减法能够有效降低原始脑电信号中的眼电干扰。

独立成分分析法是用以分析多维数据的线性分析方法，将一组随机标量表示成统计独立变量的线性组合。假设X(t)＝[x₁(t)，x₂(t)，x₃(t)，...，x_n(t)]是一组由m个隐含变量产生的观测信号，设T表示数据样本的个数，t＝1，2，...，T为观测数据长度。设S(t)＝[s₁(t)，s₂(t)，s₃(t)，...，s_n(t)]为隐含在X(t)中的m维的一组随机变量，其中m≤n。转化为线性问题处理，即：

用矩阵形式定义推导X＝AS，设S_i为独立分量，A＝[a₁，a₁，...，a₁]∈R^n×n为一满秩矩阵；a_i(i＝1，2，...，m)是混合矩阵的基向量，即观测信号x_i是独立源S_i通过不同的权值a_ij线性加权构成。在处理独立成分算法过程中，系统目标通过匹配混合信号X的一个线性变换矩阵W，输出y_i，即：

y(t)＝Wx(t)＝WAs(t)

经过伪迹减法对眼电信号进行处理，通过独立成分分析法对脑电信号进行降噪，使脑电信号特征更清晰，如图4所示

3.脑电信号处理

脑电信号的分析处理是由eSense算法来完成，eSense算法是神念科技对大脑状态进行评估的专利算法，以量化的数值形式表示分析处理的结果。eSense算法工作原理是通过对采集的脑电数据进行快速傅里叶变换，然后再根据需求对频率进行滤波处理，得到α波和β波，最后进行功率谱分析，选定基本参考值，完成归一化。

脑电仪将采集的脑电信号数据包传出到PC上，PC机通过算法程序开始解析传来的脑电数据包，将提取到的alpha波、beta波、delta波、theta波、注意力集中度和冥想程度的数值显示到屏幕上，如图4所示，这是以图形的形式给出了注意力集中度与冥想度的数值。

而在实际应用操作中，更希望注意力集中度和冥想程度是以数字的形式直接给出。通过对采集的原始脑电信号进行放大，并消除噪声和肌电信号的干扰，然后利用eSense算法处理，得到“专注度”、“放松度”、“眨眼信号”和“poorsignal”等信号值，如图5所示。

4.系统检测与出具分析

设计好疲劳检测系统的每个主要部分之后，将各部件组合起来进行调试，使之能够正常运行，同时要测试系统的可行性。

在实验中，我们选取五位生理状态良好、年龄介于20岁-26岁的大学生，其中男性三名女性两名，每次实验的数据采集时间为5分钟。首先选取一名受试者，采集受试者在放松平静状态下的实验数据；然后让受试者进行模拟驾驶实验，接着再采集其实验数据；并记录好实验前受试者的自我疲劳评估，以及试验后根据实验录像主观分析受试者的疲劳状态，将其分成两种状态：良好状态和疲劳状态，做好每次实验前后的记录。

利用计算机算法程序对采集的实验数据进行分析处理，得到“专注度”和“放松度”的参数值，并判断分析受试者所处的状态。经过大量实验后发现，当受试者的专注度大于25并且放松度小于75时，处于良好的精神状态，没有出现疲劳的状况；而当专注度度和放松度的数值不在这个范围内的时候，就会出现明显的困倦状态。所以选取专注度和放松度分别为25和75作为判断阈值写入控制程序中。

在确定好阈值之后，需要采集更多的其他受试者数据进行验证实验。考虑到个体的差异性，允许其余四名受试者的判断阈值可在第一位受试者阈值的上下进行波动，波动值范围不大于10。每个受试者采集实验数据100次，这样，通过对比受试者的记录状态和系统的判断状态，对系统的有效性进行分析判断。记录列表如表1。

表1实验数据记录

通过实验记录表，我们可以直观的看到，对于不同的受试者，我们设计的疲劳预警系统分别以95％、94％、92％、97％、98％的正确率判断出了受试者的状态，受试者的虚警率分别为：5.88％、8.62％、7.27％、1.79％、1.69％，漏警率分别为：4.08％、2.38％、8.89％、6.82％、2.44％。噪声、干扰和畸变等是造成虚警和漏警的主要原因。噪声包括自然和人为噪声，干扰包括邻道干扰、码间干扰等，畸变主要是非线性器件造成的信号失真。由于脑电信号的不稳定和实验次数的限制，使得此系统部分受试者的虚警率和漏警率相对较高，但这样的误差在可控范围之内，并不影响系统整体的设计要求，能够达到我们所期望的效果。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种基于脑机接口的疲劳驾驶检测预警方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于脑机接口的疲劳驾驶检测预警方法，其特征在于，步骤3)中伪迹减法具体为，采用公式：

y_t(i)＝y(i)-kx(i)-b

表示回归方程的截距，也就是眼电信号的基线。

3.根据权利要求2所述的一种基于脑机接口的疲劳驾驶检测预警方法，其特征在于，所述独立成分分析法具体为：

y(t)＝Wx(t)＝WAs(t)。

s(i)＝A^-1x(i)＝Wx(i)

将W表示成其中w_i∈Rⁿ，就得到求出S后，A就很容易解出了。

4.根据权利要求1所述的一种基于脑机接口的疲劳驾驶检测预警方法，其特征在于，步骤2)中模拟驾驶实验设计策略是：使用模拟驾驶实验场景，被试者进行模拟驾驶实验测试；所述的视觉刺激实验主要是：通过设计不同场景的模拟驾驶实验来诱发人体的疲劳脑电；采用城市道路场景下的模拟驾驶实验，该场景下突发情况较多，路况复杂，被试者在实验过程中精神高度集中，不易产生疲劳，从情形到疲劳的时间相应较长；测试该场景下的装置有效性，并记录不同状态下的脑电信号情况。

5.根据权利要求1所述的一种基于脑机接口的疲劳驾驶检测预警方法，其特征在于，步骤3)中的数据传输具体方法是：采用BCM417蓝牙模块，该模块采用了英国公CSR(CambridgeSilicon Radio)的Blue Core4-Ext芯片；该芯片使用V2.1+EDR规范，其具有的主要技术特点有：Class2标准、内置PCB射频天线、最大距离为10米、支持SPI编程接口、支持USB、UART、PCM等接口、支持9600，57600等多种波特率、支持主从一体模式、支持软硬件控制主从模块、支持多AT命令、节能与高速两种工作模式。