CN102274032A - 一种基于脑电信号的驾驶员疲劳检测系统 - Google Patents

Abstract

本发明提供一种基于脑电信号的驾驶员疲劳检测系统，可以实时地、快速地检测驾驶员是否处于疲劳状态，尽量避免疲劳驾驶。本系统包括脑电信号采集、脑电信号处理和刺激与结果反馈接口三个模块。信号采集模块实时的采集驾驶员的脑电信号，将脑电信号传输给信号处理模块。信号处理模块完成脑电信号的信号处理，包括数据预处理、特征提取和模式分类，判断驾驶员是否处于疲劳状态，将识别结果发送给刺激与结果反馈接口模块。刺激与结果反馈接口完成系统与计算机或智能手机终端的连接，将识别结果反馈显示给驾驶员。基于脑电信号的优越性，本发明在疲劳状态检测的实时性方面有较大的优势，可以极大的减少疲劳检测的延迟。

Description

一种基于脑电信号的驾驶员疲劳检测系统

技术领域

本发明设计一种基于脑电信号的驾驶员疲劳检测系统。具体指，在线采集驾使员大脑的脑电信号，并送入脑电处理模块进行实时分析，判断驾驶员是否处于疲劳状态，并给出报警等反馈信号。本发明属于认知神经科学领域和信息技术领域的结合应用，为自动控制技术领域。

背景技术

现实生活中驾驶员在驾驶的过程中需要保持高度的注意力，他们一旦在工作中出现注意力不集中或者出于疲劳状态的情况，就可能会造成非常严重的后果。例如，根据美国联邦调查局显示，20％-30％的交通事故时由于疲劳驾驶引起的。因此驾驶疲劳检测系统对于避免交通事故等灾难有着重要的意义。

根据疲劳检测的基本原理可以把疲劳检测系统主要分成两大类。第一类方法通过驾驶员的视觉特征变化来检测疲劳，第二类方法通过驾驶员的生理参数来检测疲劳状态。

基于视觉特征的疲劳检测系统是在数字图像处理的基础上提取能表征疲劳的特征，信号采集通过驾驶员前方的摄像头或其它传感器完成，利用信号处理的方法对疲劳特征进行分类和识别，进而判断驾驶员是否处于疲劳状态。由于驾驶员在疲劳时会出现眼睑运动速度变慢、眼睛睁开幅度变小、眼睛凝视方向狭窄甚至闭眼，有时还会出现头部歪斜、坐姿的下垂等现象，因此可以通过检查眼睑运动、眼球运动、头部位移等视觉特征进行疲劳检测。因此这种方法可以利用传感器、摄像头采集技术收集驾使员的驾驶状态有关的数据，利用计算机视觉技术实时地监控驾驶员的状态。发明专利驾驶员疲劳检测方法及系统(申请号/专利号：200910077436)和基于多元信息融合的驾驶员疲劳监测装置及其监测方法(申请号/专利号：200910038613)就属于这一类疲劳检测系统。由于这类方法不与驾驶员产生身体上的接触，所以并不会对驾驶员有明显的侵入或带来不适感。但是这类方法在实际应用中有两个问题：(1)受个体差异影响较大，也容易受光线等环境因素的影响；(2)这些视觉特征比较容易伪装，驾驶员可以骗过系统的检测，从而使得系统测量不到驾驶员真正的疲劳状态。

第二类方法通过驾驶员的生理参数来检测疲劳状态，这里面包括非中枢神经的生理信号(心电，呼吸，脉搏、眼电等)，中枢神经的生理信号(脑电等)。研究表明，脑电信号、眼电信号和心电信号的变化情况与疲劳有很大的相关性，因此可以利用驾驶员在疲劳状态和非疲劳状态下生理参数的不同来判断驾驶员是否处于疲劳状态。眼电数据可以通过在眼睛的上下方各放置电极获取。由于在眼睛闭上时，电极值达到最大，对应于波形表现为尖峰幅值，上升时间为闭眼持久度而下降时间则为睁眼持久度，因此根据尖峰峰值、闭眼时间和睁眼时间等参数可以判断驾驶员是否产生疲劳。心电图指利用心电测出波形图。可以根据心跳的生理参数，如心率等，来判断疲劳是否产生。但是这些非中枢神经信号都不是人脑的疲劳程度的直接反应，从大脑因疲劳而反应变得迟钝到导致这些非中枢生理指标发生变化，还有一段时间，特别是心率与脉捕等生理指标的统计本身需要较长的一个周期。因此，非中枢神经的生理信号用作疲劳检测，会有时间上的延迟。疲劳驾使一旦出现，哪怕是提前几十秒进行报警都可以降低不少驾驶安全隐患。

脑电是大脑中枢神经网络中相当数量的神经元进行同步放电时，在头皮上测量得到的微弱电位差。根据脑电信号频率的高低，可将脑电信号分成不同频率或频带，通常将这些频带标记为δ波段(0.5-4赫兹)、θ波段(4-8赫兹)、α波段(8-13赫兹)、β波段(13-25赫兹)和γ波段(大于25赫兹)，这些波段也被称为节律波。研究表明，脑电信号的各个频率分量的强度，可以反映大脑所处的状态，例如疲劳、缺血、缺氧和病变等在脑电信号中都有所表现。

认知神经科学与心理学已经表明，脑电信号中的节律波和大脑工作状态之间存在明显的相关性，根据脑电节律波能量的分布可以预测人的疲劳状态，这是本系统基本的理论基础。实验表明，在一个人从清醒到完全陷入睡眠过程中，脑电信号是一个渐变的过程。当人的疲劳程度加强时，脑电信号中的低频段活动将会增加，而高频段活动则会减少。基于这一理论基础，本系统利用人在疲劳状态和非疲劳状态的脑电活动模式的差别，判断驾驶员的疲劳状态。

基于驾驶员的生理参数的疲劳检测系统，需要检测驾驶员的生理参数，包括中枢神经的生理参数的获取，数据采集设备要和驾驶员相接触，这会给驾驶员带来不方便。但是随着数据采集设备性能的提高，这种影响将变得越来越小。例如，随着干电极的研制，脑电信号的采集将变得更舒适和便捷。通过脑电等中枢神经生理参数来判断驾驶员的疲劳状态在实时性方面有较大的优势。

(1)基于视觉特征的疲劳检测系统在识别疲劳时需要较长时间的跟踪，如统计眨眼频率等，会降低识别疲劳的实时性。

(2)相比较于非中枢神经生理参数，疲劳的特征先反映到大脑专注度或警觉度的下降，而后人的身体才会慢慢的表现出疲劳。举例说明，当人开始进入疲劳状态时，人的脑电信号等生理参数率先发生变化，之后人才会出现眼睑运动变缓等。在疲劳检测过程中，实时性的微小提高，都会避免重大损失。

(3)在众多的生理信号中，脑电信号能更直接、更客观的反应大脑本身的活动，有着良好的时间分辨率，而且具有无法人为控制、无法伪造的优势。基于脑电信号的优势，本发明提出了一种基于脑电信号的驾驶员疲劳检测系统。

基于脑电信号的疲劳检测面临的挑战之一是脑电信号的差异性。认知神经科学与心理学的研究结果往往是针对大量人群，从统计意义上来描述脑电数据的特征分布与认知与情感状态之间的关系。具体到个人来说，每个人的脑电特征都存在一定的差异。因此，需要针对单个的用户，来建立从脑电数据中解读人的认知与情感状态的计算模型，根据单个用户的脑电数据特征来调整参数。为了解决这一问题，本发明包含了离线训练。通过离线训练得到使用者的脑电信号的具体特征，即使用者在不同专注度的情况下的特征模式，通过分析，得到适合该使用者的系统参数，这些参数将用于实际应用之中。

发明内容

本发明提供一种基于脑电信号的驾驶员疲劳检测系统，可以实时地、快速地检测驾驶员是否处于疲劳状态。本系统实时的采集驾驶员的脑电信号，通过脑电信号的分析，判断驾驶员是否处于疲劳状态。与目前的疲劳检测系统相比，该系统采用脑电信号来检测驾驶员的疲劳状态，具有非常高的灵敏性。

由于脑电信号因人而异，在实际应用之前，本发明设计了离线训练。离线训练过程中借助需要不同程序的专注度来完成的不同难度级别的看图找茬游戏，了解使用者在不同专注度下的脑电信号特征，确定适合该使用者使用的系统参数，完成系统中脑电分析所需要的参数配置。

本系统包括脑电信号采集、脑电信号处理和刺激与结果反馈接口三个模块。信号采集模块通过头皮脑电信号采集器实时的采集驾驶员的脑电信号，并将采集到脑电信号传输给信号处理模块。信号处理模块对接受到脑电信号数据进行分析，判断驾驶员是否处于疲劳状态，将判断结果送给刺激与结果反馈接口。刺激与结果反馈接口通过显示器或音频装置将判断结果反馈给驾驶员。系统的整体框图如图1所示。

脑电信号采集模块是指通过头皮脑电信号采集器采集驾驶员的脑电信号，其中的头皮脑电采集器主要是指多导的头皮电极。在本实验中头皮电极安装在与疲劳状态相关的头皮顶叶与前额叶附近。头皮脑电采集器利用放置在人脑头皮上方的电极将头皮采集到的微弱脑电信号经过生物放大器放大后，进行数模转换，完成脑电信号的采集。脑电采集模块利用滑动窗技术实时的采集人的脑电信号，将采集的脑电数据分成有重叠的小段，每段脑电数据长度为3秒，相邻两段脑电数据重叠2秒。滑动窗以1秒的间隔滑动。当采集到一定数量的脑电信号后，该模块就将脑电信号传输给信号处理模块。经过滑动窗分隔的小段脑电信号，即窗内的脑电信号，反应了相应时间段内驾驶员的疲劳状态。

信号处理模块是指集成于计算芯片内的一系列数据处理算法，信号处理模块的任务是判断驾驶员是否处于疲劳状态。信号处理模块主要包括以下几个部分：

1、滤波。脑电信号中与大脑认知功能及情感状态相关的成分主要分布于低频部分。因此，需要对脑电数据进行带通滤波，滤波频率0.5-42赫兹，滤除脑电中的直流及工频等高频噪声，所以通常设计带通滤波器去除混杂于脑电信号中的噪声及无关成分；

2、功率谱估计。对分窗的脑电数据进行功率谱估计，得到窗内脑电信号的功率谱(能量的频率分布)；

3、特征提取。根据功率谱估计的结果，计算各节律波的能量，并选择与驾驶员疲劳状态相关的特征模式，确定指标特征；

4、疲劳检测。建立基于脑电特征模式的预测模型，根据脑电特征，判断驾驶员是否处于疲劳状态，并将这个结果传输到反馈模块。

刺激与结果反馈接口完成系统与计算机或智能手机终端的连接，从而可以利用计算机或智能手机，提供对驾驶员的视觉与听觉刺激，并将信号处理结果反馈显示给驾驶员。并根据驾驶员的状态提供必要的警报，如判断驾驶员处于疲劳状态，则发出警告。

本发明的优势在于它提供了一种基于脑电信号的疲劳检测系统。由于脑电信号可以直接、客观的反应大脑的状态，所以本系统具有良好的实时性。此外，本系统还具有无法人为控制、无法伪造的优势。本系统可用于车载系统中，实时监控驾驶员的疲劳状况。

附图说明

图1基于脑电信号的驾驶疲劳检测系统框图

图2离线训练和在线应用的协作关系图

图3电极分布图

图4功率谱估计的流程图

图5数据采集模块、信号处理模块和刺激与结果反馈接口模块协作示意图

图6滑动窗技术示意图

具体实施方式

该发明所描述的一种基于脑电信号的驾驶员疲劳检测系统，通过采集驾使员的脑电信号，实时监控驾驶员的疲劳状况，从而避免由于疲劳驾驶引发的交通事故。

本发明所描述的一种基于脑电信号的驾驶员疲劳检测系统包括两个过程：离线训练和在线应用两个部分。在使用系统之前要进行训练，这个过程主要用于采集驾使员在不同注意力集中程序下的脑电数据，完成驾驶员脑电分析所需要的参数配置。

脑电信号因人而异，因此在实际在线应用之前，我们需要采集驾使员在执行不同难度任务过程中的脑电数据，针对特定驾驶员的脑电数据，进行离线分析。对驾驶员进行离线训练，了解驾驶员脑电信号，通过离线的训练得出适合该驾驶员的合理的系统参数。这些参数可以保证良好的在线应用效果。离线训练和在线应用的协作关系如图2所示。

离线训练包括如下流程：

(1)数据采集：本发明所描述的系统通过刺激与反馈接口与计算机或智能手机相连，利用计算机或智能手机提供三个不同难度的图片找茬任务。让司机在30秒内完成相应的任务。最简单的图片找茬任务中，两张图片中只有一处比较明显的不同；中等难度的图片找茬任务中，两张图片中有2-5处比较明显的不同；最难的图片找茬任务中，两张图片中有2-5处比较隐藏的不同。每个难度等级的任务重复10次，每次的图片不同。驾驶员执行图片找茬任务的过程中，记录下驾驶员的头皮脑电信号。电极主要分布如图3所示。

(2)、数据截取。截取每个找茬任务中间10秒的脑电数据，将这期间的脑电数据均匀分为20个小段，每段0.5秒。这样一次找茬可以获得20段脑电数据，每个难度等级任务共报告10次找茬可以获得200段脑电数据。三级难度共可以获得600段脑电数据。这600段脑电数据就构成了离线分析的基本数据集，每段脑电数据对应于难、中、易三个任务难度级别。

(3)、数据滤波。脑电采集的过程不可避免的要受到心电噪声、设备噪声等噪声的影响。所以，对脑电数据进行滤波变得十分重要。脑电信号属于低频信号，频率范围约在0-50赫兹。这里选择的脑电节律波频率在低频部分，故设计了有限冲击响应(Finite Impulse Response，FIR)带通滤波器，通带范围为0.01-40赫兹。

(4)、特征提取。由于节律波的能量与疲劳有极大的相关性，本发明选择节律波的能量作为分类特征。为了得到节律波的能量，首先需要对脑电信号进行功率谱估计，功率谱估计的方法如图4所示。利用滑动窗技术截取窗内数据，其中子窗的大小为125个点(采样频率为256赫兹)，子窗间有2/3的重叠。然后将子窗数据补零，扩充到256个点。再利用周期图法对每个窗内的数据进行功率谱估计。最后求出各个子窗功率谱的平均值，这个平均值即为所需的功率谱密度。之后根据功率谱密度，求出节律波的能量，各个节律波的能量分别表示为E(δ)、E(θ)、E(α)、E(β)、E(γ)。

(5)、确定阈值。计算(E(α)+E(β))/E(θ)的值，这个值就是用于预测驾驶员疲劳状态的指标特征。针对三个难度级别找茬任务的样本进行统计分析，确定(E(α)+E(β))/E(θ)阈值。这个阈值将应用到在线应用中，当窗内脑电数据计算出来的(E(α)+E(β))/E(θ)高于该阈值时，可以认为司机已经处于疲劳状态，向司机发出警报，提示司机。

实际的在线应用包括三个模块：

脑电信号采集、脑电信号处理和刺激与结果反馈接口三个模块。三个模块协作示意图如图5所示。

脑电采集模块利用头皮脑电信号采集器不间断的采集用户的脑电数据。由于在头皮不同位置采集的脑电信号有较大的差异，与疲劳相关的脑区主要集中在头皮顶叶与前额叶附近，所以本发明主要关注的电极集中在头皮顶叶和前额叶附近，电极分布如图3所示。当采集的脑电数据满足一定数量时(1秒)，就将该段数据(连同重叠的2秒脑电数据共3秒)发送给信号处理模块，并继续采集脑电数据。在数据采集模块的数据没有到来之前，信号处理模块一直处在等待状态。一旦信号处理模块接收到数据采集模块的数据，信号处理模块就开始对该段脑电数据进行分析。在得出分析结果后，信号处理模块把分析结果传送给刺激与结果反馈接口，并重新回到等待数据状态。这里可以保证信号处理的时间小于数据采集的时间。刺激与结果反馈接口根据得到的结果进行反馈，完成脑电的实时监测。

数据采集模块利用滑动窗技术实时采集驾驶员的脑电数据。如图6所示，每个窗包含718个采样点(采集频率为256赫兹)，窗与窗之间有2/3的重叠，即512个采样点的重叠。也就是说，每隔1s数据采集模块就会将数据发送给信号处理模块，完成对大脑状态的判断，从而达到实时监控的目的。当数据采集模块没有准备好数据时，信号处理模块处于等待状态；当数据处理模块将数据发送给信号处理模块后，信号处理模块就开始对接受到的脑电数据进行分析。首先对脑电信号进行带通滤波，通带范围为0.01-40赫兹。然后采用离线训练相同的方法，即图3所示的估计功率谱的方法，估计每个窗内脑电信号(共718个点)的功率谱密度，并提取脑电特征。之后，计算指标特征(E(α)+E(β))/E(θ)的值，并与离线训练得到的阈值相比。如果高于阈值，则判断驾驶员处于疲劳状态，发送‘1’(或‘0’)至刺激与结果反馈接口；如果低于阈值，则判断驾驶员处于正常状态，发送‘0’(或‘1’)至刺激与结果反馈接口。

刺激与结果反馈接口完成系统与计算机或智能手机终端的连接，从而可以利用计算机或智能手机，提供对驾驶员的视觉与听觉刺激，并将信号处理结果反馈显示给驾驶员。如果接受到的判断结果为驾驶员处于疲劳状态，则发出警报；如果接受到的判断结果为驾驶员处于正常状态，则不发出警报。

Claims (5)

1.基于脑电信号的驾驶员疲劳检测系统，这套系统的特征在于，包括

(1)头皮脑电信号采集器：利用置于人体头皮的电极，实时记录大脑产生的脑电信号，并对其进行放大、模数转换，以数字形式存储在计算机中。

(2)离线训练：通过离线训练了解使用者的脑电信号特征，确定适合该使用者使用的系统参数，完成系统中脑电分析所需要的参数配置。

(3)信号处理模块：通过对采集的脑电信号进行实时处理，找到与疲劳有关的指标特征，并对特征进行识别，判断驾驶员的疲劳状态。

(4)刺激与结果反馈接口：刺激与结果反馈接口完成系统与计算机或智能手机终端的连接，根据判断结果对驾驶员进行反馈。

2.如权利要求1所述的基于脑电信号的驾驶员疲劳检测系统，其脑电采集器的特征在于：多导电极，头皮电极只需安装在与疲劳相关的头皮附近。

3.如权利要求1所述的基于脑电信号的驾驶员疲劳检测系统，其离线训练的特征在于：通过离线训练得到使用者的脑电信号的具体特征，即使用者在不同专注度的情况下的特征模式。离线训练要求使用者在不同的专注度情况下完成相应的任务，在使用者完成任务的过程中，记录使用者的脑电信号。利用信号处理技术，包括数据预处理、数据截取、特征提取和确定阈值，得到适合该使用者的系统参数，如分类阈值等。这些参数会用于实际应用之中。离线训练很好的解决了脑电信号因人而异的问题，为良好的实际应用奠定了基础。

4.如权利要求1所述的基于脑电信号的驾驶员疲劳检测系统，其信号处理模块的特征在于：包括：脑电信号预处理，对脑电信号进行基线校准、滤波等预处理；脑电信号特征提取，利用功率谱估计计算节律波的能量，并利用节律波能量提取指示疲劳的特征；脑电信号分类，分类算法对指示疲劳的特征进行分类，判断驾驶员是否处于疲劳状态。

5.如权利要求1所述的基于脑电信号的驾驶员疲劳检测系统，其刺激与结果反馈接口模块的特征在于：刺激与结果反馈接口完成系统与计算机或智能手机终端的连接，从而可以利用计算机或智能手机，提供对驾驶员的视觉与听觉刺激，并将信号处理结果反馈显示给驾驶员。如果接受到的判断结果为驾驶员处于疲劳状态，则发出警报；如果接受到的判断结果为非疲劳状态，则不发出警报。

Images