CN107280694A

CN107280694A - 一种基于多源信息融合的疲劳检测方法

Info

Publication number: CN107280694A
Application number: CN201710583838.1A
Authority: CN
Inventors: 金海龙; 王晓妍; 于晓华; 吴頔; 李卓阳; 刘浩; 邱石
Original assignee: Yanshan University
Current assignee: Yanshan University
Priority date: 2017-07-18
Filing date: 2017-07-18
Publication date: 2017-10-24

Abstract

本发明公开了一种基于多源信息融合的疲劳检测方法，分别利用脑电采集设备、心电采集设备，同步采集被试者脑电信号、眨眼信息和心电信号；提取脑电信号特征：脑电节律波ɑ波β波θ波，δ波相对能量；眼电信息：眨眼频率E，眨眼强度F；心电特征：心率值HR，LF，HF；运用逻辑回归算法将疲劳程度初步分成三类：非疲劳、轻度疲劳和深度疲劳，同时，根据逻辑回归权重筛选权重较大的特征，进行特征融合；融合后的特征向量，采用基于支持向量机的bagging算法重新分类，将处理后的特征向量作为bagging算法的输入，确定被试者当前疲劳程度；根据被试者疲劳程度的分类结果，采取不同的缓解疲劳方法。本发明具有适用性强、疲劳检测精度高、改善效果良好等优点。

Description

一种基于多源信息融合的疲劳检测方法

技术领域

本发明涉及人体疲劳状态检测领域，尤其涉及基于多源信息融合的疲劳检测方法。

背景技术

目前脑力疲劳度的检测方法主要是主观评测法和客观评测法。主观评测是通过文件调查的形式进行，这种方法能提供关于脑力疲劳的多种信息，如疲劳出现的时间，造成疲劳的原因和主观上的不舒适等。但主观评测评分标准不易统一，受记忆和个人原因影响较大，从而导致疲劳检测准确度较低。客观评测法是一种借助仪器设备等辅助工具记录人体行为、生理、生化的某些指标变化并进行评测的方法。包括(1)心理学、行为学指标评测法，主要采用心理运动测验和心理测验对脑力疲劳进行评估。(2)生理学指标评测法，脑力疲劳的生理学指标主要是电生理指标，如脑电，眼电，心电等。(3)生化指标评测法，主要涉及疲劳状态下血液成分，睡眠激素或多态的研究。目前生理学指标评测法研究最为深入，但具有设备体积大，便携性差，费用高，单一指标检测准确性低等缺点，难以应用于日常生活的疲劳检测。

发明内容

本发明目的在于提供一种方便携带、操作简单、疲劳分类准确性高、疲劳改善效果明显的基于多源信息融合的疲劳检测方法。

为实现上述目的，采用了以下技术方案，本发明所述方法包括以下步骤：

步骤1，分别利用脑电采集设备、心电采集设备，同步采集被试者脑电信号、眨眼信息和心电信号；

步骤2，提取脑电信号特征：脑电节律波ɑ波β波θ波，δ波相对能量；眼电信息：眨眼频率E，眨眼强度F；心电特征：心率值HR，LF，HF；

步骤3，运用逻辑回归算法将疲劳程度初步分成三类：非疲劳、轻度疲劳和深度疲劳，同时，根据逻辑回归权重筛选权重较大的特征，进行特征融合；

骤4，融合后的特征向量，采用基于支持向量机的bagging算法重新分类，将处理后的特征向量作为bagging算法的输入，确定被试者当前疲劳程度；

步骤5，提出自适应疲劳改善方法：根据被试者疲劳程度的分类结果，采取不同的缓解疲劳方法。

进一步的，步骤1中，所述脑电信号和眨眼信息采集设备为蓝牙脑电耳机，所述耳机一个输入端与使用者前额的脑电传感器连接，另一个输入端与使用者耳部电极连接，通过干电极获得使用者FP1和A1信道的脑电波电压变化，并经内部的放大，滤波将反应脑电强度的数字信号通过蓝牙方式输出至脑电信号分析模块；所述心电信号采集模块为基于BMD101芯片的心电采集电路，人体心电信号经过2片银-氯化银电极采集后，经高通滤波器送入BMD101采集器，经芯片内部放大，滤波，计算输出心电数字信号并通过蓝牙方式送入心电处理模块。

进一步的，在步骤2中，采用小波包变换算法，提取ɑ，β，θ，δ四种节律波，分别计算四种节律波相对能量E_ɑ，E_β，E_θ，E_δ；

利用蓝牙脑电耳机的眨眼信息接口，记录一分钟内的眨眼次数和强度，得出眨眼频率E，和平均眨眼强度F；

利用中值滤波和平滑滤波去除心电信号基线漂移和其他干扰信号，记录心电设备输出的原始心电信号(ECG)，和心率值(HR)；采用差分阈值法对ECG信号进行RR间期提取，并做频域分析，生成LF波和HF波，分别计算LF波和HF波的功率，作为心电信号特征。

进一步的，

在步骤3中，将步骤2中提出的特征向量归一化处理后作为输入，采用多元逻辑回归算法对疲劳状态进行初步分类，基于特征向量的特征权重，筛选主要特征，并进行特征融合，提出融合特征向量E_(ɑ+θ)/β、E_(ɑ+θ)/β/HR、眨眼频率E、LF/HF、(LF-HF)/HR。融合后的特征向量E_(ɑ+θ)/β、E_(ɑ+θ)/β/HR、LF/HF、(LF-HF)/HR均随着疲劳程度的增加而增加，眨眼频率E在非疲劳状态下的范围为7～20,其他情况视为疲劳状态。

进一步的，步骤5中，采取自适应疲劳改善方法：轻度疲劳阶段，采用播放音乐疗法；过度疲劳阶段，采用音乐电刺激疗法；音乐播放和音乐电刺激均由音乐电刺激电路提供。

进一步的，所述音乐电刺激电路主要包括，存储单元，主控单元，音频解码单元，信号处理单元，信号输出单元，耳机，和触摸屏单元；主控芯片控制音频解码单元读取内存单元中音乐文件，解码生成音频信号，一路经耳机输出，另一路送入信号处理单元采样放大处理；放大后信号经与输出单元相连的电极作用于人体；输出电流强度，播放音量等均有主控单元控制；输出脉冲变化经LCD屏反馈给被试者。

与现有技术相比，本发明具有如下优点：

1、基于可穿戴脑电心电设备开发，便携性强，克服了大型信号采集设备，体积大，价格高，不能广泛应用的缺点。

2、采用多源信息融合的疲劳检测算法，提高了检测的精度和鲁棒性。

3、采取自适应疲劳改善方法，针对性更强，避免了缓解措施冗余，改善效果显著。

附图说明

图1是本发明的整体框架图。

图2是音乐电刺激器功能框架图。

图3是音乐电刺激器存储单元原理图。

图4是音乐电刺激器音频解码单元电路图。

图5是音乐电刺激器采样电路原理图。

图6是音乐电刺激器放大部分和输出部分原理图。

附图标号：1为主控单元、2为存储单元、3为音频解码单元、4为耳机、5为信号处理单元、6为输出单元、7为触摸屏单元、5-1为采样电路、5-2为放大电路。

具体实施方式

下面结合附图对本发明做进一步说明：

结合图1，疲劳检测包括以下步骤：

步骤1：分别利用蓝牙采集设备、心电传感器、同步采集脑电信号、眨眼信息和心电信号。

脑电信号，眨眼信息采集设备为蓝牙脑电耳机。该耳机一个输入端与使用者前额的脑电传感器连接，另一个输入端与使用者耳部电极连接，通过干电极获得使用者FP1和A1信道的脑电波电压变化，并经内部的放大，滤波将反应脑电强度的数字信号通过蓝牙方式输出至脑电信号分析模块。采样频率为512Hz，波特率为115200bps。

心电信号采集模块为基于BMD101芯片的心电采集电路，人体心电信号经过2片银-氯化银电极采集后，经高通滤波器送入BND101采集器，经芯片内部放大，滤波，计算输出心电数字信号并通过蓝牙方式送入心电处理模块。

步骤2：脑电信号处理模块接收脑电数据。采用小波包变换算法，去除原始脑电信号(EEG)中其他干扰信号，并进行：α，β，θ，δ节律波提取，分别计算四种节律波能量E_ɑ，E_β，E_θ，E_δ。

脑电信号为非平稳信号，一般频率在0.5～100Hz,本发明中的主要频率在0～30Hz。首先采用高通滤波器滤除频率小于0.5Hz的干扰信号，然后通过小波包变换算法提取四种节律波。

小波包变换是在小波变换的基础上提出的，小波包变换会同时分析信号的高频和低频成分，提供更精确的时频分析。小波包分解与重构算法公式如下：

(快速分解算法)(1)

f(t)为采集到的EEG信号，该信号在第j层上一共有2^j个小波包，其中第i个小波包可表示为G、H代表小波包分解滤波器，他们分别与小波包函数ψ_j(t)和尺度函数有关。式中，t＝1,2,...,2^J-j；i＝1,2,...,2^j；

(快速重构算法)(2)

g、h代表小波包重构的滤波器，其中g与小波函数ψ_j(t)有关，h与尺度函数有关。j＝J-1,J-2,...,1,0；i＝2^j,2^j-1,...,2,1；

本实施例中利用db4小波对EEG信号进行7层分解。然后利用小波包重构将各个节律所对应的子带叠加起来，即可获得信号的四个节律的时域信息。

根据小波包分解的机理可知，EEG信号的能量可由小波包子带能量表示，其中各节点重构信号的能量可表示成：其中表示在时间点t上第j层第i个节点的小波包分解系数。EEG信号中各个节律的能量E_r为：式中，r代表节律α，β，θ或δ，k的取值范围由r代表的节律频带决定。结合两式求出四种节律波的能量为E_ɑ，E_β，E_θ，E_δ。

眨眼信息由蓝牙脑电耳机自带的眨眼信息接口提供，记录一分钟内的眨眼次数和强度，得出眨眼频率E，和平均眨眼强度F。

心电信号处理模块接收采集到的心电数据，解析后记录原始心电信号，利用中值滤波和平滑滤波消除基线漂移和去除毛刺。采用差分阈值法进行R波检测，提取RR间期。使用Lomb-Scargle周期图法对RR间期做谱估计。提取频域指标HF和LF。Lomb-Scargle周期图法是从传统的傅里叶变换频谱分析发展过来的，给定一段时间序列X(t_j)，j＝1,2,3,...,N,功率谱如下：

其中P_x(f)是频率f的周期信号的功率，t_j是样本时间，N是样本总数，τ是时间平移不变量。

步骤3：采用多元逻辑回归算法，将上述特征值作为回归算法的输入，对疲劳结果做初步分类，并记录每种特征值的权重，筛除权重小于±0.2的特征值。对剩下的特征值进行特征融合，从而提高融合特征与疲劳程度的相关性。具体如下：

提出融合特征向量：E_(ɑ+θ)/β、E_(ɑ+θ)/β/HR、眨眼频率E、LF/HF、(LF-HF)/HR。

随疲劳程度的增加，脑电信号中ɑ，θ节律波增加，β节律波减少，E_(ɑ+θ)/β随之增加，心率HR降低，心率变异性的高频段功率HF降低，低频段功率LF增加。眨眼频率E在非疲劳状态下的范围为7～20，其他情况视为疲劳状态。因此融合后E_(ɑ+θ)/β、E_(ɑ+θ)/β/HR、LF/HF、(LF-HF)/HR均随着疲劳程度的增加而增加。

步骤4：将训练集分成20份，将上述融合特征作为输入，对每一份训练集进行支持向量机，得到20个弱分类器。结合bagging算法，对20个弱分类器进行集成学习，得到强分类器，并将强分类器下的分类结果作为最终的疲劳程度分类结果。

步骤5：提出自适应疲劳改善方法：根据被试疲劳程度的分类结果，采取不同的缓解疲劳方法。轻度疲劳阶段，采用播放音乐疗法；过度疲劳阶段，采用音乐电刺激疗法；音乐播放和音乐电刺激均由音乐电刺激电路提供。

结合图2，本发明的音乐电刺激器主要包括主控单元1、存储单元2、音频解码单元3、耳机4、信号处理单元5、输出单元6、触摸屏单元7。

主控单元控制音频解码单元读取存储单元中的音乐文件，解码为音频信号，一路信号经耳机播放，另一路信号送至信号处理单元。。信号处理单元包括采样电路5-1和放大电路5-2，将音频信号采样放大后输出至输出单元，通过与输出单元相连的电极作用于人体。解码后的音频信号可传回主控单元经主控单元内部的A/D转换功能转换为数字信号，用于实时观察波形变化，触摸屏单元与主控单元相连用于显示波形变化，音量，曲目等。

下面结合附图对音乐电刺激单元各个模块做进一步阐述：

主控单元选择STM32F103系列单片机，通过串口控制音频解码单元读取存储单元中的音乐文件解码生成音频信号。经信号处理单元采样，放大输出至电极。单片机内部ADC可将放大后的音频信号转换成数字信号，用于在LCD上绘制波形，反馈给被试者。同时主控单元还可以控制音量大小，以及输出电流强度。

触摸屏单元选择TFTLCD，通过主控芯片的FSMC控制显示。可以显示播放曲目，刺激波形，音乐音量等。实现治疗的数字化和人性化。

STM32F103原理图，及TFTLCD与单片机连接均可从各自说明手册中得到，在此不再详述。

存储单元如图3所示，存储器采用SD卡存储所需的音乐文件，主控单元控制音频解码单元读取SD卡中的音乐文件，解码后生成音频信号。一路经耳机播放，一路送至信号处理单元处理。

音频解码单元如图4所示，A2为音频解码核心芯片搭配外围电路构成音频解码单元，管脚1,2,3与存储单元SD卡相连，管脚4为播放指示灯，播放时为高电平，其他位低电平，5,6管脚为USB接口可通过USB数据线连接电脑，管脚7,8为内部参考电平，管脚9,10位音频输出，9为左声道，10为右声道，管脚1，12均为参考电源，管脚14,15位串口通信引脚，管脚16位一线串口引脚。

采样电路如图5所示，8脚输入可调方波，当在低电平时，LF398处于截止状态，输出电压为0。当在高电平时，LF398在导通状态，输出电压等于引脚3的输入电压，为了使输出的电压呈一个跟随状态，引脚6连接一个电阻。调节脉冲的频率和占空比就可以改变输入波形的频率和占空比。

放大与输出电路如图6所示，放大电路包括前置放大电路和功率放大电路，前置放大电路由数字电位器U10和集成运放U9A组成，音乐信号由U10的5脚输入，由主控单元控制其阻值大小，从而改变U9A同相端的音乐电流强度，集成运放U9A构成反比例运算放大器增益倍数为R22/R21。

功率放大器由U8及其外围电路构成，经前置放大的音乐信号通过CP16输入到U8的1脚，2脚接电容CP19与外电阻R30构成交流负反馈，C19和R27为防自激网络，电源电压为12V，静态电路为45mA,输出从CP14的负脚端输出，输出功率可达6W。

输出电路由继电器K1、三极管Q1、耦合变压器T1。三极管Q1工作在开关状态，当基极为低电平时三极管截止，K1接地，变压器T1没有输出。当Q1基极接高电平时，Q1饱和导通，继电器通电，K1闭合，音乐信号输入到变压器T1的初级线圈。经变压器升压后产生很高的刺激电压，最后通过电极作用于人体。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims

1.一种基于多源信息融合的疲劳检测方法，其特征在于，所述方法包括以下步骤：

步骤4，融合后的特征向量，采用基于支持向量机的bagging算法重新分类，将处理后的特征向量作为bagging算法的输入，确定被试者当前疲劳程度；

2.根据权利要求1所述的一种基于多源信息融合的疲劳检测方法，其特征在于：步骤1中，所述脑电信号和眨眼信息采集设备为蓝牙脑电耳机，所述耳机一个输入端与使用者前额的脑电传感器连接，另一个输入端与使用者耳部电极连接，通过干电极获得使用者FP1和A1信道的脑电波电压变化，并经内部的放大，滤波将反应脑电强度的数字信号通过蓝牙方式输出至脑电信号分析模块；所述心电信号采集模块为基于BMD101芯片的心电采集电路，人体心电信号经过2片银-氯化银电极采集后，经高通滤波器送入BMD101采集器，经芯片内部放大，滤波，计算输出心电数字信号并通过蓝牙方式送入心电处理模块。

3.根据权利要求1所述的一种基于多源信息融合的疲劳检测方法，其特征在于：在步骤2中，采用小波包变换算法，提取ɑ，β，θ，δ四种节律波，分别计算四种节律波相对能量E_ɑ，E_β，E_θ，E_δ；

4.根据权利要求1所述的一种基于多源信息融合的疲劳检测方法，其特征在于：在步骤3中，将步骤2中提出的特征向量归一化处理后作为输入，采用多元逻辑回归算法对疲劳状态进行初步分类，基于特征向量的特征权重，筛选主要特征，并进行特征融合，提出融合特征向量E_(ɑ+θ)/β，E_(ɑ+θ)/β/HR，眨眼频率E，LF/HF，(LF-HF)/HR。

5.根据权利要求1所述的一种基于多源信息融合的疲劳检测方法，其特征在于：步骤5中，采取自适应疲劳改善方法：轻度疲劳阶段，采用播放音乐疗法；过度疲劳阶段，采用音乐电刺激疗法；音乐播放和音乐电刺激均由音乐电刺激电路提供。

6.根据权利要求5所述的一种基于多源信息融合的疲劳检测方法，其特征在于：所述音乐电刺激电路主要包括，存储单元，主控单元，音频解码单元，信号处理单元，信号输出单元，耳机，和触摸屏单元；主控芯片控制音频解码单元读取内存单元中音乐文件，解码生成音频信号，一路经耳机输出，另一路送入信号处理单元采样放大处理；放大后信号经与输出单元相连的电极作用于人体；输出电流强度，播放音量等均有主控单元控制；输出脉冲变化经LCD屏反馈给被试者。