CN109498041B - 基于脑电与脉搏信息的驾驶员路怒状态识别方法 - Google Patents

基于脑电与脉搏信息的驾驶员路怒状态识别方法 Download PDF

Info

Publication number
CN109498041B
CN109498041B CN201910035855.0A CN201910035855A CN109498041B CN 109498041 B CN109498041 B CN 109498041B CN 201910035855 A CN201910035855 A CN 201910035855A CN 109498041 B CN109498041 B CN 109498041B
Authority
CN
China
Prior art keywords
driver
pulse information
electroencephalogram
pulse
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910035855.0A
Other languages
English (en)
Other versions
CN109498041A (zh
Inventor
陈万忠
郑骁
尤洋
蒋鋆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910035855.0A priority Critical patent/CN109498041B/zh
Publication of CN109498041A publication Critical patent/CN109498041A/zh
Application granted granted Critical
Publication of CN109498041B publication Critical patent/CN109498041B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Abstract

本发明公开了一种基于脑电与脉搏信息的驾驶员路怒状态识别方法，为克服现有技术存在高功耗和易受外界条件影响的问题，识别方法的步骤如下：1)采集驾驶员的脉搏信息和脑电信号并进行预处理：(1)腕带式终端采集驾驶员脉搏信息并进行预处理；(2)头戴式终端采集驾驶员脑电信号并进行预处理；2)分别对驾驶员脉搏信息与脑电信号进行特征提取：(1)对驾驶员脉搏信息进行特征提取；(2)对驾驶员脑电信号进行特征提取；3)将驾驶员脑电特征与脉搏特征进行融合与降维；4)训练驾驶员路怒状态判别分类器；5)实时对驾驶员路怒状态进行判断：将训练好的路怒状态判别分类器实时进行驾驶员路怒状态判断，当判别结果为“是”时给驾驶员以提示。

Description

基于脑电与脉搏信息的驾驶员路怒状态识别方法
技术领域
本发明涉及一种属于交通安全驾驶与智能技术领域的方法，更确切地说，本发明涉及一种基于脑电信号处理与脉搏信息处理相融合的驾驶员路怒情绪识别方法。
背景技术
“路怒”是一种由挫折与压力导致的开车愤怒情绪，属于阵发性暴怒障碍，发作驾驶员会出现主动阻碍、挑衅等过激行为，危害他人及自身安全。据统计，由于暴力驾驶行为引发的交通事故占比愈发严重。研究表明，相当多的司机都有这些症状，但症状发作期并非每个人都能对自己情绪有清晰的认识，如果驾驶情绪不能被及时发现并消除，就会恶化为的交通事故。因此,急时发现路怒情绪,并采取相应的提醒措施是预防该类事故的关键。
以往对路怒情绪的研究主要集中在其产生机理、发作表现以及对交通安全的影响等方面，对于驾驶员“路怒”情绪的识别及提醒方法的研究相对较少。目前路怒情绪的分析识别方法主要通过对驾驶员的驾驶操作的视频、面部图像、语音等信号的采集，判断其驾驶愤怒的驾驶行为或是对驾驶员情绪给出客观实时性的判别。
例如，公告号为CN106114516A的发明专利，公开了“一种自适应驾驶人特性的愤怒驾驶行为监测及干预装置”，通过对车辆鸣笛、方向盘操作等行为特征对驾驶人进行愤怒监测；公开号为CN108216254A的发明专利，公开了一种“基于面部图像与脉搏信息融合的路怒情绪识别方法”，通过处理面部图像与脉搏信息，实时监测与判别驾驶员路怒情绪；公开号为CN107235045A的发明专利公开了一种“考虑生理与操控信息的驾驶员路怒状态车载识别交互系统”，通过生理信息分析与侧向纵向操作特征监测对驾驶员路怒状态进行监测。
尽管这些方式能够识别驾驶员的情绪状态，但还是存在一些问题，比如图像视频质量受光线、时间等因素的影响较大，无法准确地识别各种环境下的驾驶员情绪。此外，对图像视频数据的处理分析还需要较高的功耗，使得路怒情绪识别率达不到实际应用效果。
因此，基于现代数据采集与机器学习的方法，探究基于脑电与脉搏信息融合的路怒情绪识别方法，以准确识别驾驶员的路怒情绪，从而尽可能地减小驾驶员因路怒情绪对道路交通安全等产生的不良影响，具有重要的理论意义和应用价值。
发明内容
本发明所要解决的技术问题是克服了现有路怒情绪识别技术存在的高功耗和易受外界条件影响的问题，提供了一种基于脑电与脉搏信息融合的驾驶员路怒状态识别方法。
为解决上述技术问题，本发明是采用如下技术方案实现的：所述的基于脑电与脉搏信息的驾驶员路怒状态识别方法包括步骤如下：
1)采集驾驶员的脉搏信息和脑电信号并进行预处理：
(1)腕带式终端采集驾驶员脉搏信息并进行预处理；
(2)头戴式终端采集驾驶员脑电信号并进行预处理；
2)分别对驾驶员脉搏信息与脑电信号进行特征提取：
(1)对驾驶员脉搏信息进行特征提取；
(2)对驾驶员脑电信号进行特征提取；
3)将驾驶员脑电特征与脉搏特征进行融合与降维:
(1)将驾驶员脉搏特征传送至特征融合与降维单元
通过蓝牙无线发送单元和蓝牙无线接收单元传送驾驶员的脉搏特征，借助CC2540蓝牙模块实现；
(2)将驾驶员脑电特征传送至特征融合与降维单元
驾驶员脑电特征通过有线的方式传送至特征融合与降维单元；
(3)对多维特征进行处理；
4)训练驾驶员路怒状态判别分类器：
由集成在头戴式终端(2)中的安装有路怒状态决策与判别单元的2号数字信号处理装置中的TMS320LF2407 DSP芯片完成，步骤如下：
1)根据是否为路怒状态下的特征对全体降维后的特征样本设置标签，方便监督学习训练分类器，并按照4:1将所有样本随机分成训练集和测试集；
2)运用集成学习中的Stacking方法，使用训练集有监督的训练两层Stacking分类器网络，第一层包含3个分类器模型，分别为K近邻分类器、高斯朴素贝叶斯分类器、随机森林分类器,第二层分类器使用逻辑回归；
3)使用测试集测试识别结果，若识别率未能达到90％以上,则优化调整子分类器中的参数,再次利用训练集进行分类器训练,直到识别率达到预期，证明此时的分类器可以应用于实时的路怒状态分类判别；
5)实时对驾驶员路怒状态进行判断：
将训练好的路怒状态判别分类器实时应用于驾驶员路怒状态判断，判别结果为“是”或“否”，当判别结果为“是”时，通过外部连接的设备给驾驶员以提示。
技术方案中所述的腕带式终端采集驾驶员脉搏信息并进行预处理是指：
(1)采集原始脉搏信息
脉搏信息采集单元中的型号为SON1303的反射式绿光传感器进行脉搏信息采集；
(2)对原始脉搏信息进行放大、低通滤波处理
a.采用型号为UAF42的单片集成电路实现对原始脉搏信息进行放大、低通滤波处理，型号为UAF42的单片集成电路包含运算放大器和通用有源滤波器；
b.由于脉搏信息为微小声信号，转换为电信号后幅值依旧很低，因此需要对其进行放大处理；
c.脉搏信息的频率成分主要分布在0～20Hz，最高频率不超过40Hz，因此使用低通滤波器去掉高频干扰，截至频率设置为40Hz；
(3)将滤波后的脉搏信息转换为数字信号
将滤波后的脉搏信息通过型号为ADC0809的模拟数字转换器进行采样，量化编码成为数字信号；对于获取脉搏波形参数,低采样频率可以达到与高采样频率一样准确的结果，为了降低功耗，采样频率设置为128Hz；转换后的数字信号送入脉搏信息分析单元。
技术方案中所述的头戴式终端采集驾驶员脑电信号并进行预处理是指:
(1)采集原始脑电信号
脑电信号采集单元通过干电极实现电路连通，使用双通道采集方式，双通道采集电极选用国际脑电图学会规定的10～20标准电极放置法中的F3和F4位置即双侧前额叶处，参考电极A1和地电极A2分别位于左右耳乳突处；
(2)对原始脑电信号进行前置一级放大处理
由于采集到的原始脑电信号幅值约为几十μV，因此需要对其进行多级放大处理；一级放大步骤中我们选用型号为INA129的精密低功耗仪表放大器，其最大增益可达10000倍；
(3)对一级放大处理的脑电信号进行再次放大
经过前置放大电路的放大，脑电信号的电压依然不满足应用的需求，仍需进一步放大；本步骤中采用简单的同向放大电路，放大倍数为100；
(4)去除脑电信号工频干扰
普通环境下，脑电信号的采集受到频率为50Hz的市电电压带来的工频环境干扰，此步骤中采用50Hz陷波滤波器来消除工频干扰；
(5)将放大后的脑电信号转换为数字信号
将放大后的模拟脑电信号通过A/D转换器进行转换，使用美国国家半导体公司生产的型号为ADC0809的逐次比较型模数转换器，采样频率设置为每秒钟 256个样本点，转换后的数字信号送入脑电信号分析单元。
技术方案中所述的对驾驶员脉搏信息进行特征提取是指：
(1)提取脉搏信息时域特征
所提取的时域特征包括相邻脉搏主波波峰间时间的均值、标准差、主波振幅的均值、标准差；特征提取每次取5秒钟的完整脉搏波计算，相邻两次时域特征提取的时域步长为2秒钟；设5秒钟内某实验者的完整脉搏波周期数目为 N,则相邻脉搏主波波峰间时间的均值计算公式为：
Figure GDA0002913893940000041
相邻脉搏主波波峰间时间的标准差计算公式为：
Figure GDA0002913893940000042
主波振幅的均值计算公式为：
Figure GDA0002913893940000043
主波振幅的标准差计算公式为：
Figure GDA0002913893940000044
脉搏信息时频域特征向量为V1＝[tmean,tstd,hmean,hstd]；
式中:ti代表第i个完整脉搏波的主波波峰时间，hi代表第i个完整脉搏波的主波振幅；
(2)提取脉搏信息时频域特征
基于小波变换提取脉搏信息时频域特征，进行小波多层分解，提取小波系数能量，步骤如下：
a.取连续5秒钟的脉搏数据计算，相邻两次特征提取的时域步长为2秒钟，脉搏波信号记为S(t)；
b.由于在采集驾驶员的脉搏信息和脑电信号大步骤里腕带式终端采集驾驶员脉搏信息小步骤中截至频率设置为40Hz，故脉搏波信号的频率范围在0-40Hz，此步骤中对S(t)使用db4小波进行4层频率分解，频带划分为：na1(0-20Hz)、 nd1(20-40Hz)、na2(0-10Hz)、nd2(10-20Hz)、na3(0-5Hz)、nd3(5-10Hz)、 na4(0-2.5Hz)、nd4(2.5-5Hz)；提取小波系数，计算小波系数的能量值，其中脉搏信号S(t)在第i尺度上的m点的小波能量Eik为
Eik＝|Di(k)|2，
在第i尺度下k＝1，2，...K个采样点的脉搏信号能量和为
Figure GDA0002913893940000045
c.由于nd1频率范围内基本不含人体脉搏信息，因此舍弃了End1因子，创建特征向量V2＝[End2,End3,End4,Ena4]；
d.对特征向量归一化，记脉搏信息总能量为E＝End2+End3+End4+Ena4,则归一化的脉搏信息时频域特征向量为V2＝[End2/E,End3/E,End4/E,Ena4/E]；
(3)提取脉搏信息非线性特征
选取一段典型的实验者愤怒时期脉搏信号作为模板信号，提取脉搏信息与脉搏信号模板之间的互相关系数作为非线性特征；对于两个长度为M的离散信号x(m)和y(m),互相关系数ρ为
Figure GDA0002913893940000051
当x(m)和y(m)完全不相同时互相关系数为0，互相关系数值越接近1，说明两个信号相似度越高；
则脉搏信息互相关系数特征为V3＝ρ。
技术方案中所述的对驾驶员脑电信号进行特征提取的步骤如下：
(1)对脑电信号进行低通滤波处理
由于有用的脑电信号频率较小，因此采用Chebyshev I型低通滤波器去除高频干扰，通带截止频率为50Hz；
(2)提取脑电信号频域特征；
频域特征包括平均瞬时能量特征和AR系数特征：
a.提取平均瞬时能量特征：
先使用经验模态分解算法，通过加滑动窗的方式，每次取1秒钟的脑电信号将其分解得到多阶本征模态分量，取前4阶分量进行希尔伯特变换，变换后的幅值的平方即为瞬时能量；窗函数步长为0.25秒，因此从5秒钟的脑电信号中可以得到17个瞬时能量，取平均后记为EC，将其作为可反应大脑活动节律的平均瞬时能量特征；
b.提取AR系数特征：
每次选取5秒钟脑电数据作为样本，通过AR参数模型谱估计，阶数为5，按照信号数据列与估计值之间的均方误差最小准则，求取系数分别记为 AR1-AR5,AR系数特征[AR1,AR2,AR3,AR4,AR5]；
因此，脑电信号频域特征为V4＝[EC,AR1,AR2,AR3,AR4,AR5]；
(3)提取脑电信号非线性特征
此步骤中提取的脑电信号非线性特征为样本熵，其适用于生物时间序列分析；本步骤中对脑电信号加滑动时间窗，以2s长度为滑动时间窗即512个样本点，计算脑电信号的样本熵，窗口每次移动128个采样点，并计算下2s时间窗的脑电信号的样本熵，直到计算出5秒钟时间内信号最后2s时间窗的脑电信号的样本熵为止，从而获得这段样本数据中脑电信号样本熵的时间序列；将这一组样本序列叠加平均，即获得该时间段内信号的样本熵特征,记为V5＝En。
技术方案中所述的对多维特征进行处理是指：
(1)将脑电信号频域特征、非线性特征同脉搏信息时域、频域和非线性特征相结合，形成多维特征空间，即V＝[V1,V2,V3,V4,V5]；
(2)根据前期收集的实验者模拟的实验类别即路怒或非路怒，将提取到的多维特征打标签，随机将样本按照1:1的随机分成训练集和测试集，保证训练集和测试集中类别均匀；
(3)使用训练集样本训练稀疏自编码器其包括编码器和解码器，编码器将多维特征进行编码，得到降维的特征；解码器使用降维的特征重构出输入特征；将目标值设为输入，损失函数衡量了重构特征分布与输入多维特征分布之间的差异，当训练结果使损失函数足够小时，证明编码后的降维特征可以有效地表征脑电信号和脉搏信息的特征；
采用Adam算法即自适应动量估计方法，计算网络中每个参数的自适应学习率，及每个参数的动量变化并独立存储；使用sigmoid激活函数、加入梯度裁剪，滑动平均模型对整个模型进行优化；
优化网络参数后，将优化后的网络模型保存到权利要求1所述的DSP芯片中；
(4)利用测试集样本计算损失值，如测试集损失小于0.2，继续进行步骤 (4)，否则修改步骤(3)中编码器解码器网络、学习率等参数，重新训练网络直至满足损失要求；
(5)取所有样本经过编码器后的输出，作为降维后用于决策与判别的特征。
与现有技术相比本发明的有益效果是：
1.相较于现有的路怒情绪识别方法，本发明所述的基于脑电与脉搏信息融合的驾驶员路怒状态识别方法中所采用的脑电信号与脉搏信息采集过程受光照、时间等环境因素影响较小，在光线暗、噪声大的环境下仍可保证识别精度；
2.相较于通过图像视频分析路怒情绪的技术，本发明所述的基于脑电与脉搏信息融合的驾驶员路怒状态识别方法中对脑电信号和脉搏信息的处理分析过程简单，所需功耗较低，分析处理速度快；
3.本发明所述的基于脑电与脉搏信息融合的驾驶员路怒状态识别方法在建立路怒情绪识别模型时，综合了脑电信号的频域特征和非线性特征、脉搏信息的时域、时频域和非线性特征，通过集成学习中的方法，融合多个模型，提高了对路怒状态识别精度。
附图说明
下面结合附图对本发明作进一步的说明：
图1为本发明所述的基于脑电与脉搏信息融合的驾驶员路怒状态识别方法的流程框图；
图2为本发明所述的基于脑电与脉搏信息融合的驾驶员路怒状态识别方法中所采用的驾驶员路怒情绪识别系统结构组成框图；
图3为本发明所述的基于脑电与脉搏信息融合的驾驶员路怒状态识别方法中所采用的驾驶员路怒情绪识别系统的使用示意图；
图4为本发明所述的基于脑电与脉搏信息融合的驾驶员路怒状态识别方法一个周期脉搏波形图；
图5为本发明所述的基于脑电与脉搏信息融合的驾驶员路怒状态识别方法中所采用的两层Stacking分类器网络示意图；
图中：1.腕带式终端，2.头戴式终端。
具体实施方式
下面结合附图对本发明作详细的描述：
参阅图2与图3，本发明所提供的一种(基于脑电与脉搏信息融合的驾驶员) 路怒状态识别系统包括一个腕带式终端1和一个头戴式终端2。
所述的腕带式终端1佩戴于驾驶员手腕处进行脉搏信息采集、预处理和特征提取，体积小不影响正常驾驶；
所述的腕带式终端1由可USB充电的锂电池供电，腕带式终端1集成了脉搏信息采集单元、脉搏信息分析单元与蓝牙无线发送单元；
所述的脉搏信息采集单元通过型号为SON1303的反射式绿光传感器采集驾驶员原始脉搏信息，通过型号为UAF42的单片集成电路对其进行放大、滤波，采用型号为ADC0809的模拟数字转换器进行模数转换，转换后的信号传入脉搏信息分析单元；
所述的脉搏信息分析单元为软件程序嵌入在1号数字信号处理装置中，1号数字信号处理装置中选用型号为AT91SAM9260 ARM9芯片，脉搏信息分析单元对传入的脉搏信息进行特征提取，得到时域、时频域和非线性特征，通过蓝牙无线发送单元传出；
所述的蓝牙无线发送单元为型号为CC2540的蓝牙模块，将脉搏特征传到头戴式终端2；
所述的头戴式终端2佩戴于驾驶员脑部，完成脑电信号的采集，预处理、特征提取、特征融合与降维以及路怒状态的判别；
所述的头戴式终端2由可USB充电的锂电池供电，集成了脑电信号采集单元、脑电信号分析单元、蓝牙无线接收单元、特征融合与降维单元及路怒状态判别单元；
所述的脑电信号采集单元是一种硬件装置，通过干电极实现电路连通，使用双通道采集方式，采集驾驶员大脑皮层的电信号，并通过型号为INA129的精密低功耗仪表放大器和同向放大电路对其进行两级放大处理，采用50Hz陷波滤波器来消除工频干扰，并通过型号为ADC0809的逐次比较型模数转换器实现模数转换，转换后的信号传入脑电信号分析单元；
所述的脑电信号分析单元为软件程序嵌入在2号数字信号处理装置中，2号数字信号处理装置中选用型号为TMS320LF2407 DSP的芯片，对传入的脑电信号进行特征提取，得到频域特征和非线性特征，并传入特征融合与降维单元；
所述的蓝牙无线接收单元采用型号为CC2540的蓝牙模块，接收腕带式终端 1发送的脉搏信息特征；
所述的特征融合与降维单元为软件程序嵌入在型号为TMS320LF2407 DSP的芯片中，将脑电信号特征与脉搏信息特征进行融合与降维，得到可准确表征路怒状态的特征。
所述的路怒状态判别单元为软件程序嵌入在型号为TMS320LF2407 DSP的芯片中，进行路怒状态的判定，如判定结果为“是”，通过外部方式及时提醒驾驶员。
参阅图1，本发明提供了一种基于脑电信号与脉搏信息融合的驾驶员路怒状态识别方法，本方法包括驾驶员的脉搏信息和脑电信号的采集和预处理、分别对驾驶员的脉搏信息与脑电信号进行特征提取、将驾驶员脑电特征与脉搏特征进行融合与降维、训练驾驶员路怒状态判别分类器与实时对驾驶员路怒状态进行判断。
1.采集驾驶员的脉搏信息和脑电信号并进行预处理
在本方法实时应用于驾驶员路怒状态判断前，需要采集大量驾驶员的数据用于系统的训练和测试。
1)腕带式终端采集驾驶员脉搏信息并预处理
此步骤由腕带式终端1中的脉搏信息采集单元完成。
(1)采集原始脉搏信息
脉搏信息采集单元中的型号为SON1303的反射式绿光传感器进行脉搏信息采集；
(2)对原始脉搏信息进行放大、低通滤波处理
a.采用型号为UAF42的单片集成电路实现，型号为UAF42的单片集成电路包含运算放大器和通用有源滤波器；
b.由于脉搏信息为微小声信号，转换为电信号后幅值依旧很低，因此需要对其进行放大处理；
c.脉搏信息的频率成分主要分布在0～20Hz，最高频率不超过40Hz，因此使用低通滤波器去掉高频干扰，截至频率设置为40Hz；
(3)将滤波后的脉搏信息转换为数字信号
将滤波后的脉搏信息通过型号为ADC0809的模拟数字转换器进行采样，量化编码成为数字信号；对于获取脉搏波形参数,低采样频率可以达到与高采样频率一样准确的结果，为了降低功耗，采样频率设置为128Hz；转换后的数字信号送入脉搏信息分析单元；
2)头戴式终端采集驾驶员脑电信号并预处理
此步骤由头戴式终端2中的脑电信号采集单元完成。
(1)采集原始脑电信号
脑电信号采集单元通过干电极实现电路连通，使用双通道采集方式，双通道采集电极选用国际脑电图学会规定的10～20标准电极放置法中的F3和F4位置(双侧前额叶)，参考电极A1和地电极A2分别位于左右耳乳突处；
(2)对原始脑电信号进行前置一级放大处理
由于采集到的原始脑电信号幅值约为几十μV，十分微弱，因此需要对其进行多级放大处理；一级放大步骤中我们选用TI公司的型号为INA129的精密低功耗仪表放大器，其最大增益可达10000倍；
(3)对一级放大处理的脑电信号进行再次放大
经过前置放大电路的放大，脑电信号的电压依然不满足应用的需求，仍需进一步放大；本步骤中采用简单的同向放大电路，放大倍数为100；
(4)去除脑电信号工频干扰
普通环境下，脑电信号的采集受到频率为50Hz的市电电压带来的工频环境干扰，此步骤中，本发明采用50Hz陷波滤波器来消除工频干扰；
(5)将放大后的脑电信号转换为数字信号
将放大后的模拟脑电信号通过A/D转换器进行转换，本步骤中使用美国国家半导体公司生产的型号为ADC0809的逐次比较型模数转换器，采样频率设置为每秒钟256个样本点，转换后的数字信号送入脑电信号分析单元；
2.对驾驶员脉搏信息与脑电信号进行特征提取
1)对驾驶员脉搏信息进行特征提取
此步骤由腕带式终端1中的安装有脉搏信息分析单元的1号数字信号处理装置(中的型号为AT91SAM9260 ARM9的芯片)完成，步骤如下：
(1)提取脉搏信息时域特征
参阅图4，图中所示为一个周期脉搏波形图，R点、R’点为两个相邻的脉搏主波波峰，h及h’为两个主波振幅，t为相邻两个脉搏主波波峰间的时间间隔，脉搏信息的时域特征对生理状态具有一定的表征价值；
所提取的时域特征包括相邻脉搏主波波峰间时间的均值、标准差、主波振幅的均值、标准差；特征提取每次取5秒钟的完整脉搏波计算，相邻两次时域特征提取的时域步长为2秒钟；设5秒钟内某实验者的完整脉搏波周期数目为 N,则相邻脉搏主波波峰间时间的均值tmea的计算公式为：
Figure GDA0002913893940000101
相邻脉搏主波波峰间时间的标准差tstd计算公式为：
Figure GDA0002913893940000102
主波振幅的均值hmean计算公式为：
Figure GDA0002913893940000103
主波振幅的标准差hstd计算公式为：
Figure GDA0002913893940000104
式中:ti代表第i个完整脉搏波的主波波峰时间，hi代表第i个完整脉搏波的主波振幅。
本发明中脉搏信息时频域特征向量为V1＝[tmean,tstd,hmean,hstd]；
(2)提取脉搏信息时频域特征
基于小波变换提取脉搏信息时频域特征，进行小波多层分解，提取小波系数能量。
具体步骤如下：
a.取连续5秒钟的脉搏数据计算，相邻两次特征提取的时域步长为2秒钟，脉搏波信号记为S(t)；
b.由于在采集驾驶员的脉搏信息和脑电信号大步骤里腕带式终端采集驾驶员脉搏信息小步骤中截至频率设置为40Hz，故脉搏波信号的频率范围在0-40Hz，此步骤中对S(t)使用db4小波进行4层频率分解，频带划分为：na1(0-20Hz)、 nd1(20-40Hz)、na2(0-10Hz)、nd2(10-20Hz)、na3(0-5Hz)、nd3(5-10Hz)、 na4(0-2.5Hz)、nd4(2.5-5Hz)；提取小波系数，计算小波系数的能量值，其中脉搏信号S(t)在第i尺度上的m点的小波能量Eik为
Eik＝|Di(k)|2，
在第i尺度下k＝1，2，...K个采样点的脉搏信号能量和为
Figure GDA0002913893940000105
c.由于nd1频率范围内基本不含人体脉搏信息，因此舍弃了End1因子，创建特征向量V2＝[End2,End3,End4,Ena4]；
d.对特征向量归一化，记脉搏信息总能量为E＝End2+End3+End4+Ena4,则归一化的脉搏信息时频域特征向量为V2＝[End2/E,End3/E,End4/E,Ena4/E]；
(3)提取脉搏信息非线性特征
选取一段典型的实验者愤怒时期脉搏信号作为模板信号，提取脉搏信息与脉搏信号模板之间的互相关系数作为非线性特征；对于两个长度为M的脉搏信号x(m)和y(m),互相关系数ρ为
Figure GDA0002913893940000111
当x(m)和y(m)完全不相同时互相关系数为0，互相关系数值越接近1，说明两个信号相似度越高；
则本发明中脉搏信息互相关系数特征为V3＝ρ。
2)对驾驶员脑电信号进行特征提取
此步骤由集成在头戴式终端2中的安装有脑电信号分析单元的2号数字信号处理装置(中的TMS320LF2407 DSP芯片)完成，其具有较好的数字信号处理能力,运算速度快,可扩展多个并行外设,能可靠的应用于脑电信号处理中；
对驾驶员脑电信号进行特征提取的步骤如下：
(1)对脑电信号进行低通滤波处理
由于有用的脑电信号频率较小，因此本发明中采用Chebyshev I型低通滤波器去除高频干扰，通带截止频率为50Hz；
(2)提取脑电信号频域特征；
频域特征包括平均瞬时能量特征和AR系数特征：
a.提取平均瞬时能量特征：
先使用经验模态分解算法，通过加滑动窗的方式，每次取1秒钟的脑电信号将其分解得到多阶本征模态分量，取前4阶分量进行希尔伯特变换，变换后的幅值的平方即为瞬时能量；窗函数步长为0.25秒，因此从5秒钟的脑电信号中可以得到17个瞬时能量，取平均后记为EC，将其作为可反应大脑活动节律的平均瞬时能量特征；
b.提取AR系数特征：
每次选取5秒钟脑电数据作为样本，通过AR参数模型谱估计，阶数为5，按照信号数据列与估计值之间的均方误差最小准则，求取系数,AR系数特征 [AR1,AR2,AR3,AR4,AR5]；
因此，脑电信号频域特征为V4＝[EC,AR1,AR2,AR3,AR4,AR5]；
(3)提取脑电信号非线性特征
在此步骤中提取的脑电信号非线性特征为样本熵特征，其适用于生物时间序列分析；本步骤中对脑电信号加滑动时间窗，以2s长度为滑动时间窗(即512 个样本点)，计算脑电信号的样本熵，窗口每次移动128个采样点，并计算下2s 时间窗的脑电信号的样本熵，直到计算出5秒钟时间内信号最后2s时间窗的脑电信号的样本熵为止，从而获得这段样本数据中脑电信号样本熵的时间序列；将这一组样本序列叠加平均，即获得该时间段内信号的样本熵特征,记为V5＝En。
3.将驾驶员脑电特征与脉搏特征进行融合与降维
1)将驾驶员脉搏特征传送至特征融合与降维单元
此步骤通过蓝牙无线发送单元和蓝牙无线接收单元传送驾驶员的脉搏特征，借助CC2540蓝牙模块实现；
2)将驾驶员脑电特征传送至特征融合与降维单元
此步骤中驾驶员脑电特征通过有线的方式传送至特征融合与降维单元；
3)对多维特征进行处理
此步骤主要由集成在头戴式终端2中的安装有特征融合与降维单元的2号数字信号处理装置(中的TMS320LF2407 DSP芯片)完成，步骤如下：
(1)将脑电信号频域特征、非线性特征同脉搏信息时域、频域和非线性特征相结合，形成多维特征空间，即V＝[V1,V2,V3,V4,V5]；
(2)根据前期收集的实验者模拟的实验类别(路怒或非路怒)将提取到的多维特征打标签，随机将样本按照1:1的随机分成训练集和测试集，保证训练集和测试集中类别均匀；
(3)使用训练集样本训练稀疏自编码器其包括编码器和解码器，编码器将多维特征进行编码，得到降维的特征；解码器使用降维的特征重构出输入特征；将目标值设为输入，损失函数衡量了重构特征分布与输入多维特征分布之间的差异，当训练结果使损失函数足够小时，证明编码后的降维特征可以有效地表征脑电信号和脉搏信息的特征；
采用Adam算法即自适应动量估计方法，计算网络中每个参数的自适应学习率，及每个参数的动量变化并独立存储；使用sigmoid激活函数、加入梯度裁剪，滑动平均模型对整个模型进行优化；
优化网络参数后，将优化后的神经网络模型保存到上述DSP芯片中；
(4)利用测试集样本计算损失值，如测试集损失小于0.2，继续进行步骤 (4)，否则修改步骤(3)中编码器解码器网络、学习率等参数，重新训练网络直至满足损失要求；
(5)取所有样本经过编码器后的输出，作为降维后用于路怒状态判别的特征；
4.训练驾驶员路怒状态判别分类器
此步骤由集成在头戴式终端2中的安装有路怒状态决策与判别单元的2号数字信号处理装置(中的TMS320LF2407 DSP芯片)完成，参照图5，步骤如下：
1)根据是否为路怒状态下的特征对全体降维后的特征样本设置标签，方便有监督学习训练分类器，并按照4:1将所有样本随机分成训练集和测试集；
2)运用集成学习中的Stacking方法，使用训练集有监督的训练两层 Stacking分类器网络，训练过程如图5所示，第一层包含3个子分类器，分别为K近邻分类器(K-Neighbors)、高斯朴素贝叶斯分类器(GaussianNativeByse)、随机森林分类器(RandomForest),第二层分类器使用逻辑回归 (LogisticRegression)；
3)使用测试集测试识别结果，若识别率未能达到90％以上,则优化调整子分类器中的参数,再次利用训练集进行分类器训练,直到识别率达到预期，证明此时的分类器可以应用于实时的路怒状态分类判别。
5.实时对驾驶员路怒状态进行判断；
将上述建立好的特征降维模型和路怒状判别分类器应用于系统，用于实时监控驾驶员路怒情绪。
在系统实时对驾驶员进行数据采集，特征提取，特征降维后，使用步骤4 训练好的路怒状态判别分类器进行路怒状态判断，判断结果为“是”或“否”；当判别结果为“是”时，通过外部连接的设备给驾驶员以提示。
实施例
以研究生王某为例，其佩戴好本发明所述腕带式终端1和头戴式终端2，基于脑电与脉搏信息融合的驾驶员路怒状态识别系统外置连接了蜂鸣器作为路怒报警装置，打开设备开关，其驾驶小型汽车于吉林大学南岭校区工学路。
1.模拟驾驶员正常驾驶：
腕带式终端1实时采集王某脉搏信息并进行预处理，头戴式终端2实时采集王某脑电信号并进行预处理；在腕带式终端1中，每次采用5秒时间的脉搏信息提取脉搏特征，并通过蓝牙传至头戴式终端2，在头戴式终端2中，每次采用5秒时间的脑电信号提取脑电特征；随后，头戴式终端2内部实现多种特征的融合并降维；接着，步骤4中训练好的路怒状态判别分类器对路怒状态进行判断，结果表明研究生王某在模拟正常驾驶状态时，不出现报警现象。
2.模拟驾驶员路怒状态驾驶：
为模拟驾驶员路怒状态，在驾驶前，使用消极视频刺激驾驶员，为其制造愤怒情绪，并在驾驶途中人为设置阻碍。
判别过程同上，当研究生王某成功模拟路怒驾驶状态时，外置蜂鸣器出现持续报警现象。
本实施例证明本发明能够基于脑电与脉搏信息对驾驶员路怒状态进行识别。
本发明提供了基于脑电信号与脉搏信息融合的驾驶员路怒状态识别方法，通过实时分析驾驶员脑电信号和脉搏信息，提取相关特征融合并降维，并通过集成学习的方法，对驾驶员路怒状态进行判别，实时监控驾驶员路怒情绪。

Claims (6)

1.一种基于脑电与脉搏信息的驾驶员路怒状态识别方法,其特征在于，所述的基于脑电与脉搏信息的驾驶员路怒状态识别方法包括步骤如下：
1)采集驾驶员的脉搏信息和脑电信号并进行预处理：
(1)腕带式终端(1)采集驾驶员脉搏信息并进行预处理；
(2)头戴式终端(2)采集驾驶员脑电信号并进行预处理；
2)分别对驾驶员脉搏信息与脑电信号进行特征提取：
(1)对驾驶员脉搏信息进行特征提取；
(2)对驾驶员脑电信号进行特征提取；
3)将驾驶员脑电特征与脉搏特征进行融合与降维；
(1)将驾驶员脉搏特征传送至特征融合与降维单元
通过蓝牙无线发送单元和蓝牙无线接收单元传送驾驶员的脉搏特征，借助CC2540蓝牙模块实现；
(2)将驾驶员脑电特征传送至特征融合与降维单元
驾驶员脑电特征通过有线的方式传送至特征融合与降维单元；
(3)对多维特征进行处理；
4)训练驾驶员路怒状态判别分类器：
由集成在头戴式终端(2)中的安装有路怒状态决策与判别单元的2号数字信号处理装置中的TMS320LF2407 DSP芯片完成，步骤如下：
1)根据是否为路怒状态下的特征对全体降维后的特征样本设置标签，方便监督学习训练分类器，并按照4:1将所有样本随机分成训练集和测试集；
2)运用集成学习中的Stacking方法，使用训练集有监督的训练两层Stacking分类器网络，第一层包含3个分类器模型，分别为K近邻分类器、高斯朴素贝叶斯分类器、随机森林分类器,第二层分类器使用逻辑回归；
3)使用测试集测试识别结果，若识别率未能达到90％以上,则优化调整子分类器中的参数,再次利用训练集进行分类器训练,直到识别率达到预期，证明此时的分类器可以应用于实时的路怒状态分类判别；
5)实时对驾驶员路怒状态进行判断：
将训练好的路怒状态判别分类器实时进行驾驶员路怒状态判断，判别结果为“是”或“否”，当判别结果为“是”时，通过外部连接的设备给驾驶员以提示。
2.按照权利要求1所述的基于脑电与脉搏信息的驾驶员路怒状态识别方法,其特征在于，所述的腕带式终端(1)采集驾驶员脉搏信息并进行预处理是指：
(1)采集原始脉搏信息
脉搏信息采集单元中的型号为SON1303的反射式绿光传感器进行脉搏信息采集；
(2)对原始脉搏信息进行放大、低通滤波处理
a.采用型号为UAF42的单片集成电路实现对原始脉搏信息进行放大、低通滤波处理，型号为UAF42的单片集成电路包含运算放大器和通用有源滤波器；
b.由于脉搏信息为微小声信号，转换为电信号后幅值依旧很低，因此需要对其进行放大处理；
c.脉搏信息的频率成分主要分布在0～20Hz，最高频率不超过40Hz，因此使用低通滤波器去掉高频干扰，截至频率设置为40Hz；
(3)将滤波后的脉搏信息转换为数字信号
将滤波后的脉搏信息通过型号为ADC0809的模拟数字转换器进行采样，量化编码成为数字信号；对于获取脉搏波形参数,低采样频率可以达到与高采样频率一样准确的结果，为了降低功耗，采样频率设置为128Hz；转换后的数字信号送入脉搏信息分析单元。
3.按照权利要求1所述的基于脑电与脉搏信息的驾驶员路怒状态识别方法,其特征在于，所述的头戴式终端(2)采集驾驶员脑电信号并预处理是指:
(1)采集原始脑电信号
脑电信号采集单元通过干电极实现电路连通，使用双通道采集方式，双通道采集电极选用国际脑电图学会规定的10～20标准电极放置法中的F3和F4位置即双侧前额叶处，参考电极A1和地电极A2分别位于左右耳乳突处；
(2)对原始脑电信号进行前置一级放大处理
由于采集到的原始脑电信号幅值约为几十μV，因此需要对其进行多级放大处理；一级放大步骤中我们选用型号为INA129的精密低功耗仪表放大器，其最大增益可达10000倍；
(3)对一级放大处理的脑电信号进行再次放大
经过前置放大电路的放大，脑电信号的电压依然不满足应用的需求，仍需进一步放大；本步骤中采用简单的同向放大电路，放大倍数为100；
(4)去除脑电信号工频干扰
普通环境下，脑电信号的采集受到频率为50Hz的市电电压带来的工频环境干扰，此步骤中采用50Hz陷波滤波器来消除工频干扰；
(5)将放大后的脑电信号转换为数字信号
将放大后的模拟脑电信号通过A/D转换器进行转换，使用美国生产的型号为ADC0809的逐次比较型模数转换器，采样频率设置为每秒钟256个样本点，转换后的数字信号送入脑电信号分析单元。
4.按照权利要求1所述的基于脑电与脉搏信息的驾驶员路怒状态识别方法,其特征在于，所述的对驾驶员脉搏信息进行特征提取是指：
(1)提取脉搏信息时域特征
所提取的时域特征包括相邻脉搏主波波峰间时间的均值、标准差、主波振幅的均值、标准差；特征提取每次取5秒钟的完整脉搏波计算，相邻两次时域特征提取的时域步长为2秒钟；设5秒钟内某实验者的完整脉搏波周期数目为N,则相邻脉搏主波波峰间时间的均值计算公式为：
Figure FDA0002913893930000031
相邻脉搏主波波峰间时间的标准差计算公式为：
Figure FDA0002913893930000032
主波振幅的均值计算公式为：
Figure FDA0002913893930000033
主波振幅的标准差计算公式为：
Figure FDA0002913893930000034
脉搏信息时频域特征向量为V1＝[tmean,tstd,hmean,hstd]；
式中:ti代表第i个完整脉搏波的主波波峰时间，hi代表第i个完整脉搏波的主波振幅；
(2)提取脉搏信息时频域特征
基于小波变换提取脉搏信息时频域特征，进行小波多层分解，提取小波系数能量，步骤如下：
a.取连续5秒钟的脉搏数据计算，相邻两次特征提取的时域步长为2秒钟，脉搏波信号记为S(t)；
b.由于在采集驾驶员的脉搏信息和脑电信号大步骤里腕带式终端采集驾驶员脉搏信息小步骤中截至频率设置为40Hz，故脉搏波信号的频率范围在0-40Hz，此步骤中对S(t)使用db4小波进行4层频率分解，频带划分为：na1(0-20Hz)、nd1(20-40Hz)、na2(0-10Hz)、nd2(10-20Hz)、na3(0-5Hz)、nd3(5-10Hz)、na4(0-2.5Hz)、nd4(2.5-5Hz)；提取小波系数，计算小波系数的能量值，其中脉搏信号S(t)在第i尺度上的m点的小波能量Eik为
Eik＝|Di(k)|2，
在第i尺度下k＝1，2，...K个采样点的脉搏信号能量和为
Figure FDA0002913893930000035
c.由于nd1频率范围内基本不含人体脉搏信息，因此舍弃了End1因子，创建特征向量V2＝[End2,End3,End4,Ena4]；
d.对特征向量归一化，记脉搏信息总能量为E＝End2+End3+End4+Ena4,则归一化的脉搏信息时频域特征向量为V2＝[End2/E,End3/E,End4/E,Ena4/E]；
(3)提取脉搏信息非线性特征
选取一段典型的实验者愤怒时期脉搏信号作为模板信号，提取脉搏信息与脉搏信号模板之间的互相关系数作为非线性特征；对于两个长度为M的离散信号x(m)和y(m),互相关系数ρ为
Figure FDA0002913893930000041
当x(m)和y(m)完全不相同时互相关系数为0，互相关系数值越接近1，说明两个信号相似度越高；
则脉搏信息互相关系数特征为V3＝ρ。
5.按照权利要求1所述的基于脑电与脉搏信息的驾驶员路怒状态识别方法,其特征在于，所述的对驾驶员脑电信号进行特征提取的步骤如下：
(1)对脑电信号进行低通滤波处理
由于有用的脑电信号频率较小，因此采用Chebyshev I型低通滤波器去除高频干扰，通带截止频率为50Hz；
(2)提取脑电信号频域特征；
频域特征包括平均瞬时能量特征和AR系数特征：
a.提取平均瞬时能量特征：
先使用经验模态分解算法，通过加滑动窗的方式，每次取1秒钟的脑电信号将其分解得到多阶本征模态分量，取前4阶分量进行希尔伯特变换，变换后的幅值的平方即为瞬时能量；窗函数步长为0.25秒，因此从5秒钟的脑电信号中可以得到17个瞬时能量，取平均后记为EC，将其作为可反应大脑活动节律的平均瞬时能量特征；
b.提取AR系数特征：
每次选取5秒钟脑电数据作为样本，通过AR参数模型谱估计，阶数为5，按照信号数据列与估计值之间的均方误差最小准则，求取系数分别记为AR1-AR5,AR系数特征[AR1,AR2,AR3,AR4,AR5]；
因此，脑电信号频域特征为V4＝[EC,AR1,AR2,AR3,AR4,AR5]；
(3)提取脑电信号非线性特征
此步骤中提取的脑电信号非线性特征为样本熵，其适用于生物时间序列分析；本步骤中对脑电信号加滑动时间窗，以2s长度为滑动时间窗即512个样本点，计算脑电信号的样本熵，窗口每次移动128个采样点，并计算下2s时间窗的脑电信号的样本熵，直到计算出5秒钟时间内信号最后2s时间窗的脑电信号的样本熵为止，从而获得这段样本数据中脑电信号样本熵的时间序列；将这一组样本序列叠加平均，即获得该时间段内信号的样本熵特征,记为V5＝En。
6.按照权利要求1所述的基于脑电与脉搏信息的驾驶员路怒状态识别方法,其特征在于，所述的对多维特征进行处理是指：
(1)将脑电信号频域特征、非线性特征同脉搏信息时域、频域和非线性特征相结合，形成多维特征空间，即V＝[V1,V2,V3,V4,V5]；
(2)根据前期收集的实验者模拟的实验类别即路怒或非路怒，将提取到的多维特征打标签，随机将样本按照1:1的随机分成训练集和测试集，保证训练集和测试集中类别均匀；
(3)使用训练集样本训练稀疏自编码器其包括编码器和解码器，编码器将多维特征进行编码，得到降维的特征；解码器使用降维的特征重构出输入特征；将目标值设为输入，损失函数衡量了重构特征分布与输入多维特征分布之间的差异，当训练结果使损失函数足够小时，证明编码后的降维特征可以有效地表征脑电信号和脉搏信息的特征；
采用Adam算法即自适应动量估计方法，计算网络中每个参数的自适应学习率，及每个参数的动量变化并独立存储；使用sigmoid激活函数、加入梯度裁剪，滑动平均模型对整个模型进行优化；
优化网络参数后，将优化后的网络模型保存到权利要求1所述的DSP芯片中；
(4)利用测试集样本计算损失值，如测试集损失小于0.2，继续进行步骤(4)，否则修改步骤(3)中编码器解码器网络、学习率等参数，重新训练网络直至满足损失要求；
(5)取所有样本经过编码器后的输出，作为降维后用于决策与判别的特征。
CN201910035855.0A 2019-01-15 2019-01-15 基于脑电与脉搏信息的驾驶员路怒状态识别方法 Expired - Fee Related CN109498041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910035855.0A CN109498041B (zh) 2019-01-15 2019-01-15 基于脑电与脉搏信息的驾驶员路怒状态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910035855.0A CN109498041B (zh) 2019-01-15 2019-01-15 基于脑电与脉搏信息的驾驶员路怒状态识别方法

Publications (2)

Publication Number Publication Date
CN109498041A CN109498041A (zh) 2019-03-22
CN109498041B true CN109498041B (zh) 2021-04-16

Family

ID=65757873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910035855.0A Expired - Fee Related CN109498041B (zh) 2019-01-15 2019-01-15 基于脑电与脉搏信息的驾驶员路怒状态识别方法

Country Status (1)

Country Link
CN (1) CN109498041B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993093B (zh) * 2019-03-25 2022-10-25 山东大学 基于面部和呼吸特征的路怒监测方法、系统、设备及介质
CN109977923B (zh) * 2019-04-12 2020-12-29 江西科技学院 基于脑电信号的驾驶员性别检测方法及系统
CN110811595B (zh) * 2019-11-28 2022-04-08 中国银行股份有限公司 异常状态的检测方法、装置、电子设备及计算机存储介质
CN111311466B (zh) * 2020-01-23 2024-03-19 深圳市大拿科技有限公司 安全控制方法及装置
CN111407243B (zh) * 2020-03-23 2021-05-14 华南理工大学 一种基于深度学习的脉搏信号压力识别方法
CN112200016A (zh) * 2020-09-17 2021-01-08 东北林业大学 基于集成学习方法AdaBoost的脑电信号情感识别
CN112155523B (zh) * 2020-09-27 2022-09-16 太原理工大学 一种基于模态能量主成分比量化的脉搏信号特征提取与分类方法
CN112270327B (zh) * 2020-10-19 2023-03-14 西安工程大学 基于局部融合频域特征的输电导线覆冰分类方法
CN112617772B (zh) * 2021-01-05 2022-12-27 上海工程技术大学 一种基于脉搏波信号的驾驶疲劳识别方法及系统
CN113625882B (zh) * 2021-10-12 2022-06-14 四川大学 一种基于稀疏多通道相关性特征的肌电手势识别方法
CN114176542A (zh) * 2021-12-24 2022-03-15 江西洪都航空工业集团有限责任公司 一种飞行员瞬间生理状态评估方法
CN116011506B (zh) * 2023-03-28 2023-06-09 同心智医科技(北京)有限公司 立体脑电图电极信号解码模型构建方法及其应用

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2832050Y (zh) * 2005-07-18 2006-11-01 北京工业大学 便携式心血管血流参数检测仪
CN102499699A (zh) * 2011-11-10 2012-06-20 东北大学 基于脑电信号的车载嵌入式路怒驾驶状态检测装置及方法
CN102961126A (zh) * 2012-11-16 2013-03-13 福建工程学院 基于脉象诊断模式的驾驶预警方法
CN103956028A (zh) * 2014-04-23 2014-07-30 山东大学 一种汽车多元驾驶安全防护方法
CN104063645A (zh) * 2014-07-01 2014-09-24 清华大学深圳研究生院 一种基于心电信号动态自更新样本的身份识别方法
CN104835507A (zh) * 2015-03-30 2015-08-12 渤海大学 一种串并结合的多模式情感信息融合与识别方法
CN105496369A (zh) * 2015-10-19 2016-04-20 南京邮电大学 一种愤怒驾驶状态检测方法
CN106236081A (zh) * 2016-08-24 2016-12-21 滁州学院 基于dsp、arm的便携式脑电仪
CN106691474A (zh) * 2016-11-25 2017-05-24 中原电子技术研究所（中国电子科技集团公司第二十七研究所） 融合脑电信号与生理信号的疲劳检测系统
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN107212896A (zh) * 2017-04-05 2017-09-29 天津大学 一种情绪稳定性综合评价系统及信息处理方法
CN107235045A (zh) * 2017-06-29 2017-10-10 吉林大学 考虑生理与操控信息的驾驶员路怒状态车载识别交互系统
CN107669283A (zh) * 2017-10-29 2018-02-09 吉林大学 基于多特征融合的眼镜式驾驶疲劳监测预警装置及方法
CN108216254A (zh) * 2018-01-10 2018-06-29 山东大学 基于面部图像与脉搏信息融合的路怒情绪识别方法
CN108509999A (zh) * 2018-03-30 2018-09-07 南京理工大学 一种愤怒驾驶检测及安全预警方法
CN108577865A (zh) * 2018-03-14 2018-09-28 天使智心（北京）科技有限公司 一种心理状态确定方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101535432B1 (ko) * 2013-09-13 2015-07-13 엔에이치엔엔터테인먼트 주식회사 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법
US9636063B2 (en) * 2014-03-18 2017-05-02 J. Kimo Arbas System and method to detect alertness of machine operator
US20180014739A1 (en) * 2016-07-13 2018-01-18 Sentio Solutions, Inc. Unobtrusive emotion recognition system

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2832050Y (zh) * 2005-07-18 2006-11-01 北京工业大学 便携式心血管血流参数检测仪
CN102499699A (zh) * 2011-11-10 2012-06-20 东北大学 基于脑电信号的车载嵌入式路怒驾驶状态检测装置及方法
CN102961126A (zh) * 2012-11-16 2013-03-13 福建工程学院 基于脉象诊断模式的驾驶预警方法
CN103956028A (zh) * 2014-04-23 2014-07-30 山东大学 一种汽车多元驾驶安全防护方法
CN104063645A (zh) * 2014-07-01 2014-09-24 清华大学深圳研究生院 一种基于心电信号动态自更新样本的身份识别方法
CN104835507A (zh) * 2015-03-30 2015-08-12 渤海大学 一种串并结合的多模式情感信息融合与识别方法
CN105496369A (zh) * 2015-10-19 2016-04-20 南京邮电大学 一种愤怒驾驶状态检测方法
CN106236081A (zh) * 2016-08-24 2016-12-21 滁州学院 基于dsp、arm的便携式脑电仪
CN106691474A (zh) * 2016-11-25 2017-05-24 中原电子技术研究所（中国电子科技集团公司第二十七研究所） 融合脑电信号与生理信号的疲劳检测系统
CN107212896A (zh) * 2017-04-05 2017-09-29 天津大学 一种情绪稳定性综合评价系统及信息处理方法
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN107235045A (zh) * 2017-06-29 2017-10-10 吉林大学 考虑生理与操控信息的驾驶员路怒状态车载识别交互系统
CN107669283A (zh) * 2017-10-29 2018-02-09 吉林大学 基于多特征融合的眼镜式驾驶疲劳监测预警装置及方法
CN108216254A (zh) * 2018-01-10 2018-06-29 山东大学 基于面部图像与脉搏信息融合的路怒情绪识别方法
CN108577865A (zh) * 2018-03-14 2018-09-28 天使智心（北京）科技有限公司 一种心理状态确定方法及装置
CN108509999A (zh) * 2018-03-30 2018-09-07 南京理工大学 一种愤怒驾驶检测及安全预警方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
An electrophysiological link between the cerebellum, cognition and emotion: frontal theta EEG activity to single-pulse cerebellar TMS;Schutter D J L G, 等;《Neuroimage》;20061231;全文 *
EEG-based automatic emotion recognition: Feature extraction, selection and classification methods;Ackermann P, 等;《2016 IEEE 18th international conference on e-health networking, applications and services (Healthcom).》;20161231;全文 *
基于多流 CNN-LSTM 网络的群体情绪识别;卿粼波，等;《计算机应用研究》;20181231;第35卷(第12期);全文 *
基于智能移动终端触屏行为的情绪识别研究;张振;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170331;全文 *
基于深度学习与信息融合的路怒情绪识别研究;于申浩;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180331;全文 *
基于移动医疗的脉搏和脑电信号模式分类与疾病预警研究;王磊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130731;全文 *

Also Published As

Publication number Publication date
CN109498041A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
CN109498041B (zh) 基于脑电与脉搏信息的驾驶员路怒状态识别方法
EP2416703B1 (en) Real-time identification of seizures in an eeg signal
Jahankhani et al. EEG signal classification using wavelet feature extraction and neural networks
AU2020100027A4 (en) Electroencephalogram-based negative emotion recognition method and system for aggressive behavior prediction
EP2464285B1 (en) A monitoring or predicting system and method of monitoring or predicting
Truong et al. Semi-supervised seizure prediction with generative adversarial networks
Mirzaei et al. EEG analysis based on wavelet-spectral entropy for epileptic seizures detection
CN111329497A (zh) 基于前额脑电信号的可穿戴式疲劳驾驶监测系统及方法
CN105615834A (zh) 基于睡眠脑电信号的睡眠分期方法及装置
Jacob et al. Diagnosis of encephalopathy based on energies of EEG subbands using discrete wavelet transform and support vector machine
CN110960191A (zh) 一种基于频谱能量图的癫痫脑电信号分类方法
CN111523601A (zh) 一种基于知识引导和生成对抗学习的潜在情绪识别方法
CN112741638A (zh) 一种基于eeg信号的医疗诊断辅助系统
CN112200016A (zh) 基于集成学习方法AdaBoost的脑电信号情感识别
CN108836324B (zh) 一种基于脑电信号监测的疲劳驾驶预警方法及系统
Furui et al. Non-Gaussianity detection of EEG signals based on a multivariate scale mixture model for diagnosis of epileptic seizures
CN109222966A (zh) 一种基于变分自编码器的脑电信号情感分类方法
Hekim The classification of EEG signals using discretization-based entropy and the adaptive neuro-fuzzy inference system
CN113208629A (zh) 一种基于eeg信号的阿尔兹海默症筛查方法及系统
Ebrahimpour et al. Epileptic seizure detection using a neural network ensemble method and wavelet transform
CN115429292A (zh) 基于频谱分析的脑电信号质量的检测装置及系统
Pan et al. Epileptic seizure detection with hybrid time-frequency EEG input: a deep learning approach
van Dongen et al. An implementation of a wavelet-based seizure detection filter suitable for realtime closed-loop epileptic seizure suppression
CN116211322A (zh) 一种基于机器学习脑电信号的抑郁症识别方法和系统
Bedeeuzzaman et al. Dispersion measures and entropy for seizure detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210416