CN114699080B - 一种基于融合特征的驾驶员精神紧张程度识别方法 - Google Patents

一种基于融合特征的驾驶员精神紧张程度识别方法 Download PDF

Info

Publication number
CN114699080B
CN114699080B CN202210470268.6A CN202210470268A CN114699080B CN 114699080 B CN114699080 B CN 114699080B CN 202210470268 A CN202210470268 A CN 202210470268A CN 114699080 B CN114699080 B CN 114699080B
Authority
CN
China
Prior art keywords
driver
signal
physiological
physiological signals
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210470268.6A
Other languages
English (en)
Other versions
CN114699080A (zh
Inventor
孙明
王璐琪
曹轩萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210470268.6A priority Critical patent/CN114699080B/zh
Publication of CN114699080A publication Critical patent/CN114699080A/zh
Application granted granted Critical
Publication of CN114699080B publication Critical patent/CN114699080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Cardiology (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Computational Linguistics (AREA)
  • Educational Technology (AREA)
  • Dermatology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Fuzzy Systems (AREA)

Abstract

本发明公开了一种基于融合特征的驾驶员精神紧张程度识别方法，基于驾驶员的心电信号、皮肤电导信号、肌电信号等生理信号，提出了多层次双通道融合的精神紧张程度识别方法，将从卷积神经网络CNN和长短时记忆网络LSTM双通道提取的深度时间、空间情感特征和浅层时频域特征进行多层次特征融合，解决了现有精神紧张程度识别方法存在生理信号特征利用不充分和过分依赖数据量的问题，获得了更具表征性的精神紧张特征，在当前的研究基础上进一步细化精神紧张程度分类，能够更精确地识别驾驶员的精神紧张程度。

Description

一种基于融合特征的驾驶员精神紧张程度识别方法
技术领域
本发明属于特征识别技术领域，具体涉及一种基于融合特征的驾驶员精神紧张程度识别方法的设计。
背景技术
驾驶员的精神紧张程度识别对交通安全有很重要的作用，其识别结果能协助交管部门分析驾驶员情绪状况，提醒驾驶员安全驾驶，预防交通事故，同时在驾培领域可提前分析学员的驾驶心理，缓解学员考证的紧张情绪。
相较于表情、姿态和语音等易受人的主观意识控制影响的外在表现，生理信号是由神经系统和内分泌系统共同控制的内脏器官所产生并伴随情感变化的电信号，不易受主观意识影响，能更客观、真实地反映人的情感状态，并且可以实时连续采集，在采集时不会对用户行为造成干扰，因此不同状态下的生理信号是进行精神紧张程度识别的一个有效指标。当前基于生理信号的精神紧张程度识别多采用单一模型，实现精神紧张程度的三分类，挖掘的生理信息有限，且识别性能不佳。大多研究采用的传统机器学习方法，激发实验对象的精神紧张状态并采集生理信号，提取其时域、频域、非线性等浅层情感特征进行分析，完成驾驶员精神紧张程度的分类，然而，浅层情感特征容易获取却不能充分利用生理信号携带的信息，且并非经过人工提取的所有特征都能够达到预期的效果。部分研究者们将目光移向了可以学习数据的固有原理的深度学习方法，自动提取更为深层和更具区分能力的深度特征，但存在过分依赖数据量的缺陷，在参与训练的数据量不够大时，通常难以提取到最具有表征性的特征。
发明内容
本发明的目的是为了解决现有精神紧张程度识别方法存在生理信号特征利用不充分和过分依赖数据量的问题，提出了一种基于融合特征的驾驶员精神紧张程度识别方法。
本发明的技术方案为：一种基于融合特征的驾驶员精神紧张程度识别方法，包括以下步骤：
S1、在实验室场景和模拟驾驶场景下激发驾驶员的精神紧张状态，并采集驾驶员的生理信号。
S2、对驾驶员的生理信号进行预处理，得到干净生理信号。
S3、根据干净生理信号，通过数据分窗和R波检测定位的方法提取驾驶员生理信号的浅层特征Fshallow。
S4、根据干净生理信号，结合卷积神经网络CNN和长短时记忆网络LSTM提取驾驶员生理信号的深度特征Fdeep。
S5、将驾驶员生理信号的深度特征Fdeep进行降维后与驾驶员生理信号的浅层特征Fshallow进行特征融合，得到融合特征Ff。
S6、将融合特征Ff输入softmax分类器，得到驾驶员精神紧张程度识别结果。
进一步地，步骤S1中的实验室场景具体设置为：选取驾驶员所学专业范围题目，让驾驶员依次解答简单、中等和困难三组难度的题目，在驾驶员答题过程中用时间倒计时报时进行配合，激发驾驶员的精神紧张状态。
步骤S1中的模拟驾驶场景具体设置为：利用模拟驾驶设备对直接危害驾驶安全的特殊情况进行任务设置，要求驾驶员对出现的特殊情况进行处理，以模拟真实驾驶场景，激发驾驶员的精神紧张状态。
步骤S1中采集的驾驶员的生理信号包括心电信号ECG、皮肤电导信号GSR和肌电信号EMG。
进一步地，步骤S2包括以下分步骤：
S21、对驾驶员的生理信号在各尺度上进行小波分解，保留大尺度下的全部低频分解值。
S22、设定一个阈值，并根据小波系数幅值与设定阈值对各尺度下高频分解值的小波系数进行量化。
S23、采用逆小波变换对量化后的高频分解值以及大尺度下的低频分解值进行信号重构，恢复得到干净生理信号。
进一步地，步骤S3包括以下分步骤：
S31、根据采样频率对干净生理信号进行数据分窗，使得每个数据窗含有10秒的数据。
S32、根据数据分窗结果提取皮肤电导信号GSR的特征和肌电信号EMG的特征。
S33、采用自适应滑动时间窗定位法对心理信号ECG进行R波检测定位，并提取RR间期。
S34、根据RR间期提取心电信号ECG的特征。
S35、将心电信号ECG的特征、皮肤电导信号GSR的特征和肌电信号EMG的特征共同构成驾驶员生理信号的浅层特征Fshallow。
进一步地，心电信号ECG的特征包括心电信号ECG的均值、心电信号ECG的标准差、RR间期的均值、RR间期的标准差、相邻RR间期的差值均方根、相邻RR间期的值大于50ms的个数NN50、时间窗内相邻RR间期的值大于50ms的个数占总RR间期个数的百分比PNN50、极低频能量、低频能量、高频能量和低频与高频能量比。
皮肤电导信号GSR的特征包括皮肤电导信号GSR的波峰数、皮肤电导信号GSR的峰度、波谷到波峰的上升时间、皮肤电导信号GSR的均值和皮肤电导信号GSR的方差。
肌电信号EMG的特征包括肌电信号EMG的均值、肌电信号EMG的方差、肌电信号EMG的峰度和肌电信号EMG的偏度。
进一步地，步骤S4包括以下分步骤：
S41、根据采样频率对干净生理信号进行数据分窗，并对分窗后的干净生理信号进行傅里叶变换，得到生理信号二维矩阵。
S42、将生理信号二维矩阵输入卷积神经网络CNN，得到驾驶员生理信号的深度空间特征Fs。
S43、将生理信号二维矩阵输入长短时记忆网络LSTM，得到驾驶员生理信号的深度时间特征Ft。
S44、将驾驶员生理信号的深度空间特征Fs和驾驶员生理信号的深度时间特征Ft展开到相同维度，并连接得到驾驶员生理信号的深度特征Fdeep。
进一步地，步骤S41中的傅里叶变换公式为：
Figure BDA0003621621150000031
其中ξ表示频率，x表示时间，f(·)表示表换函数，i表示复数单位。
进一步地，步骤S42具体为：将生理信号二维矩阵依次通过卷积神经网络CNN的三个连续的卷积层和一个全连接层，将卷积神经网络CNN最后一个全连接层删除，并将删除的全连接层的输入作为驾驶员生理信号的深度空间特征Fs。
进一步地，步骤S43具体为：将生理信号二维矩阵依次通过长短时记忆网络LSTM的输入门、遗忘门和输出门，将长短时记忆网络LSTM最后一个全连接层删除，并将删除的全连接层的输入作为驾驶员生理信号的深度时间特征Ft。
进一步地，步骤S5包括以下分步骤：
S51、采用主成分分析方法对驾驶员生理信号的深度特征Fdeep进行降维，得到与驾驶员生理信号的浅层特征Fshallow相同维度的深度特征Fdeep2。
S52、将驾驶员生理信号的浅层特征Fshallow与深度特征Fdeep2进行concat特征融合，得到融合特征Ff。
本发明的有益效果是：
(1)本发明综合考虑驾驶员生理信号的深度特征和浅层特征的优势，对两种特征进行多层次拼接融合，得到更加客观且全面地表征驾驶员的精神紧张程度的融合特征向量，并细化了识别分类结果，从而有效评估驾驶员在驾驶场景下的精神紧张状态。
(2)本发明综合卷积神经网络CNN和长短时记忆网络LSTM的优势，分别提取了驾驶员生理信号的深度空间和时间特征，弥补了单一神经网络的信息挖掘缺陷，实现了双通道的生理信号深度信息提取，不会过分依赖数据量。
(3)本发明基于生理信号对驾驶场景下的驾驶员的精神紧张程度进行了科学合理的分析识别，具有广泛的应用范围，针对于公交公司、航空公司和铁路系统等所有需要识别驾驶员精神紧张程度的交通领域，能够解决使用单位对驾驶员精神紧张程度的数据收集，进而对驾驶计划做出调整，让交通出行安全度得到提升；同时本发明可以应用在驾培领域，对参培学员的精神紧张程度做到准确识别，推动对新型时代背景下的驾培体系建设。
附图说明
图1所示为本发明实施例提供的一种基于融合特征的驾驶员精神紧张程度识别方法流程图。
图2所示为本发明实施例提供的驾驶员生理信号的深度特征Fdeep提取示意图。
具体实施方式
现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。
本发明实施例提供了一种基于融合特征的驾驶员精神紧张程度识别方法，如图1所示，包括以下步骤S1～S6：
S1、在实验室场景和模拟驾驶场景下激发驾驶员的精神紧张状态，并采集驾驶员的生理信号。
本发明实施例中，实验室场景具体设置为：选取驾驶员所学专业范围题目，让驾驶员依次解答简单、中等和困难三组难度的题目，在驾驶员答题过程中用时间倒计时报时进行配合，构造紧张的答题环境，激发驾驶员的精神紧张状态。驾驶员单次测试时长约为20min，每做完一种难度的题目休息3min，完成最后一种难度的题目后进行总的休息阶段生理信号数据采集。其中简单难度题目答题时间为5min(以一道题目5s为例，每人60道题左右，题库准备120道题)，做题期间不进行倒计时；中等难度题目答题时间为5min(以一道题目10s为例，每人30道题左右，题库准备60道题)，做题期间每两分钟进行倒计时报时；困难难度题目答题时间为5min(以一道题目20s为例，每人15道题左右，题库准备30道题)，做题期间每分钟进行倒计时报时；实验结束后驾驶员填写调查问卷。
本发明实施例中，模拟驾驶场景具体设置为：利用模拟驾驶设备对发动机失效、数据失效、火警等直接危害驾驶安全的特殊情况(特情)进行任务设置，要求驾驶员对出现的特殊情况进行处理，以模拟真实驾驶场景，激发驾驶员的精神紧张状态。驾驶员在每个特情后对自己进行实时精神紧张程度进行0-5打分，同时安排一名管制员(监督员)对其处理特情能力进行1-10打分，以便后续分析实验标签的可靠性，单个驾驶员测试时长约为1个小时。
本发明实施例中，驾驶员的生理信号包括心电信号ECG、皮肤电导信号GSR和肌电信号EMG。
S2、对驾驶员的生理信号进行预处理，得到干净生理信号。
步骤S2包括以下分步骤S21～S23：
S21、对驾驶员的生理信号在各尺度上进行小波分解，保留大尺度(低分辨率)下的全部低频分解值。
S22、设定一个阈值，并根据小波系数幅值与设定阈值对各尺度下高频分解值的小波系数进行量化。
S23、采用逆小波变换对量化后的高频分解值以及大尺度下的低频分解值进行信号重构，恢复得到干净生理信号。
S3、根据干净生理信号，通过数据分窗和R波检测定位的方法提取驾驶员生理信号的浅层特征Fshallow。
步骤S3包括以下分步骤S31～S35：
S31、根据采样频率(本发明实施例中设置为700Hz)对干净生理信号进行数据分窗，使得每个数据窗含有10秒的数据。
由于生理信号数据存在周期性，对数据进行分窗能够完整包含周期内的信号数据。
S32、根据数据分窗结果提取皮肤电导信号GSR的特征和肌电信号EMG的特征。
本发明实施例中，皮肤电导信号GSR的特征包括皮肤电导信号GSR的波峰数、皮肤电导信号GSR的峰度、波谷到波峰的上升时间、皮肤电导信号GSR的均值和皮肤电导信号GSR的方差。
本发明实施例中，肌电信号EMG的特征包括肌电信号EMG的均值、肌电信号EMG的方差、肌电信号EMG的峰度和肌电信号EMG的偏度。
S33、采用自适应滑动时间窗定位法对心理信号ECG进行R波检测定位，并提取RR间期。
本发明实施例中，将心理信号ECG按照1.2倍的采样频率划分时间窗，求出当前时间窗内的最大值的位置，即为R波所在位置。当检测到两个R波的波峰时，以这两个R波所在位置的距离(即RR间期)作为下一个时间窗长度，以此不断变更时间窗长度来对R波进行定位。
S34、根据RR间期提取心电信号ECG的特征。
本发明实施例中，心电信号ECG的特征包括心电信号ECG的均值、心电信号ECG的标准差、RR间期的均值、RR间期的标准差、相邻RR间期的差值均方根、相邻RR间期的值大于50ms的个数NN50、时间窗内相邻RR间期的值大于50ms的个数占总RR间期个数的百分比PNN50、极低频能量、低频能量、高频能量和低频与高频能量比。
S35、将心电信号ECG的特征、皮肤电导信号GSR的特征和肌电信号EMG的特征共同构成驾驶员生理信号的浅层特征Fshallow。
S4、根据干净生理信号，结合卷积神经网络CNN和长短时记忆网络LSTM提取驾驶员生理信号的深度特征Fdeep。
如图2所示，步骤S4包括以下分步骤S41～S44：
S41、根据采样频率对干净生理信号进行数据分窗，并对分窗后的干净生理信号进行傅里叶变换，得到生理信号二维矩阵。
由于生理信号在时频两域都具有表征信号局部特征的能力，利用傅里叶变换的方法将时域的生理信号数据变换为时频域的信号数据，能够提取到更丰富的深度特征，同时还能够为得到有用信号实现去除噪声的作用。
本发明实施例中，傅里叶变换公式为：
Figure BDA0003621621150000061
其中ξ表示频率，x表示时间，f(·)表示表换函数，i表示复数单位。
S42、将生理信号二维矩阵输入卷积神经网络CNN，得到驾驶员生理信号的深度空间特征Fs。
本发明实施例中，将生理信号二维矩阵依次通过卷积神经网络CNN的三个连续的卷积层和一个全连接层，将卷积神经网络CNN最后一个全连接层删除，并将删除的全连接层的输入作为驾驶员生理信号的深度空间特征Fs。
本发明实施例中，卷积层使用多个卷积核进行卷积运算，并使用same模式填充方法和relu激活函数。每个卷积层后边连接有一个池化层，池化层采用最大池化，对携带的信息进行压缩。保留的全连接层后边连接有一个Dropout层，Dropout层随机丢弃20％的特征值，以避免网络模型过拟合。
S43、将生理信号二维矩阵输入长短时记忆网络LSTM，得到驾驶员生理信号的深度时间特征Ft。
本发明实施例中，将生理信号二维矩阵依次通过长短时记忆网络LSTM的输入门、遗忘门和输出门，将长短时记忆网络LSTM最后一个全连接层删除，并将删除的全连接层的输入作为驾驶员生理信号的深度时间特征Ft。
本发明实施例中，由于卷积神经网络CNN和长短时记忆网络LSTM的最后一个全连接层通常是用来输出预测结果的，而本发明实施例中不需要其单独输出预测结果，而是需要将两者输出的特征进行融合，在做特征融合时删除最后一个全连接层便于统一维度，进行特征的拼接。
S44、将驾驶员生理信号的深度空间特征Fs和驾驶员生理信号的深度时间特征Ft展开到相同维度，并连接得到驾驶员生理信号的深度特征Fdeep。
S5、将驾驶员生理信号的深度特征Fdeep进行降维后与驾驶员生理信号的浅层特征Fshallow进行特征融合，得到融合特征Ff。
步骤S5包括以下分步骤：
S51、采用主成分分析方法(PCA，Principal Component Analysis)对驾驶员生理信号的深度特征Fdeep进行降维，得到与驾驶员生理信号的浅层特征Fshallow相同维度的深度特征Fdeep2。
S52、将驾驶员生理信号的浅层特征Fshallow与深度特征Fdeep2进行concat特征融合，得到融合特征Ff。
S6、将融合特征Ff输入softmax分类器，得到驾驶员精神紧张程度识别结果。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (1)

1.一种基于融合特征的驾驶员精神紧张程度识别方法，其特征在于，包括以下步骤：
S1、在实验室场景和模拟驾驶场景下激发驾驶员的精神紧张状态，并采集驾驶员的生理信号；
S2、对驾驶员的生理信号进行预处理，得到干净生理信号；
S3、根据干净生理信号，通过数据分窗和R波检测定位的方法提取驾驶员生理信号的浅层特征Fshallow；
S4、根据干净生理信号，结合卷积神经网络CNN和长短时记忆网络LSTM提取驾驶员生理信号的深度特征Fdeep；
S5、将驾驶员生理信号的深度特征Fdeep进行降维后与驾驶员生理信号的浅层特征Fshallow进行特征融合，得到融合特征Ff；
S6、将融合特征Ff输入softmax分类器，得到驾驶员精神紧张程度识别结果；
所述步骤S1中的实验室场景具体设置为：选取驾驶员所学专业范围题目，让驾驶员依次解答简单、中等和困难三组难度的题目，在驾驶员答题过程中用时间倒计时报时进行配合，激发驾驶员的精神紧张状态；
所述步骤S1中的模拟驾驶场景具体设置为：利用模拟驾驶设备对直接危害驾驶安全的特殊情况进行任务设置，要求驾驶员对出现的特殊情况进行处理，以模拟真实驾驶场景，激发驾驶员的精神紧张状态；
所述步骤S1中采集的驾驶员的生理信号包括心电信号ECG、皮肤电导信号GSR和肌电信号EMG；
所述步骤S2包括以下分步骤：
S21、对驾驶员的生理信号在各尺度上进行小波分解，保留大尺度下的全部低频分解值；
S22、设定一个阈值，并根据小波系数幅值与设定阈值对各尺度下高频分解值的小波系数进行量化；
S23、采用逆小波变换对量化后的高频分解值以及大尺度下的低频分解值进行信号重构，恢复得到干净生理信号；
所述步骤S3包括以下分步骤：
S31、根据采样频率对干净生理信号进行数据分窗，使得每个数据窗含有10秒的数据；
S32、根据数据分窗结果提取皮肤电导信号GSR的特征和肌电信号EMG的特征；
S33、采用自适应滑动时间窗定位法对心电信号ECG进行R波检测定位，并提取RR间期；
S34、根据RR间期提取心电信号ECG的特征；
S35、将心电信号ECG的特征、皮肤电导信号GSR的特征和肌电信号EMG的特征共同构成驾驶员生理信号的浅层特征Fshallow；
所述心电信号ECG的特征包括心电信号ECG的均值、心电信号ECG的标准差、RR间期的均值、RR间期的标准差、相邻RR间期的差值均方根、相邻RR间期的值大于50ms的个数NN50、时间窗内相邻RR间期的值大于50ms的个数占总RR间期个数的百分比PNN50、极低频能量、低频能量、高频能量和低频与高频能量比；
所述皮肤电导信号GSR的特征包括皮肤电导信号GSR的波峰数、皮肤电导信号GSR的峰度、波谷到波峰的上升时间、皮肤电导信号GSR的均值和皮肤电导信号GSR的方差；
所述肌电信号EMG的特征包括肌电信号EMG的均值、肌电信号EMG的方差、肌电信号EMG的峰度和肌电信号EMG的偏度；
所述步骤S4包括以下分步骤：
S41、根据采样频率对干净生理信号进行数据分窗，并对分窗后的干净生理信号进行傅里叶变换，得到生理信号二维矩阵；
S42、将生理信号二维矩阵输入卷积神经网络CNN，得到驾驶员生理信号的深度空间特征Fs；
S43、将生理信号二维矩阵输入长短时记忆网络LSTM，得到驾驶员生理信号的深度时间特征Ft；
S44、将驾驶员生理信号的深度空间特征Fs和驾驶员生理信号的深度时间特征Ft展开到相同维度，并连接得到驾驶员生理信号的深度特征Fdeep；
所述步骤S41中的傅里叶变换公式为：
Figure FDA0004122092210000021
其中ξ表示频率，x表示时间，f(·)表示变换函数，i表示复数单位；
所述步骤S42具体为：将生理信号二维矩阵依次通过卷积神经网络CNN的三个连续的卷积层和一个全连接层，将卷积神经网络CNN最后一个全连接层删除，并将删除的全连接层的输入作为驾驶员生理信号的深度空间特征Fs；
所述步骤S43具体为：将生理信号二维矩阵依次通过长短时记忆网络LSTM的输入门、遗忘门和输出门，将长短时记忆网络LSTM最后一个全连接层删除，并将删除的全连接层的输入作为驾驶员生理信号的深度时间特征Ft；
所述步骤S5包括以下分步骤：
S51、采用主成分分析方法对驾驶员生理信号的深度特征Fdeep进行降维，得到与驾驶员生理信号的浅层特征Fshallow相同维度的深度特征Fdeep2；
S52、将驾驶员生理信号的浅层特征Fshallow与深度特征Fdeep2进行concat特征融合，得到融合特征Ff。
CN202210470268.6A 2022-04-28 2022-04-28 一种基于融合特征的驾驶员精神紧张程度识别方法 Active CN114699080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210470268.6A CN114699080B (zh) 2022-04-28 2022-04-28 一种基于融合特征的驾驶员精神紧张程度识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210470268.6A CN114699080B (zh) 2022-04-28 2022-04-28 一种基于融合特征的驾驶员精神紧张程度识别方法

Publications (2)

Publication Number Publication Date
CN114699080A CN114699080A (zh) 2022-07-05
CN114699080B true CN114699080B (zh) 2023-04-25

Family

ID=82176153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210470268.6A Active CN114699080B (zh) 2022-04-28 2022-04-28 一种基于融合特征的驾驶员精神紧张程度识别方法

Country Status (1)

Country Link
CN (1) CN114699080B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11151231A (ja) * 1997-11-20 1999-06-08 Nissan Motor Co Ltd 車両用精神疲労度判定装置
CN102361435A (zh) * 2011-10-28 2012-02-22 电子科技大学 一种可变增益宽带低噪声放大器
CN107822623A (zh) * 2017-10-11 2018-03-23 燕山大学 一种基于多源生理信息的驾驶员疲劳及情绪评价方法
CN109645980A (zh) * 2018-11-14 2019-04-19 天津大学 一种基于深度迁移学习的心律异常分类方法
CN110236533A (zh) * 2019-05-10 2019-09-17 杭州电子科技大学 基于多深度神经网络迁移特征学习的癫痫发作预测方法
CN110772268A (zh) * 2019-11-01 2020-02-11 哈尔滨理工大学 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法
CN111881812A (zh) * 2020-07-24 2020-11-03 中国中医科学院针灸研究所 用于针灸的基于深度学习的多模态情绪分析方法及系统
CA3149381A1 (en) * 2019-08-02 2021-02-11 Tempus Labs, Inc. Data-based mental disorder research and treatment systems and methods
WO2021208902A1 (zh) * 2020-04-15 2021-10-21 华为技术有限公司 一种睡眠报告的生成方法、装置、终端以及存储介质
CN113989890A (zh) * 2021-10-29 2022-01-28 河南科技大学 基于多通道融合和轻量级神经网络的人脸表情识别方法
CN114220154A (zh) * 2021-12-20 2022-03-22 王越 一种基于深度学习的微表情特征提取与识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11269891B2 (en) * 2014-08-21 2022-03-08 Affectomatics Ltd. Crowd-based scores for experiences from measurements of affective response
US10791938B2 (en) * 2015-06-14 2020-10-06 Facense Ltd. Smartglasses for detecting congestive heart failure

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11151231A (ja) * 1997-11-20 1999-06-08 Nissan Motor Co Ltd 車両用精神疲労度判定装置
CN102361435A (zh) * 2011-10-28 2012-02-22 电子科技大学 一种可变增益宽带低噪声放大器
CN107822623A (zh) * 2017-10-11 2018-03-23 燕山大学 一种基于多源生理信息的驾驶员疲劳及情绪评价方法
CN109645980A (zh) * 2018-11-14 2019-04-19 天津大学 一种基于深度迁移学习的心律异常分类方法
CN110236533A (zh) * 2019-05-10 2019-09-17 杭州电子科技大学 基于多深度神经网络迁移特征学习的癫痫发作预测方法
CA3149381A1 (en) * 2019-08-02 2021-02-11 Tempus Labs, Inc. Data-based mental disorder research and treatment systems and methods
CN110772268A (zh) * 2019-11-01 2020-02-11 哈尔滨理工大学 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法
WO2021208902A1 (zh) * 2020-04-15 2021-10-21 华为技术有限公司 一种睡眠报告的生成方法、装置、终端以及存储介质
CN111881812A (zh) * 2020-07-24 2020-11-03 中国中医科学院针灸研究所 用于针灸的基于深度学习的多模态情绪分析方法及系统
CN113989890A (zh) * 2021-10-29 2022-01-28 河南科技大学 基于多通道融合和轻量级神经网络的人脸表情识别方法
CN114220154A (zh) * 2021-12-20 2022-03-22 王越 一种基于深度学习的微表情特征提取与识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wang L 等.Personalized Human Activity Recognition using Hypergraph Learning with Fusion Features.《2021 IEEE 4th International Conference on Electronics Technology (ICET)》.2021,第1251-1255页. *

Also Published As

Publication number Publication date
CN114699080A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
Yang et al. Epileptic seizure prediction based on permutation entropy
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN101515200B (zh) 基于瞬态视觉诱发脑电的目标选择方法
CN111523601A (zh) 一种基于知识引导和生成对抗学习的潜在情绪识别方法
CN103251417B (zh) 创业潜质脑电信号表征与识别方法
CN114224342A (zh) 一种基于时空融合特征网络的多通道脑电信号情绪识别方法
CN111202517A (zh) 一种睡眠自动分期方法、系统、介质及电子设备
CN109106384A (zh) 一种心理压力状况预测方法及系统
CN114732409A (zh) 一种基于脑电信号的情绪识别方法
Liang et al. Obstructive sleep apnea detection using combination of CNN and LSTM techniques
CN107122050A (zh) 基于csfl‑gdbn的稳态运动视觉诱发电位脑‑机接口方法
Hernández-Del-Toro et al. Toward asynchronous EEG-based BCI: Detecting imagined words segments in continuous EEG signals
Hu et al. Epileptic EEG identification based on deep Bi-LSTM network
Chen et al. Automatic recognition of auditory brainstem response characteristic waveform based on bidirectional long short-term memory
CN114652328A (zh) 一种用于失眠的双向闭环脑机交互电针参数智能匹配系统
CN114699080B (zh) 一种基于融合特征的驾驶员精神紧张程度识别方法
CN110569968B (zh) 基于电生理信号的创业失败恢复力评估方法及评估系统
Tian Identification and modeling of college students’ psychological stress indicators for deep learning
Zhao Intelligent system of somatosensory music therapy information feedback in deep learning environment
Liu et al. Automated Machine Learning for Epileptic Seizure Detection Based on EEG Signals.
CN116070168A (zh) 一种多模态数据多视角睡眠分期方法
CN114129138A (zh) 一种基于时序多尺度混合注意力模型的自动睡眠分期方法
Lu Human emotion recognition based on multi-channel EEG signals using LSTM neural network
Van Esbroeck et al. Data-driven modeling of sleep states from EEG
CN116304642B (zh) 情绪识别预警及模型训练方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant