CN114343661B - 高铁司机反应时间估计方法、装置、设备及可读存储介质 - Google Patents

高铁司机反应时间估计方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN114343661B
CN114343661B CN202210214221.3A CN202210214221A CN114343661B CN 114343661 B CN114343661 B CN 114343661B CN 202210214221 A CN202210214221 A CN 202210214221A CN 114343661 B CN114343661 B CN 114343661B
Authority
CN
China
Prior art keywords
time
information
feature
data set
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210214221.3A
Other languages
English (en)
Other versions
CN114343661A (zh
Inventor
张二田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202210214221.3A priority Critical patent/CN114343661B/zh
Publication of CN114343661A publication Critical patent/CN114343661A/zh
Application granted granted Critical
Publication of CN114343661B publication Critical patent/CN114343661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Psychology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Cardiology (AREA)

Abstract

本发明提供了一种高铁司机反应时间估计方法、装置、设备及可读存储介质，涉及高铁列车技术领域，包括获取第一信息，第一信息包括第一时间段内实时脑电信号和第二时间段内的实时心电信号；获取原始数据集；分别对第一信息和第二信息进行预处理；对第一信息和第二信息进行特征提取处理得到实时特征集和特征数据集；根据特征数据集建立并训练两级特征融合估计模型；将实时特征集作为两级特征融合估计模型输入信息，求解两级特征融合估计模型得到高铁司机的反应时间，本方法通过融合特征将特征之间的内在关联信息充分利用，以提升本方法中对高铁司机的反应时间估计的准确性。

Description

高铁司机反应时间估计方法、装置、设备及可读存储介质
技术领域
本发明涉及高铁列车技术领域，具体而言，涉及高铁司机反应时间估计方法、装置、设备及可读存储介质。
背景技术
高铁（HSR）司机的警惕性下降是导致事故的主要因素之一,其中由信号检测的高铁司机的反应时间（RT）是警觉性的客观指标。但是现有技术中尚未有一种高铁司机反应时间估计方法。
发明内容
本发明的目的在于提供一种高铁司机反应时间估计方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一种高铁司机反应时间估计方法，包括：获取第一信息，所述第一信息包括第一时间段内实时脑电信号和第二时间段内的实时心电信号，所述第一时间段和第二时间段的截止时刻均为当前时刻；获取原始数据集，所述原始数据集包括至少三个历史数据集，所述历史数据集包括历史脑电信号、历史心电信号和反应时间；分别对所述第一信息和所述原始数据集进行预处理，并更新所述第一信息和所述原始数据集为预处理后的数据；对所述第一信息和所述原始数据集进行特征提取处理得到实时特征集和特征数据集；根据所述特征数据集建立并训练两级特征融合估计模型；将所述实时特征集作为所述两级特征融合估计模型输入信息，求解两级特征融合估计模型得到高铁司机的反应时间。
第二方面，本申请还提供了一种高铁司机反应时间估计装置，包括：第一获取单元，用于获取第一信息，所述第一信息包括第一时间段内实时脑电信号EEG和第二时间段内的实时心电信号ECG，所述第一时间段和第二时间段的截止时刻均为当前时刻；第二获取单元，用于获取原始数据集，所述原始数据集包括至少三个历史数据集，所述历史数据集包括历史脑电信号、历史心电信号和反应时间；预处理单元，用于分别对所述第一信息和所述原始数据集进行预处理，并更新所述第一信息和所述原始数据集为预处理后的数据；特征提取单元，用于对所述第一信息和所述原始数据集进行特征提取处理得到实时特征集和特征数据集；模型建立单元，用于根据所述特征数据集建立并训练两级特征融合估计模型；时间估计单元，用于将所述实时特征集作为所述两级特征融合估计模型输入信息，求解两级特征融合估计模型得到高铁司机的反应时间。
第三方面，本申请还提供了一种高铁司机反应时间估计设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述高铁司机反应时间估计方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于高铁司机反应时间估计方法的步骤。
本发明的有益效果为：
本发明通过在两级特征融合估计模型中融合特征，将特征之间的内在关联信息充分利用，以提升对高铁司机的反应时间估计的准确性。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的高铁司机反应时间估计方法流程示意图;
图2为本发明实施例中所述的高铁司机反应时间估计装置结构示意图；
图3为本发明实施例中所述的高铁司机反应时间估计设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在现有技术中，为防止高铁司机作业过程中出现警觉度下降，中国高铁会要求司机在驾驶过程中每30S内须踩一下应答脚踏装置，否则将触发紧急停车系统。
在本方法的实施例为在固定底座CRH380A驾驶模拟器中进行。模拟器由沉浸式视频系统、数字声音模拟系统和照明模拟系统组成。这种设置可以真正模拟高铁列车行驶过程中的背景环境。控制台与实车一样，配备了操作控制面板、动力控制手柄、受电弓按钮等。操作台前放置了一个可以呈现随机信号的刺激箱。刺激箱的位置在受试者的视野范围内，没有遮挡他们的驾驶视线。使用USB按钮将高铁司机的RT收集到随机刺激。脑电数据由64通道Neuroscan放大器记录，电极分布按照国际10-20脑电系统设置。心电图数据是用BIOPACMP150收集的。
在实施例中共邀请了30名高铁司机参与。其从上海昆明高铁开里南站至屏板南站的路段被确定为模拟行车路线。驾车任务从开里南出发，前往屏板南，在屏板南稍作休息（约3分钟）后返回开里南，没有任何其他站点停靠。行车过程中，要求每位司机控制列车运行。
实施例1：
本实施例提供了一种高铁司机反应时间估计方法。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300、步骤S400、步骤S500和步骤S600。
S100、获取第一信息，第一信息包括第一时间段内实时脑电信号和第二时间段内的实时心电信号，第一时间段和第二时间段的截止时刻均为当前时刻，第一时间段的起始时刻不同于第一时间段的起始时刻，实时脑电信号和实时心电信号均为生理信号采集设备在同一个高铁司机采集得到。
需要说明的是，在本申请中，脑电信号即为EEG，心电信号即为ECG。同时需要说明的是在后续步骤中所提及的历史脑电信号和历史心电信号都是EEG和ECG只是其采样时间不同，本申请中将其分别重命名避免误解。同时，在本申请中，EEG的第一时间段的时间长度为5s，第二时间段的时间长度为20s。并且由于中央和顶枕区域的大脑活动与警觉性高度相关。本实施例中选取了九个高度敏感EEG的通道来提取特征以进行警觉性估计：C1、CZ、C2、P1、PZ、P2、PO3、POZ和PO5。本方法的估计方法为将5sEEG和20sECG作为输入来达到估计反应时间的目的。
S200、获取原始数据集，原始数据集包括至少三个历史数据集，历史数据集包括历史脑电信号、历史心电信号和反应时间。
需要说明的是，反应时间即为刺激箱亮起到高铁司机按压USB按钮的时间。而历史数据集中对应的为一个5s的EEG、一个20s的ECG和一个反应时间构成一个历史数据集中的一个子集，其中历史数据集中的每个子集均为一个样本。
S300、分别对第一信息和原始数据集进行预处理，并更新第一信息和原始数据集为预处理后的数据。
S400、对第一信息和原始数据集进行特征提取处理得到实时特征集和特征数据集。
需要说明的是，在本步骤中所提及的实时特征集包括脑电特征集和心电特征集，对应的特征数据集中也包含其数据对应的脑电特征集和心电特征集。
S500、根据特征数据集建立并训练两级特征融合估计模型。
S600、将实时特征集作为两级特征融合估计模型输入信息，求解两级特征融合估计模型得到高铁司机的反应时间。
在本方法中，通过融合特征将特征之间的内在关联信息充分利用，以提升本方法中对高铁司机的反应时间估计的准确性。
在一些具体的实施例中，本方法中的步骤S300中包括步骤S310、步骤S320和步骤S330。其中需要说明的是，在下文中所提及的S310-330中的预处理过程为针对于第一信息进行的处理。同理，在本申请中仍有对原始数据集处理的过程，其过程与第一信息的处理过程相同，本申请中不在赘述对原始数据集的处理过程。
S310、对第一信息进行预设频率阈值的降采样处理，得到降采样后的第一信息。
需要说明的是，在本步骤中，所提及的预设频率阈值为250Hz。
S320、对第一信息进行预设频率范围的一级滤波处理得到一级滤波后的第一信息，一级滤波处理为预设频率宽度的巴特沃斯带通滤波器处理。
需要说明的是，在本步骤中，所提及的预设频率范围为0.01到30Hz。在本步骤中通过应用频率范围为0.01到30Hz的巴特沃斯带通滤波器来消除原始信号的基线漂移和高频伪影。
S330、对实时脑电信号进行二级滤波处理，并更新实时脑电信号为二级滤波处理后的数据，二级滤波处理为空间滤波器处理。
需要说明的是，在本步骤中即为通过空间滤波器去除脑电信号中由眨眼引起的伪影。
在一些具体的实施例中，本方法中的步骤S400中包括步骤S410、步骤S420和步骤S430。其中需要说明的是，在下文中所提及的S410-430中的预处理过程为针对于第一信息中一个脑电信号进行的处理。同理，在本申请中仍有对原始数据集的脑电信号相同的处理过程，其过程与第一信息的处理过程相同，本申请中不在赘述对原始数据集的处理过程。
S410、对实时脑电信号进行第一分割得到至少两段第一子信号，相邻的两段第一子信号的重叠百分比为预设数值，第一子信号的时间长度为预设的第一时间长度。
需要说明的是，在本申请中可以采用现有技术hamming windows技术以实现。在本申请中重叠百分比为50%，第一子信息的时间长度的2秒。即在本申请中为了提取一个通道的脑电特征EEG，将滤波后的EEG脑电信号被分成9段，具有2秒的汉明窗，重叠百分比设置为50%。
S420、对每段第一子信号进行FFT转化得到每个第一子信号对应的频域。
S430、根据每个第一子信号对应的频域计算得到脑电特征集。
需要说明的是，在本步骤中所提及的脑电特征共计有四个，其中具体的计算步骤包括步骤S431、步骤S432、步骤S433和步骤S434。需要说明的是，在步骤S432-S434其均针对于一个第一子信号进行处理的过程，其余对于其他第一子信号进行相同的处理步骤即可。
S431、根据第一子信号对应的频域计算得到第二信息，第二信息包括第一子信号在第一频域范围的功率谱密度，并将第二信息作为脑电特征集中的子集。
需要说明的是，在本申请中所计算的第一频域范围为
Figure 281850DEST_PATH_IMAGE001
：(7-13 Hz)，其中功率谱 密度为现有技术，本申请中不再赘述。
S432、根据第一子信号对应的频域计算得到第三信息，第三信息包括第一子信号在第二频域范围的功率谱密度，并将第三信息作为脑电特征集中的子集。
需要说明的是，在本申请中所计算的第一频域范围为β(13-30 Hz)，其中功率谱密度为现有技术，本申请中不再赘述。
S433、将第二信息与第三信息相除得到第四信息，并将第四信息作为脑电特征集中的子集。
S434、根据第一子信号对应的频域计算第五信息，第五信息包括第一子信号对应的样本熵，并将第五信息作为脑电特征集中的子集。
需要说明的是，本申请中的样本熵计算公式如下：
Figure 83584DEST_PATH_IMAGE003
其中
Figure DEST_PATH_IMAGE005
和
Figure DEST_PATH_IMAGE007
分别表示两个序列在容忍水平𝑟下匹配𝑚+1和𝑚点的概率，𝑁是数据段的长度。为了计算EEG信号的SampEn，嵌入维度𝑚设置为2，容差𝑟设置为0.2。
在一些具体的实施例中，本方法中的步骤S400中包括步骤S440、步骤S450、步骤S460和步骤S470。其中需要说明的是，在下文中所提及的S440-470中的预处理过程为针对于第一信息中心电信号进行的处理。同理，在本申请中仍有对原始数据集的心电信号相同的处理过程，其过程与第一信息的处理过程相同，本申请中不在赘述对原始数据集的处理过程。
S440、对实时心电信号进行第一分割得到至少两段第二子信号，相邻的两段第二子信号的重叠百分比为预设数值，第二子信号的时间长度为预设的第一时间长度。
需要说明的是，在本步骤中对于心电信号的处理与脑电信号相同。其中区别在于心电信号时间长度为20s，即被分为39个段，窗口为2秒。
S450、对每段第二子信号进行FFT转化得到每个第二子信号对应的频域。
S460、根据每个第二子信号对应的频域计算得到第一心电特征集，并将第一心电特征集作为心电特征集的子集。
S470、根据每个第二子信号计算得到第二心电特征集，并将第二心电特征集作为心电特征集的子集。
需要说明的是在步骤S460中包括步骤S461、步骤S462、步骤S463和步骤S464。需要说明的是，在步骤S461-S464其均针对于一个第二子信号进行处理的过程，其余对于其他第二子信号进行相同的处理步骤即可。
S461、根据第二子信号对应的频域计算得到第六信息，第六信息包括第二子信号在低频的功率谱密度，并将第六信息作为实时特征集中的子集。
S462、根据第二子信号对应的频域计算得到第七信息，第七信息包括第二子信号在高频的功率谱密度，并将第七信息作为实时特征集中的子集。
S463、将第二子信号在低频的功率谱密度与高频的功率谱密度相除得到第八信息，并将第八信息作为实时特征集中的子集。
S464、根据每个第二子信号对应的频域计算第九信息，第九信息包括第一子信号对应的样本熵，并将第九信息作为实时特征集中的子集。
需要说明的是在步骤S470中包括步骤S471、步骤S472、步骤S473和步骤S474。需要说明的是，在步骤S471-S474其均针对于一个第二子信号进行处理的过程，其余对于其他第二子信号进行相同的处理步骤即可。
S471、根据Hamilton-Tompkins算法和第二子信号计算得到第十信息，第十信息包括第一子信号的所有R峰。
S472、根据第十信息计算得到平均R峰值间隔。
S473、根据第十信息计算得到第十一信息，第十一信息包括R峰值正常间隔的标准偏差。
S474、根据第十信息计算得到第十二信息，第十二信息包括R峰值大于预设第二时间长度的连续R峰值差异的百分比，并将平均R峰值间隔、第十一信息和第十二信息作为第二心电特征集的子集。
在上述S460到S470中对每一个心电信号生成了7个特征。
在本方法中为了实现对高铁驾驶员的反应时间进行两级特征融合，并将特征之间的内在关联信息充分利用，在步骤S500中包括步骤S510、步骤S520、步骤S530、步骤S540和步骤S550。
S510、对特征数据集内每个元素进行标准化处理，并更新特征数据集为标准化处理后的数据，更新后的特征数据集内每个元素均位于预设最大值和预设最小值之间。
在步骤中所提及的预设最大值为1，预设最小值为-1，通过上述步骤，可以将数据中的个体差异缩小。
S520、建立卷积神经网络模型和长短期记忆人工神经网络模型。
S530、将特征数据集作为卷积神经网络模型输入信息，求解卷积神经网络模型得到融合特征数据集。
需要说明的是，本步骤即为将一个5s的EEG提取的特征集、一个20s的ECG提取的特征集作为CNN的输入信息，并通过CNN模型提取出融合模型。
S540、分别利用融合特征数据集、脑电特征集和心电特征集训练一个长短期记忆人工神经网络模型，得到融合特征神经网络模型、脑电特征神经网络模型和心电特征神经网络模型。
S550、建立融合估计模型，融合估计模型的输入信息包括融合特征神经网络模型的估计结果、脑电特征神经网络模型的估计结果和心电特征神经网络模型的估计结果，融合估计模型的输出信息包括高铁司机反应时间。
在本方法中，通过在特征级中增加CNN算法，通过CNN从EEG和ECG特征中提取融合信息，进而提升估计的准确性和可靠性；并且在由于心电信号和脑电信号来至于不同传感器的特征，其代表了不同角度的警觉性波动，而CNN有效地融合了这些特征之间包含一些内在的关联信息，这些信息可以用来评估驾驶员的警觉性。
同时，由于高铁行驶速度超过350公里/小时，因此在高铁驾驶员警戒度估算系统中应考虑估算速度。在本方法中，为了避免增加计算负担，将这三种特征集并行输入三个长短记忆（LSTM）神经网络。
还需要说明的是，在步骤S600中，对高铁司机的反应时间步骤包括：
将实时特征集中的脑电特征集和心电特征集一起输入到CNN算法中得到融合特征集；
将融合特征集、脑电特征集和心电特征集分别输入到融合特征神经网络模型、脑电特征神经网络模型和心电特征神经网络模型中得到对应的反应时间估计结果；
将融合特征神经网络模型的估计结果、脑电特征神经网络模型的估计结果和心电特征神经网络模型的估计结果输入到融合估计模型中，求解得到高铁司机反应时间。
并且在本方法中，步骤S500中包括步骤S551和步骤S552。
S551、基于拉依达准则建立信度决策数学模型，信度决策数学模型的输入信息为融合特征神经网络模型的估计结果、脑电特征神经网络模型的估计结果和心电特征神经网络模型的估计结果。
需要说明的是，在本方法中即依靠拉依达准则对对三个预估结果进行信度评估，对于信度不符合的反应时间信度为0，进而达到剔除的可疑数据的目的。
S552、基于线性回归原理建立决策融合模型，将信度决策数学模型作为决策融合模型的输入信息，决策融合模型的输入信息为高铁司机反应时间。
需要说明的是，在本方法中即为，根据线性回归的方式对不同模型的预估结果进行融合，其中有关线性回归的计算过程为现有技术本申请中，不在赘述，通过上述方式，决策级融合中增加信度评估剔除异常数据能有效地提高了我们提出的模型的可靠性，尤其是在无效特征或传感器故障的情况下。
为了便于理解，本申请将在模拟HSR驾驶中收集的总共1200个有效样本用于训练和测试我们提出的模型。所有驾驶员的RT样本范围从603毫秒到1355毫秒，平均值为890.25(196.5)毫秒。在我们的研究中，使用1000个样本来训练模型，剩余的200个样本作为测试样本。为了提高我们提出的方法的警戒度估计，我们与三个LSTM模型的输出进行了比较。在本申请中采用平均绝对误差(𝑀𝐴𝐸)和均方根误差(𝑅𝑀𝑆𝐸)反映了估计值和观测值之间的距离。Pearson相关系数(𝑃𝐶𝐶)表示估计的RT与观察到的基本事实之间的变化趋势的一致性。
表2 使用不同融合策略时实现的估计性能
模型 数据集 MAE (ms) RMSE (ms) PCC Running time (s)
EEG 92.76 128.61 0.71 0.05
LSTM ECG 145.62 208.35 0.64 0.03
融合特征集 83.54 117.36 0.78 0.07
两级特征融合估计模型 以上三种 81.03 112.33 0.82 0.07
如表 2所示，结果表明，我们提出的两级特征融合估计模型在所有评估措施方面都比比较模型取得了更好的性能。我们提出的模型的最佳MAE、RMSE和PCC分别为81.03ms、112.33ms和0.82。这表明所开发的模型可以通过估计他们的RT来有效地评估高铁司机的警惕性。通过使用特征级和决策级融合策略，估计性能提高了大约12%。对于没有任何信息融合技术的RT估计，EEG特征表现出比ECG特征更好的性能。具体来说，LSTM网络在使用EEG特征时获得的最佳MAE、RMSE和PCC分别为92.76ms、128.61ms和0.71。仅使用ECG特征时获得的值分别为135.62ms、180.35ms和0.64。通过将EEG和ECG特征与CNN融合，LSTM的MAE性能提高了9.9%，RMSE提高了9%，PCC提高了10.8%。这种改进的原因是来自不同传感器的特征代表了不同角度的警觉性波动，而CNN有效地融合了这些特征。关于决策级融合，进一步提高了估计性能。MAE减少2.51ms，RMSE减少5.03ms，PCC增加0.04。融合不同模型获得的结果是一种集成学习方法，可以提高所采用模型在估计HSR驾驶员RTs时的泛化能力和可靠性。特征级融合在提高估计精度方面表现出更好的性能。
同时根据表2的结果，使用简单回归算法添加决策级融合模块对计算速度影响不大。另一个影响计算速度的因素是输入的维度。我们尝试将EEG特征、ECG特征和融合特征一起输入LSTM。MAE为84.42ms，RMSE为116.21ms，PCC为0.79。性能近似于具有由CNN提取的融合特征的模型。然而，运行时间为0.11秒，比我们提出的并行处理策略长43%。效率和准确性是需要研究人员平衡的两个矛盾因素，比较结果表明，在我们提出的模型中使用并行处理可以更好地保证效率和准确性。
实施例2：
如图2所示，本实施例提供了一种高铁司机反应时间估计装置，装置包括：
第一获取单元1，用于获取第一信息，第一信息包括第一时间段内实时脑电信号和第二时间段内的实时心电信号，第一时间段和第二时间段的截止时刻均为当前时刻。
第二获取单元2，用于获取原始数据集，原始数据集包括至少三个历史数据集，历史数据集包括历史脑电信号、历史心电信号和反应时间。
预处理单元3，用于分别对第一信息和原始数据集进行预处理，并更新第一信息和原始数据集为预处理后的数据。
特征提取单元4，用于对第一信息和原始数据集进行特征提取处理得到实时特征集和特征数据集。
模型建立单元5，用于根据特征数据集建立并训练两级特征融合估计模型。
时间估计单元6，用于将实时特征集作为两级特征融合估计模型输入信息，求解两级特征融合估计模型得到高铁司机的反应时间。
在一些具体的实施中，预处理单元3包括：
重采样单元31，用于对第一信息进行预设频率阈值的降采样处理，得到降采样后的第一信息。
一级滤波单元32，用于对第一信息进行预设频率范围的一级滤波处理得到一级滤波后的第一信息，一级滤波处理为预设频率宽度的巴特沃斯带通滤波器处理。
二级滤波单元33，用于对实时脑电信号进行二级滤波处理，并更新实时脑电信号为二级滤波处理后的数据，二级滤波处理为空间滤波器处理。
在一些具体的实施中，特征提取单元4包括：
第一分割单元41，用于对实时脑电信号进行第一分割得到至少两段第一子信号，相邻的两段第一子信号的重叠百分比为预设数值，第一子信号的时间长度为预设的第一时间长度。
第一转化单元42，用于对每段第一子信号进行FFT转化得到每个第一子信号对应的频域。
第一频域计算单元43，用于根据每个第一子信号对应的频域计算得到脑电特征集。
其中，第一频域计算单元43，包括：
第一计算单元431，用于根据第一子信号对应的频域计算得到第二信息，第二信息包括第一子信号在第一频域范围的功率谱密度，并将第二信息作为脑电特征集中的子集。
第二计算单元432，用于根据第一子信号对应的频域计算得到第三信息，第三信息包括第一子信号在第二频域范围的功率谱密度，并将第三信息作为脑电特征集中的子集。
第三计算单元，433用于将第二信息与第三信息相除得到第四信息，并将第四信息作为脑电特征集中的子集。
第四计算单元434，用于根据第一子信号对应的频域计算第五信息，第五信息包括第一子信号对应的样本熵，并将第五信息作为脑电特征集中的子集。
在一些具体的实施中，特征提取单元4还包括：
第二分割单元44，用于对实时心电信号进行第一分割得到至少两段第二子信号，相邻的两段第二子信号的重叠百分比为预设数值，第二子信号的时间长度为预设的第一时间长度。
第二转化单元45，用于对每段第二子信号进行FFT转化得到每个第二子信号对应的频域。
第二频域计算单元46，用于根据每个第二子信号对应的频域计算得到第一心电特征集，并将第一心电特征集作为心电特征集的子集。
第五计算单元47，用于根据每个第二子信号计算得到第二心电特征集，并将第二心电特征集作为心电特征集的子集。
其中，第二频域计算单元46，包括：
第六计算单元461，用于根据第二子信号对应的频域计算得到第六信息，第六信息包括第二子信号在低频的功率谱密度，并将第六信息作为实时特征集中的子集。
第七计算单元462，用于根据第二子信号对应的频域计算得到第七信息，第七信息包括第二子信号在高频的功率谱密度，并将第七信息作为实时特征集中的子集。
第八计算单元463，用于将第二子信号在低频的功率谱密度与高频的功率谱密度相除得到第八信息，并将第八信息作为实时特征集中的子集。
第九计算单元464，用于根据每个第二子信号对应的频域计算第九信息，第九信息包括第一子信号对应的样本熵，并将第九信息作为实时特征集中的子集。
其中，第五计算单元47，包括：
第十计算单元471，用于根据Hamilton-Tompkins算法和第二子信号计算得到第十信息，第十信息包括第一子信号的所有R峰。
第十一计算单元472，用于根据第十信息计算得到平均R峰值间隔。
第十二计算单元473，用于根据第十信息计算得到第十一信息，第十一信息包括R峰值正常间隔的标准偏差。
第十三计算单元474，用于根据第十信息计算得到第十二信息，第十二信息包括R峰值大于预设第二时间长度的连续R峰值差异的百分比，并将平均R峰值间隔、第十一信息和第十二信息作为第二心电特征集的子集。
在一些具体的实施中，模型建立单元5还包括：
标准化单元51，用于对特征数据集内每个元素进行标准化处理，并更新特征数据集为标准化处理后的数据，更新后的特征数据集内每个元素均位于预设最大值和预设最小值之间。
建立模型单元52，用于建立卷积神经网络模型和长短期记忆人工神经网络模型。
提取模型单元53，用于将特征数据集作为卷积神经网络模型输入信息，求解卷积神经网络模型得到融合特征数据集。
模型训练单元54，用于分别利用融合特征数据集、脑电特征集和心电特征集训练一个长短期记忆人工神经网络模型，得到融合特征神经网络模型、脑电特征神经网络模型和心电特征神经网络模型。
建立融合模型单元55，用于建立融合估计模型，融合估计模型的输入信息包括融合特征神经网络模型的估计结果、脑电特征神经网络模型的估计结果和心电特征神经网络模型的估计结果，融合估计模型的输出信息包括高铁司机反应时间。
在一些具体的实施中，建立融合模型单元55包括：
建立信度决策单元551，用于基于拉依达准则建立信度决策数学模型，信度决策数学模型的输入信息为融合特征神经网络模型的估计结果、脑电特征神经网络模型的估计结果和心电特征神经网络模型的估计结果。
建立于线性回归单元552，用于基于线性回归原理建立决策融合模型，将信度决策数学模型作为决策融合模型的输入信息，决策融合模型的输入信息为高铁司机反应时间。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
相应于上面的方法实施例，本实施例中还提供了一种高铁司机反应时间估计设备，下文描述的一种高铁司机反应时间估计设备与上文描述的一种高铁司机反应时间估计方法可相互对应参照。
图3是根据示例性实施例示出的一种高铁司机反应时间估计设备800的框图。如图3所示，该高铁司机反应时间估计设备800可以包括：处理器801，存储器802。该高铁司机反应时间估计设备800还可以包括多媒体组件803， I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该高铁司机反应时间估计设备800的整体操作，以完成上述的高铁司机反应时间估计方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该高铁司机反应时间估计设备800的操作，这些数据例如可以包括用于在该高铁司机反应时间估计设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(StaticRandom Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该高铁司机反应时间估计设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，高铁司机反应时间估计设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的高铁司机反应时间估计方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的高铁司机反应时间估计方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由高铁司机反应时间估计设备800的处理器801执行以完成上述的高铁司机反应时间估计方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种高铁司机反应时间估计方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的高铁司机反应时间估计方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种高铁司机反应时间估计方法，其特征在于，包括：
获取第一信息，所述第一信息包括第一时间段内实时脑电信号和第二时间段内的实时心电信号，所述第一时间段和第二时间段的截止时刻均为当前时刻；
获取原始数据集，所述原始数据集包括至少三个历史数据集，所述历史数据集包括历史脑电信号、历史心电信号和反应时间；
分别对所述第一信息和所述原始数据集进行预处理，并更新所述第一信息和所述原始数据集为预处理后的数据；
对所述第一信息和所述原始数据集进行特征提取处理得到实时特征集和特征数据集，所述特征数据集包含脑电特征集和心电特征集；
根据所述特征数据集建立并训练两级特征融合估计模型；
将所述实时特征集作为所述两级特征融合估计模型输入信息，求解两级特征融合估计模型得到高铁司机的反应时间；
其中，所述根据所述特征数据集建立并训练两级特征融合估计模型，包括：
对所述特征数据集内每个元素进行标准化处理，并更新所述特征数据集为标准化处理后的数据，更新后的所述特征数据集内每个元素均位于预设最大值和预设最小值之间；
建立卷积神经网络模型和长短期记忆人工神经网络模型；
将所述特征数据集作为所述卷积神经网络模型输入信息，求解所述卷积神经网络模型得到融合特征数据集；
分别利用所述融合特征数据集、所述脑电特征集和所述心电特征集训练一个所述长短期记忆人工神经网络模型，得到融合特征神经网络模型、脑电特征神经网络模型和心电特征神经网络模型；
建立融合估计模型，所述融合估计模型的输入信息包括所述融合特征神经网络模型的估计结果、所述脑电特征神经网络模型的估计结果和所述心电特征神经网络模型的估计结果，所述融合估计模型的输出信息包括高铁司机反应时间。
2.根据权利要求1所述的高铁司机反应时间估计方法，其特征在于,分别对所述第一信息和所述原始数据集进行预处理，包括：
对第一信息进行预设频率阈值的降采样处理，得到降采样后的第一信息；
对第一信息进行预设频率范围的一级滤波处理得到一级滤波后的第一信息，所述一级滤波处理为预设频率宽度的巴特沃斯带通滤波器处理；
对所述实时脑电信号进行二级滤波处理，并更新所述实时脑电信号为二级滤波处理后的数据，所述二级滤波处理为空间滤波器处理。
3.根据权利要求1所述的高铁司机反应时间估计方法，其特征在于,对所述第一信息和所述原始数据集进行特征提取处理得到实时特征集和特征数据集，所述实时特征集包括脑电特征集，包括：
对实时脑电信号进行第一分割得到至少两段第一子信号，相邻的两段所述第一子信号的重叠百分比为预设数值，所述第一子信号的时间长度为预设的第一时间长度；
对每段所述第一子信号进行FFT转化得到每个所述第一子信号对应的频域；
根据每个所述第一子信号对应的频域计算得到脑电特征集。
4.一种高铁司机反应时间估计装置，其特征在于，包括：
第一获取单元，用于获取第一信息，所述第一信息包括第一时间段内实时脑电信号EEG和第二时间段内的实时心电信号ECG，所述第一时间段和第二时间段的截止时刻均为当前时刻；
第二获取单元，用于获取原始数据集，所述原始数据集包括至少三个历史数据集，所述历史数据集包括历史脑电信号、历史心电信号和反应时间；
预处理单元，用于分别对所述第一信息和所述原始数据集进行预处理，并更新所述第一信息和所述原始数据集为预处理后的数据；
特征提取单元，用于对所述第一信息和所述原始数据集进行特征提取处理得到实时特征集和特征数据集，所述特征数据集包含脑电特征集和心电特征集；
模型建立单元，用于根据所述特征数据集建立并训练两级特征融合估计模型；
时间估计单元，用于将所述实时特征集作为所述两级特征融合估计模型输入信息，求解两级特征融合估计模型得到高铁司机的反应时间；
其中，所述模型建立单元还包括：
标准化单元，用于对所述特征数据集内每个元素进行标准化处理，并更新所述特征数据集为标准化处理后的数据，更新后的所述特征数据集内每个元素均位于预设最大值和预设最小值之间；
建立模型单元，用于建立卷积神经网络模型和长短期记忆人工神经网络模型；
提取模型单元，用于将所述特征数据集作为所述卷积神经网络模型输入信息，求解所述卷积神经网络模型得到融合特征数据集；
模型训练单元，用于分别利用所述融合特征数据集、所述脑电特征集和所述心电特征集训练一个所述长短期记忆人工神经网络模型，得到融合特征神经网络模型、脑电特征神经网络模型和心电特征神经网络模型；
建立融合模型单元，用于建立融合估计模型，所述融合估计模型的输入信息包括所述融合特征神经网络模型的估计结果、所述脑电特征神经网络模型的估计结果和所述心电特征神经网络模型的估计结果，所述融合估计模型的输出信息包括高铁司机反应时间。
5.根据权利要求4所述的高铁司机反应时间估计装置，其特征在于，所述预处理单元包括：
重采样单元，用于对第一信息进行预设频率阈值的降采样处理，得到降采样后的第一信息；
一级滤波单元，用于对第一信息进行预设频率范围的一级滤波处理得到一级滤波后的第一信息，所述一级滤波处理为预设频率宽度的巴特沃斯带通滤波器处理；
二级滤波单元，用于对所述实时脑电信号进行二级滤波处理，并更新所述实时脑电信号为二级滤波处理后的数据，所述二级滤波处理为空间滤波器处理。
6.根据权利要求4所述的高铁司机反应时间估计装置，其特征在于，所述实时特征集包括脑电特征集，所述特征提取单元包括：
第一分割单元，用于对实时脑电信号进行第一分割得到至少两段第一子信号，相邻的两段所述第一子信号的重叠百分比为预设数值，所述第一子信号的时间长度为预设的第一时间长度；
第一转化单元，用于对每段所述第一子信号进行FFT转化得到每个所述第一子信号对应的频域；
第一频域计算单元，用于根据每个所述第一子信号对应的频域计算得到脑电特征集。
7.一种高铁司机反应时间估计设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述高铁司机反应时间估计方法的步骤。
8.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述高铁司机反应时间估计方法的步骤。
CN202210214221.3A 2022-03-07 2022-03-07 高铁司机反应时间估计方法、装置、设备及可读存储介质 Active CN114343661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210214221.3A CN114343661B (zh) 2022-03-07 2022-03-07 高铁司机反应时间估计方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210214221.3A CN114343661B (zh) 2022-03-07 2022-03-07 高铁司机反应时间估计方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114343661A CN114343661A (zh) 2022-04-15
CN114343661B true CN114343661B (zh) 2022-05-27

Family

ID=81094725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210214221.3A Active CN114343661B (zh) 2022-03-07 2022-03-07 高铁司机反应时间估计方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114343661B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821968B (zh) * 2022-05-09 2022-09-13 西南交通大学 动车司机疲劳驾驶干预方法、装置、设备及可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107095670A (zh) * 2017-05-27 2017-08-29 西南交通大学 驾驶员反应时间预测方法
CN108846332A (zh) * 2018-05-30 2018-11-20 西南交通大学 一种基于clsta的铁路司机行为识别方法
CN109820525A (zh) * 2019-01-23 2019-05-31 五邑大学 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法
CN110660194A (zh) * 2019-09-05 2020-01-07 深圳市德赛微电子技术有限公司 一种驾驶监控预警方法及系统
WO2020205655A1 (en) * 2019-03-29 2020-10-08 Intel Corporation Autonomous vehicle system
WO2020253965A1 (en) * 2019-06-20 2020-12-24 Toyota Motor Europe Control device, system and method for determining perceptual load of a visual and dynamic driving scene in real time
CN112149908A (zh) * 2020-09-28 2020-12-29 深圳壹账通智能科技有限公司 车辆驾驶预测方法、系统、计算机设备及可读存储介质
CN112617835A (zh) * 2020-12-17 2021-04-09 南京邮电大学 一种基于迁移学习的多特征融合疲劳检测方法
CN113420624A (zh) * 2021-06-11 2021-09-21 华中师范大学 一种非接触式疲劳检测方法及系统
CN113415285A (zh) * 2021-07-07 2021-09-21 西南交通大学 一种驾驶员警觉度评估方法及系统
CN113591525A (zh) * 2020-10-27 2021-11-02 蓝海（福建）信息科技有限公司 一种深度融合面部表情和语音的驾驶员路怒症识别方法
CN113743471A (zh) * 2021-08-05 2021-12-03 暨南大学 一种驾驶评估方法及其系统
CN215820948U (zh) * 2021-03-12 2022-02-15 复旦大学 一种驾驶员状态监测装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765876A (zh) * 2018-05-31 2018-11-06 东北大学 基于多模信号的驾驶疲劳深度分析预警系统及方法
CN110555388A (zh) * 2019-08-06 2019-12-10 浙江大学 基于cnn和lstm的心内异常激动点定位模型构建方法
US11506888B2 (en) * 2019-09-20 2022-11-22 Nvidia Corp. Driver gaze tracking system for use in vehicles
CN111460892A (zh) * 2020-03-02 2020-07-28 五邑大学 一种脑电图模式分类模型的训练方法、分类方法及系统
US11751784B2 (en) * 2020-03-18 2023-09-12 Ford Global Technologies, Llc Systems and methods for detecting drowsiness in a driver of a vehicle
US11568655B2 (en) * 2020-03-26 2023-01-31 Intel Corporation Methods and devices for triggering vehicular actions based on passenger actions
CN111407260B (zh) * 2020-03-30 2021-07-20 华南理工大学 方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法
CN112528815A (zh) * 2020-12-05 2021-03-19 西安电子科技大学 基于多模态信息融合的疲劳驾驶检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107095670A (zh) * 2017-05-27 2017-08-29 西南交通大学 驾驶员反应时间预测方法
CN108846332A (zh) * 2018-05-30 2018-11-20 西南交通大学 一种基于clsta的铁路司机行为识别方法
CN109820525A (zh) * 2019-01-23 2019-05-31 五邑大学 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法
WO2020205655A1 (en) * 2019-03-29 2020-10-08 Intel Corporation Autonomous vehicle system
WO2020253965A1 (en) * 2019-06-20 2020-12-24 Toyota Motor Europe Control device, system and method for determining perceptual load of a visual and dynamic driving scene in real time
CN110660194A (zh) * 2019-09-05 2020-01-07 深圳市德赛微电子技术有限公司 一种驾驶监控预警方法及系统
CN112149908A (zh) * 2020-09-28 2020-12-29 深圳壹账通智能科技有限公司 车辆驾驶预测方法、系统、计算机设备及可读存储介质
CN113591525A (zh) * 2020-10-27 2021-11-02 蓝海（福建）信息科技有限公司 一种深度融合面部表情和语音的驾驶员路怒症识别方法
CN112617835A (zh) * 2020-12-17 2021-04-09 南京邮电大学 一种基于迁移学习的多特征融合疲劳检测方法
CN215820948U (zh) * 2021-03-12 2022-02-15 复旦大学 一种驾驶员状态监测装置
CN113420624A (zh) * 2021-06-11 2021-09-21 华中师范大学 一种非接触式疲劳检测方法及系统
CN113415285A (zh) * 2021-07-07 2021-09-21 西南交通大学 一种驾驶员警觉度评估方法及系统
CN113743471A (zh) * 2021-08-05 2021-12-03 暨南大学 一种驾驶评估方法及其系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Classification of pilots" mental states using a multimodal deep learning network;Han, SY; Kwak, NS; (...); Lee, SW;《BIOCYBERNETICS AND BIOMEDICAL ENGINEERING》;20191227;第40卷(第1期);第324-336页 *
Guo, ZZ ; Pan, YF ; (...) ; Dong, N.Recognizing Hazard Perception in a Visual Blind Area Based on EEG Features.《IEEE ACCESS》.2020, *
基于CNNLSTM的驾驶员精神负荷检测研究;刘宇;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》;20210815(第8期);第7-11、47-64页 *
基于脑电信号的动车司机对突发事件反应时间的预测方法研究;郭孜政,谭茜,吴志敏,潘雨帆,张俊;《铁道学报》;20181215;第40卷(第12期);第1-6页 *
机器学习在铁路列车调度调整中的应用综述;文超;李津;李忠灿;智利军;田锐;《交通运输工程与信息学报》;20210924;第20卷(第1期);第1-14页 *

Also Published As

Publication number Publication date
CN114343661A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
Rigas et al. Real-time driver's stress event detection
Pardey et al. A new approach to the analysis of the human sleep/wakefulness continuum
CN112869711B (zh) 一种基于深度神经网络的自动睡眠分期及迁移方法
CN102119857B (zh) 基于匹配追踪算法的疲劳驾驶脑电检测系统及检测方法
CN109646022B (zh) 儿童注意力评估系统及其方法
CN105893765B (zh) 一种基于Echarts的分级诊疗分析及数据可视化系统
CN107252313A (zh) 一种安全驾驶的监测方法及系统、汽车、可读存储介质
CN111951637B (zh) 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法
CN114343661B (zh) 高铁司机反应时间估计方法、装置、设备及可读存储介质
Wan et al. On‐road experimental study on driving anger identification model based on physiological features by ROC curve analysis
CN108420429A (zh) 一种基于多视角深度特征融合的脑电癫痫自动识别方法
CN109044280B (zh) 一种睡眠分期方法及相关设备
CN106913333B (zh) 一种持续性注意水平的敏感性特征指标的选取方法
EP2879582A1 (de) Vorrichtung, verfahren und applikation zur ermittlung eines aktuellen belastungsniveaus
CN104490391A (zh) 一种基于脑电信号的战斗人员状态监测系统
CN114391846A (zh) 一种基于过滤式特征选择的情绪识别方法及系统
CN113633296A (zh) 反应时间预测模型构建方法、装置、设备及可读存储介质
CN112914506A (zh) 睡眠质量检测方法、装置和计算机可读存储介质
CN116340332A (zh) 更新车载智能系统的场景库的方法、装置和车辆
CN116386845A (zh) 基于卷积神经网络和面部动态视频的精神分裂症诊断系统
Wang et al. EEG-based emergency braking intention prediction for brain-controlled driving considering one electrode falling-off
CN116115240A (zh) 基于多分支图卷积网络的脑电情绪识别方法
Tan et al. Detecting driver's distraction using long-term recurrent convolutional network
CN115908076A (zh) 基于历史多维数据流与主动反馈的居家养老环境改进方法
CN113191191A (zh) 一种基于用户习惯分析的社区疫情管理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant