CN111407260B - 方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法 - Google Patents

方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法 Download PDF

Info

Publication number
CN111407260B
CN111407260B CN202010239142.9A CN202010239142A CN111407260B CN 111407260 B CN111407260 B CN 111407260B CN 202010239142 A CN202010239142 A CN 202010239142A CN 111407260 B CN111407260 B CN 111407260B
Authority
CN
China
Prior art keywords
layer
electroencephalogram
representing
feature
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010239142.9A
Other languages
English (en)
Other versions
CN111407260A (zh
Inventor
杜广龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010239142.9A priority Critical patent/CN111407260B/zh
Publication of CN111407260A publication Critical patent/CN111407260A/zh
Application granted granted Critical
Publication of CN111407260B publication Critical patent/CN111407260B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了方向盘嵌入心电传感器的基于脑电图和心电图的疲劳检测方法，通过构建产品模糊卷积网络来进行疲劳检测，具体包括：S1、通过心电检测芯片获取心电数据，并使用脑波仪获取脑电时间序列数据；S2、采用包含积层的带反馈的模糊神经网络处理脑电时间序列数据，并获取脑电图特征；S3、搭建基于一维卷积神经网络框架的深度特征提取网络提取心电数据的疲劳特征，生成心电特征序列；S4、设计融合网络，同时输入心电特征序列与脑电图特征，将两种信号融合在一起，并给出预测值；S5、使用自适应矩估计算法进行优化，训练网络模型。可以降低噪声，提高检测精度，积层的引入减少了模糊神经网络对输入数据特征维数的限制，提高分类结果的准确度。

Description

方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法
技术领域
本发明属于疲劳检测领域，特别涉及方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法。
背景技术
随着汽车数量的迅速增加，安全驾驶从来没有像现在这样受到人们的关注。不幸的是，向驾驶员提供实时反馈，甚至通过智能分析环境来改变自动化状态，都是一项非常昂贵的任务。尽管如此，预测司机的潜在状态可以缓解这些问题。疲劳对驾驶有很大的影响，会影响一个人安全驾驶的能力。随着我们的道路变得越来越繁忙，疲劳断裂已经成为一个需要解决的问题。研究表明，多达35％到45％的交通事故的根本原因是疲劳。
如果有一个有效的辅助系统用于检测司机的睡意，将大大提高公共安全，减少交通事故。因此，开发这样一个系统是一个非常重要和有意义的研究课题。有许多可利用的信号用于检测疲劳驾驶。广泛使用的方法有心电图(ECG)和心率变异性监测；电眼图(EOG)监测捕捉眼球运动和眨眼活动；脑电图(EEG)监测脑电波分析。EOG测量与疲劳相关的眼部活动变化，ECG测量与疲劳相关的心率变化，EEG测量与疲劳相关的脑活动变化。脑电图是其中最重要的方法之一，多年来备受关注。
脑电图信号是一种生物电信号，由置于头部表面的多个电极以特定的空间布局记录下来。脑电图已广泛应用于疲劳分析。实际结果表明，脑电信号对人的警戒水平有很好的分析效果。基于脑电图的周期性卷积神经网络(ESTCNN)、递归自进化模糊神经网络、自组织神经模糊系统、新型自调节神经模糊框架等，已经提出了许多基于脑电图的疲劳分析算法，并取得了显著的性能。然而，尽管这些算法已经取得了显著的效果，但仍有改进的空间。当驾驶员出现严重疲劳时，使用EEG的模型将难以识别驾驶员是否疲劳。因此，将脑电图、心电图等不同类型的生物信号进行融合，可以有效提高疲劳检测的鲁棒性。脑电信号通常位于10～70个通道的高维子空间中，每个通道对应多个不同的频段。在分析高维数据时，基于fnn模型的隐层中有许多神经元未被激活。在这种情况下，基于fnn的模型会丢失更多有用的信息，难以获得准确的分类结果。脑电信号的质量常常是不稳定的、有噪声的，当受试者说话、眨眼或摇头时，所获得的脑电图信号包含大量与疲劳无关的特征，因此很难检测到。
发明内容
针对背景技术中提及的现有技术的局限性，本发明提出了一种新的深度网络框架——产品模糊卷积网络(PFCN)，在自反馈的模糊神经网络中引入了积层，来处理基于脑电图和心电信号的疲劳分析。PFCN包括三个模块，第一个模块采用带反馈的模糊神经网络(FNN)处理脑电时间序列数据。在该子神经网络中，引入了积层，积层分别计算不同特征之间的内积与外积，能够更充分的考虑特征之间的相关性。对于以往的FNN，其空间激活层的激活度不够平滑，当特征维度过大时，FNN的效果会降低。而积层能够更充分的考虑特征之间的相关性，将积层作为空间激活函数能够使得模型的空间激活度相对平滑，因而，积层的引入减少了模糊神经网络对输入数据特征维数的限制。第二个模块将心电数据转换成心电特征序列。最后一个模块(融合网络)将提取的心电特征与脑电图特征融合在一起并输出最终结果。
本发明目的至少通过如下技术方案之一实现。
方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法，构建产品模糊卷积网络来进行疲劳检测，具体包括：
S1、心电检测芯片的芯片本体嵌入固定于方向盘中，从芯片引出的检测用的极片贴在方向盘两侧的握柄上，司机的掌心握在握柄上来检测心电数据，并使用脑波仪获取脑电时间序列数据；
S2、采用包含积层的带反馈的模糊神经网络处理脑电时间序列数据，并获取脑电图特征；
S3、搭建基于一维卷积神经网络框架的深度特征提取网络提取心电数据的疲劳特征，生成心电特征序列；
S4、设计融合网络，同时输入脑电图特征与一维卷积神经网络输出的心电特征序列，将两种信号融合在一起，并给出预测值；
S5、使用自适应矩估计(ADAM)算法进行优化，训练网络模型。
进一步地，步骤S2所述模糊神经网络有6层，需要指出的是，u(l)表示第l层的的输出，没有特殊说明的情况下，W表示给定的可优化的权重，b表示可优化的阈值。
第一层为输入层，
Figure BDA0002431966740000021
其中，
Figure BDA0002431966740000022
为第一层的输出，xi代表输入的特征值。
第二层为模糊化层，使用高斯隶属度函数计算输入数据的隶属度值，计算公式如下：
Figure BDA0002431966740000031
其中，
Figure BDA0002431966740000032
为第二层的输出，mijand
Figure BDA0002431966740000033
分别是第i个输入所对应的第j个隐藏类的高斯成员函数的均值与方差；
第三层为积层，计算每个节点的隶属度，积层分为两个部分，一是线性部分lz，另一个是非线性部分lp，非线性部分lp利用一个外积来考虑不同的脑电图特征序列可能产生的分布组合，从而更好地考虑特征之间的相关性，积层的公式如下：
Figure BDA0002431966740000034
z＝[f1 f2 … fn]
Figure BDA0002431966740000035
Figure BDA0002431966740000036
Figure BDA0002431966740000037
Figure BDA0002431966740000038
其中，lp和lz表示内积层特征向量，fi，z,p，f∑这些都是方便公式表达的中间变量，fi代表第二层输出的第i列；n代表第二层输出的列数；z代表第二层的全部输出；f∑代表第二层的列fi的和；p代表第二层的列fi的和f∑的内积；W是给定的权重。
第四层为循环层，采用自反馈的方法将以往提取的脑电信号的特征信息整合到当前提取的脑电信号的特征信息中，循环层的计算公式如下：
u(4)＝relu(lz+lp+b)
u(2)＝sigmoid(Wu(4)+b) #(5)
其中，u(4)为第四层的输出，u(2)为第二层的输出，b为偏值
第五层为逻辑推理层，第一层的输入以及一系列的权值合并计算如下：
Figure BDA0002431966740000039
其中，
Figure BDA00024319667400000310
表示第4层的第a行的第j列的输出，wji是给定的可优化权重。
第六层为输出层，进行去模糊化，将第五层的所有节点与第四层的循环节点进行融合，
Figure BDA0002431966740000041
其中，R为模糊化规则的总数，
Figure BDA0002431966740000042
为第六层的输出，
Figure BDA0002431966740000043
为第五层的输出，
Figure BDA0002431966740000044
表示当前时序的时间发射强度。
进一步地，步骤S3所述基于一维卷积神经网络框架的深度特征提取网络包括四层，u(l)表示第l层的的输出，没有特殊说明的情况下，W表示给定的可优化的权重，b表示可优化的阈值，
第一层为输入层，输入心电数据，
第二层、第三层均为一维卷积层，
Figure BDA0002431966740000045
其中，uj代表输出向量中的第j维的值，wi是给定的第i个可优化权重,xi+j表示第i+j个心电特征值，bj代表阈值。
第四层为全连接层，
Figure BDA0002431966740000046
其中，wji为对应上一层的第j维输出的第i个可优化权重。
进一步地，步骤S4所述融合网络包括4层，
第一层为输入层，输入心电数据的疲劳特征与脑电图特征，
第二层为融合层，采用双线性池法融合脑电图特征和心电数据的疲劳特征，融合公式如下：
Figure BDA0002431966740000047
其中，
Figure BDA0002431966740000048
代表融合特征第i个特征值，uE代表脑电图特征，(uE)T代表脑电图特征的转置，uH代表心电的疲劳特征，bi代表阈值
另外，考虑到EEG和ECG可能不能很好的融合，这一层会额外地使用EEG和ECG的原始数据，
Figure BDA0002431966740000049
Figure BDA00024319667400000410
其中，
Figure BDA00024319667400000411
代表脑电图特征的第i个特征值，
Figure BDA00024319667400000412
代表心电的疲劳特征第i个特征值
第三层为加权层，计算每个特征对应的权值：
Figure BDA0002431966740000051
Figure BDA0002431966740000052
Figure BDA0002431966740000053
其中，wF代表融合特征的权重，wE代表脑电图特征的权重，wH代表心电的疲劳特征的权重，
Figure BDA0002431966740000054
是给定的可优化权重，
Figure BDA0002431966740000055
是对应于融合特征的第i个特征的可优化权重、
Figure BDA0002431966740000056
是对应于脑电特征的第i个特征的可优化权重、
Figure BDA0002431966740000057
是对应于心电特征的第i个特征的可优化权重、
Figure BDA0002431966740000058
代表脑电图特征的第i个特征值，
Figure BDA0002431966740000059
代表心电的疲劳特征第i个特征值，bF是对应于融合特征的阈值、bE是对应于脑电特征的阈值、bF是对应于心电特征的阈值
第四层为输出层，根据权值和这些特征序列，得到最终的分类结果：
Figure BDA00024319667400000510
Figure BDA00024319667400000511
Figure BDA00024319667400000512
这里的
Figure BDA00024319667400000513
是给定的可优化权重
Figure BDA00024319667400000514
其中，一共有两种类别，疲劳以及不疲劳。yF代表融合脑电以及心电的预测的分类、yF代表单独使用脑电的预测的分类、yH代表单独使用心电的预测的分类，y代表加权yF，yE，yH后得到的最终的预测的分类。
进一步地，步骤S5中，采用自适应矩估计ADAM算法对参数进行优化，经过偏移校正后，自适应矩估计对学习率形成动态约束，自适应矩估计ADAM算法公式为：
Figure BDA00024319667400000515
Figure BDA00024319667400000516
Figure BDA0002431966740000061
mt＝β1mt-1+(1-β1)gt #(13)
vt＝β2vt-1+(1-β2)gt 2 #(14)
其中，t是时间步，mt表示第t步的梯度的移动均值的指数；vt表示第t步的二阶梯度；gt表示第t步的一阶梯度；wt是第t步的中间变量，
Figure BDA0002431966740000062
是mt的更新量；
Figure BDA0002431966740000063
是vt的更新量；β1、β2、ε，α是常数，凭经验选取合适的大小，这里右上角的t代表t次方。
与现有技术相比，本发明具有以下有益效果：
(1)脑电图和心电图是相辅相成的，本检测方法将脑电图和心电图结合起来进行疲劳识别，脑电图与心电图的有效结合可以使驾驶员在严重疲劳的情况下也能得到准确有效的结果，有效提高疲劳检测的鲁棒性，提高检测方法的精度。
(2)本发明在模糊神经网络中引入一个积层。这一层的主要目的是分析脑电图和心电特征之间的相关性，使得神经网络具有处理高维数据的能力。
(3)采集脑电数据和心电数据用于疲劳检测，不会因为司机摇头、说话或眨眼而使得采集的数据产生明显的噪音。
附图说明
图1为本发明实施例提供的一种基于脑电图和心电图的疲劳检测方法流程图。
图2为本发明实施例提供的用于处理脑电数据的模糊神经网络结构图。
图3为本发明实施例提供用于处理心电数据的基于一维卷积神经网络框架的深度特征提取网络的结构图。
图4为本发明实施例提供的融合网络的结构图。
具体实施方式
下面结合实例和附图对本发明做进一步的说明，但本发明的实施方式不限于此。
请参阅图1-图4，本实施例提供一种方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法，构建产品模糊卷积网络来进行疲劳检测，具体包括：
S1、心电检测芯片的芯片本体嵌入固定于方向盘中，从芯片引出的检测用的极片贴在方向盘两侧的握柄上，通过司机的掌心握在握柄上来获取心电数据，并使用脑波仪获取脑电时间序列数据；
S2、采用包含积层的带反馈的模糊神经网络处理脑电时间序列数据，并获取脑电图特征；
S3、搭建基于一维卷积神经网络框架的深度特征提取网络提取心电数据的疲劳特征，生成心电特征序列；
S4、设计融合网络，同时输入脑电图特征与一维卷积神经网络输出的心电特征序列，将两种信号融合在一起，并给出预测值；
S5、使用自适应矩估计(ADAM)算法进行优化，训练网络模型。
本实施例中采用Emotiv Epoc设备来获取脑电时间序列数据，心电检测芯片采用BMD101型号。
具体的，如图2所示，步骤S2所述模糊神经网络有6层，需要指出的是，u(l)表示第l层的的输出，没有特殊说明的情况下，W表示给定的可优化的权重，b表示可优化的阈值。
第一层为输入层，
Figure BDA0002431966740000071
其中，
Figure BDA0002431966740000072
为第一层的输出，xi代表输入的特征值。
第二层为模糊化层，使用高斯隶属度函数计算输入数据的隶属度值，计算公式如下：
Figure BDA0002431966740000073
其中，
Figure BDA0002431966740000074
为第二层的输出，mijand
Figure BDA0002431966740000075
分别是第i个输入所对应的第j个隐藏类的高斯成员函数的均值与方差；
第三层为积层，计算每个节点的隶属度，积层分为两个部分，一是线性部分lz，另一个是非线性部分lp，非线性部分lp利用一个外积来考虑不同的脑电图特征序列可能产生的分布组合，从而更好地考虑特征之间的相关性，积层的公式如下：
Figure BDA0002431966740000076
z＝[f1 f2 … fn]
Figure BDA0002431966740000077
Figure BDA0002431966740000078
Figure BDA0002431966740000081
Figure BDA0002431966740000082
其中，lp和lz表示内积层特征向量，fi，z,p，f∑这些都是方便公式表达的中间变量，fi代表第二层输出的第i列；n代表第二层输出的列数；z代表第二层的全部输出；f∑代表第二层的列fi的和；p代表第二层的列fi的和f∑的内积；W是给定的权重。
第四层为循环层，采用自反馈的方法将以往提取的脑电信号的特征信息整合到当前提取的脑电信号的特征信息中，循环层的计算公式如下：
u(4)＝relu(lz+lp+b)
u(2)＝sigmoid(Wu(4)+b) #(5)
其中，u(4)为第四层的输出，u(2)为第二层的输出，b为偏值
第五层为逻辑推理层，第一层的输入以及一系列的权值合并计算如下：
Figure BDA0002431966740000083
其中，
Figure BDA0002431966740000084
表示第4层的第a行的第j列的输出，wji是给定的可优化权重。
第六层为输出层，进行去模糊化，将第五层的所有节点与第四层的循环节点进行融合，
Figure BDA0002431966740000085
其中，R为模糊化规则的总数，
Figure BDA0002431966740000086
为第六层的输出，
Figure BDA0002431966740000087
为第五层的输出，
Figure BDA0002431966740000088
表示当前时序的时间发射强度。
具体的，如图3所示，步骤S3所述基于一维卷积神经网络框架的深度特征提取网络包括四层，u(l)表示第l层的的输出，没有特殊说明的情况下，W表示给定的可优化的权重，b表示可优化的阈值，
第一层为输入层，输入心电数据，
第二层、第三层均为一维卷积层，
Figure BDA0002431966740000089
其中，uj代表输出向量中的第j维的值，wi是给定的第i个可优化权重,xi+j表示第i+j个心电特征值，bj代表阈值。
第四层为全连接层，
Figure BDA0002431966740000091
其中，wji为对应上一层的第j维输出的第i个可优化权重。
具体的，如图4所示，步骤S4所述融合网络包括4层，
第一层为输入层，输入心电数据的疲劳特征与脑电图特征，
第二层为融合层，采用双线性池法融合脑电图特征和心电数据的疲劳特征，融合公式如下：
Figure BDA0002431966740000092
其中，
Figure BDA0002431966740000093
代表融合特征第i个特征值，uE代表脑电图特征，(uE)T代表脑电图特征的转置，uH代表心电的疲劳特征，bi代表阈值
另外，考虑到EEG和ECG可能不能很好的融合，这一层会额外地使用EEG和ECG的原始数据，
Figure BDA0002431966740000094
Figure BDA0002431966740000095
其中，
Figure BDA0002431966740000096
代表脑电图特征的第i个特征值，
Figure BDA0002431966740000097
代表心电的疲劳特征第i个特征值
第三层为加权层，计算每个特征对应的权值：
Figure BDA0002431966740000098
Figure BDA0002431966740000099
Figure BDA00024319667400000910
其中，wF代表融合特征的权重，wE代表脑电图特征的权重，wH代表心电的疲劳特征的权重，
Figure BDA00024319667400000911
是给定的可优化权重，
Figure BDA00024319667400000912
是对应于融合特征的第i个特征的可优化权重、
Figure BDA00024319667400000913
是对应于脑电特征的第i个特征的可优化权重、
Figure BDA00024319667400000914
是对应于心电特征的第i个特征的可优化权重、
Figure BDA00024319667400000915
代表脑电图特征的第i个特征值，
Figure BDA00024319667400000916
代表心电的疲劳特征第i个特征值，bF是对应于融合特征的阈值、bE是对应于脑电特征的阈值、bF是对应于心电特征的阈值。
第四层为输出层，根据权值和这些特征序列，得到最终的分类结果：
Figure BDA0002431966740000101
Figure BDA0002431966740000102
Figure BDA0002431966740000103
这里的
Figure BDA0002431966740000104
是给定的可优化权重
Figure BDA0002431966740000105
其中，yF代表融合脑电以及心电的预测的分类、yE代表单独使用脑电的预测的分类、yH代表单独使用心电的预测的分类，y代表加权yF，yE，yH后得到的最终的预测的分类。本实施例中疲劳检测的结果包括疲劳和不疲劳，最终通过上述公式y输出司机是属于疲劳状态或不疲劳状态。
步骤S5中，采用自适应矩估计ADAM算法对参数进行优化，经过偏移校正后，自适应矩估计对学习率形成动态约束，自适应矩估计ADAM算法公式为：
Figure BDA0002431966740000106
Figure BDA0002431966740000107
Figure BDA0002431966740000108
mt＝β1mt-1+(1-β1)gt #(13)
vt＝β2vt-1+(1-β2)gt 2 #(14)
其中，t是时间步，mt表示第t步的梯度的移动均值的指数；vt表示第t步的二阶梯度；gt表示第t步的一阶梯度；wt是第t步的中间变量，
Figure BDA0002431966740000109
是mt的更新量；
Figure BDA00024319667400001010
是vt的更新量；β1、β2、ε，α是常数，凭经验选取合适的大小，这里右上角的t代表t次方。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (4)

1.方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法，其特征在于，构建产品模糊卷积网络来进行疲劳检测，具体包括：
S1、心电检测芯片的芯片本体嵌入固定于方向盘中，从芯片引出的检测用的极片贴在方向盘两侧的握柄上，通过司机的掌心握在握柄上来获取心电数据，并使用脑波仪获取脑电时间序列数据；
S2、采用包含积层的带反馈的模糊神经网络处理脑电时间序列数据，并获取脑电图特征；所述模糊神经网络有6层，
第一层为输入层，
Figure FDA0003028845820000011
其中，
Figure FDA0003028845820000012
为第一层的输出，xi代表输入的特征值，i＝1，2…n；
第二层为模糊化层，使用高斯隶属度函数计算输入数据的隶属度值，计算公式如下：
Figure FDA0003028845820000013
其中，
Figure FDA0003028845820000014
为第二层的输出，mij 和
Figure FDA0003028845820000015
分别是第i个输入所对应的第j个隐藏类的高斯成员函数的均值与方差；
第三层为积层，计算每个节点的隶属度，积层分为两个部分，一是线性部分lz，另一个是非线性部分lp，非线性部分lp利用一个外积来考虑不同的脑电图特征序列可能产生的分布组合，从而更好地考虑特征之间的相关性，积层的公式如下：
Figure FDA0003028845820000016
z＝[f1 f2 … fn]
Figure FDA0003028845820000017
p＝f∑(f∑)T
Figure FDA0003028845820000018
Figure FDA0003028845820000019
其中，lp和lz表示积层特征向量，fi，z，p，f∑这些都是方便公式表达的中间变量，fi代表第二层输出的第i列；n代表第二层输出的列数；z代表第二层的全部输出；f∑代表第二层的列fi的和；p代表第二层的列fi的和f∑的内积；W是给定的权重，
第四层为循环层，采用自反馈的方法将以往提取的脑电信号的特征信息整合到当前提取的脑电信号的特征信息中，循环层的计算公式如下：
u(4)＝relu(lz+lp+b)
u(2)＝sigmoid(Wu(4)+b) #(4)
其中，u(4)为第四层的输出，u(2)为第二层的输出，b为偏置；
第五层为逻辑推理层，第一层的输入以及一系列的权值合并计算如下：
Figure FDA0003028845820000021
其中，
Figure FDA0003028845820000022
表示第5层的第j列的输出，wji是给定的可优化权重；
第六层为输出层，进行去模糊化，将第五层的所有节点与第四层的循环节点进行融合，
Figure FDA0003028845820000023
其中，R为模糊化规则的总数，
Figure FDA0003028845820000024
为第六层的输出，
Figure FDA0003028845820000025
表示当前时序的时间发射强度，
Figure FDA0003028845820000026
S3、搭建基于一维卷积神经网络框架的深度特征提取网络提取心电数据的疲劳特征，生成心电特征序列；
S4、设计融合网络，同时输入脑电图特征与一维卷积神经网络输出的心电特征序列，将两种信号融合在一起，并给出预测值；
S5、使用自适应矩估计ADAM算法进行优化，训练网络模型。
2.根据权利要求1所述的方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法，其特征在于，步骤S3所述基于一维卷积神经网络框架的深度特征提取网络包括四层，
第一层为输入层，输入心电数据，
第二层、第三层均为一维卷积层，
Figure FDA0003028845820000031
其中，uj代表输出向量中的第j维的值，wi是给定的第i个可优化权重，xi+j表示第i+j个心电特征值，bj代表阈值；
第四层为全连接层，
Figure FDA0003028845820000032
其中，wji为对应上一层的第j维输出的第i个可优化权重。
3.根据权利要求1所述的方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法，其特征在于，步骤S4所述融合网络包括4层，
第一层为输入层，输入心电数据的疲劳特征与脑电图特征，
第二层为融合层，采用双线性池法融合脑电图特征和心电数据的疲劳特征，融合公式如下：
Figure FDA0003028845820000033
其中，
Figure FDA0003028845820000034
代表融合特征第i个特征值，uE代表脑电图特征，(uE)T代表脑电图特征的转置，uH代表心电的疲劳特征，bi代表阈值，Wi代表权重；
另外，考虑到EEG和ECG可能不能很好的融合，这一层会额外地使用EEG和ECG的原始数据
Figure FDA0003028845820000035
和
Figure FDA0003028845820000036
Figure FDA0003028845820000037
Figure FDA0003028845820000038
其中，
Figure FDA0003028845820000039
代表脑电图特征的第i个特征值，
Figure FDA00030288458200000310
代表心电的疲劳特征第i个特征值
第三层为加权层，计算每个特征对应的权值：
Figure FDA00030288458200000311
Figure FDA00030288458200000312
Figure FDA0003028845820000041
其中，wF代表融合特征的权重，wE代表脑电图特征的权重，wH代表心电的疲劳特征的权重，
Figure FDA0003028845820000042
是给定的可优化权重，
Figure FDA0003028845820000043
是对应于融合特征的第i个特征的可优化权重、
Figure FDA0003028845820000044
是对应于脑电特征的第i个特征的可优化权重、
Figure FDA0003028845820000045
是对应于心电特征的第i个特征的可优化权重、
Figure FDA0003028845820000046
代表脑电图特征的第i个特征值，
Figure FDA0003028845820000047
代表心电的疲劳特征第i个特征值，bF是对应于融合特征的阈值，bE是对应于脑电特征的阈值，bH是对应于心电特征的阈值；
第四层为输出层，根据权值和这些特征序列，得到最终的分类结果：
Figure FDA0003028845820000048
Figure FDA0003028845820000049
Figure FDA00030288458200000410
这里的
Figure FDA00030288458200000411
是给定的可优化权重
Figure FDA00030288458200000412
其中，yF代表融合脑电以及心电的预测的分类，yE代表单独使用脑电的预测的分类，yH代表单独使用心电的预测的分类，y代表加权yF，yE，yH后得到的最终的预测的分类。
4.根据权利要求1所述的方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法，其特征在于，步骤S5中，采用自适应矩估计ADAM算法对参数进行优化，经过偏移校正后，自适应矩估计对学习率形成动态约束，自适应矩估计ADAM算法公式为：
Figure FDA00030288458200000413
Figure FDA00030288458200000414
Figure FDA00030288458200000415
mt＝β1mt-1+(1-β1)gt #(16)
vt＝β2vt-1+(1-β2)gt 2 #(17)
其中，t是时间步，mt表示第t步的梯度的移动均值的指数；vt表示第t步的二阶梯度；gt表示第t步的一阶梯度；wt是第t步的中间变量，
Figure FDA0003028845820000051
是mt的更新量；
Figure FDA0003028845820000052
是vt的更新量；β1、β2、ε，α是常数。
CN202010239142.9A 2020-03-30 2020-03-30 方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法 Expired - Fee Related CN111407260B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010239142.9A CN111407260B (zh) 2020-03-30 2020-03-30 方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010239142.9A CN111407260B (zh) 2020-03-30 2020-03-30 方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法

Publications (2)

Publication Number Publication Date
CN111407260A CN111407260A (zh) 2020-07-14
CN111407260B true CN111407260B (zh) 2021-07-20

Family

ID=71485372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010239142.9A Expired - Fee Related CN111407260B (zh) 2020-03-30 2020-03-30 方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法

Country Status (1)

Country Link
CN (1) CN111407260B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132475A (zh) * 2020-09-27 2020-12-25 上海应用技术大学 司机驾驶安全绩效考核方法及系统
CN112494044A (zh) * 2020-11-09 2021-03-16 沈阳东软智能医疗科技研究院有限公司 疲劳驾驶检测方法、装置、可读存储介质及电子设备
CN114912568A (zh) * 2021-02-09 2022-08-16 日本电气株式会社 数据处理的方法、设备和计算机可读存储介质
CN114343637B (zh) * 2021-12-29 2023-10-13 河北体育学院 基于卷积和循环神经网络运动员心理压力评估方法及系统
CN114343661B (zh) * 2022-03-07 2022-05-27 西南交通大学 高铁司机反应时间估计方法、装置、设备及可读存储介质
CN115281676B (zh) * 2022-10-08 2023-01-31 齐鲁工业大学 基于gru神经网络和ecg信号的疲劳检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104127195A (zh) * 2014-07-29 2014-11-05 杭州电子科技大学 一种融合脑电和心电信号的疲劳驾驶检测方法
CN107495959A (zh) * 2017-07-27 2017-12-22 大连大学 一种基于一维卷积神经网络的心电信号分类方法
CN109532999A (zh) * 2018-12-12 2019-03-29 南京七岩电子科技有限公司 一种心电方向盘

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144290B (zh) * 2013-05-10 2017-10-31 上海弘视通信技术有限公司 智能交通领域双模式多目标的成像控制方法及其装置
US20190320979A1 (en) * 2018-04-20 2019-10-24 Emotiv Inc. Method and system for collecting and processing bioelectrical signals
CN108510012B (zh) * 2018-05-04 2022-04-01 四川大学 一种基于多尺度特征图的目标快速检测方法
CN110675321A (zh) * 2019-09-26 2020-01-10 兰州理工大学 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN110866537B (zh) * 2019-09-27 2022-10-25 华南理工大学 一种基于脑电波的用于游戏评估的情感识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104127195A (zh) * 2014-07-29 2014-11-05 杭州电子科技大学 一种融合脑电和心电信号的疲劳驾驶检测方法
CN107495959A (zh) * 2017-07-27 2017-12-22 大连大学 一种基于一维卷积神经网络的心电信号分类方法
CN109532999A (zh) * 2018-12-12 2019-03-29 南京七岩电子科技有限公司 一种心电方向盘

Also Published As

Publication number Publication date
CN111407260A (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN111407260B (zh) 方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法
Nazmy et al. Adaptive neuro-fuzzy inference system for classification of ECG signals
Zadeh et al. Classification of the electrocardiogram signals using supervised classifiers and efficient features
Sabeti et al. Selection of relevant features for EEG signal classification of schizophrenic patients
Sun et al. Multi-label ECG signal classification based on ensemble classifier
CN114052735B (zh) 一种基于深度领域自适应的脑电情绪识别方法及系统
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
Sai A review on arrhythmia classification using ECG signals
Huang et al. A review of electroencephalogram signal processing methods for brain-controlled robots
CN106236027B (zh) 一种脑电与温度相结合的抑郁人群判定系统
CN111387975B (zh) 基于机器学习的脑电信号识别方法
CN116269249B (zh) 一种脑卒中风险预测方法和系统
CN114595725B (zh) 一种基于加法网络和监督对比学习的脑电信号分类方法
Fauzi et al. Energy extraction method for EEG channel selection
Pandey et al. A multistage deep residual network for biomedical cyber-physical systems
Bataineh et al. Early detection of cardiac diseases from electrocardiogram using artificial intelligence techniques
Nazmy et al. Classification of cardiac arrhythmia based on hybrid system
Yu et al. GNN-based depression recognition using spatio-temporal information: a fNIRS study
CN111461206B (zh) 一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法
Pandey et al. Epileptic seizure classification using Battle Royale search and rescue optimization-based deep LSTM
Shao et al. EEG-Based Mental Workload Classification Method Based on Hybrid Deep Learning Model Under IoT
CN114983447B (zh) 一种基于ai技术的人体动作识别、分析与储存的可穿戴装置
Zhang et al. ECG signal classification based on fusion of hybrid CNN and wavelet features by DS evidence theory
CN114176598A (zh) 基于多模态的癫痫发病预警方法及智能手环装置
Sabeti et al. Using genetic programming to select the informative EEG-based features to distinguish schizophrenic patients

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210720