CN111461206A - 一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法 - Google Patents

一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法 Download PDF

Info

Publication number
CN111461206A
CN111461206A CN202010239769.4A CN202010239769A CN111461206A CN 111461206 A CN111461206 A CN 111461206A CN 202010239769 A CN202010239769 A CN 202010239769A CN 111461206 A CN111461206 A CN 111461206A
Authority
CN
China
Prior art keywords
layer
electroencephalogram
output
network
fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010239769.4A
Other languages
English (en)
Other versions
CN111461206B (zh
Inventor
杜广龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010239769.4A priority Critical patent/CN111461206B/zh
Publication of CN111461206A publication Critical patent/CN111461206A/zh
Application granted granted Critical
Publication of CN111461206B publication Critical patent/CN111461206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Psychology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Automation & Control Theory (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)

Abstract

本发明公开了一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法，提出采用tsk型卷积递归模糊网络(TCRFN)用于驾驶员疲劳检测。具体包括：S1、将脑波仪电极的空间位置投影到二维平面，基于这个二维平面将脑电数据插值到二维平面；S2、搭建基于卷积神经网络框架的深度特征提取网络提取脑电波的疲劳特征，提取的同时对特征进行降噪处理；S3、将深度特征提取网络提取的疲劳特征输入到带自反馈的具有对数形式的空间发射层函数的模糊神经网络，给出分类结果；S4、设计损失函数，使用ADAM优化方法，训练网络模型。该方法能够提取从脑电信号中提取空间相关性和时间依赖性，对数形式的空间发射层函数性能更平滑，提高了模型的预测精度。

Description

一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法
技术领域
本发明属于疲劳检测领域，特别涉及一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法。
背景技术
驾驶安全是驾驶中最受关注的问题之一。通过智能识别复杂的外部世界来处理驾驶安全问题的成本太高，无法为驾驶员提供实时的通知反馈，也无法快速、自动地调整驾驶条件。同时，驾驶员的警戒状态对驾驶安全有着很大的影响。疲劳驾驶被认为是导致交通事故的主要因素之一。因此，开发一种能够有效检测驾驶员疲劳状态的系统是缓解交通事故的重要途径之一。
到目前为止，一些广泛使用的驾驶员疲劳检测方法被提出，如心电图(ECG)和心率变异性监测疲劳、眼电图(EOG)监测眼球运动和闪烁的活动与疲劳有关，和脑电图(EEG)测量大脑活动的变化与疲劳相关的。然而，EOG可能因地理和文化背景的不同而不同，在一定程度上可能不可靠。在以往的研究中，利用脑电图信号检测驾驶疲劳是一种更为有效的方法。这是因为脑电图信号包含了大脑运行的各种状态信息，能够正确反映身体的生理和心理状态。此外，随着可穿戴式脑电图设备的迅速发展，利用脑电图信号进行疲劳驾驶检测具有越来越多的实用价值和广阔的应用前景。由于脑电信号的优点，常被认为是分析人的警觉性的较好选择。此外，还可以通过大脑神经元的活动来对大脑的状态或思想进行分类。
脑电图信号由安置在固定头部空间并连接大脑皮层的多个活动电极记录。由于脑电数据量大，传统的脑电数据特征提取方法可能会忽略一些重要信息。近年来，基于DL技术的先进方法在脑电分类任务中也表现出了良好的性能。更进一步，利用模糊神经网络(FNN)作为骨干网络的预测模型能够取得良好的效果，此外，由于脑电图的时间性，目前，越来越多的基于脑电信号的模糊神经网络和循环神经网络相结合的模型被提出并取得了显著的效果，然而，在一些的场景中(例如，低质量的设备和嘈杂的外部环境)，没有很好地研究噪声对这些模型准确性的影响。这将限制模型的预测精度。FNN空间触发层函数的激活性能不够平滑，限制了其特征提取的能力。换句话说，对于传统的FNN，使用更大的特征维数并不能显著提高模型预测的精度。因此，许多模糊神经网络分类器的预测精度有限。
发明内容
本发明的目的是为了解决上述现有技术存在的缺陷，提出了一种新的神经网络框架，即tsk型卷积递归模糊网络(TCRFN)，用于驾驶员疲劳检测。TCRFN首先利用电极的空间坐标将脑电图数据转换成二维图片，然后利用卷积神经网络(Convolutional NeuralNetworks，CNN)模型提取该图片的特征，CNN的目标是减少甚至消除噪音的影响。在此基础上，针对脑电图数据的时间性，提出了一种新的反馈神经网络，提高了输出的准确性和平稳性。
本发明的目的至少通过如下技术方案之一实现。
一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法，采用tsk型卷积递归模糊网络进行疲劳监测，具体包括：
S1、将脑波仪电极的空间位置投影到二维平面，基于这个二维平面将脑电数据插值为二维平面；
S2、搭建基于卷积神经网络框架的深度特征提取网络提取脑电波的疲劳特征，提取的同时对特征进行降噪处理；
S3、将深度特征提取网络提取的疲劳特征输入到带自反馈的具有对数形式的空间发射层函数的模糊神经网络，给出分类结果；总共两种类别，一种为不疲劳，一种为疲劳。
S4、设计损失函数，使用ADAM优化方法，训练网络模型。
进一步地，所述步骤S1具体包括以下步骤：
S11、假设大脑皮层分布在一个球面上，在给定的球面坐标系中，测量和计算电极的坐标，并用投影法将电极坐标投影到二维空间中，获得二维坐标，
S12、基于以上的二维平面将所有电极的某一频带的特征值插值到二维平面，从而将该平面转换成一个16x16图像，将脑电图数据转换为一系列16x16幅图像，每幅图像包含5个通道，分别为theta、alpha、pre-beta、post-beta和gamma。
进一步地，步骤S11中，用脑电设备上所有电极的中心点在XOY平面上的投影点C作为二维平面的原点，将其他电极投影到该二维平面，从而将各三维电极坐标转换为相应的二维坐标。
进一步地，步骤S2搭建的基于卷积神经网络框架的深度特征提取网络包括9层，分别是：输入层，卷积层Conv，卷积层Conv，最大池化层Max pool，卷积层Conv，最大池化层Maxpool，加权层Scale，卷积层Conv，全局平均池化层global avg pool。
Conv：使用的滤波器大小为3x3，卷积层可以在每个图像的边缘填充0，在每次卷积操作之后，使用batch归一化层来加速CNN的收敛，然后是Relu激活层，
Max pool：使用一个2x2过滤器来从图片的每个2x2区域中选择一个最大值，
Scale：每个通道都有加权，每个通道乘以序列中对应位置的特征值，
global avg pool：计算每个通道所有值的平均值，用于再生特征序列。
进一步地，使用具有16个电极标准的脑电传感器设备进行脑电信号采集，其中有两个电极为基准电极，有效采集脑电信号的电极一共有14个，每个电极包含5个波段，分别为theta、alpha、pre-beta、post-beta和gamma，因此CNN的输入为70D数据，CNN通过拟合策略降低噪声。
进一步地，所述CNN通过拟合策略降低噪声，
获取原始输入样本，基于原始输入样本生成具有不同噪声的噪声样本，将原始输入样本和噪声样本分别发送到相同的两个CNNs；然后通过网络训练，使噪声样本的输出结果与无噪声的原始输入样本的输出结果相似。为了有效地利用拟合策略，需要人为地生成了一些具有不同噪声的样本数据。
进一步地，步骤S3所述模糊神经网络分为6层，
第一层为输入层，将深度特征提取网络提取的疲劳特征输入第一层，
Figure BDA0002432165800000031
其中，
Figure BDA0002432165800000032
代表第一层的输出，xi代表输入的特征值
第二层为模糊化层，使用高斯隶属度函数计算输入数据的隶属度值，计算公式如下：
Figure BDA0002432165800000033
其中，mijand
Figure BDA0002432165800000034
分别是第i个输入所对应的第j个隐藏类的高斯成员函数的均值与方差，
Figure BDA0002432165800000035
表示第二层的输出，
第三层为空间发射层，用于计算每个节点的隶属度，
Figure BDA0002432165800000036
其中，
Figure BDA0002432165800000037
表示第三层的输出，Fj是空间发射强度。
第四层为循环层，使用其输出来生成反馈值，然后将这些反馈值直接提供给该层的输入，形成一个自循环，函数如下：
Figure BDA0002432165800000041
上式中，
Figure BDA0002432165800000042
其中，
Figure BDA0002432165800000043
表示第四层的输出，Fj(t)是当前时序的空间发射强度，wij是给定的可优化的权重。
Figure BDA0002432165800000044
表示当前时序的时间发射强度，hj是中间变量。
第五层为逻辑推理层，第一层的输入与最后一层的输出以及一系列的权值合并计算如下：
Figure BDA0002432165800000045
其中，
Figure BDA0002432165800000046
表示第五层的输出wji、wj都是给定的可优化权重。
第六层为输出层，进行去模糊化，将第五层的所有节点与第四层的循环节点进行融合，
Figure BDA0002432165800000047
其中，
Figure BDA0002432165800000048
代表第五层的输出，
Figure BDA0002432165800000049
为第六层的输出，R为模糊化规则的总数，y是模型的输出。
进一步地，步骤S4所述设计损失函数，使用ADAM优化方法，训练网络模型，具体包括以下步骤：
S41、整个模型的损失函数如下：
E=λE1+E2 #(7)
Figure BDA00024321658000000410
Figure BDA00024321658000000411
其中，E1是深度特征提取网络的损失函数，E2是深度特征提取网络和模糊神经网络的结合的损失函数，λ是一个常数，a表示电极数，b代表每个电极的波段数，
Figure BDA00024321658000000412
表示为第k个样本的第i个电极的第j个波段的真实值，
Figure BDA00024321658000000413
示为第k个样本的第i个电极的第j个波段的预测值、n表示样本总数、
Figure BDA00024321658000000414
代表第i个样本的预测的类别、yi代表第i个样本的真实的类别。
S42，采用自适应矩估计ADAM算法对参数进行优化，经过偏移校正后，自适应矩估计对学习率形成动态约束，自适应矩估计ADAM算法公式为：
Figure BDA0002432165800000051
Figure BDA0002432165800000052
Figure BDA0002432165800000053
mt＝β1mt-1+(1-β1)gt #(13)
vt＝β2vt-1+(1-β2)gt 2 #(14)
其中，t是时间步，mt表示第t步的梯度的移动均值的指数；vt表示第t步的二阶梯度；gt表示第t步的一阶梯度；wt是第t步的中间变量，
Figure BDA0002432165800000054
是mt的更新量；
Figure BDA0002432165800000055
是vt的更新量；β1、β2、ε，α是常数，凭经验选取合适的大小，(这里右上角的t代表t次方。
与现有技术相比，本发明具有以下有益效果：
(1)使用CNN网络捕获脑电波的空间特性，使用带反馈的FNN捕获脑电波的时间特性，结合考虑了脑电波的空间特性以及时间特性。此外还采用了更平滑的空间激发层函数，使数据样本之间的区分更加清晰，提高了模型预测的准确性。
(2)基于CNN网络采取了类似自编码的操作，令网络能够对带噪声数据与不带噪声的数据的关系有所了解。网络在处理带噪声数据，可以基于自身的这种理解，提取出与不带噪声数据相似的特征，从而降低了噪声的影响。
(3)搭建了基于卷积神经网络框架的深度特征提取网络，在进行特征提取时还可以降噪，有效减小噪声的影响。
(4)模糊神经网络中使用了对数空间激发层函数，该函数的激活性能更平滑，允许更多的特征数，可以提供更好的预测。
附图说明
图1为本发明实施例提供的一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法的流程图。
图2为本发明实施例提供的基于卷积神经网络框架的深度特征提取网络的结构图。
图3是本发明实施例提供的模糊神经网络的结构图。
具体实施方式
下面结合实例和附图对本发明做进一步的说明，但本发明的实施方式不限于此。
本实施例的发明思路是，输入的脑电图数据被发送到插值为二维平面；然后引入CNN来减小噪声对EEG数据的影响；最后，利用带反馈回路的FNN对CNN分类的输出数据进行处理和分类，实现对驾驶疲劳的预测。
本实施例通过将脑电传感器嵌入方向盘中，并通过传输线连接到大脑，以此来收集脑电信号。
本实施例提供一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法，采用tsk型卷积递归模糊网络进行疲劳监测，具体包括：
S1、将脑波仪电极的空间位置投影到二维平面，基于这个二维平面将脑电数据插值为二维平面；
S2、搭建基于卷积神经网络(CNN)框架的深度特征提取网络提取脑电波的疲劳特征，提取的同时深度特征提取网络对特征进行降噪处理；
S3、将深度特征提取网络提取的疲劳特征输入到带自反馈的具有特殊的对数形式的空间发射层函数的模糊神经网络，给出分类结果；
S4、设计包含去噪功能与预测功能的损失函数，使用ADAM优化方法，训练网络模型。
具体的，步骤S1包括以下步骤：
S11、为了便于计算，本实施例假设大脑皮层分布在一个球面上。在给定的球面坐标系中，测量和计算电极的坐标，并用投影法将电极坐标投影到二维空间中。特别地，本实施例用脑电设备上所有电极的中心点A在XOY平面上的投影点C作为二维平面的原点。因此，可以将另一电极B投影在二维平面上获得投影点P，依次将其他三维电极坐标转换为相应的二维坐标。
S12、脑电波包含四种波段(theta、alpha、beta、gamma)，这里的脑电设备会进一步区分beta波段，因此，每个电极包含5个波段theta、alpha、pre-beta、post-beta和gamma。基于经验考虑，本实施例基于以上的二维平面将所有电极的某一波段的特征值插值到二维平面，从而将该平面转换成一个16x16图像。该图像计算量小，保证了脑电波空间信息的综合表达。将脑电图数据转换为一系列16x16幅图像，每幅图像包含5个通道，分别为theta、alpha、pre-beta、post-beta和gamma。
具体的，步骤S2搭建基于卷积神经网络(CNN)框架的深度特征提取网络如下：
S21、CNN网络一共包含9层，输入层，卷积层Conv，卷积层Conv，最大池化层Maxpool，卷积层Conv，最大池化层Max pool，加权层Scale，卷积层Conv，全局平均池化层globalavg pool。
Conv：使用最常用的卷积层，其中使用的滤波器大小为3x3。注意，卷积层可以在每个图像的边缘填充0。在每次卷积操作之后，使用BN(batch归一化)层来加速CNN的收敛，然后是Relu激活层。
Max pool：同样，使用最传统的最大池层来减小图像的大小。准确地说，max-pooling层使用一个2x2过滤器来从图片的每个2x2区域中选择一个最大值。这会导致图像的长度和宽度减少一半。
Scale：每个通道都有加权。每个通道乘以序列中对应位置的特征值。
global avg pool：全局平均层计算每个通道所有值的平均值，该层用于再生特征序列。
S22，如图2所示。使用有16个电极标准的脑电传感器设备进行脑电信号采集，其中有两个电极为基准电极，因此有效采集脑电信号的电极一共有14个，每个电极包含5个波段，分别为theta、alpha、pre-beta、post-beta和gamma，因此CNN的输入为70维数据。为了降低噪声的影响，CNN采用了拟合策略，如图2所示。其中，基于事先获得的无噪声的原始输入样本人为地生成具有不同噪声的噪声样本，原始输入样本与噪声样本样本分别发送到相同的两个CNNs；然后通过网络训练，使带噪声的噪声样本的输出结果与原始输入样本的输出结果相似，即可以有效地消除CNN中输入样本的噪声。为了有效地利用拟合策略，需要人为地生成一些具有不同噪声的噪声样本。
具体的，步骤S3中的模糊神经网络有6层，如图3所示，(
Figure BDA0002432165800000071
代表每层的输出，无特殊说明w代表权重，b代表偏值)
第一层为输入层，将深度特征提取网络提取的疲劳特征输入第一层，
Figure BDA0002432165800000072
其中，
Figure BDA0002432165800000073
代表第一层的输出，xi代表输入的特征值，也就是脑电信号。
第二层为模糊化层，使用高斯隶属度函数计算输入数据的隶属度值，计算公式如下：
Figure BDA0002432165800000074
其中，mijand
Figure BDA0002432165800000081
分别是第i个输入所对应的第j个隐藏类的高斯成员函数的均值与方差，
Figure BDA0002432165800000082
表示第二层的输出，
第三层为空间发射层，用于计算每个节点的隶属度，
Figure BDA0002432165800000083
其中，
Figure BDA0002432165800000084
表示第三层的输出，Fj是空间发射强度。
第四层为循环层，使用其输出来生成反馈值，然后将这些反馈值直接提供给该层的输入，形成一个自循环，函数如下：
Figure BDA0002432165800000085
上式中，
Figure BDA0002432165800000086
其中，
Figure BDA0002432165800000087
表示第四层的输出，Fj(t)是当前时序的空间发射强度，wij是给定的可优化的权重。
Figure BDA0002432165800000088
表示当前时序的时间发射强度，hj是中间变量。
第五层为逻辑推理层，第一层的输入与最后一层的输出以及一系列的权值合并计算如下：
Figure BDA0002432165800000089
其中，
Figure BDA00024321658000000810
表示第五层的输出wji、wj都是给定的可优化权重。
第六层为输出层，进行去模糊化，将第五层的所有节点与第四层的循环节点进行融合，
Figure BDA00024321658000000811
其中，
Figure BDA00024321658000000812
代表第五层的输出，
Figure BDA00024321658000000813
为第六层的输出，R为模糊化规则的总数，y是模型的输出。第六层最后输出的是分类结果。
步骤S4所述设计损失函数，使用ADAM优化方法，训练网络模型，具体包括以下步骤：
S41、整个模型的损失函数如下：
E=λE1+E2 #(7)
Figure BDA0002432165800000091
Figure BDA0002432165800000092
其中，E1是深度特征提取网络的损失函数，E2是深度特征提取网络和模糊神经网络的结合的损失函数，λ是一个常数，a表示电极数，b代表每个电极的波段数，
Figure BDA0002432165800000093
表示为第k个样本的第i个电极的第j个波段的真实值，
Figure BDA0002432165800000094
示为第k个样本的第i个电极的第j个波段的预测值、n表示样本总数、
Figure BDA0002432165800000095
代表第i个样本的预测的类别、yi代表第i个样本的真实的类别。
S42，采用自适应矩估计ADAM算法对参数进行优化，经过偏移校正后，自适应矩估计对学习率形成动态约束，自适应矩估计ADAM算法公式为：
Figure BDA0002432165800000096
Figure BDA0002432165800000097
Figure BDA0002432165800000098
mt＝β1mt-1+(1-β1)gt #(13)
vt＝β2vt-1+(1-β2)gt 2 #(14)
其中，t是时间步，mt表示第t步的梯度的移动均值的指数；vt表示第t步的二阶梯度；gt表示第t步的一阶梯度；wt是第t步的中间变量，
Figure BDA0002432165800000099
是mt的更新量；
Figure BDA00024321658000000910
是vt的更新量；β1、β2、ε，α是常数，凭经验选取合适的大小，这里右上角的t代表t次方。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (8)

1.一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法，其特征在于，采用tsk型卷积递归模糊网络进行疲劳监测，具体包括：
S1、将脑波仪电极的空间位置投影到二维平面，基于这个二维平面将脑电数据插值到二维平面；
S2、搭建基于卷积神经网络框架的深度特征提取网络提取脑电波的疲劳特征，提取的同时对特征进行降噪处理；
S3、将深度特征提取网络提取的疲劳特征输入到带自反馈的具有对数形式的空间发射层函数的模糊神经网络，给出分类结果；
S4、设计损失函数，使用ADAM优化方法，训练网络模型。
2.根据权利要求1所述的一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法，其特征在于，所述步骤S1具体包括以下步骤：
S11、假设大脑皮层分布在一个球面上，在给定的球面坐标系中，测量和计算电极的坐标，并用投影法将电极坐标投影到二维空间中，获得二维坐标，
S12、基于以上的二维平面将所有电极的某一频带的特征值插值到二维平面，从而将该平面转换成一个16x16图像，将脑电图数据转换为一系列16x16幅图像，每幅图像包含5个通道，分别为theta、alpha、pre-beta、post-beta和gamma。
3.根据权利要求2所述的一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法，其特征在于，步骤S11中，用脑电设备上所有电极的中心点A在XOY平面上的投影点C作为二维平面的原点，将其他电极投影到该二维平面，从而将各三维电极坐标转换为相应的二维坐标。
4.根据权利要求1所述的一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法，其特征在于，步骤S2搭建的基于卷积神经网络框架的深度特征提取网络包括9层，分别是：输入层，卷积层Conv，卷积层Conv，最大池化层Max pool，卷积层Conv，最大池化层Max pool，加权层Scale，卷积层Conv和全局平均池化层global avg pool，
Conv：使用的滤波器大小为3x3，卷积层可以在每个图像的边缘填充0，在每次卷积操作之后，使用batch归一化层来加速CNN的收敛，然后是Relu激活层，
Max pool：使用一个2x2过滤器来从图片的每个2x2区域中选择一个最大值，
Scale：每个通道都有加权，每个通道乘以序列中对应位置的特征值，
global avg pool：计算每个通道所有值的平均值，用于再生特征序列。
5.根据权利要求4所述的一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法，其特征在于，使用具有16个电极标准的脑电传感器设备进行脑电信号采集，其中有两个电极为基准电极，有效采集脑电信号的电极一共有14个，每个电极包含5个波段，分别为theta、alpha、pre-beta、post-beta和gamma，因此CNN的输入为70D数据，CNN通过拟合策略降低噪声。
6.根据权利要求5所述的一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法，其特征在于，所述CNN通过拟合策略降低噪声，
获取原始输入样本，基于原始输入样本生成具有不同噪声的噪声样本，将原始输入样本和噪声样本分别发送到相同的两个CNNs；然后通过网络训练，使噪声样本的输出结果与无噪声的原始输入样本的输出结果相似。
7.根据权利要求1所述的一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法，其特征在于，步骤S3所述模糊神经网络包括6层，
第一层为输入层，将深度特征提取网络提取的疲劳特征输入第一层，
Figure FDA0002432165790000021
其中，
Figure FDA0002432165790000022
代表第一层的输出，xi代表输入的特征值
第二层为模糊化层，使用高斯隶属度函数计算输入数据的隶属度值，计算公式如下：
Figure FDA0002432165790000023
其中，mij、
Figure FDA0002432165790000024
分别是第i个输入所对应的第j个隐藏类的高斯成员函数的均值与方差，
Figure FDA0002432165790000025
表示第二层的输出，
第三层为空间发射层，用于计算每个节点的隶属度，
Figure FDA0002432165790000026
其中，
Figure FDA0002432165790000027
表示第三层的输出，Fj是空间发射强度
第四层为循环层，使用其输出来生成反馈值，然后将这些反馈值直接提供给该层的输入，形成一个自循环，函数如下：
Figure FDA0002432165790000031
上式中，
Figure FDA0002432165790000032
其中，
Figure FDA0002432165790000033
表示第四层的输出，Fj(t)是当前时序的空间发射强度，wij是给定的可优化的权重，
Figure FDA0002432165790000034
表示当前时序的时间发射强度，hj是中间变量；
第五层为逻辑推理层，第一层的输入与最后一层的输出以及一系列的权值合并计算如下：
Figure FDA0002432165790000035
其中，
Figure FDA0002432165790000036
表示第五层的输出wji、wj都是给定的可优化权重；
第六层为输出层，进行去模糊化，将第五层的所有节点与第四层的循环节点进行融合，
Figure FDA0002432165790000037
其中，
Figure FDA0002432165790000038
代表第五层的输出，
Figure FDA0002432165790000039
为第六层的输出，R为模糊化规则的总数，y是模型的输出。
8.根据权利要求1所述的一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法，其特征在于，步骤S4所述设计损失函数，使用ADAM优化方法，训练网络模型，具体包括以下步骤：
S41、整个模型的损失函数如下：
E＝λE1+E2 #(7)
Figure FDA00024321657900000310
Figure FDA00024321657900000311
其中，E1是深度特征提取网络的损失函数，E2是深度特征提取网络和模糊神经网络的结合的损失函数，λ是一个常数，a表示电极数，b代表每个电极的波段数，
Figure FDA00024321657900000312
表示为第k个样本的第i个电极的第j个波段的真实值，
Figure FDA00024321657900000313
示为第k个样本的第i个电极的第j个波段的预测值、n表示样本总数、
Figure FDA00024321657900000314
代表第i个样本的预测的类别、yi代表第i个样本的真实的类别。
S42，采用自适应矩估计ADAM算法对参数进行优化，经过偏移校正后，自适应矩估计对学习率形成动态约束，自适应矩估计ADAM算法公式为：
Figure FDA0002432165790000041
Figure FDA0002432165790000042
Figure FDA0002432165790000043
mt＝β1mt-1+(1-β1)gt #(13)
vt＝β2vt-1+(1-β2)gt 2 #(14)
其中，t是时间步，mt表示第t步的梯度的移动均值的指数；vt表示第t步的二阶梯度；gt表示第t步的一阶梯度；wt是第t步的中间变量，
Figure FDA0002432165790000044
是mt的更新量；
Figure FDA0002432165790000045
是vt的更新量；β1、β2、ε，α是常数。
CN202010239769.4A 2020-03-30 2020-03-30 一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法 Active CN111461206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010239769.4A CN111461206B (zh) 2020-03-30 2020-03-30 一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010239769.4A CN111461206B (zh) 2020-03-30 2020-03-30 一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法

Publications (2)

Publication Number Publication Date
CN111461206A true CN111461206A (zh) 2020-07-28
CN111461206B CN111461206B (zh) 2023-05-26

Family

ID=71683379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010239769.4A Active CN111461206B (zh) 2020-03-30 2020-03-30 一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法

Country Status (1)

Country Link
CN (1) CN111461206B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114504330A (zh) * 2022-01-30 2022-05-17 天津大学 一种基于便携式脑电采集头环的疲劳状态监测系统
CN114533084A (zh) * 2022-02-09 2022-05-27 北京师范大学 脑电特征提取方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599207A (zh) * 2009-05-06 2009-12-09 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测装置及汽车
CN102054163A (zh) * 2009-10-27 2011-05-11 南京理工大学 基于单目视觉的驾驶员疲劳检测方法
CN108491858A (zh) * 2018-02-11 2018-09-04 南京邮电大学 基于卷积神经网络的疲劳驾驶检测方法及系统
CN110151203A (zh) * 2019-06-06 2019-08-23 常熟理工学院 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599207A (zh) * 2009-05-06 2009-12-09 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测装置及汽车
CN102054163A (zh) * 2009-10-27 2011-05-11 南京理工大学 基于单目视觉的驾驶员疲劳检测方法
CN108491858A (zh) * 2018-02-11 2018-09-04 南京邮电大学 基于卷积神经网络的疲劳驾驶检测方法及系统
CN110151203A (zh) * 2019-06-06 2019-08-23 常熟理工学院 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114504330A (zh) * 2022-01-30 2022-05-17 天津大学 一种基于便携式脑电采集头环的疲劳状态监测系统
CN114533084A (zh) * 2022-02-09 2022-05-27 北京师范大学 脑电特征提取方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111461206B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN107844755B (zh) 一种结合dae和cnn的脑电信号特征提取与分类方法
CN110399857B (zh) 一种基于图卷积神经网络的脑电情感识别方法
CN112120694B (zh) 一种基于神经网络的运动想象脑电信号分类方法
CN111407260B (zh) 方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
CN112043473B (zh) 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器
CN112957014B (zh) 一种基于脑电波与神经网络的疼痛检测定位方法及系统
CN112043260B (zh) 基于局部模式变换的心电图分类方法
CN111461206B (zh) 一种方向盘嵌入脑电传感器的基于脑电的疲劳检测方法
Azar et al. Deep recurrent neural network-based autoencoder for photoplethysmogram artifacts filtering
CN111481192A (zh) 一种基于改进U-Net的心电信号R波检测方法
Noorbasha et al. Removal of EOG artifacts from single channel EEG–an efficient model combining overlap segmented ASSA and ANC
CN114533086A (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
Fauzi et al. Energy extraction method for EEG channel selection
CN114999643A (zh) 一种基于WiFi的老人智能监护方法
Liu et al. Identification of anisomerous motor imagery EEG signals based on complex algorithms
CN112545530A (zh) 一种基于hrv和对抗网络的预测醉驾和疲劳驾驶的方法
CN115624322B (zh) 一种基于高效时空建模的非接触生理信号检测方法及系统
CN115222725B (zh) 一种基于nsct域pcrgf与双通道pcnn医学图像融合方法
Singh et al. Motor imagery classification based on subject to subject transfer in Riemannian manifold
CN115813409A (zh) 一种超低延迟的运动图像脑电图解码方法
Sahoo et al. Recognition of ocular artifacts in EEG signal through a hybrid optimized scheme
Turnip et al. P300 detection using nonlinear independent component analysis
Yu et al. PGMM—pre-trained Gaussian mixture model based convolution neural network for electroencephalography imagery analysis
CN117520826B (zh) 一种基于可穿戴设备的多模态情绪识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant