CN111358475A - 电力系统高危作业人员精神状态评估方法及系统 - Google Patents

电力系统高危作业人员精神状态评估方法及系统 Download PDF

Info

Publication number
CN111358475A
CN111358475A CN202010185959.2A CN202010185959A CN111358475A CN 111358475 A CN111358475 A CN 111358475A CN 202010185959 A CN202010185959 A CN 202010185959A CN 111358475 A CN111358475 A CN 111358475A
Authority
CN
China
Prior art keywords
neural network
data
person
operating personnel
power system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010185959.2A
Other languages
English (en)
Inventor
吴松
姬书军
王坤
张天忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Anhui Electric Power Co Ltd
Original Assignee
State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Anhui Electric Power Co Ltd filed Critical State Grid Anhui Electric Power Co Ltd
Priority to CN202010185959.2A priority Critical patent/CN111358475A/zh
Publication of CN111358475A publication Critical patent/CN111358475A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Abstract

本发明提供一种电力系统高危作业人员精神状态评估方法及系统，包括S01.采集待测人员上班之前设定时间长度的EEG数据以及待测人员面部照片；S02.将所述EEG数据输入至预先训练好的目标BP神经网络，得到待测人员的注意力水平等级；S03.将所述待测人员面部照片输入至预先训练好的目标卷积神经网络，得到待测人员的情绪水平等级；S04.将步骤S02、S03中得到的注意力水平等级、情绪水平等级输入至预先训练好的感知器中，进行分类，得到待测人员的整体状态评价，以判断工人的整体状态是否满足作业需求。基于EEG与图像识别检测注意力与情绪的方法应用于电力系统可以更科学、更高效的判定电力行业高危作业人员能否进行作业，有助于提升评估的正确率。

Description

电力系统高危作业人员精神状态评估方法及系统
技术领域
本发明涉及电力系统施工人员分心检测术领域，具体来说是电力行业人员施工风险的系统及方法。
背景技术
电力行业作业人员在进行高危作业时，应爆出注意力高度集中，情绪正常，密切关注电力系统的运转状况，对于可能出现的事故进行提前预警和及时处理。如工人在作业时出现注意力涣散，情绪失常等情况，将造成不可挽回的人身和财产安全，甚至威胁公共安全。故在高危作业前对工人的精神状态予以评估十分重要。
现有的作业前准备以站班会的形式展开，班长与工人面对面站立，介绍作业可能遇到的危险情况和应对措施，同时判断工人的工作状态是否合格。该方式较为传统，现代化、智能化程度较低，以主观经验判断为主，缺乏理论依据，容易存在漏判、误判的情况。
现将基于EEG与图像识别检测注意力与情绪的方法应用于电力系统高危作业可以更科学、更高效的判定施工人员能否进行高危作业，取代人工检查，获得更高的准确率。
发明内容
本发明所要解决的技术问题在于解决高危作业人员上岗前精神状态评估问题。
本发明通过以下技术手段实现解决上述技术问题：
电力系统高危作业人员精神状态评估方法，包括以下步骤：
S01.采集待测人员上班之前设定时间长度的EEG数据以及待测人员面部照片；
S02.将所述EEG数据输入至预先训练好的目标BP神经网络，得到待测人员的注意力水平等级；
S03.将所述待测人员面部照片输入至预先训练好的目标卷积神经网络，得到待测人员的情绪水平等级；
S04.将步骤S02、S03中得到的注意力水平等级、情绪水平等级输入至预先训练好的感知器中，进行分类，得到待测人员的整体状态评价，以判断工人的整体状态是否满足作业需求。
优选的，所述步骤S02中的目标BP神经网络的训练过程为：对电力作业人员进行试验，采集其脑电信号数据并进行处理得到样本数据，将样本数据分为专注、中性、不专注三个等级；最后将所述样本数据分为训练集和测试集，对BP神经网络进行训练，得到所述目标BP神经网络。
优选的，对所述脑电信号数据的处理过程为：
预处理阶段：首先进行滤波和眼电伪迹纠正，将每个注意力等级的数据进行设定时间长度分段，每段数据都包含脑电信号数据的所有电极；得到多段样本脑电信号数据；
特征提取阶段：利用LMD算法进行分解，将样本脑电信号数据x(t)分解为N个PF分量与一个单调函数uN(t)之和，即：
Figure BDA0002413444430000021
从分解后的脑电信号数据中提取前设定排名的PF分量，作为BP神经网络中的输入特征量来对信号识别和分类。
优选的，所述目标卷积神经网络的训练过程为：将电力作业人员表情分为兴奋、中性、沮丧三个等级，采集带有表情等级标签的电力作业人员的面部表情数据，作为训练集，使用卷积神经网络进行训练，得到所述目标卷积神经网络。
优选的，所述步骤S04中，将步骤S02、S03中得到的注意力水平等级、情绪水平等级进行归一化处理后输入所述单个感知器，然后进行线性分类，输出判断结果。
本发明还提供电力系统高危作业人员精神状态的评估系统，包括
采集模块，采集待测人员上班之前设定时间长度的EEG数据以及待测人员面部照片；
注意力水平划分模块，将所述EEG数据输入至预先训练好的目标BP神经网络，得到待测人员的注意力水平等级；
情绪水平划分模块，将所述待测人员面部照片输入至预先训练好的目标卷积神经网络，得到待测人员的情绪水平等级；
检测模块，将注意力水平等级、情绪水平等级输入至预先设置好的感知器中，进行分类，得到待测人员的整体状态评价，以判断工人的整体状态是否满足作业需求。
优选的，所述目标BP神经网络的训练过程为：对电力作业人员进行试验，采集其脑电信号数据并进行处理得到样本数据，将样本数据分为专注、中性、不专注三个等级；最后将所述样本数据分为训练集和测试集，对BP神经网络进行训练，得到所述目标BP神经网络。
优选的，对所述脑电信号数据的处理过程为：
预处理阶段：首先进行滤波和眼电伪迹纠正，将每个注意力等级的数据进行设定时间长度分段，每段数据都包含脑电信号数据的所有电极；得到多段样本脑电信号数据；
特征提取阶段：利用LMD算法进行分解，将样本脑电信号数据x(t)分解为N个PF分量与一个单调函数uN(t)之和，即：
Figure BDA0002413444430000031
从分解后的脑电信号数据中提取前设定排名的PF分量，作为BP神经网络中的输入特征量来对信号识别和分类。
优选的，所述目标卷积神经网络的训练过程为：将电力作业人员表情分为兴奋、中性、沮丧三个等级，采集带有表情等级标签的电力作业人员的面部表情数据，作为训练集，使用卷积神经网络进行训练，得到所述目标卷积神经网络。
优选的，所述检测模块中，将注意力水平等级、情绪水平等级进行归一化处理后输入所述感知器，然后进行线性分类，输出判断结果。
本发明的优点在于：
基于EEG与图像识别检测注意力与情绪的方法应用于电力系统可以更科学、更高效的判定电力行业高危作业人员能否进行作业，有助于提升评估的正确率。
附图说明
图1为本发明的实施例1的电力系统高危作业人员精神状态评估方法模型的建立图。
图2为本发明的实施例1的电力系统高危作业人员精神状态评估方法的检测流程图。
图3为本发明的实施例提供的电力系统高危作业人员精神状态评估方法的所选脑电电极图。
图4为本发明的实施例的电力系统高危作业人员精神状态评估方法的原始脑电信号图。
图5为本发明的实施例提供的电力系统高危作业人员精神状态评估方法的预处理后脑电信号图。
图6为本发明的实施例提供的电力系统高危作业人员精神状态评估方法的样本脑电信号的LMD分解前四个PF分量。
图7为本发明的实施例提供的电力系统高危作业人员精神状态评估方法的LMD的能量特征矩阵。
图8为本发明的实施例提供的电力系统高危作业人员精神状态评估方法的卷积神经网络结构层次。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
如图1与图2所示，一种电力系统高危作业人员精神状态评估方法，包括以下步骤：
S01.采集待测人员上班之前设定时间长度的EEG数据以及待测人员面部照片；一般为5分钟；
对于采集到的数据进行处理，处理方法如步骤S02。
S02.将所述EEG数据输入至预先训练好的目标BP神经网络，得到待测人员的注意力水平等级；目标BP神经网络的训练过程为：对电力作业人员进行试验，采集其脑电信号数据并进行处理得到样本数据，将样本数据分为专注、中性、不专注三个等级；最后将所述样本数据分为训练集和测试集，对BP神经网络进行训练，得到所述目标BP神经网络，具体如下：
如图3所示，目标BP神经网络具体获得过程为：
脑电信号的节律种类和影响因素都很多，其中不同的心情、心态和环境变化都可能引起脑电信号的变化，在所有生理信号中脑电信号的随机性最强。脑电信号极易受到生理、心理和环境等因素的影响，随时间变化的敏感性很强，因此在脑电信号采集过程中容易产生各种EEG伪迹。产生EEG伪迹的主要原因是脑电设备和被试者，对于设备引起的伪迹可以通过完善EEG采集过程中设备存在的问题或使用更精密的采集设备来避免，对于被试者生理活动引起的伪迹，如眼电伪迹(ocular aftifact)、舌电伪迹(glossa kineticartifact)、肌电伪迹(muscle artifact)和出汗伪迹(sweating artifact)等，则比较难去除。各种伪迹的存在给脑电信号的分析和处理带来了很大困难，因此对脑电信号进行预处理有效去除脑电信号中的伪迹极为重要。
本实施例提取了8个电极(Fp1，Fp1，C3，C4，Cz，P3，P4，Pz)作为研究分析对象，另外2个电极(TP9，TP10)作为研究分析参考电极。对电力从业人员按要求观看三段视频进行脑电信号采集，测试时间为每段10分钟，得到如图4所示的样本脑电信号；测试完成，实验结束；将三类脑电数据分为专注、中性、不专注三个等级。
变更参考电极，现在的电极帽都是以FCz做为参考电极，而实际分析脑电波形时，根据TP9、TP10做为参考电极；
滤波，根据所要分析的信号频率，适当设定波形带宽，滤除不必要的信号。本次预处理带宽设定为0Hz～30Hz；
眼电纠正，采用独立成分分析方法(Independent Component Analysis,ICA)将眨眼或眼动带来的肌电影响进行纠正；
分段，根据要求将电工注意力分级脑电信号采集实验的每个注意力等级的10分钟脑电数据按时间每10s分一段，一共分为60段，每段数据都包含脑电的的8个电极(Fp1，Fp1，C3，C4，Cz，P3，P4，Pz)，每个电极共有数据点2560个(256Hz×10s)，即得到多段样本脑电信号数据。
对得到的样本脑电信号数据x(t)进行特征提取，本实施例利用LMD算法进行分解，分解过程为：
(1)寻找样本脑电信号数据x(t)中全部局部极值点ei，求相邻的两极值点ei和ei+1的平均值mi：
Figure BDA0002413444430000061
用直线将所有的相邻两极值点平均值mi连接起来，移动平均法做平滑处理，获得局部均值函数m11(t)。
(2)求相邻的两极值点ei和ei+1的差，取绝对值再除以2，获得包络估计值ai：
Figure BDA0002413444430000062
用直线将所有的包络估计值ai连接起来，然后移动平均法做平滑处理，获得包络估计函数
a11(t)。
(3)将局部均值函数m11(t)从样本脑电信号数据x(t)里分离出来，得到纯调频信号h11(t)：
h11(t)＝x(t)-m11(t)
(4)用h11(t)除以上面得到的包络估计函数a11(t)，对h11(t)进行解调，得到：
s11(t)＝h11(t)/a11(t)
在理想情况下，s11(t)为纯调频信号，也就是包络估计函数a12(t)满足a12(t)＝1，如果不满足这个条件，则将s11(t)作为样本脑电信号重复以上步骤的迭代过程，直至获得纯调频信号s1n(t)，此时s1n(t)满足-1≤s1n(t)≤1，其包络估计函数a1(n+1)(t)满足a1(n+1)(t)＝1。
也就是
Figure BDA0002413444430000063
其中：
Figure BDA0002413444430000064
(5)把得到的纯调频信号之前每次迭代过程里得到的包络估计函数相乘即可
得到第一个分量的包络信号a1(t)(瞬时幅值函数)，即：
Figure BDA0002413444430000071
(6)包络信号a1(t)乘以纯调频信号s1n(t)得到样本脑电信号第一个PF分量
PF1(t)＝a1(t)s1n(t)
它包含着样本脑电信号里最高频率的成分，是单分量调幅-调频信号，它的瞬时幅值为包络信号a1(t)，瞬时相位θ1(t)与瞬时频率f1(t)均可以从纯调频信号s1n(t)求出，即：
θ1(t)＝arccos(s1n(t))
Figure BDA0002413444430000072
(7)把第一个PF分量PF1(t)从原信号x(t)里分离，获得新的信号u1(t)，将u1(t)当作样本脑电信号重复上面的步骤，如此循环N次，一直到uN(t)成为单调函数。
Figure BDA0002413444430000073
至此，将样本脑电信号x(t)分解为N个PF分量与一个单调函数uN(t)之和，即：
Figure BDA0002413444430000074
得到如图5所示的预处理后脑电信号。
从预处理后的脑电信号中提取出最能代表信号的特征量，作为后续BP神经网络中的输入特征量来对信号识别和分类。
本实施例选取每个脑电数据对于LMD分解得到的前4个PF分量PF1、PF2、PF3、PF4作为BP神经网络中的输入特征量，原始脑电信号的LMD分解前四个PF分量如图6所示。
本实施例中，采集电力施工人员脑电信号数据共有1980组，由于每组都包含来自Fp1，Fp2，C3，C4，Cz，P3，P4，Pz通道的脑电信号，将八个通道的脑电数据提取的特征量合并，得到的能量特征长度为32。依次处理数据集中1980组的脑电信号，得到1980*32的特征矩阵，部分如图7所示。对于注意力专注的660组EEG数据打上标签为“3”，对于注意力中性的660组EEG数据打上标签为“2”，对于注意力不专注的660组EEG数据打上标签为“1”，计算其能量作为脑电信号的特征量，得到注意力分级。
S03.将所述待测人员面部照片输入至预先训练好的目标卷积神经网络，得到待测人员的情绪水平等级；
目标卷积神经网络的训练过程为：
将电力作业人员表情分为兴奋、中性、沮丧三个等级根据采集到已知情绪标签的电力行业施工人员的照片，将背景设为统一的灰度图像，利用PCA方法对图像进行降维，原始图像数据为n行m列矩阵X；将X的每一行进行零均值化，即减去这一行的均值
Figure BDA0002413444430000081
求出协方差矩阵
Figure BDA0002413444430000082
矩阵中第(i,j)项元素是Xi，Xj与的协方差，对角线就是各个维度上的方差；求出协方差矩阵的特征值及对应的特征向量；将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；Y＝PX即为降维到k维后的数据。
构建多层卷积神经网络模型，具体包括构建卷积层，
Figure BDA0002413444430000083
conv是卷积操作，
Figure BDA0002413444430000084
y1分别为第1卷积层的输入和输出，
Figure BDA0002413444430000085
表示第1层的第n个卷积核，N为卷积核个数，bn表示第n个卷积核的偏置ReLu函数；构建池化层，y1＝Maxpooling(X1)，Maxpooling为选择局部感知域里激活值最大的值；构建Softmax分类器,Softmax分类器代价函数公式：
Figure BDA0002413444430000086
K：Softmax层神经元个数；ak：Softmax层输入；P(k)：Softmax分类器预测该数据属于第k类的概率。
训练卷积神经网络模型，具体包括将归一化、PCA降维之后的数据依次送入到权利要求8中的卷积神经网络模型中，数据从输入层开始逐层计算，并最终输出分类结果；数据经前馈计算输出结果与标签结果的误差值公式：
Figure BDA0002413444430000091
Figure BDA0002413444430000092
y：期望输出；a：实际输出
根据交叉熵误差更新权值偏置，使用梯度下降法，对每个神经元的权值和偏置对交叉熵误差求导，沿梯度下降的方向更新权值和偏置。
Figure BDA0002413444430000093
Figure BDA0002413444430000094
η：为学习率，
Figure BDA0002413444430000095
表示第l次训练时第i个神经元矩阵的第j个神经元权值，
Figure BDA0002413444430000096
表示第l次训练时第i个神经元矩阵的共享偏置。
将所有训练样本利用PCA提取特征值，将其做为神经网络的输入循环训练n次。将输出结果与标签结果进行对照后得出准确率，准确率的需求同用户的实际需求结合，本模型的准确率设定为90％，若训练完成后，模型准确率不满足要求，则调整卷积神经网络模型参数；若满足要求，则保存卷积神经网络模型结构参数和权值矩阵、偏置参数。
S04.将步骤S02、S03中得到的注意力水平等级、情绪水平等级输入至预先训练好的感知器中，进行分类，得到待测人员的整体状态评价，以判断工人的整体状态是否满足作业需求。具体为：
将得到的电力从业人员的三个注意力水平分类结果与三个情绪水平分类结果共同输入到感知器中，进行线性分类，以判断工人的整体状态能否满足上班需求，具体包括感知器的构建，感知器结构为：
Figure BDA0002413444430000097
X1、X2输入之前都经过了归一化的处理，其中X1用3、2、1分别代表脑电分级中的专注、中性、不专注，X2用3、2、1分别代表情绪分级中的兴奋、中性、沮丧。输出函数选择了阈值函数，阈值为2；采用加权求和的决策融合方法，ω1和ω2分别是脑电分级模态和图像情绪模态的权重，而且ω1+ω2＝1；ω1与ω2的权重按照脑电分级模态和图像情绪模态的重要性分别取0.7和0.3。
实际判定时，采集工人上班之前五分钟的EEG数据，同时采集工人的面部照片，输入感知器进行线性分类，得到工人能否满足工作要求的输出，以此作为工人状态的判定。
综上，本发明利用对电力作业人员进行注意力实验并采集脑电信号，将采集的脑电信号利用BP神经网络将电力施工人员的注意力水平划分为专注、中性、不专注；采集已知情绪标签的电力施工人员现场工作时的照片，将采集到的表情数据分为训练样本和测试样本，将选中的电力施工人员的表情图像作为训练样本使用卷积神经网络进行训练，将矿工面部表情分为兴奋、中性、沮丧；最后将电力作业人员的三个注意力水平分类结果与三个情绪水平分类结果共同输出到感知器中，进行线性分类，以判断工人的整体状态能否满足作业需求。
现将基于EEG与图像识别检测注意力与情绪的方法应用于电力系统可以更科学、更高效的判定电力行业施工人员能否进行作业，提升评估正确率。
实施例2
与实施例1相对应的，一种电力系统高危作业人员精神状态评估系统，包括
采集模块，采集待测人员上班之前设定时间长度的EEG数据以及待测人员面部照片；一般为5分钟；
注意力水平划分模块，将所述EEG数据输入至预先训练好的目标BP神经网络，得到待测人员的注意力水平等级；目标BP神经网络的训练过程为：对电力作业人员进行试验，采集其脑电信号数据并进行处理得到样本数据，将样本数据分为专注、中性、不专注三个等级；最后将所述样本数据分为训练集和测试集，对BP神经网络进行训练，得到所述目标BP神经网络，具体如下：
如图3所示，选取以下的脑电电极，选择15个视频，即剧情，喜剧，动作，爱情，惊悚，犯罪，悬疑，战争，科幻，动画，小品，综艺等视频片段，让被试人员进行一个兴趣排序问卷，然后选择其中最感兴趣的、一般以及最不感兴趣的三段视频。对电力从业人员按要求观看这三段视频进行脑电信号采集，测试时间为每段10分钟。得到如图4所示的样本脑电信号；测试完成，实验结束；将三类脑电数据分为专注、中性、不专注三个等级。
脑电信号的节律种类和影响因素都很多，其中不同的心情、心态和环境变化都可能引起脑电信号的变化，在所有生理信号中脑电信号的随机性最强。脑电信号极易受到生理、心理和环境等因素的影响，随时间变化的敏感性很强，因此在脑电信号采集过程中容易产生各种EEG伪迹。产生EEG伪迹的主要原因是脑电设备和被试者，对于设备引起的伪迹可以通过完善EEG采集过程中设备存在的问题或使用更精密的采集设备来避免，对于被试者生理活动引起的伪迹，如眼电伪迹(ocular aftifact)、舌电伪迹(glossa kineticartifact)、肌电伪迹(muscle artifact)和出汗伪迹(sweating artifact)等，则比较难去除。各种伪迹的存在给脑电信号的分析和处理带来了很大困难，因此对脑电信号进行预处理有效去除脑电信号中的伪迹极为重要。
本实施例提取了8个电极(Fp1，Fp1，C3，C4，Cz，P3，P4，Pz)作为研究分析对象，另外2个电极(TP9，TP10)作为研究分析参考电极。
变更参考电极，现在的电极帽都是以FCz做为参考电极，而实际分析脑电波形时，根据TP9、TP10做为参考电极；
滤波，根据所要分析的信号频率，适当设定波形带宽，滤除不必要的信号。本次预处理带宽设定为0Hz～30Hz；
眼电纠正，采用独立成分分析方法(Independent Component Analysis,ICA)将眨眼或眼动带来的肌电影响进行纠正；
分段，根据要求将电工注意力分级脑电信号采集实验的每个注意力等级的10分钟脑电数据按时间每10s分一段，一共分为60段，每段数据都包含脑电的的8个电极(Fp1，Fp1，C3，C4，Cz，P3，P4，Pz)，每个电极共有数据点2560个(256Hz×10s)。
对得到的样本脑电信号进行特征提取，对于样本脑电信号x(t)，利用LMD算法的分解过程：
(5)寻找样本脑电信号x(t)中全部局部极值点ei，求相邻的两极值点ei和ei+1的平均值mi：
Figure BDA0002413444430000121
用直线将所有的相邻两极值点平均值mi连接起来，移动平均法做平滑处理，获得局部均值函数m11(t)。
(6)求相邻的两极值点ei和ei+1的差，取绝对值再除以2，获得包络估计值ai：
Figure BDA0002413444430000122
用直线将所有的包络估计值ai连接起来，然后移动平均法做平滑处理，获得包络估计函数
a11(t)。
(7)将局部均值函数m11(t)从样本脑电信号x(t)里分离出来：
h11(t)＝x(t)-m11(t)
(8)用h11(t)除以上面得到的包络估计函数a11(t)，对h11(t)进行解调，得到：
s11(t)＝h11(t)/a11(t)
在理想情况下，s11(t)纯调频信号，也就是包络估计函数a12(t)满足a12(t)＝1，如果不满足这个条件，则将s11(t)作为样本脑电信号重复以上步骤的迭代过程，直至获得纯调频信号s1n(t)，此时s1n(t)满足-1≤s1n(t)≤1，其包络估计函数a1(n+1)(t)满足a1(n+1)(t)＝1。
也就是
Figure BDA0002413444430000123
其中：
Figure BDA0002413444430000124
(5)把得到的纯调频信号之前每次迭代过程里得到的包络估计函数相乘即可
得到第一个分量的包络信号a1(t)(瞬时幅值函数)，即：
Figure BDA0002413444430000131
(6)包络信号a1(t)乘以纯调频信号s1n(t)得到样本脑电信号第一个PF分量
PF1(t)＝a1(t)s1n(t)
它包含着样本脑电信号里最高频率的成分，是单分量调幅-调频信号，它的瞬时幅值为包络信号a1(t)，瞬时相位θ1(t)与瞬时频率f1(t)均可以从纯调频信号s1n(t)求出，即：
θ1(t)＝arccos(s1n(t))
Figure BDA0002413444430000132
(7)把第一个PF分量PF1(t)从原信号x(t)里分离，获得新的信号u1(t)，将u1(t)当作样本脑电信号重复上面的步骤，如此循环N次，一直到uN(t)成为单调函数。
Figure BDA0002413444430000133
至此，将样本脑电信号x(t)分解为N个PF分量与一个单调函数uN(t)之和，即：
Figure BDA0002413444430000134
得到如图5所示的预处理后脑电信号。
从预处理后的脑电信号中提取出最能代表信号的特征量，作为后续BP神经网络中的输入特征量来对信号识别和分类。本实施例选取每个脑电数据对于LMD分解得到的前4个PF分量PF1、PF2、PF3、PF4作为BP神经网络中的输入特征量，原始脑电信号的LMD分解前四个PF分量如图6所示。
采集电力施工人员脑电信号数据共有1980组，由于每组都包含来自Fp1，Fp2，C3，C4，Cz，P3，P4，Pz通道的脑电信号，将八个通道的脑电数据提取的特征量合并，得到的能量特征长度为32。依次处理数据集中1980组的脑电信号，得到1980*32的特征矩阵，部分如图7所示。对于注意力兴奋的660组EEG数据打上标签为“3”，对于注意力一般的660组EEG数据打上标签为“2”，对于注意力疲倦的660组EEG数据打上标签为“1”，计算其能量作为脑电信号的特征量，得到注意力分级。
情绪水平划分模块，将所述待测人员面部照片输入至预先训练好的目标卷积神经网络，得到待测人员的情绪水平等级；
目标卷积神经网络的训练过程为：
将电力作业人员表情分为兴奋、中性、沮丧三个等级根据采集到已知情绪标签的电力行业施工人员的照片，将背景设为统一的灰度图像，利用PCA方法对图像进行降维，原始图像数据为n行m列矩阵X；将X的每一行进行零均值化，即减去这一行的均值
Figure BDA0002413444430000141
求出协方差矩阵
Figure BDA0002413444430000142
矩阵中第(i,j)项元素是Xi，Xj与的协方差，对角线就是各个维度上的方差；求出协方差矩阵的特征值及对应的特征向量；将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；Y＝PX即为降维到k维后的数据。
构建多层卷积神经网络模型，具体包括构建卷积层，
Figure BDA0002413444430000143
conv是卷积操作，
Figure BDA0002413444430000144
y1分别为第1卷积层的输入和输出，
Figure BDA0002413444430000145
表示第1层的第n个卷积核，N为卷积核个数，bn表示第n个卷积核的偏置ReLu函数；构建池化层，y1＝Maxpooling(X1)，Maxpooling为选择局部感知域里激活值最大的值；构建Softmax分类器,Softmax分类器代价函数公式：
Figure BDA0002413444430000146
K：Softmax层神经元个数；ak：Softmax层输入；P(k)：Softmax分类器预测该数据属于第k类的概率。
训练卷积神经网络模型，具体包括将归一化、PCA降维之后的数据依次送入卷积神经网络模型中，数据从输入层开始逐层计算，并最终输出分类结果；数据经前馈计算输出结果与标签结果的误差值公式：
Figure BDA0002413444430000151
Figure BDA0002413444430000152
y：期望输出；a：实际输出
根据交叉熵误差更新权值偏置，使用梯度下降法，对每个神经元的权值和偏置对交叉熵误差求导，沿梯度下降的方向更新权值和偏置。
Figure BDA0002413444430000153
Figure BDA0002413444430000154
η：为学习率，
Figure BDA0002413444430000155
表示第l次训练时第i个神经元矩阵的第j个神经元权值，
Figure BDA0002413444430000156
表示第l次训练时第i个神经元矩阵的共享偏置。
将所有训练样本利用PCA提取特征值，将其做为神经网络的输入循环训练n次。将输出结果与标签结果进行对照后得出准确率，准确率的需求同用户的实际需求结合，本模型的准确率设定为90％，若训练完成后，模型准确率不满足要求，则调整卷积神经网络模型参数；若满足要求，则保存卷积神经网络模型结构参数和权值矩阵、偏置参数。
检测模块，将上述得到的注意力水平等级、情绪水平等级输入至预先训练好的感知器中，进行分类，得到待测人员的整体状态评价，以判断工人的整体状态是否满足作业需求。具体为：
将得到的电力从业人员的三个注意力水平分类结果与三个情绪水平分类结果共同输入到感知器中，进行线性分类，以判断工人的整体状态能否满足上班需求，具体包括感知器的构建，感知器结构为：
Figure BDA0002413444430000157
X1、X2输入之前都经过了归一化的处理，其中X1用3、2、1分别代表脑电分级中的专注、中性、不专注，X2用3、2、1分别代表情绪分级中的兴奋、中性、沮丧。输出函数选择了阈值函数，阈值为2；采用加权求和的决策融合方法，ω1和ω2分别是脑电分级模态和图像情绪模态的权重，而且ω1+ω2＝1；ω1与ω2的权重按照脑电分级模态和图像情绪模态的重要性分别取0.7和0.3。
实际判定时，采集工人上班之前五分钟的EEG数据，同时采集工人的面部照片，输入感知器进行线性分类，得到工人能否满足工作要求的输出，以此作为工人状态的判定。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.电力系统高危作业人员精神状态评估方法，其特征在于：包括以下步骤：
S01.采集待测人员上班之前设定时间长度的EEG数据以及待测人员面部照片；
S02.将所述EEG数据输入至预先训练好的目标BP神经网络，得到待测人员的注意力水平等级；
S03.将所述待测人员面部照片输入至预先训练好的目标卷积神经网络，得到待测人员的情绪水平等级；
S04.将步骤S02、S03中得到的注意力水平等级、情绪水平等级输入至预先训练好的感知器中，进行分类，得到待测人员的整体状态评价，以判断工人的整体状态是否满足作业需求。
2.根据权利要求1所述的电力系统高危作业人员精神状态评估方法，其特征在于：所述步骤S02中的目标BP神经网络的训练过程为：对电力作业人员进行试验，采集其脑电信号数据并进行处理得到样本数据，将样本数据分为专注、中性、不专注三个等级；最后将所述样本数据分为训练集和测试集，对BP神经网络进行训练，得到所述目标BP神经网络。
3.根据权利要求2所述的电力系统高危作业人员精神状态评估方法，其特征在于：对所述脑电信号数据的处理过程为：
预处理阶段：首先进行滤波和眼电纠正，将每个注意力等级的数据进行设定时间长度分段，每段数据都包含脑电信号数据的所有电极；得到多段样本脑电信号数据；
特征提取阶段：利用LMD算法进行分解，将样本脑电信号数据x(t)分解为N个PF分量与一个单调函数uN(t)之和，即：
Figure RE-FDA0002457733320000011
从分解后的脑电信号数据中提取前设定排名的PF分量，作为BP神经网络中的输入特征量来对信号识别和分类。
4.根据权利要求1至3任一所述的电力系统高危作业人员精神状态评估方法，其特征在于：所述目标卷积神经网络的训练过程为：将电力作业人员表情分为兴奋、中性、沮丧三个等级，采集带有表情等级标签的电力作业人员的面部表情数据，作为训练集，使用卷积神经网络进行训练，得到所述目标卷积神经网络。
5.根据权利要求1至3任一所述的电力系统高危作业人员精神状态评估方法，其特征在于：所述步骤S04中，将步骤S02、S03中得到的注意力水平等级、情绪水平等级进行归一化处理后输入所述感知器，然后进行线性分类，输出分类结果。
6.电力系统高危作业人员精神状态评估系统，其特征在于：包括
采集模块，采集待测人员上班之前设定时间长度的EEG数据以及待测人员面部照片；
注意力水平划分模块，将所述EEG数据输入至预先训练好的目标BP神经网络，得到待测人员的注意力水平等级；
情绪水平划分模块，将所述待测人员面部照片输入至预先训练好的目标卷积神经网络，得到待测人员的情绪水平等级；
检测模块，将注意力水平等级、情绪水平等级输入至预先训练好的感知器中，进行分类，得到待测人员的整体状态评价，以判断工人的整体状态是否满足作业需求。
7.根据权利要求6所述的电力系统高危作业人员精神状态评估系统，其特征在于：所述目标BP神经网络的训练过程为：对电力作业人员进行试验，采集其脑电信号数据并进行处理得到样本数据，将样本数据分为专注、中性、不专注三个等级；最后将所述样本数据分为训练集和测试集，对BP神经网络进行训练，得到所述目标BP神经网络。
8.根据权利要求7所述的电力系统高危作业人员精神状态评估系统，其特征在于：对所述脑电信号数据的处理过程为：
预处理阶段：首先进行滤波和眼电纠正，将每个注意力等级的数据进行设定时间长度分段，每段数据都包含脑电信号数据的所有电极；得到多段样本脑电信号数据；
特征提取阶段：利用LMD算法进行分解，将样本脑电信号数据x(t)分解为N个PF分量与一个单调函数uN(t)之和，即：
Figure RE-FDA0002457733320000021
从分解后的脑电信号数据中提取前设定排名的PF分量，作为BP神经网络中的输入特征量来对信号识别和分类。
9.根据权利要求6至8任一所述的电力系统高危作业人员精神状态评估系统，其特征在于：所述目标卷积神经网络的训练过程为：将电力作业人员表情分为兴奋、中性、沮丧三个等级，采集带有表情等级标签的电力作业人员的面部表情数据，作为训练集，使用卷积神经网络进行训练，得到所述目标卷积神经网络。
10.根据权利要求6至8任一所述的电力系统高危作业人员精神状态评估系统，其特征在于：所述检测模块中，将注意力水平等级、情绪水平等级进行归一化处理后输入所述感知器，然后进行线性分类，输出判断结果。
CN202010185959.2A 2020-03-16 2020-03-16 电力系统高危作业人员精神状态评估方法及系统 Withdrawn CN111358475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010185959.2A CN111358475A (zh) 2020-03-16 2020-03-16 电力系统高危作业人员精神状态评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010185959.2A CN111358475A (zh) 2020-03-16 2020-03-16 电力系统高危作业人员精神状态评估方法及系统

Publications (1)

Publication Number Publication Date
CN111358475A true CN111358475A (zh) 2020-07-03

Family

ID=71198568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010185959.2A Withdrawn CN111358475A (zh) 2020-03-16 2020-03-16 电力系统高危作业人员精神状态评估方法及系统

Country Status (1)

Country Link
CN (1) CN111358475A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112147936A (zh) * 2020-09-27 2020-12-29 武汉大学 一种电力作业安全管控装置和行为识别方法
CN112336353A (zh) * 2020-11-04 2021-02-09 西安科技大学 一种基于舒尔特方格与lstm的多级注意力分级方法
CN113100769A (zh) * 2021-04-21 2021-07-13 北京理工大学 基于生理指标的无人机操作人员工作状态评估方法及系统
CN113598794A (zh) * 2021-08-12 2021-11-05 中南民族大学 一种冰毒成瘾者检测模型的训练方法和系统
WO2022041786A1 (zh) * 2020-08-25 2022-03-03 广东电网有限责任公司电力科学研究院 一种配电不安全行为的预测方法、装置和服务器
CN116433029A (zh) * 2023-04-23 2023-07-14 国网四川省电力公司巴中供电公司 电力作业风险评估方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529421A (zh) * 2016-10-21 2017-03-22 燕山大学 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统
CN109350051A (zh) * 2018-11-28 2019-02-19 华南理工大学 用于精神状态评估与调节的头部可穿戴设备及其工作方法
CN110691550A (zh) * 2017-02-01 2020-01-14 塞雷比安公司 对感知体验进行测量的系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529421A (zh) * 2016-10-21 2017-03-22 燕山大学 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统
CN110691550A (zh) * 2017-02-01 2020-01-14 塞雷比安公司 对感知体验进行测量的系统和方法
CN109350051A (zh) * 2018-11-28 2019-02-19 华南理工大学 用于精神状态评估与调节的头部可穿戴设备及其工作方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张璐璐: "基于卷积神经网络的人脸面部表情识别方法研究", 《硕士电子期刊》 *
牛洁: "注意力相关脑电的特征提取及分类方法研究", 《硕士电子期刊》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022041786A1 (zh) * 2020-08-25 2022-03-03 广东电网有限责任公司电力科学研究院 一种配电不安全行为的预测方法、装置和服务器
CN112147936A (zh) * 2020-09-27 2020-12-29 武汉大学 一种电力作业安全管控装置和行为识别方法
CN112336353A (zh) * 2020-11-04 2021-02-09 西安科技大学 一种基于舒尔特方格与lstm的多级注意力分级方法
CN112336353B (zh) * 2020-11-04 2023-07-28 西安科技大学 一种基于舒尔特方格与lstm的多级注意力分级方法
CN113100769A (zh) * 2021-04-21 2021-07-13 北京理工大学 基于生理指标的无人机操作人员工作状态评估方法及系统
CN113598794A (zh) * 2021-08-12 2021-11-05 中南民族大学 一种冰毒成瘾者检测模型的训练方法和系统
CN116433029A (zh) * 2023-04-23 2023-07-14 国网四川省电力公司巴中供电公司 电力作业风险评估方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111358475A (zh) 电力系统高危作业人员精神状态评估方法及系统
CN110139597B (zh) 利用神经生理信号进行迭代分类的系统和方法
CN106886792B (zh) 一种基于分层机制构建多分类器融合模型的脑电情感识别方法
CN112274162B (zh) 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法
Shamwell et al. Single-trial EEG RSVP classification using convolutional neural networks
Noshadi et al. Selection of an efficient feature space for EEG-based mental task discrimination
Devaraj et al. Hand gesture signal classification using machine learning
Bhardwaj et al. An analysis of integration of hill climbing in crossover and mutation operation for eeg signal classification
CN115568866A (zh) 一种神经损伤的评价系统及其方法
Dharmaprani et al. A comparison of independent component analysis algorithms and measures to discriminate between EEG and artifact components
Sasidharan et al. Muscle fatigue analysis by visualization of dynamic surface EMG signals using Markov transition field
Nanthini et al. Different approaches of analysing EEG signals for seizure detection
CN115758097A (zh) 多模态人因智能状态识别模型创建及实时状态监测方法、系统及存储介质
Aznan et al. Leveraging synthetic subject invariant EEG signals for zero calibration BCI
Sharma et al. Quantification of Mental Workload Using a Cascaded Deep One-dimensional Convolution Neural Network and Bi-directional Long Short-Term Memory Model
Huang et al. Large-scale image database triage via EEG evoked responses
CN114305452A (zh) 一种基于脑电和领域适配的跨任务认知负荷识别方法
CN110516711B (zh) Mi-bci系统的训练集质量评估方法和单次训练样本的优化方法
Lee et al. Human gait and posture analysis for diagnosing neurological disorders
Nirde et al. EEG mental arithmetic task levels classification using machine learning and deep learning algorithms
Kumar Heart disease detection using radial basis function classifier
Komijani et al. Classification of normal and epileptic EEG signals using adaptive neuro-fuzzy network based on time series prediction
Begum et al. EEG sensor based classification for assessing psychological stress
George et al. Sensing and decoding of visual stimuli using commercial Brain Computer Interface technology
Panachakel et al. CSP-LSTM Based Emotion Recognition from EEG Signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200703

WW01 Invention patent application withdrawn after publication