CN117281531A - 基于卷积长短时记忆网络的心理疲劳态识别方法及系统 - Google Patents

基于卷积长短时记忆网络的心理疲劳态识别方法及系统 Download PDF

Info

Publication number
CN117281531A
CN117281531A CN202311585159.XA CN202311585159A CN117281531A CN 117281531 A CN117281531 A CN 117281531A CN 202311585159 A CN202311585159 A CN 202311585159A CN 117281531 A CN117281531 A CN 117281531A
Authority
CN
China
Prior art keywords
wave
data
ecg
interval
time window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311585159.XA
Other languages
English (en)
Other versions
CN117281531B (zh
Inventor
王慧
肖文栋
刘璐瑶
赵宝永
张亚男
张玭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202311585159.XA priority Critical patent/CN117281531B/zh
Publication of CN117281531A publication Critical patent/CN117281531A/zh
Application granted granted Critical
Publication of CN117281531B publication Critical patent/CN117281531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/10Pre-processing; Data cleansing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • G06N3/0442Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • G06F2218/04Denoising
    • G06F2218/06Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供了一种基于卷积长短时记忆网络的心理疲劳态识别方法及系统,该方法包括:对ECG信号进行去噪处理和降采样处理,得到预处理信号;对预处理信号进行R波检测,得到R波数据以及R波波峰位置坐标数据;基于R波波峰位置坐标数据,对所述R波数据进行切分,得到ECG节拍数据;构建网络模型,以ECG节拍数据为输入,进行特征提取及分类,得到分类结果。本方案降低了待分类数据的个体差异,也降低了分类器训练阶段的计算复杂度,相较于常规的机器学习算法,提高了识别的准确率。

Description

基于卷积长短时记忆网络的心理疲劳态识别方法及系统
技术领域
本发明涉及模式识别及人工神经网络应用领域,特别涉及一种基于卷积长短时记忆网络的心理疲劳态的识别方法及系统。
背景技术
疲劳是一种生理和心理上的不利状态,通常由长时间的体力或认知活动引起,导致身体和大脑感到疲倦,可分为生理疲劳和心理疲劳两类。生理疲劳,主要涉及身体方面的疲劳,包括肌肉疲劳、体力疲劳和运动耐力下降等。这种疲劳通常是由于长时间的体力活动或过度劳累引起的,可以通过休息来缓解并最终恢复。心理疲劳是指长时间的认知活动、情绪压力或心理负荷过大所引起的心理状态上的疲劳。它表现为注意力不集中、反应迟钝、决策能力下降以及情绪不稳定等症状,对个体的认知能力、工作效率和生活质量有负面影响。近年来,许多研究致力于心理疲劳的识别和检测。现有检测中常用的是心电(electrocardiogram,ECG)和脑电(electroencephalogram,EEG)等生理信号来提取特征并进行分类的检测。
关于ECG信号的研究,目前主要关注心率和心率变异性(heartratevariability,HRV)。现已有研究通过诱发受试者的心理疲劳,测量ECG信号,从而进一步计算HRV信号,再通过提取时域、频域、非线性域等相关参数,结合机器学习模型,检测心理疲劳的状态。然而,HRV特征的提取需要复杂的算法,并对信号质量要求较高,且提取过程会受到噪声和运动等因素的影响。此外,HRV特征的提取通常依赖于手工提取,也易受到主观因素的影响,无法充分捕捉ECG信号中的潜在信息。
基于EEG信号进行心理疲劳的检测,现有技术中已有部分方案通过提取时域、频域和非线性域等特征,并使用机器学习和深度学习等方法进行分类。现有的研究表明,不同的特征组合和分类算法对于心理疲劳的识别准确率有影响。然而,EEG信号在实际应用中存在一些局限,如会遭遇噪声干扰、电极位置选择不固定以及数据分析的复杂性等问题,限制了其在实际场景中的应用推广。
除了ECG和EEG信号,还有一些研究采用其它生理信号来检测心理疲劳,例如皮肤电信号、体表温度等。
综上所述,利用生理信号进行心理疲劳的识别和检测是一项具有重要意义的研究。当前,在心理疲劳的预测和监测方面,使用HRV和EEG信号来预测心理疲劳的方法备受关注。相比于直接从ECG信号中提取特征,采用HRV和EEG信号能够提供更多的生理信息;但HRV和EEG信号的处理比直接从ECG信号中提取特征更加复杂,需要更多的预处理和处理步骤,且其预处理和处理的过程对信号的质量要求更高,任何不良干扰都可能影响分析和预测的准确性。虽然HRV和EEG信号能够提供更多的生理信息,但HRV信号需要手工提取特征,所以它的精度和可靠性相对较低,并且EEG信号的测量设备较为复杂,增加了处理成本和难度。
发明内容
为了解决现有技术中HRV和EEG信号应用局限性的问题,本申请提出了基于一维卷积神经网络和长短时记忆网络结合的深度挖掘ECG信号的特征识别和检测方法,以实现更为高效的心理疲劳状态分类。
具体而言,本发明提供了以下技术方案:
一方面,本发明提供了基于卷积长短时记忆网络的心理疲劳态识别方法,该方法包括:
S1、对ECG信号进行去噪处理和降采样处理,得到预处理信号;
S2、对所述预处理信号进行R波检测,得到R波数据以及R波波峰位置坐标数据;基于所述R波波峰位置坐标数据,对所述R波数据进行切分,得到ECG节拍数据;
S3、构建网络模型,并以所述ECG节拍数据为输入,进行特征提取及分类,得到分类结果;所述网络模型包括特征提取网络及特征融合网络。
优选地,所述S1中,所述去噪处理包括:对ECG信号进行巴特沃斯低通滤波器滤波,去除肌电干扰;再通过陷波滤波,去除工频干扰;最后采用零相滤波器消除相位失真,得到预处理信号。
优选地,所述S1中,降采样处理中,将ECG信号频率降采样至33Hz。
优选地,所述S2中,所述R波检测的方式为:
S201、对所述预处理信号进行滤波,抑制P波和T波,再通过双斜率方法处理单个波形,随后进行低通滤波以对波形进行平滑处理,得到滤波后R波信号;
S202、设置RR间期长度T 1的初始值,并设置前两个相邻RR间期的差值T 2的初始值;所述RR间期指两个相邻R波之间的时间间隔;
S203、设置滑动时间窗长的初始值,以及步进值;
S204、定位当前时间窗;
S205、判断全部预处理信号是否检测完毕,如果检测完毕,则存储检测到的全部R波波峰位置坐标,如果未检测完毕,则进入下一步;
S206、选择当前时间窗数据,并定位当前时间窗数据中的最大值;
S207、计算当前时间窗数据的RR间期,并计算的值;如果/>,则转入S209;否则转入S208;
S208、根据当前RR间期,重新计算滑动时间窗长,并转入S210;
S209、此时发生错误,重新使用经验滑动时间窗长;
S210、更新滑动时间窗长与时间窗位置,并转入S204。
优选地,所述S2中,切分的方式为:以R波波峰位置为中心,向左和向右各截取一定时长的R波数据,作为一个ECG节拍数据。
优选地,所述S3中,所述特征提取网络设置为:
第一层为第一卷积层,卷积核设置为31×1,其后连接第一线性层,第一线性层后连接第一最大池化层;第一最大池化层后连接第二卷积层,卷积核设置为6×1,第二卷积层连接第二线性层,第二线性层连接第二最大池化层;第二最大池化层后连接全连接层,输出ECG特征。
优选地,所述S3中,ECG特征输入特征融合网络,所述特征融合网络包括输入层,所述输入层后连接隐藏层,再通过全连接层获得分类结果并输出。
优选地,所述S208中,根据当前RR间期,重新计算滑动时间窗长的方式为:如果RR间期小于0.45,则将此时的滑动时间窗长设置为:;如果RR间期大于0.5,则将此时的滑动时间窗长设置为:/>,如果/>间期在0.45到0.5之间时,则将此时的滑动时间窗长设置为:
其中,是滑动时间窗长;/>是当前/>间期;/>和/>分别是1.5倍和1.2倍的/>间期。
优选地,所述特征融合网络模型为:
其中,代表输入的ECG特征,/>代表当前时刻的记忆单元,/>代表上一时刻的记忆单元,/>代表候选状态的记忆单元,/>表示当前时刻的外部状态,/>表示上一时刻的外部状态,/>、/>、/>、/>分别表示输入门、遗忘门、输出门和候选单元的输入权值向量,、/>、/>、/>分别表示输入门、遗忘门、输出门和候选单元的偏置项,/>代表S型激活函数,代表双曲正切函数。
优选地,所述S201中,双斜率方法具体为:在波形中一个点的左右两侧的特定区间内寻找最大平均斜率和最小平均斜率;分别用左侧的最大斜率减去右侧的最小斜率,以及右侧的最大斜率减去左侧的最小斜率,以得到两个斜率差值;取这两个斜率差值中的最大值所对应的点,作为R波波峰的位置。
另一方面,本发明还提供了基于卷积长短时记忆网络的心理疲劳态识别系统,该系统包括:
预处理模块,用于对ECG信号进行去噪处理和降采样处理,得到预处理信号;
R波检测模块,用于对所述预处理信号进行R波检测,得到R波数据以及R波波峰位置坐标数据;基于所述R波波峰位置坐标数据,对所述R波数据进行切分,得到ECG节拍数据;
疲劳态识别模块,基于构建的网络模型,以所述ECG节拍数据为输入,进行特征提取及分类,得到分类结果;所述网络模型包括特征提取网络及特征融合网络。
第三方面,本发明还提供了基于卷积长短时记忆网络的心理疲劳态识别设备,该设备包含存储器及处理器,所述处理器可以调用存储器中的指令,以执行如上所述的基于卷积长短时记忆网络的心理疲劳态识别方法。
与现有技术相比,本发明技术方案具有以下有益效果:
1.本方案提出的去噪和降采样处理:通过巴特沃斯低通滤波器、陷波滤波器和零相滤波器等多步骤的去噪处理,有效消除了ECG信号中的肌电干扰、工频干扰和基线漂移,提高了信号质量。降采样处理减少了数据量,有助于提高计算效率。
2.精准的R波检测:采用双斜率方法和自适应滑动窗口方法等多步骤的R波检测方式,提高了对R波波峰位置的准确性,确保了ECG节拍数据的精准切分。
3.网络模型的构建:设计了包括特征提取网络和特征融合网络的深度学习模型,采用卷积神经网络(CNN)和长短时记忆网络(LSTM)相结合的方法,充分挖掘ECG信号的时序和空间信息,提高了特征提取的综合性和分类准确性。
本方案对于待分类数据达到了降低个体差异的目的,同时也降低了分类器训练阶段的计算复杂度,减少了训练时间并提高了分类器的整体分类准确率,方案对心理疲劳状态的识别分类准确率达到了96%以上,相较于常规的机器学习算法,提高了识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例的自适应滑动窗R波波峰定位方法流程图;
图2为本发明实施例的卷积网络结构示意图;
图3为本发明实施例的长短时记忆网络结构示意图;
图4为本发明实施例的卷积-长短时记忆网络整体架构示意图;
图5为本发明实施例的去噪ECG波形图;
图6为本发明实施例的降采样ECG波形图;
图7为本发明实施例的R波定位效果图;
图8为本发明实施例的ECG节拍示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。应当明确,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本领域技术人员应当知晓,下述具体实施例或具体实施方式,是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式,而该些设置方式之间均是可以相互结合或者相互关联使用的,除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时,下述的具体实施例或实施方式仅作为最优化的设置方式,而不作为限定本发明的保护范围的理解。
本方案主要采用CNN结合LSTM构建改进的识别网络,对样本数据进行特征选择,然后对选择的特征进行分类,两者结合建立心理疲劳识别模型。整体流程包括对ECG信号的数据预处理,主要进行去噪和降采样处理,然后深度挖掘特征,并通过网络模型进行特征融合和分类。本实施例中,数据集采用WESAD数据集(即多模态传感器数据集)中的ECG信号进行心理疲劳分类的研究,该信号采样频率为700 Hz,结合本方案的方法流程,能够准确识别和分类心理疲劳状态。以下,结合具体实施例对本方案进行详细阐述。
一、数据预处理
通过传感器测量的ECG信号中存在肌电、工频干扰以及基线漂移等噪声。因此,直接使用该数据集中的信号进行识别,准确率很低。为了更清晰地识别非疲劳和疲劳状态下的R波,以便进行后续特征提取,需要对ECG信号进行处理,以提高分类的准确性。
1、去噪和降采样处理
肌电干扰通常具有较宽的频率范围(5-2000 Hz),频谱特性类似白噪声。采用巴特沃斯低通滤波器可以有效地消除肌电干扰。工频干扰主要是由于电力系统中的电源磁场以及测量ECG信号的传感器和人体形成的环路引起的,工频干扰的最大幅值约为ECG信号最大幅值的50%。为了有效消除工频干扰,使用陷波滤波器是一种常见的方法。基线漂移是指ECG信号基线沿时间方向的缓慢变化,在各种噪声中影响最大,如果无法有效地抑制基线漂移,将导致ECG信号失真,严重影响ECG信号的诊断和识别。为了解决这个问题,本实施例中采用零相移滤波器使用“未来信息”来消除相位失真。在去噪处理中,上述的去噪步骤顺序可以调整,但上述各个步骤均必不可少。
为减少数据冗余和计算负担,同时确保足够的信息用于心理疲劳分类,本实施例将ECG信号的采样频率从700 Hz降低至33 Hz。为确保降采样频率足够低以减少数据量,同时不会损失重要的频率信息,本实施例中采用插值方法进行降采样。在插值方法中,使用插值算法在较低的采样率上生成新的数据点,从而创建一个以较低采样率表示的信号。通过多次实验对比,将采样率从700Hz减少到33Hz的过程中,数据点的生成不仅能够尽可能保留原始信号的关键频率信息,而且还可以提高降采样后数据的可用性和质量,使得最终降采样的数据在后续处理和分析中能够更为有效地应用。
2、R波检测
从整体ECG信号来看,R波在每种类型的ECG节拍中都是最明显的,因此对于R波的定位是最有利的。在去除噪声干扰后,基于R波的斜率突变特性,可以采用诸如差分法和小波变换法等处理方法来定位R波。考虑到时间和空间的复杂性和准确性,本实施例中提出了一种改进的自适应滑动时间窗定位方法,结合图1所示,具体的方法描述如下:
(1)使用滤波器来消除噪声并抑制P波和T波,即采用巴特沃斯低通滤波器消除肌电干扰;陷波滤波器消除工频干扰;零相移滤波器消除基线漂移,且能够抑制P波和T波,以获得纯净的ECG信号,使得波形模式单一并且R波更为明显。
(2)用“双斜率”方法处理纯净的ECG信号,使波形模式更为单一。本实施例中,在抑制P波和T波后,其波形仍然存在,因此,我们需要进一步处理信号,以完全只保留R波。本实施例中,双斜率方法的基本处理方式是:在一个点的左右两侧的特定区间(例如左右两侧各0.03s)内寻找最大平均斜率和最小平均斜率。然后,分别用左侧的最大斜率减去右侧的最小斜率,以及右侧的最大斜率减去左侧的最小斜率。最终,取这两个斜率差值中的最大值所对应的点,作为R波波峰的位置,并在这个位置后续进行进一步的信号处理(即通过滤波处理,使得波形光滑),以确保待识别的心电信号中只保留R波,而其他波形成分被抑制。其基本原理是利用了R波的陡峭特性。
(3)经过步骤(2)后的波形中可能包含双峰,这对准确检测不利,因此,对该波形使用低通滤波进行平滑处理。低通滤波器的截止频率我们可以设置为例如5Hz。
(4)根据时间窗口的长度对信号进行划分,初始窗口长度和步进为经验值,本实施例中选择长度N=t×f(通常情况下t=1.2 s,f=33 Hz),步进为50毫秒。同时根据经验设置RR间期(两个相邻R波之间的时间间隔)时间长度T 1的初始值为0.6s,相邻RR间期的差值T 2的初始值为0.35s。然后,R波峰值是当前窗口长度内数据的最大值及其位置。
(5)当检测到两个以上的R波峰值时,计算两个相邻的RR间期,并将RR间期用作下一个窗口长度设置点的基础。自适应窗口长度意味着窗口长度会随RR间期变化而变化。具体地,如果RR间期小于0.45,则将窗口长度设置为1.2倍的RR间期;如果RR间期大于0.5,则将其窗口长度设置为1.5倍的RR间期,如果RR间期在0.45到0.5之间时,则时间窗长的具体计算公式为:
其中,是时间窗长;/>是当前/>间期;/>和/>分别是1.5倍和1.2倍的间期序列。
(6)当检测到三个或更多R波峰值时,将T 2与两个相邻RR间期的差值的绝对值进行比较,如果其绝对值大于T 2,表明先前的R波位置不正确,需要重置窗口长度,即再次执行步骤(4)以重新定位R波。如果差值小于T 2,按照步骤(5)中的当前RR间期长度计算自适应的窗口长度。
由于峰值检测算法的窗口长度自适应变化,当出现R波峰值位置误差时,后续的R波峰值检测不会受到影响,有效避免了峰值检测的遗漏和错误检测。根据该步骤,依次检查ECG数据,直到所有的R峰被检测出来。改进的自适应滑动窗R波波峰定位算法的流程如图1所示,该方法可以准确地定位R波,并根据R波的位置坐标对ECG信号进行切分,以便将切分后的ECG节拍输入到CNN网络中,从而获取相关的特征信息。在进行ECG信号切分时,我们以R波位置为中心,向左向右各截取一定时长的ECG节拍数据,例如可以向左向右各截取250毫秒时长形成节拍数据,如图8所示。
以下,我们结合图1,再对定位方法的数据处理流程进行介绍:
a)对接收到的ECG信号进行巴特沃斯低通滤波器滤波,去除肌电干扰信号,并去除信号中的工频干扰,通过零相移滤波器去除相位失真,解决基线漂移问题。
b)对a)中处理后信号进行“双斜率”处理单个波形。
c)对处理后波形进行低通滤波,以对波形信号进行平滑处理。低通滤波器的截止频率我们可以设置为例如5Hz。
d) 设置RR时间长度T 1,以及前两个相邻RR间隔的差值T 2,其中,当检测到三个或更多个波峰时,我们需要设置T 2
e)设置滑动时间窗长,以及步进值。滑动时间窗长的具体计算方式,可以参见上述的步骤(5)。初始滑动时间窗长通常可以根据经验取适当的值,本实施例中选择长度N=t×f(通常情况下t=1.2 s,f=33 Hz)。
f)定位当前时间窗。
g)判断数据是否全部检测完毕。如果检测完毕,则存储检测到的全部R波位置信息,例如R波的坐标信息等;如果未检测完毕,则进入下一步。
h)选择当前窗数据,并定位当前窗中的数据的最大值;
i)计算当前的RR间期(两个相邻R波之间的时间间隔),再计算当前RR间期与前一RR间期之间的差值的绝对值,然后比较该绝对值与T 2的关系;如果,则转入步骤k),否则转入步骤j)。
j)根据当前RR间期,重新计算窗长,转入步骤l)。滑动时间窗长的计算公式为:如果RR间期小于0.45,则将窗口长度设置为:/>;如果RR间期大于0.5,则将其窗口长度/>设置为:/>,如果RR间期在0.45到0.5之间时,采用线性插值的方法来计算时间窗长,计算公式为:
其中,是滑动时间窗长;/>是当前/>间期;/>和/>分别是1.5倍和1.2倍的/>间期。
k)此时发生错误,重新使用经验窗口。
l)更新时间窗的长度与位置,并转入步骤f)。
在全部的ECG数据处理完毕后,我们将得到R波的位置坐标数据,随后根据R波的位置坐标对ECG信号进行切分,进入后续的特征提取环节。
二、特征提取与分类
1、特征提取模型
近年来,CNN算法快速发展,其最大的优点在于能够自动进行特征提取、共享权重、局部连接卷积层,以及通过池化操作降低数据的维度。在本实施例中,我们基于CNN网络以及ECG信号特点,提出了基于CNN模型提取特征的方法,如图2所示,该图表示了在本实施例中使用的CNN网络模型。
本实施例的特征提取模型共设置有5层。第一和第三层设置为卷积层,这两个卷积层的卷积核大小分别设置为31×1和6×1,用于对输入的ECG节拍提取局部信息。第二、四层设置为池化层,池化层均为最大池化层,用于从局部特征中提取关键信息并舍弃冗余特征。在卷积操作中,卷积核的移动步幅优选设置为1,且在每次卷积后都经过带泄露修正线性单元操作,即每个卷积层后增设带泄露线性修正层。两池化层的步长分别设置为5和3。
在CNN特征提取模型中,经过一系列卷积运算后,关键的局部信息被提取出来,然后将其映射到隐藏层的特征空间中,随后,通过全连接层将这些信息映射到标记的空间中进行整合输出,即在第四层的池化层之后,设置全连接层,完成数据的整合输出。为了更新网络参数并加快模型的收敛速度,将随机梯度下降作为网络模型的优化器,在网络模型中权重会随着梯度下降方向进行迭代更新。在训练过程中,初始学习率设为0.01,批量的大小设为16。
2、LSTM模型
LSTM是一种递归神经网络的变体,专门设计用于处理序列数据。它具有三个关键的门机制,用于有效地捕获、存储和输出关键的心电信息。其模型结构如图3所示。其中输入门(input door)控制着有多少信息应该被存储在当前候选状态/>(current candidatestatus)中,它确保模型有效地吸收来自心电特征的关键信息,以进行后续分析和分类。遗忘门/>(forget door)控制着前一时刻的内部状态/>(internal state of the previousmoment)中应该遗忘多少信息。对于输入特征/>
(input feature),遗忘门作用是决定在当前时间步骤应该丢弃哪些信息,以丢弃与当前任务无关的信息。输出门(output door)控制着从内部状态/>(internalstate)输出到外部状态/>(externalstate)的信息量,允许模型确定每次处理心电特征时要输出多少信息。本实施例中,三个门的计算如公式(1)-(6)所示。
在全部的ECG数据处理完毕后,我们将得到R波的位置坐标数据,随后根据R波的位置坐标对ECG信号进行切分,进入后续的特征提取环节。
(1)
(2)
(3)
(4)
(5)
(6)
式中,代表输入特征,/>代表当前时刻的记忆单元,/>代表上一时刻的记忆单元,/>代表候选状态的记忆单元,/>表示当前时刻的外部状态,/>表示上一时刻的外部状态。/>、/>、/>、/>分别表示输入门、遗忘门、输出门和候选单元的输入权值向量,而/>、/>、/>分别表示各个门控单元的偏置项。/>代表S型激活函数,/>代表双曲正切函数。
本实施例中,LSTM模型采用2层的网络结构,为了防止过拟合现象以及减少计算量,分别设置LSTM的神经元个数为64和32,此时的预测性能最优。输出层将LSTM层最后输出的隐含状态作为输入,通过全连接层预测心理疲劳状态。
3、构建CNN-LSTM模型
本实施例设置的特征提取网络能够有效提取心电信号的特征值,而LSTM的门控机制可以对CNN提取的特征值进行长短期的存储以实现特征融合。并且LSTM模型中数据特征的“选择性记忆”过程有助于减少特征之间的冗余。最后,将融合后的特征输入到分类器中,对疲劳状态和非疲劳状态进行分类。本实施例通过多次重复的CNN卷积和池化操作,能够有效提取增强的心电特征信息,然后这些特征传递给LSTM,作为该模型输入层的载入数据。随后,对多个层级进行处理,将信息传递到全连接层,再结合sigmoid激活函数进行分类,以获取最终的预测输出。CNN-LSTM模型的结构如图4所示。
三、实验比对
图5是经本实施例所提出的滤波方式,对ECG进行滤波、去噪处理后的波形图。滤波器在信号处理中起着关键的作用,能够有效去除原始ECG波形图中的噪声,从而提高信号质量和可读性。从图5中可以明显看出,经本实施例所提出的方法的处理有,能够有效地滤除ECG信号中的噪声成分,使得ECG波形图变得更加清晰和准确。
图6展示了经过本实施例所提出的降采样处理后的ECG波形图。通过降采样处理ECG波形图,实现了数据的压缩和计算复杂度的降低,同时去除了高频噪声,简化了数据处理流程,提高了处理效率。
本实施例中,使用了改进的自适应滑动窗R波波峰定位算法,R波的定位效果图如图7所示,该算法的准确率达到了98.7%。
在进行切分时,我们以R波位置为中心,向左向右各截取250毫秒的ECG节拍数据,如图8所示。分割后的ECG数据分别使用朴素贝叶斯(naive bayes,NB)分类器、支持向量机(support vector machine,SVM)算法、决策树(decision tree,DT)等机器学习算法进行心理疲劳的分类以作为对比例,按照8:2的比例分为训练集与测试集,这些数据将作为CNN-LSTM模型的输入。
各分类器分类结果对比如表1所示,CNN-LSTM算法识别的准确率明显高于机器学习(NB,SVM,DT)和单一的深度学习CNN算法。
通过实验的对比分析可见,采用本实施例提出的CNN-LSTM算法训练样本达到了降低个体差异的目的,同时也降低了分类器训练阶段的计算复杂度,减少了训练时间并提高了分类器的整体分类准确率。
实验结果表明,本方案提出的CNN-LSTM算法对心理疲劳状态的识别分类准确率达到了96%以上,相较于机器学习和单一CNN等相关算法,提高了识别的准确率。CNN-LSTM算法能够有效地识别心理疲劳,为心理疲劳状态的干预与心理健康等提供了可能性。
在又一个实施例中,本发明的方案还可以通过一种基于卷积长短时记忆网络的心理疲劳态识别系统的方式来实现,该系统包括:
预处理模块,用于对ECG信号进行去噪处理和降采样处理,得到预处理信号;
R波检测模块,用于对所述预处理信号进行R波检测,得到R波数据以及R波波峰位置坐标数据;基于所述R波波峰位置坐标数据,对所述R波数据进行切分,得到ECG节拍数据;
疲劳态识别模块,基于构建的网络模型,以所述ECG节拍数据为输入,进行特征提取及分类,得到分类结果;所述网络模型包括特征提取网络及特征融合网络。
该系统可以执行如上一实施例中所提供的基于卷积长短时记忆网络的心理疲劳态识别方法。
本方案在又一种实施方式下,可以通过设备的方式来实现,该设备可以包括执行上述各个实施方式中各个或几个步骤的相应模块。因此,可以由相应模块执行上述各个实施方式的每个步骤或几个步骤,并且该电子设备可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。该设备可以利用总线架构来实现。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本方案的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本方案的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如,本方案中的方法实施方式可以被实现为软件程序,其被有形地包含于机器可读介质,例如存储器。在一些实施方式中,软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时,可以执行上文描述的方法中的一个或多个步骤。备选地,在其他实施方式中,处理器可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行上述方法之一。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.基于卷积长短时记忆网络的心理疲劳态识别方法,其特征在于,所述方法包括:
S1、对ECG信号进行去噪处理和降采样处理,得到预处理信号;
S2、对所述预处理信号进行R波检测,得到R波数据以及R波波峰位置坐标数据;基于所述R波波峰位置坐标数据,对所述R波数据进行切分,得到ECG节拍数据;
S3、构建网络模型,并以所述ECG节拍数据为输入,进行特征提取及分类,得到分类结果;所述网络模型包括特征提取网络及特征融合网络。
2.根据权利要求1所述的方法,其特征在于,所述S1中,所述去噪处理包括:对ECG信号进行巴特沃斯低通滤波器滤波,去除肌电干扰;再通过陷波滤波,去除工频干扰;最后采用零相滤波器消除相位失真,得到预处理信号。
3.根据权利要求1所述的方法,其特征在于,所述S1中,降采样处理中,将ECG信号频率降采样至33Hz。
4.根据权利要求1所述的方法,其特征在于,所述S2中,所述R波检测的方式为:
S201、对所述预处理信号进行滤波,抑制P波和T波,再通过双斜率方法处理单个波形,随后进行低通滤波以对波形进行平滑处理,得到滤波后R波信号;
S202、设置RR间期长度T 1的初始值,并设置前两个相邻RR间期的差值T 2的初始值;所述RR间期指两个相邻R波之间的时间间隔;
S203、设置滑动时间窗长的初始值,以及步进值;
S204、定位当前时间窗;
S205、判断全部预处理信号是否检测完毕,如果检测完毕,则存储检测到的全部R波波峰位置坐标,如果未检测完毕,则进入下一步;
S206、选择当前时间窗数据,并定位当前时间窗数据中的最大值;
S207、计算当前时间窗数据的RR间期,并计算的值;如果,则转入S209;否则转入S208;
S208、根据当前RR间期,重新计算滑动时间窗长,并转入S210;
S209、此时发生错误,重新使用经验滑动时间窗长;
S210、更新滑动时间窗长与时间窗位置,并转入S204。
5.根据权利要求1所述的方法,其特征在于,所述S3中,所述特征提取网络设置为:
第一层为第一卷积层,卷积核设置为31×1,其后连接第一线性层,第一线性层后连接第一最大池化层;第一最大池化层后连接第二卷积层,卷积核设置为6×1,第二卷积层连接第二线性层,第二线性层连接第二最大池化层;第二最大池化层后连接全连接层,输出ECG特征。
6.根据权利要求5所述的方法,其特征在于,所述S3中,ECG特征输入特征融合网络,所述特征融合网络包括输入层,所述输入层后连接隐藏层,再通过全连接层获得分类结果并输出。
7.根据权利要求4所述的方法,其特征在于,
所述S208中,根据当前RR间期,重新计算滑动时间窗长的方式为:如果RR间期小于0.45,则将此时的滑动时间窗长设置为:;如果RR间期大于0.5,则将此时的滑动时间窗长设置为/>:,如果/>间期在0.45到0.5之间时,则将此时的滑动时间窗长设置为:
其中,是滑动时间窗长;/>是当前/>间期;/>和/>分别是1.5倍和1.2倍的间期。
8.根据权利要求6所述的方法,其特征在于,所述特征融合网络模型为:
其中,代表输入的ECG特征,/>代表当前时刻的记忆单元,/>代表上一时刻的记忆单元,/>代表候选状态的记忆单元,/>表示当前时刻的外部状态,/>表示上一时刻的外部状态,/>、/>、/>、/>分别表示输入门、遗忘门、输出门和候选单元的输入权值向量,/>、/>、/>分别表示输入门、遗忘门、输出门和候选单元的偏置项,/>代表S型激活函数,/>代表双曲正切函数。
9.根据权利要求4所述的方法,其特征在于,所述S201中,双斜率方法具体为:在波形中一个点的左右两侧的特定区间内寻找最大平均斜率和最小平均斜率;分别用左侧的最大斜率减去右侧的最小斜率,以及右侧的最大斜率减去左侧的最小斜率,以得到两个斜率差值;取这两个斜率差值中的最大值所对应的点,作为R波波峰的位置。
10.基于卷积长短时记忆网络的心理疲劳态识别系统,其特征在于,所述系统用以执行如权利要求1-9任一所述的基于卷积长短时记忆网络的心理疲劳态识别方法,该系统包括:
预处理模块,用于对ECG信号进行去噪处理和降采样处理,得到预处理信号;
R波检测模块,用于对所述预处理信号进行R波检测,得到R波数据以及R波波峰位置坐标数据;基于所述R波波峰位置坐标数据,对所述R波数据进行切分,得到ECG节拍数据;
疲劳态识别模块,基于构建的网络模型,以所述ECG节拍数据为输入,进行特征提取及分类,得到分类结果;所述网络模型包括特征提取网络及特征融合网络。
CN202311585159.XA 2023-11-27 2023-11-27 基于卷积长短时记忆网络的心理疲劳态识别方法及系统 Active CN117281531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311585159.XA CN117281531B (zh) 2023-11-27 2023-11-27 基于卷积长短时记忆网络的心理疲劳态识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311585159.XA CN117281531B (zh) 2023-11-27 2023-11-27 基于卷积长短时记忆网络的心理疲劳态识别方法及系统

Publications (2)

Publication Number Publication Date
CN117281531A true CN117281531A (zh) 2023-12-26
CN117281531B CN117281531B (zh) 2024-01-30

Family

ID=89258961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311585159.XA Active CN117281531B (zh) 2023-11-27 2023-11-27 基于卷积长短时记忆网络的心理疲劳态识别方法及系统

Country Status (1)

Country Link
CN (1) CN117281531B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366101B1 (ko) * 2012-12-31 2014-02-26 부산대학교 산학협력단 개인별 ecg 신호의 정상 신호 분류 시스템 및 방법
CN106974637A (zh) * 2017-04-11 2017-07-25 西南大学 心率实时计算方法及装置
CN109846471A (zh) * 2019-01-30 2019-06-07 郑州大学 一种基于BiGRU深度神经网络的心肌梗死检测方法
CN110169766A (zh) * 2019-04-30 2019-08-27 厦门大学 一种基于小波变换的心电波形检测方法、装置、终端设备
CN113057648A (zh) * 2021-03-22 2021-07-02 山西三友和智慧信息技术股份有限公司 一种基于复合lstm结构的ecg信号分类方法
CN113171102A (zh) * 2021-04-08 2021-07-27 南京信息工程大学 基于持续深度学习的ecg数据分类方法
CN114052741A (zh) * 2021-11-08 2022-02-18 西安工业大学 基于多尺度自回归模型的心电图识别方法
CN115470828A (zh) * 2022-09-23 2022-12-13 华东师范大学 基于卷积与自注意力机制的多导联心电图分类识别方法
CN115736944A (zh) * 2022-09-29 2023-03-07 郑州大学 一种基于短时单导联心电信号的房颤检测模型mcnn-blstm
CN116491954A (zh) * 2023-05-10 2023-07-28 东南大学 基于融合神经网络的多标签多导联心律失常分类方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366101B1 (ko) * 2012-12-31 2014-02-26 부산대학교 산학협력단 개인별 ecg 신호의 정상 신호 분류 시스템 및 방법
CN106974637A (zh) * 2017-04-11 2017-07-25 西南大学 心率实时计算方法及装置
CN109846471A (zh) * 2019-01-30 2019-06-07 郑州大学 一种基于BiGRU深度神经网络的心肌梗死检测方法
CN110169766A (zh) * 2019-04-30 2019-08-27 厦门大学 一种基于小波变换的心电波形检测方法、装置、终端设备
CN113057648A (zh) * 2021-03-22 2021-07-02 山西三友和智慧信息技术股份有限公司 一种基于复合lstm结构的ecg信号分类方法
CN113171102A (zh) * 2021-04-08 2021-07-27 南京信息工程大学 基于持续深度学习的ecg数据分类方法
CN114052741A (zh) * 2021-11-08 2022-02-18 西安工业大学 基于多尺度自回归模型的心电图识别方法
CN115470828A (zh) * 2022-09-23 2022-12-13 华东师范大学 基于卷积与自注意力机制的多导联心电图分类识别方法
CN115736944A (zh) * 2022-09-29 2023-03-07 郑州大学 一种基于短时单导联心电信号的房颤检测模型mcnn-blstm
CN116491954A (zh) * 2023-05-10 2023-07-28 东南大学 基于融合神经网络的多标签多导联心律失常分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柯丽;王丹妮;杜强;姜楚迪;: "基于卷积长短时记忆网络的心律失常分类方法", 电子与信息学报, no. 08 *

Also Published As

Publication number Publication date
CN117281531B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
Venkatesan et al. ECG signal preprocessing and SVM classifier-based abnormality detection in remote healthcare applications
Venkatesan et al. A novel LMS algorithm for ECG signal preprocessing and KNN classifier based abnormality detection
Elhaj et al. Arrhythmia recognition and classification using combined linear and nonlinear features of ECG signals
Burguera Fast QRS detection and ECG compression based on signal structural analysis
Jain et al. QRS detection using adaptive filters: A comparative study
Arbateni et al. Sigmoidal radial basis function ANN for QRS complex detection
He et al. Automatic detection of QRS complexes using dual channels based on U-Net and bidirectional long short-term memory
Priscila et al. Heart Disease Prediction Using Integer-Coded Genetic Algorithm (ICGA) Based Particle Clonal Neural Network (ICGA-PCNN)
JP2003310562A (ja) Ppgを用いた心拍検出装置及びその方法
Singh et al. A robust R-peak detection algorithm using wavelet packets
CN111481192A (zh) 一种基于改进U-Net的心电信号R波检测方法
Li et al. A low-complexity ECG processing algorithm based on the Haar wavelet transform for portable health-care devices
Rangappa et al. Classification of cardiac arrhythmia stages using hybrid features extraction with k-nearest neighbour classifier of ecg signals
KR101483756B1 (ko) 맥파 검출 방법
An et al. Effective data augmentation, filters, and automation techniques for automatic 12-lead ECG classification using deep residual neural networks
Singh et al. Short and noisy electrocardiogram classification based on deep learning
CN113180688B (zh) 基于残差神经网络的冠心病心电图筛查系统及方法
Talukdar et al. Evaluating visual photoplethysmography method
KR102559333B1 (ko) 수면호흡장애 환자의 인공지능 기반 심혈관질환 예측 모델을 이용한 심혈관질환 예측시스템
CN117281531B (zh) 基于卷积长短时记忆网络的心理疲劳态识别方法及系统
Alavi et al. A new combinatorial algorithm for QRS detection
Paila et al. Detection and Analysis of Cardiac Arrhythmias from Heartbeat Classification
Mohseni et al. Heart arrhythmias classification via a sequential classifier using neural network, principal component analysis and heart rate variation
Utkarsh et al. Classification of atrial arrhythmias using neural networks
Murthy et al. Design and implementation of hybrid techniques and DA-based reconfigurable FIR filter design for noise removal in EEG signals on FPGA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant