CN114601476A - 一种基于视频刺激下的eeg信号情感识别方法 - Google Patents

一种基于视频刺激下的eeg信号情感识别方法 Download PDF

Info

Publication number
CN114601476A
CN114601476A CN202210246174.0A CN202210246174A CN114601476A CN 114601476 A CN114601476 A CN 114601476A CN 202210246174 A CN202210246174 A CN 202210246174A CN 114601476 A CN114601476 A CN 114601476A
Authority
CN
China
Prior art keywords
eeg signal
electroencephalogram
emotion
eeg
differential entropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210246174.0A
Other languages
English (en)
Inventor
吴伦慧
林海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202210246174.0A priority Critical patent/CN114601476A/zh
Publication of CN114601476A publication Critical patent/CN114601476A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/726Details of waveform analysis characterised by using transforms using Wavelet transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Power Engineering (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及脑电信号情感识别技术领域,并公开了一种基于视频刺激下的EEG信号情感识别方法。其中方法包括以下步骤:(1)采用64导脑电信号采集设备对观看视频的被测试者进行EEG信号采集;(2)采用滤波等方法对EEG信号进行预处理;(3)按照通道覆盖全脑的原则从64导脑电数据选取15导进行研究;(4)采用小波包变换对经过预处理的EEG信号进行分解,重构出EEG信号每个频带内的节律波;(5)提取EEG信号节律波的微分熵特征,将微分熵特征矩阵表示为二维灰度图像;(6)将该图像输入到卷积神经网络训练分类模型,对被测试者的情感状态进行识别。该方案以微分熵特征和卷积神经网络为基础设计情感脑电分类模型,为情感脑机接口等领域提供科学有效的情感分类方法。

Description

一种基于视频刺激下的EEG信号情感识别方法
技术领域
本发明涉及脑电信号情感识别技术领域,特别是一种基于视频刺激下的EEG信号情感识别方法。
背景技术
情感处理是人脑高级认知功能之一,不同情感对人脑的影响也不同。情感分析作为人工智能领域的高级阶段,是人机交互、拟人控制理论等领域的重要研究对象。此外,探究大脑对不同情感的反应可以揭示与情感相关的精神疾病的发病机制,并且有助于提高人类精神类疾病的自动化检测与辅助治疗,例如抑郁症、躁狂症等。
脑电是大脑皮层神经元放电现象的总和。作为一种非侵入式的生理信号,脑电能以高时间分辨率记录刺激事件产生的神经反应,并且具有成本低、操作简单等优势,被大量运用在神经系统疾病、人脑认知活动的研究中。
脑电等生理信号具有高度复杂性和非平稳性,目前情感脑电识别中采用的有效特征仍以源自各脑电节律的频域特征为主,其中微分熵DE特征性能突出且表现平稳。不同频段的脑电微分熵特征是情感分析任务中最为常用的特征之一。
随着人工智能的发展,深度学习已成为大数据和人工智能领域的一项新技术,在图像识别等领域已取得了重大成就。在所有深度学习的算法结构中,卷积神经网络(convolutional neural network,CNN)模型显示出了较强的竞争力。卷积神经网络有局部感受野和权值共享等优点,使网络结构得到简化,并且在处理医学图像以及脑电信号分类方而有着广泛应用。
综上所述,在人工智能迅速发展的背景下,通过深度学习来进行脑电信号情感识别己经成为人工智能领域内的一个热点研究课题。但是由于脑电波信号具有显著的非线性非平稳特性,利用脑电波信号识别情感依然存在准确率不高的问题,如何根据脑电情感信号构建特征工程和保证情感特征质量,以及提高情感分类模型的识别率和泛化性,这仍是脑电情感识别领域中所面临的挑战。该方案以微分熵特征和卷积神经网络为基础设计情感脑电分类模型,探究大脑的情绪处理机制,为情感脑机接口等领域提供科学有效的情感分类方法。
发明内容
本发明的目的是提供一种基于视频刺激下的EEG信号情感识别方法,以实现对被测试者的情感状态进行识别,用于进一步情感脑机接口等领域的研究。
本发明提供一种基于视频刺激下的EEG信号情感识别方法,该方法具体包括以下步骤:
第一步:采用64导脑电信号采集设备对观看视频的被测试者进行EEG信号采集;
第二步:采用滤波等方法对EEG信号进行预处理;
第三步:按照通道覆盖全脑的原则从64导脑电数据选取15导进行研究;
第四步:采用小波包变换对经过预处理的EEG信号进行分解,重构出EEG信号每个频带内的节律波。
第五步:提取EEG信号节律波的微分熵特征,将微分熵特征矩阵表示为二维灰度图像;
第六步:将该图像输入到卷积神经网络训练分类模型,对被测试者的情感状态进行识别。
如上所述的情感识别方法,其中,通过对观看视频的被测试者进行EEG信号采集的步骤,具体包括:
脑电信号采集设备用的是Neuroscan(美国),采用标准的10/20导国际标准脑电采集帽;一共采集64通道脑电信号,采样频率1000Hz,直流采集,采集脑电信号频率范围0-100Hz,阻抗低于10千欧。
如上所述的情感识别方法,其中,采用滤波等方法对EEG信号进行预处理的步骤,包括:
参考电极标准化:采用的REST参考,REST是一种试图恢复脑电记录中参考电极丢失电位的无参考技术,依据等效的源可以产生与大脑内部真实源相同的头皮电位;
基线校正:从软件出发对其进行基线校正;
滤波:对原始数据进行0~50Hz的带通滤波;
去除伪迹:剔除伪迹幅值明显大于脑电信号的幅值。
如上所述的情感识别方法,其中,按照通道覆盖全脑的原则从64导脑电数据选取15导,包括:
从64导脑电数据选取15导进行研究,选取的标准按照通道覆盖全脑的原则,通道分别是:F3、F4、FC3、FC4、C3、C4、CZ、C5、C6、CP3、CP4、P3、P4、O1、O2参考电极是AFz。
如上所述的情感识别方法,其中,所述采用小波包变换对经过预处理的EEG信号进行小波分解,具体为:
采用小波包变换对经过预处理的EEG信号进行4层小波分解。
如上所述的情感识别方法,其中,提取EEG信号节律波的微分熵特征,将微分熵特征矩阵表示为二维灰度图像的步骤,包括:
提取theta,alpha,beta和gamma波段的功微分熵特征进行评估,将特征矩阵转化为二维灰度图像,作为卷积神经网络的输入。
如上所述的情感识别方法,其中,所述脑电EEG情感识别采用卷积神经网络模型,具体为:
将微分熵特征二维灰度图像输入到卷积神经网络训练分类模型,对被测试者的情感状态进行识别。
本发明以微分熵特征和卷积神经网络为基础设计情感脑电分类模型,探究大脑的情绪处理机制,为情感脑机接口等领域提供科学有效的情感分类方法。
附图说明
为了更清楚地说明本发明的技术方案,下面将对描述中所需要使用的附图作简单地介绍。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明所提供的一种基于视频刺激下的EEG信号情感识别方法的流程图;
图2为本发明所提供的滤波后的EEG波形图;
图3为本发明所提供的15导EEG通道图;
具体实施方式
本发明的核心是提供一种基于视频刺激下的EEG信号情感识别方法,以实现对被测试者的情感状态进行识别,用于进一步情感脑机接口等领域的研究。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明提供的一种基于视频刺激下的EEG信号情感识别方法的流程图。在处理过程中,应选取经过训练的被试者。将脑电信号采集设备与被试者的大脑头皮相连。被试在电脑屏幕上播放的视频提示程序的辅助下进行观看。
下面给出的是本发明提供的一种基于视频刺激下的EEG信号情感识别方法的应用实施例。
步骤一:采用64导脑电信号采集设备对观看视频的被测试者进行EEG信号采集。脑电信号采集设备用的是Neuroscan(美国),采用标准的10/20导国际标准脑电采集帽;一共采集64通道脑电信号,采样频率1000Hz,直流采集,采集脑电信号频率范围0-100Hz,阻抗低于10千欧。
步骤二:采用滤波等方法对EEG信号进行预处理。参考电极标准化:采用的REST参考,REST是一种试图恢复脑电记录中参考电极丢失电位的无参考技术,依据等效的源可以产生与大脑内部真实源相同的头皮电位;基线校正:从软件出发对其进行基线校正;滤波:对原始数据进行0~50Hz的带通滤波;去除伪迹:剔除伪迹幅值明显大于脑电信号的幅值。
步骤三:按照通道覆盖全脑的原则从64导脑电数据选取15导进行研究。从64导脑电数据选取15导进行研究,选取的标准按照通道覆盖全脑的原则,通道分别是:F3、F4、FC3、FC4、C3、C4、CZ、C5、C6、CP3、CP4、P3、P4、O1、O2参考电极是AFz。
步骤四:采用小波包变换对经过预处理的EEG信号进行分解,重构出EEG信号每个频带内的节律波。采用小波包变换对经过预处理的EEG信号进行4层小波分解。
步骤五:提取EEG信号节律波的微分熵特征,将微分熵特征矩阵表示为二维灰度图像。提取theta,alpha,beta和gamma波段的功微分熵特征进行评估,将特征矩阵转化为二维灰度图像,作为卷积神经网络的输入。
步骤六:将该图像输入到卷积神经网络训练分类模型,对被测试者的情感状态进行识别。将微分熵特征二维灰度图像输入到卷积神经网络训练分类模型,对被测试者的情感状态进行识别。
以上对本发明所提供的一种基于视频刺激下的EEG信号情感识别方法进行了详细介绍。以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种基于视频刺激下的EEG信号情感识别方法,其特征在于,包括以下步骤:
第一步:采用64导脑电信号采集设备对观看视频的被测试者进行EEG信号采集;
第二步:采用滤波等方法对EEG信号进行预处理;
第三步:按照通道覆盖全脑的原则从64导脑电数据选取15导进行研究;
第四步:采用小波包变换对经过预处理的EEG信号进行分解,重构出EEG信号每个频带内的节律波;
第五步:提取EEG信号节律波的微分熵特征,将微分熵特征矩阵表示为二维灰度图像;
第六步:将该图像输入到卷积神经网络训练分类模型,对被测试者的情感状态进行识别。
2.根据权利要求1所述的情感识别方法,其特征在于,通过对观看视频的被测试者进行EEG信号采集的步骤,具体包括:
脑电信号采集设备用的是Neuroscan(美国),采用标准的10/20导国际标准脑电采集帽;一共采集64通道脑电信号,采样频率1000Hz,直流采集,采集脑电信号频率范围0-100Hz,阻抗低于10千欧。
3.根据权利要求1所述的方法,其特征在于,采用滤波等方法对EEG信号进行预处理的步骤,包括:
参考电极标准化:采用的REST参考,REST是一种试图恢复脑电记录中参考电极丢失电位的无参考技术,依据等效的源可以产生与大脑内部真实源相同的头皮电位;
基线校正:从软件出发对其进行基线校正;
滤波:对原始数据进行0~50Hz的带通滤波;
去除伪迹:剔除伪迹幅值明显大于脑电信号的幅值。
4.根据权利要求1所述的方法,其特征在于,按照通道覆盖全脑的原则从64导脑电数据选取15导,包括:
从64导脑电数据选取15导进行研究,选取的标准按照通道覆盖全脑的原则,通道分别是:F3、F4、FC3、FC4、C3、C4、CZ、C5、C6、CP3、CP4、P3、P4、O1、O2参考电极是AFz。
5.根据权利要求1所述的方法,其特征在于,所述采用小波包变换对经过预处理的EEG信号进行小波分解,具体为:
采用小波包变换对经过预处理的EEG信号进行4层小波分解。
6.根据权利要求1所述的方法,其特征在于,提取EEG信号节律波的微分熵特征,将微分熵特征矩阵表示为二维灰度图像的步骤,包括:
提取theta,alpha,beta和gamma波段的功微分熵特征进行评估,将特征矩阵转化为二维灰度图像,作为卷积神经网络的输入。
7.根据权利要求1所述的方法,其特征在于,所述脑电EEG情感识别采用卷积神经网络模型,具体为:
将微分熵特征二维灰度图像输入到卷积神经网络训练分类模型,对被测试者的情感状态进行识别。
CN202210246174.0A 2022-03-14 2022-03-14 一种基于视频刺激下的eeg信号情感识别方法 Pending CN114601476A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210246174.0A CN114601476A (zh) 2022-03-14 2022-03-14 一种基于视频刺激下的eeg信号情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210246174.0A CN114601476A (zh) 2022-03-14 2022-03-14 一种基于视频刺激下的eeg信号情感识别方法

Publications (1)

Publication Number Publication Date
CN114601476A true CN114601476A (zh) 2022-06-10

Family

ID=81862763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210246174.0A Pending CN114601476A (zh) 2022-03-14 2022-03-14 一种基于视频刺激下的eeg信号情感识别方法

Country Status (1)

Country Link
CN (1) CN114601476A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115644870A (zh) * 2022-10-21 2023-01-31 东北林业大学 基于TSM-ResNet模型的脑电信号情感识别方法
CN116999701A (zh) * 2023-09-18 2023-11-07 深圳般意科技有限公司 一种微电刺激方案制定方法、装置、终端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110353675A (zh) * 2019-08-14 2019-10-22 东南大学 基于图片生成的脑电信号情感识别方法及装置
CN113191225A (zh) * 2021-04-19 2021-07-30 华南师范大学 一种基于图注意力网络的情绪脑电识别方法及系统
US20210267552A1 (en) * 2018-11-28 2021-09-02 Easyg Llc Systems and methods for digitally processing biopotential signals
CN113598774A (zh) * 2021-07-16 2021-11-05 中国科学院软件研究所 基于多通道脑电数据的积极情绪多标签分类方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210267552A1 (en) * 2018-11-28 2021-09-02 Easyg Llc Systems and methods for digitally processing biopotential signals
CN110353675A (zh) * 2019-08-14 2019-10-22 东南大学 基于图片生成的脑电信号情感识别方法及装置
CN113191225A (zh) * 2021-04-19 2021-07-30 华南师范大学 一种基于图注意力网络的情绪脑电识别方法及系统
CN113598774A (zh) * 2021-07-16 2021-11-05 中国科学院软件研究所 基于多通道脑电数据的积极情绪多标签分类方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柳长源,李文强,毕晓君: "基于脑电信号的情绪特征提取与分类", 《传感技术学报》, vol. 32, no. 1, 31 January 2019 (2019-01-31), pages 83 - 84 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115644870A (zh) * 2022-10-21 2023-01-31 东北林业大学 基于TSM-ResNet模型的脑电信号情感识别方法
CN115644870B (zh) * 2022-10-21 2024-03-08 东北林业大学 基于TSM-ResNet模型的脑电信号情感识别方法
CN116999701A (zh) * 2023-09-18 2023-11-07 深圳般意科技有限公司 一种微电刺激方案制定方法、装置、终端设备及存储介质

Similar Documents

Publication Publication Date Title
CN110765920B (zh) 基于卷积神经网络的运动想象分类方法
Fatourechi et al. EMG and EOG artifacts in brain computer interface systems: A survey
CN109784023B (zh) 基于深度学习的稳态视觉诱发脑电身份识别方法及系统
Lin et al. Real‐Time EEG Signal Enhancement Using Canonical Correlation Analysis and Gaussian Mixture Clustering
Roy et al. Image denoising by data adaptive and non-data adaptive transform domain denoising method using EEG signal
CN108520239B (zh) 一种脑电信号分类方法及系统
CN114224342B (zh) 一种基于时空融合特征网络的多通道脑电信号情绪识别方法
CN114601476A (zh) 一种基于视频刺激下的eeg信号情感识别方法
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN111930238A (zh) 基于动态ssvep范式的脑机接口系统实现方法及装置
WO2024083059A1 (zh) 一种基于机器学习的工作记忆任务脑磁图分类系统
Kotowski et al. Deep learning methods in electroencephalography
Geng et al. A fusion algorithm for EEG signal processing based on motor imagery brain-computer interface
CN115188448A (zh) 一种基于脑电波的中医医生诊疗经验记录方法
Milan et al. Adaptive brain interfaces for physically-disabled people
Gorji et al. Ocular artifact detection and removing from EEG by wavelet families: a comparative study
CN110613446A (zh) 一种信号处理方法及装置
Al-Turabi et al. Brain computer interface for wheelchair control in smart environment
Fuad et al. Three dimension 3D signal for electroencephalographic (EEG)
Zhao et al. GTSception: a deep learning eeg emotion recognition model based on fusion of global, time domain and frequency domain feature extraction
Nath et al. Wavelet Based De-noising of EEG Signal Acquired from Tele-serial Addicted Persons
CN112450946A (zh) 一种基于循环生成对抗网络的脑电伪迹修复的方法
Anjum et al. Effect of artifact removal on EEG based motor imagery BCI applications
Mustafa et al. Smart thoughts: BCI based system implementation to detect motor imagery movements
Wu et al. Real-time EEG-based Person authentication system using face rapid serial visual presentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination