CN110881975A - 一种基于脑电信号的情感识别方法及系统 - Google Patents

一种基于脑电信号的情感识别方法及系统 Download PDF

Info

Publication number
CN110881975A
CN110881975A CN201911344879.0A CN201911344879A CN110881975A CN 110881975 A CN110881975 A CN 110881975A CN 201911344879 A CN201911344879 A CN 201911344879A CN 110881975 A CN110881975 A CN 110881975A
Authority
CN
China
Prior art keywords
electroencephalogram
channel
feature
signals
emotion recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911344879.0A
Other languages
English (en)
Inventor
许红培
王星博
李卫民
王海滨
毕庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhongke Advanced Technology Research Institute Co Ltd
Original Assignee
Shandong Zhongke Advanced Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhongke Advanced Technology Research Institute Co Ltd filed Critical Shandong Zhongke Advanced Technology Research Institute Co Ltd
Priority to CN201911344879.0A priority Critical patent/CN110881975A/zh
Publication of CN110881975A publication Critical patent/CN110881975A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于脑电信号的情感识别方法及系统。所述方法包括：获取待识别多通道脑电信号；待识别多通道脑电信号为待测者观看能激发不同情绪的视频时多个通道的脑电信号；采用离散小波变换算法对待识别多通道脑电信号进行特征提取，得到所有通道的脑电特征；脑电特征包括频带熵和频带能量；基于最小冗余最大相关算法，对脑电特征进行特征选择，得到脑电特征选择信号；采用核极限学习机算法对脑电特征选择信号进行分类，得到脑电信号情感识别结果。本发明能够提高情感识别的识别精度。

Description

一种基于脑电信号的情感识别方法及系统
技术领域
本发明涉及情感识别领域，特别是涉及一种基于脑电信号的情感识别方法及系统。
背景技术
人的情感是一种心理和生理的综合体验，往往伴随着生理唤醒和一定的外部表现，研究显示人类80％的交流信息都是情感类的信息。随着人机交互的发展，无论是在专业、个人或社会层面，情感识别都变得越来越重要，它是实现人与机器完全互动的重要组成部分。
目前，用于情感识别的信号主要为行为信号和生理信号，其中，行为信号包括面部表情、语音、身体姿势等，这些信号是由人的情感激发引发的外部表现，虽然在情感识别中取得了一定的成绩，但这些信号是情感信息的间接体现，易伪装和隐藏。而生理信号，如脑电、核磁、心电、肌电、皮肤电阻等，属于内在表现形式，客观存在不受人的主观控制，能够更加真实的反应人类的情感。神经心理学的研究也发现，与其他的生理信号相比，脑电信号含有丰富的大脑活动信息，适当的信号处理可以获得更多关于神经活动和情绪状态的信息。因此，脑电信号成为情感识别领域主要的研究对象之一。
虽然，优秀的时间分辨率使得基于脑电信号的情感识别取得了很大的进步，但较差的空间分辨率仍然制约了情感识别的精度，为了提高情感识别的精度，研究者们多使用多通道脑电信号(一般为全脑的32通道或62通道脑电信号)进行情感识别，但在实际应用中，很多脑电通道含有噪声或是冗余的，不利于情感识别，另外，大量的脑电通道对数据采集是一项挑战，同时会增加数据处理时的计算量。因此，对于脑电通道的选择是至关重要的。
目前脑电通道的选择大多根据经验选取。一些研究认为额叶的神经活动与情感加工有关，如Dawson等人分析了成年人和婴儿的前额叶和顶叶的脑电时，发现前额叶脑区为专门用于处理情感的脑区。因此额叶部分的脑电通道成为很多研究的首选。Atkinson等人选择额叶区域与情感相关的14个通道，将基于互信息的特征选择方法与核函数相结合，完成了情感分类任务。
最近有研究表明，大脑额叶、前额叶、颞叶、顶叶和枕叶区域均参与情感反应。Ahmet等人选取了额叶和颞区的18通道脑电信号，对其进行经验模态分解进行效价和唤醒维度的情感识别。然而，神经科学的最新发现建议研究情绪状态和整个大脑区域之间的对应关系。Xu等人研究了遍布全脑的10通道脑电信号以及32通道脑电信号对情感识别精度的影响，结果表明，以功率为特征的10通道的脑电信号的分类精度更高。因此，从整个系统中自动找到最优的传感器通道子集越来越受到人们的关注。也有部分研究基于特征选择，根据选择的特征涉及的通道间接的进行通道选择。Zhang等人使用reliefF特征选择算法，将脑电通道数量由21个(30个特征)减少到15个(20个特征)，情感识别精度略有下降。
由上述内容可知，在基于脑电信号的时，脑电通道的选择对于情感识别的精确尤为关键，而现有的依靠经验进行脑电通道的选择或研究情绪状态和整个大脑区域之间的对应关系，只针对某一种方法的通道选择难以选到相对较好的脑电通道，因此现有的脑电通道选择方法的准确度低，这样会造成情感识别的精度不高。
发明内容
基于此，有必要提供一种基于脑电信号的情感识别方法及系统，以提高情感识别的识别精度。
为实现上述目的，本发明提供了如下方案：
一种基于脑电信号的情感识别方法，包括：
获取待识别多通道脑电信号；所述待识别多通道脑电信号为待测者观看能激发不同情绪的视频时多个通道的脑电信号；
采用离散小波变换算法对所述待识别多通道脑电信号进行特征提取，得到所有通道的脑电特征；所述脑电特征包括频带熵和频带能量；
基于最小冗余最大相关算法，对所述脑电特征进行特征选择，得到脑电特征选择信号；
采用核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果；所述脑电信号情感识别结果为高效价高唤醒、高效价低唤醒、低效价低唤醒或低效价高唤醒；所述高效价高唤醒表示待测者愉悦程度大于第一设定值，且情感变化程度大于第二设定值，所述高效价低唤醒表示待测者愉悦程度大于所述第一设定值，且情感变化程度不大于所述第二设定值，所述低效价低唤醒表示待测者愉悦程度不大于所述第一设定值，且情感变化程度不大于所述第二设定值，所述低效价高唤醒表示待测者愉悦程度不大于所述第一设定值，且情感变化程度大于所述第二设定值。
可选的，所述采用离散小波变换算法对所述待识别多通道脑电信号进行特征提取，得到所有通道的脑电特征，具体包括：
对所述待识别多通道脑电信号进行db4离散小波4阶分解，得到每个通道分解后的脑电信号；
对所述分解后的脑电信号进行频带提取，得到每个通道分解后的脑电信号的beta频带分量；
计算频带熵和频带能量；所述频带熵为所述beta频带分量的熵，所述频带能量为所述beta频带分量的能量。
可选的，所述基于最小冗余最大相关算法，对所述脑电特征进行特征选择，得到脑电特征选择信号，具体包括：
确定每个脑电特征的权重；
由所述脑电特征的权重计算每个脑电通道的权值：
Figure BDA0002333069100000031
其中，W(C)为脑电通道C的权值，xi为脑电通道C中第i个脑电特征，W(xi)为脑电通道C中第i个脑电特征的权重，N为脑电通道C中脑电特征的总数量；
对所有的脑电通道的权值由大到小进行排序，得到权值序列；
判断第P个特征子集的情感识别精度是否大于第P+1个特征子集的情感识别精度；所述第P个特征子集是由所述权值序列中前P个脑电通道的权值对应的脑电特征组成的，所述第P+1个特征子集是由所述权值序列中前P+1个脑电通道的权值对应的脑电特征组成的；
若是，则将第P个特征子集中的脑电特征确定为脑电特征选择信号；
若否，则令P加1，并返回所述判断第P个特征子集的情感识别精度是否大于第P+1个特征子集的情感识别精度。
可选的，所述采用核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果，具体包括：
采用以高斯核函数为内核的核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果。
可选的，在所述获取待识别脑电信号之后，还包括：
对所述待识别脑电信号进行归一化。
本发明还提供了一种基于脑电信号的情感识别系统，包括：
脑电信号获取模块，用于获取待识别多通道脑电信号；所述待识别多通道脑电信号为待测者观看能激发不同情绪的视频时多个通道的脑电信号；
特征提取模块，用于采用离散小波变换算法对所述待识别多通道脑电信号进行特征提取，得到所有通道的脑电特征；所述脑电特征包括频带熵和频带能量；
特征选择模块，用于基于最小冗余最大相关算法，对所述脑电特征进行特征选择，得到脑电特征选择信号；
分类模块，用于采用核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果；所述脑电信号情感识别结果为高效价高唤醒、高效价低唤醒、低效价低唤醒或低效价高唤醒；所述高效价高唤醒表示待测者愉悦程度大于第一设定值，且情感变化程度大于第二设定值，所述高效价低唤醒表示待测者愉悦程度大于所述第一设定值，且情感变化程度不大于所述第二设定值，所述低效价低唤醒表示待测者愉悦程度不大于所述第一设定值，且情感变化程度不大于所述第二设定值，所述低效价高唤醒表示待测者愉悦程度不大于所述第一设定值，且情感变化程度大于所述第二设定值。
可选的，所述特征提取模块，具体包括：
小波分解单元，用于对所述待识别多通道脑电信号进行db4离散小波4阶分解，得到每个通道分解后的脑电信号；
频带提取单元，用于对所述分解后的脑电信号进行频带提取，得到每个通道分解后的脑电信号的beta频带分量；
脑电特征计算单元，用于计算频带熵和频带能量；所述频带熵为所述beta频带分量的熵，所述频带能量为所述beta频带分量的能量。
可选的，所述特征选择模块，具体包括：
权重确定单元，用于确定每个脑电特征的权重；
权值计算单元，用于由所述脑电特征的权重计算每个脑电通道的权值：
Figure BDA0002333069100000051
其中，W(C)为脑电通道C的权值，xi为脑电通道C中第i个脑电特征，W(xi)为脑电通道C中第i个脑电特征的权重，N为脑电通道C中脑电特征的总数量；
排序单元，用于对所有的脑电通道的权值由大到小进行排序，得到权值序列；
判断单元，用于判断第P个特征子集的情感识别精度是否大于第P+1个特征子集的情感识别精度；所述第P个特征子集是由所述权值序列中前P个脑电通道的权值对应的脑电特征组成的，所述第P+1个特征子集是由所述权值序列中前P+1个脑电通道的权值对应的脑电特征组成的；
脑电特征选择单元，用于若第P个特征子集的情感识别精度大于第P+1个特征子集的情感识别精度，则将第P个特征子集中的脑电特征确定为脑电特征选择信号；若第P个特征子集的情感识别精度不大于第P+1个特征子集的情感识别精度，则令P加1，并返回所述判断单元。
可选的，所述分类模块，具体包括：
分类单元，用于采用以高斯核函数为内核的核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果。
可选的，所述基于脑电信号的情感识别系统还包括：
归一化模块，用于对所述待识别脑电信号进行归一化。
与现有技术相比，本发明的有益效果是：
本发明提出了一种基于脑电信号的情感识别方法及系统。所述方法采用离散小波变换算法对待识别多通道脑电信号进行特征提取，得到所有通道的包括频带熵和频带能量的脑电特征，并基于最小冗余最大相关算法，对脑电特征进行特征选择，得到脑电特征选择信号，再采用核极限学习机算法对脑电特征选择信号进行分类，得到脑电信号情感识别结果，与现有的通道选择方法相比，本发明脑电通道选择的方法更为精准，情感识别的识别精度也更高；并且本发明还能够通过较少的脑电通道达到令人满意的情感识别精度，降低了分类的复杂度，提高了识别效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种基于脑电信号的情感识别方法的流程图；
图2为本发明mRMR-FS、mRMR-CS和ES方法的情感识别正确率的对比图；
图3为本发明实施例一种基于脑电信号的情感识别系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例一种基于脑电信号的情感识别方法的流程图。
参见图1，本实施例中的基于脑电信号的情感识别方法，包括：
步骤S1：获取待识别多通道脑电信号；所述待识别多通道脑电信号为待测者观看能激发不同情绪的视频时多个通道的脑电信号。
步骤S2：采用离散小波变换算法对所述待识别多通道脑电信号进行特征提取，得到所有通道的脑电特征；所述脑电特征包括频带熵和频带能量。
所述步骤S2，具体包括：
21)对所述待识别多通道脑电信号进行db4离散小波4阶分解，得到每个通道分解后的脑电信号。
22)对所述分解后的脑电信号进行频带提取，得到每个通道分解后的脑电信号的beta频带分量。
23)计算频带熵和频带能量；所述频带熵为所述beta频带分量的熵，所述频带能量为所述beta频带分量的能量。
频带熵代表着信号的无序程度，频带熵越大则信号的无序程度越高，每个频带熵的计算如下：
Figure BDA0002333069100000071
其中，ENTj为db4离散小波第j阶分解对应的频带熵，j为小波分解的阶数，其代表小波分解的水平，K为小波系数的总数量，Dj(k)为db4离散小波第j阶分解时第k个小波系数对应的脑电信号的beta频带分量。
每个频带能量的计算如下：
Figure BDA0002333069100000072
步骤S3：基于最小冗余最大相关算法，对所述脑电特征进行特征选择，得到脑电特征选择信号。
本实施例采用基于mRMR特征选择直接选择脑电通道(mRMR-CS)的方法进行特征选择，具体包括：
31)确定每个脑电特征的权重。
32)由所述脑电特征的权重计算每个脑电通道的权值
Figure BDA0002333069100000073
其中，W(C)为脑电通道C的权值，xi为脑电通道C中第i个脑电特征，W(xi)为脑电通道C中第i个脑电特征的权重，N为脑电通道C中脑电特征的总数量。
33)对所有的脑电通道的权值由大到小进行排序，得到权值序列。
34)判断第P个特征子集的情感识别精度是否大于第P+1个特征子集的情感识别精度；所述第P个特征子集是由所述权值序列中前P个脑电通道的权值对应的脑电特征组成的，所述第P+1个特征子集是由所述权值序列中前P+1个脑电通道的权值对应的脑电特征组成的。
若是，则将第P个特征子集中的脑电特征确定为脑电特征选择信号；若否，则令P加1，并返回所述判断第P个特征子集的情感识别精度是否大于第P+1个特征子集的情感识别精度。
步骤S4：采用核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果；所述脑电信号情感识别结果为高效价高唤醒、高效价低唤醒、低效价低唤醒或低效价高唤醒。
所述高效价高唤醒表示待测者愉悦程度大于第一设定值，且情感变化程度大于第二设定值，所述高效价低唤醒表示待测者愉悦程度大于所述第一设定值，且情感变化程度不大于所述第二设定值，所述低效价低唤醒表示待测者愉悦程度不大于所述第一设定值，且情感变化程度不大于所述第二设定值，所述低效价高唤醒表示待测者愉悦程度不大于所述第一设定值，且情感变化程度大于所述第二设定值。
本实施例中，采用以高斯核函数为内核的核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果。
作为一种可选的实施方式，在步骤S1之后，还包括：对所述待识别脑电信号进行归一化。
本实施例的基于脑电信号的情感识别方法，采用离散小波变换算法对待识别多通道脑电信号进行特征提取，基于最小冗余最大相关算法，对脑电特征进行特征选择，得到脑电特征选择信号，该脑电通道选择方式选取的特征更为精准，进而情感识别的识别精度也更高；并且还能够通过较少的脑电通道达到令人满意的情感识别精度，降低了分类的复杂度，提高了识别效率。
下面对上述实施例的基于脑电信号的情感识别方法的有效性进行了验证。
1、数据获取
验证数据采用经MATLAB预处理之后的DEAP(a dataset for emotion analysisusing eeg,physiological andvideo signals)数据集，该数据集是一个开源的用于情感分析的多模态生理信号数据库，数据采集时，32个参试者分别观看40个能够激发不同情绪的剪辑视频，记录每个视频的60秒数据。每个参试者都会对效价-唤醒-支配-喜欢四个维度进行评分，评分范围为1-9分。该数据集记录32通道的脑电数据，8通道的其他外围生理信号。预处理阶段从原始信号中去除了眼电的干扰以及进行了带通滤波，并将原始信号的采样频率从512Hz降低到128Hz。
本实例分析了效价-唤醒维度的情感，其中效价表示愉悦度，其从小到大的改变表示情感从负性到正性的变化，唤醒度表示情感的激发程度，其从从小到大的改变表示情感从冷静到兴奋的变化，如果个人评分>5，那么确认效价/唤醒的水平是高的，如果个人评分≤5，那么确认效价/唤醒水平低。为了消除个体差异以及通道差异，采用使用min-max归一化方法将每个人观看每个视频后产生的每个通道脑电信号归一化到[0,1]。对每一个60s的视频使用了4s长度的窗口，共15个窗口，所以样本总量为19200(32人*40视频*15窗口)。
2、特征提取
在本实例中，对每个通道的脑电数据进行db4离散小波4阶分解，并提取beta频带分量，最后计算该频带的熵和能量作为特征。该部分的输出为32个通道的beta频带的熵和能量特征。将该部分的输出分别输入到下一部分的三种通道选择方法中。
3、通道选择方法
本实例中采用三种通道选择方法后进行特征选择。
1)基于经验选择通道(ES)的方法
将基于经验选择通道的方法称为ES方法，选取常用的额叶及其附近的10通道、14通道；额叶和颞区的18通道；额叶、顶叶、颞区和枕叶的22通道进行情感识别。10通道为FP1–FP2，F3–F4，F7–F8，FC5–FC6和FC1–FC2；14通道是在10通道的基础上添加了AF3-AF4，C3-C4四个脑电通道；18通道是在14通道的基础上添加了T7-T8，Fz和Cz四个通道；22通道是在18通道的基础上添加了P3-P4，O1-O2四个通道。
2)基于mRMR特征选择间接选择脑电通道(mRMR-FS)的方法将使用最小冗余最大相关算法(mRMR)进行特征选择间接选择通道的方法称为mRMR-FS方法。它的核心思想是最大化特征与类别之间的相关性同时最小化特征与特征之间的冗余度。计算方法如下。
最大相关性：
Figure BDA0002333069100000101
xi为第i个特征，c为类别变量，I(xi；c)为特征xi和类别c的互信息，S为特征子集，i∈[1,64]。
最小冗余度：
Figure BDA0002333069100000102
I(xi；xk)为特征xi与特征xk之间的互信息。
mRMR算法：
maxΦ(D,R),Φ＝D/R；
对于具有M个特征的特征集，特征评估将持续M轮。在这些评估之后，按照权重Φ由大到小，通过mRMR算法得到一个特征集F，
F＝{x′1,x'2,...x'h,...x‘M}；
本实例使用64个特征对四类情感进行识别，首先使用mRMR算法对64个特征按权重由大到小进行排序，拥有较大权重的特征对于区分样本贡献更大，拥有较小权重的特征对于区分样本贡献相对较小。在进行通道选择时，首先进行特征选择，选取前n个特征n∈[1,M]，然后选择包含这些特征的通道。
3)基于mRMR特征选择直接选择脑电通道(mRMR-CS)的方法
虽然在mRMR-FS方法中，特征的减少通常会导致通道的减少，但实际效果并不明显。基于mRMR算法，下面使用属于一个通道的所有特征权值来评估该通道对情感识别能力的大小。将来自一个通道的所有特征权重的平均值作为该通道的权值，脑电通道C的权值计算方法如下
Figure BDA0002333069100000103
其中，W(C)为脑电通道C的权值，xi为脑电通道C中第i个脑电特征，W(xi)为脑电通道C中第i个脑电特征的权重，N为脑电通道C中脑电特征的总数量。
按照通道的权值由大到小对通道进行排序，根据排序逐一将通道特征添加进特征子集验证情感识别能力，这种直接进行通道选择的方法为mRMR-CS方法。本实例共含有32个脑电通道，每个通道包含2个特征，使用mRMR-CS方法评估32个脑电通道的情感识别性能，期望选择最少的通道来实现最好的情感识别性能。
4、分类
以RBF为内核的KELM进行分类，对上述三种通道选择方法得到的数据分别进行分类，根据分类正确率的大小判断各个通道选择方法的优劣。RBF的参数为10，正则化系数为C＝1000。使用KELM对高效价高唤醒(效价>5，唤醒>5)、高效价低唤醒(效价>5，唤醒≤5)、低效价低唤醒(效价<5，唤醒≤5)、低效价高唤醒(效价≤5，唤醒>5)情感进行四分类。对于19200个样本，采用10折交叉验证方法进行分类，取10次测试的平均值作为最终的分类结果。
5、结果比较
选择mRMR-FS、mRMR-CS通道优化后和ES方法的10通道、14通道和18通道和22通道的脑电信号进行比较。图2为本发明mRMR-FS、mRMR-CS和ES方法的情感识别正确率的对比图，图2中每个通道对应的正确率，从左到右均依次为ES方法的正确率、mRMR-FS的正确率和mRMR-CS的正确率。由图2可知，在各个通道组合中，mRMR-CS方法都表现出了最好的分类性能，说明这种通道选择方法选择出了对情感识别贡献较大的通道组合，可以使用相对较少的通道达到比较好的分类效果。mRMR-CS方法使用28个脑电通道能够达到80.83％的最高分类正确率。当通道数量为22时，情感识别正确率也能达到79.46％，精简了10个通道具有可接受的分类精度损失，可以达到较好的平衡通道数量和分类精度的效果，所选的22通道排序如表1所示。
表1前22个通道电极
Figure BDA0002333069100000111
Figure BDA0002333069100000121
下面使用KELM分类器的分类结果与DEAP数据集上的其他在效价和唤醒维度上四分类的研究结果进行了比较。由表2可知，本实例还能够通过较少的脑电通道达到令人满意的情感识别精度，降低了分类的复杂度，提高了识别效率。
表2不同方法的情感分类正确率比较
Figure BDA0002333069100000122
本发明还提供了一种基于脑电信号的情感识别系统，图3为本发明实施例一种基于脑电信号的情感识别系统的结构示意图。参见图3，本实施例的基于脑电信号的情感识别系统包括：
脑电信号获取模块301，用于获取待识别多通道脑电信号；所述待识别多通道脑电信号为待测者观看能激发不同情绪的视频时多个通道的脑电信号。
特征提取模块302，用于采用离散小波变换算法对所述待识别多通道脑电信号进行特征提取，得到所有通道的脑电特征；所述脑电特征包括频带熵和频带能量。
特征选择模块303，用于基于最小冗余最大相关算法，对所述脑电特征进行特征选择，得到脑电特征选择信号。
分类模块304，用于采用核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果；所述脑电信号情感识别结果为高效价高唤醒、高效价低唤醒、低效价低唤醒或低效价高唤醒；所述高效价高唤醒表示待测者愉悦程度大于第一设定值，且情感变化程度大于第二设定值，所述高效价低唤醒表示待测者愉悦程度大于所述第一设定值，且情感变化程度不大于所述第二设定值，所述低效价低唤醒表示待测者愉悦程度不大于所述第一设定值，且情感变化程度不大于所述第二设定值，所述低效价高唤醒表示待测者愉悦程度不大于所述第一设定值，且情感变化程度大于所述第二设定值。
作为一种可选的实施方式，所述特征提取模块302，具体包括：
小波分解单元，用于对所述待识别多通道脑电信号进行db4离散小波4阶分解，得到每个通道分解后的脑电信号。
频带提取单元，用于对所述分解后的脑电信号进行频带提取，得到每个通道分解后的脑电信号的beta频带分量。
脑电特征计算单元，用于计算频带熵和频带能量；所述频带熵为所述beta频带分量的熵，所述频带能量为所述beta频带分量的能量。
作为一种可选的实施方式，所述特征选择模块303，具体包括：
权重确定单元，用于确定每个脑电特征的权重。
权值计算单元，用于由所述脑电特征的权重计算每个脑电通道的权值：
Figure BDA0002333069100000141
其中，W(C)为脑电通道C的权值，xi为脑电通道C中第i个脑电特征，W(xi)为脑电通道C中第i个脑电特征的权重，N为脑电通道C中脑电特征的总数量。
排序单元，用于对所有的脑电通道的权值由大到小进行排序，得到权值序列。
判断单元，用于判断第P个特征子集的情感识别精度是否大于第P+1个特征子集的情感识别精度；所述第P个特征子集是由所述权值序列中前P个脑电通道的权值对应的脑电特征组成的，所述第P+1个特征子集是由所述权值序列中前P+1个脑电通道的权值对应的脑电特征组成的。
脑电特征选择单元，用于若第P个特征子集的情感识别精度大于第P+1个特征子集的情感识别精度，则将第P个特征子集中的脑电特征确定为脑电特征选择信号；若第P个特征子集的情感识别精度不大于第P+1个特征子集的情感识别精度，则令P加1，并返回所述判断单元。
作为一种可选的实施方式，所述分类模块，具体包括：
分类单元，用于采用以高斯核函数为内核的核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果。
作为一种可选的实施方式，所述基于脑电信号的情感识别系统还包括：归一化模块，用于对所述待识别脑电信号进行归一化。
本实施例的基于脑电信号的情感识别系统，特征提取模块采用离散小波变换算法对待识别多通道脑电信号进行特征提取，特征选择模块基于最小冗余最大相关算法，对脑电特征进行特征选择，得到脑电特征选择信号，保证了脑电通道选择的更为精准，进而情感识别的识别精度也更高；并且还能够通过较少的脑电通道达到令人满意的情感识别精度，降低了分类的复杂度，提高了识别效率。
对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于脑电信号的情感识别方法，其特征在于，包括：
获取待识别多通道脑电信号；所述待识别多通道脑电信号为待测者观看能激发不同情绪的视频时多个通道的脑电信号；
采用离散小波变换算法对所述待识别多通道脑电信号进行特征提取，得到所有通道的脑电特征；所述脑电特征包括频带熵和频带能量；
基于最小冗余最大相关算法，对所述脑电特征进行特征选择，得到脑电特征选择信号；
采用核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果；所述脑电信号情感识别结果为高效价高唤醒、高效价低唤醒、低效价低唤醒或低效价高唤醒；所述高效价高唤醒表示待测者愉悦程度大于第一设定值，且情感变化程度大于第二设定值，所述高效价低唤醒表示待测者愉悦程度大于所述第一设定值，且情感变化程度不大于所述第二设定值，所述低效价低唤醒表示待测者愉悦程度不大于所述第一设定值，且情感变化程度不大于所述第二设定值，所述低效价高唤醒表示待测者愉悦程度不大于所述第一设定值，且情感变化程度大于所述第二设定值。
2.根据权利要求1所述的一种基于脑电信号的情感识别方法，其特征在于，所述采用离散小波变换算法对所述待识别多通道脑电信号进行特征提取，得到所有通道的脑电特征，具体包括：
对所述待识别多通道脑电信号进行db4离散小波4阶分解，得到每个通道分解后的脑电信号；
对所述分解后的脑电信号进行频带提取，得到每个通道分解后的脑电信号的beta频带分量；
计算频带熵和频带能量；所述频带熵为所述beta频带分量的熵，所述频带能量为所述beta频带分量的能量。
3.根据权利要求1所述的一种基于脑电信号的情感识别方法，其特征在于，所述基于最小冗余最大相关算法，对所述脑电特征进行特征选择，得到脑电特征选择信号，具体包括：
确定每个脑电特征的权重；
由所述脑电特征的权重计算每个脑电通道的权值
Figure FDA0002333069090000021
其中，W(C)为脑电通道C的权值，xi为脑电通道C中第i个脑电特征，W(xi)为脑电通道C中第i个脑电特征的权重，N为脑电通道C中脑电特征的总数量；
对所有的脑电通道的权值由大到小进行排序，得到权值序列；
判断第P个特征子集的情感识别精度是否大于第P+1个特征子集的情感识别精度；所述第P个特征子集是由所述权值序列中前P个脑电通道的权值对应的脑电特征组成的，所述第P+1个特征子集是由所述权值序列中前P+1个脑电通道的权值对应的脑电特征组成的；
若是，则将第P个特征子集中的脑电特征确定为脑电特征选择信号；
若否，则令P加1，并返回所述判断第P个特征子集的情感识别精度是否大于第P+1个特征子集的情感识别精度。
4.根据权利要求1所述的一种基于脑电信号的情感识别方法，其特征在于，所述采用核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果，具体包括：
采用以高斯核函数为内核的核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果。
5.根据权利要求1所述的一种基于脑电信号的情感识别方法，其特征在于，在所述获取待识别脑电信号之后，还包括：
对所述待识别脑电信号进行归一化。
6.一种基于脑电信号的情感识别系统，其特征在于，包括：
脑电信号获取模块，用于获取待识别多通道脑电信号；所述待识别多通道脑电信号为待测者观看能激发不同情绪的视频时多个通道的脑电信号；
特征提取模块，用于采用离散小波变换算法对所述待识别多通道脑电信号进行特征提取，得到所有通道的脑电特征；所述脑电特征包括频带熵和频带能量；
特征选择模块，用于基于最小冗余最大相关算法，对所述脑电特征进行特征选择，得到脑电特征选择信号；
分类模块，用于采用核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果；所述脑电信号情感识别结果为高效价高唤醒、高效价低唤醒、低效价低唤醒或低效价高唤醒；所述高效价高唤醒表示待测者愉悦程度大于第一设定值，且情感变化程度大于第二设定值，所述高效价低唤醒表示待测者愉悦程度大于所述第一设定值，且情感变化程度不大于所述第二设定值，所述低效价低唤醒表示待测者愉悦程度不大于所述第一设定值，且情感变化程度不大于所述第二设定值，所述低效价高唤醒表示待测者愉悦程度不大于所述第一设定值，且情感变化程度大于所述第二设定值。
7.根据权利要求6所述的一种基于脑电信号的情感识别系统，其特征在于，所述特征提取模块，具体包括：
小波分解单元，用于对所述待识别多通道脑电信号进行db4离散小波4阶分解，得到每个通道分解后的脑电信号；
频带提取单元，用于对所述分解后的脑电信号进行频带提取，得到每个通道分解后的脑电信号的beta频带分量；
脑电特征计算单元，用于计算频带熵和频带能量；所述频带熵为所述beta频带分量的熵，所述频带能量为所述beta频带分量的能量。
8.根据权利要求6所述的一种基于脑电信号的情感识别系统，其特征在于，所述特征选择模块，具体包括：
权重确定单元，用于确定每个脑电特征的权重；
权值计算单元，用于由所述脑电特征的权重计算每个脑电通道的权值
Figure FDA0002333069090000031
其中，W(C)为脑电通道C的权值，xi为脑电通道C中第i个脑电特征，W(xi)为脑电通道C中第i个脑电特征的权重，N为脑电通道C中脑电特征的总数量；
排序单元，用于对所有的脑电通道的权值由大到小进行排序，得到权值序列；
判断单元，用于判断第P个特征子集的情感识别精度是否大于第P+1个特征子集的情感识别精度；所述第P个特征子集是由所述权值序列中前P个脑电通道的权值对应的脑电特征组成的，所述第P+1个特征子集是由所述权值序列中前P+1个脑电通道的权值对应的脑电特征组成的；
脑电特征选择单元，用于若第P个特征子集的情感识别精度大于第P+1个特征子集的情感识别精度，则将第P个特征子集中的脑电特征确定为脑电特征选择信号；若第P个特征子集的情感识别精度不大于第P+1个特征子集的情感识别精度，则令P加1，并返回所述判断单元。
9.根据权利要求6所述的一种基于脑电信号的情感识别系统，其特征在于，所述分类模块，具体包括：
分类单元，用于采用以高斯核函数为内核的核极限学习机算法对所述脑电特征选择信号进行分类，得到脑电信号情感识别结果。
10.根据权利要求6所述的一种基于脑电信号的情感识别系统，其特征在于，还包括：
归一化模块，用于对所述待识别脑电信号进行归一化。
CN201911344879.0A 2019-12-24 2019-12-24 一种基于脑电信号的情感识别方法及系统 Pending CN110881975A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911344879.0A CN110881975A (zh) 2019-12-24 2019-12-24 一种基于脑电信号的情感识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911344879.0A CN110881975A (zh) 2019-12-24 2019-12-24 一种基于脑电信号的情感识别方法及系统

Publications (1)

Publication Number Publication Date
CN110881975A true CN110881975A (zh) 2020-03-17

Family

ID=69752942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911344879.0A Pending CN110881975A (zh) 2019-12-24 2019-12-24 一种基于脑电信号的情感识别方法及系统

Country Status (1)

Country Link
CN (1) CN110881975A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427450A (zh) * 2020-03-20 2020-07-17 海南大学 一种情绪识别的方法、系统、设备及可读存储介质
CN112270235A (zh) * 2020-10-20 2021-01-26 西安工程大学 一种改进的svm脑电信号情绪识别方法
CN112508088A (zh) * 2020-12-03 2021-03-16 重庆邮智机器人研究院有限公司 一种基于dedbn-elm的脑电情感识别方法
CN112932502A (zh) * 2021-02-02 2021-06-11 杭州电子科技大学 结合互信息通道选择与混合神经网络的脑电情感识别方法
CN114081507A (zh) * 2021-10-21 2022-02-25 华南理工大学 结合谱聚类和事件相关性检测的脑功能区定位方法及系统
CN114081494A (zh) * 2022-01-21 2022-02-25 浙江大学 一种基于大脑外侧缰核信号的抑郁状态检测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107007291A (zh) * 2017-04-05 2017-08-04 天津大学 基于多生理参数的紧张情绪强度识别系统及信息处理方法
CN109190570A (zh) * 2018-09-11 2019-01-11 河南工业大学 一种基于离散小波变换和多尺度熵的脑电情感识别方法
US20190357792A1 (en) * 2018-05-25 2019-11-28 Hiroshima University Sensibility evaluation apparatus, sensibility evaluation method and method for configuring multi-axis sensibility model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107007291A (zh) * 2017-04-05 2017-08-04 天津大学 基于多生理参数的紧张情绪强度识别系统及信息处理方法
US20190357792A1 (en) * 2018-05-25 2019-11-28 Hiroshima University Sensibility evaluation apparatus, sensibility evaluation method and method for configuring multi-axis sensibility model
CN109190570A (zh) * 2018-09-11 2019-01-11 河南工业大学 一种基于离散小波变换和多尺度熵的脑电情感识别方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
佩帕尔著: "《生物反馈教程：体验性教学和自我训练手册》", 30 November 2013, 中国医药科技出版社 *
俞梦孙主编: "《中国生物医学工程的今天与明天》", 28 February 1998, 天津科技翻译出版公司出版 *
刘鑫等: "基于小波包分析的经络心电信号熵特征提取", 《计算机应用》 *
张新静: "基于最大相关和最小冗余准则及极限学习机的癫痫发作检测方法", 《计算机应用》 *
王丽: "基于核函数极限学习机和小波包变换的EEG分类方法", 《北京生物医学工程》 *
贾小云等: "一种多特征提取的脑电情感识别方法", 《陕西科技大学学报》 *
郭金良等: "基于稀疏组lasso-granger因果关系特征的脑电信号情感识别", 《模式识别与人工智能》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427450A (zh) * 2020-03-20 2020-07-17 海南大学 一种情绪识别的方法、系统、设备及可读存储介质
CN112270235A (zh) * 2020-10-20 2021-01-26 西安工程大学 一种改进的svm脑电信号情绪识别方法
CN112508088A (zh) * 2020-12-03 2021-03-16 重庆邮智机器人研究院有限公司 一种基于dedbn-elm的脑电情感识别方法
CN112932502A (zh) * 2021-02-02 2021-06-11 杭州电子科技大学 结合互信息通道选择与混合神经网络的脑电情感识别方法
CN114081507A (zh) * 2021-10-21 2022-02-25 华南理工大学 结合谱聚类和事件相关性检测的脑功能区定位方法及系统
CN114081507B (zh) * 2021-10-21 2023-06-20 华南理工大学 结合谱聚类和事件相关性检测的脑功能区定位方法及系统
CN114081494A (zh) * 2022-01-21 2022-02-25 浙江大学 一种基于大脑外侧缰核信号的抑郁状态检测系统
CN114081494B (zh) * 2022-01-21 2022-05-06 浙江大学 一种基于大脑外侧缰核信号的抑郁状态检测系统

Similar Documents

Publication Publication Date Title
CN110881975A (zh) 一种基于脑电信号的情感识别方法及系统
Wang et al. Channel selection method for EEG emotion recognition using normalized mutual information
Li et al. Emotion recognition from multichannel EEG signals using K-nearest neighbor classification
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
Yuan et al. A novel wavelet-based model for eeg epileptic seizure detection using multi-context learning
Samie et al. Highly efficient and accurate seizure prediction on constrained IoT devices
CN110390272B (zh) 一种基于加权主成分分析的eeg信号特征降维方法
CN111000556A (zh) 一种基于深度模糊森林的情绪识别方法
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
Xu et al. Research on EEG channel selection method for emotion recognition
Prasanth et al. Deep learning for interictal epileptiform spike detection from scalp EEG frequency sub bands
CN115530847A (zh) 一种基于多尺度注意力的脑电信号自动睡眠分期方法
Ma et al. Early prediction of epileptic seizure based on the BNLSTM-CASA model
Wang et al. Detection of driver stress in real-world driving environment using physiological signals
Xie et al. WT feature based emotion recognition from multi-channel physiological signals with decision fusion
Nguyen et al. A potential approach for emotion prediction using heart rate signals
Pan et al. Recognition of human inner emotion based on two-stage FCA-ReliefF feature optimization
Baghdadi et al. Robust feature learning method for epileptic seizures prediction based on long-term EEG signals
Cao et al. Emotion recognition of single-electrode EEG based on multi-feature combination in time-frequency domain
Shu et al. Identification authentication scheme using human body odour
CN117093846A (zh) 一种从局部到全局的时空ecg情绪识别模型
AU2021104767A4 (en) Method for classification of human emotions based on selected scalp region eeg patterns by a neural network
Nirabi et al. Machine Learning-Based Stress Level Detection from EEG Signals
Wu et al. Gram matrix-based convolutional neural network for biometric identification using photoplethysmography signal
Zhao et al. GTSception: a deep learning eeg emotion recognition model based on fusion of global, time domain and frequency domain feature extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200317

RJ01 Rejection of invention patent application after publication