CN111466931A - 基于eeg和食物图片数据集的情感识别方法 - Google Patents

基于eeg和食物图片数据集的情感识别方法 Download PDF

Info

Publication number
CN111466931A
CN111466931A CN202010332664.3A CN202010332664A CN111466931A CN 111466931 A CN111466931 A CN 111466931A CN 202010332664 A CN202010332664 A CN 202010332664A CN 111466931 A CN111466931 A CN 111466931A
Authority
CN
China
Prior art keywords
eeg
food
emotion
tested person
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010332664.3A
Other languages
English (en)
Inventor
徐丹
赵坤圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202010332664.3A priority Critical patent/CN111466931A/zh
Publication of CN111466931A publication Critical patent/CN111466931A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Abstract

本发明提供的基于EEG和食物图片数据集的情感识别方法包括：采集食物图片，并筛选出作为刺激材料的食物图片数据集；采用单通道EEG测量设备对被测试者进行EEG信号采集；采用基于伪影去除算法的平稳小波变换的去噪方法对采集的EEG信号进行预处理；采用小波包变换对经过预处理的EEG信号进行小波树分解，并通过对最后一层节点重排序，重构出与之对应的EEG信号每个频带内的节律波；提取EEG信号节律波的幅度值和功率谱特征，并画出EEG信号频谱图和频谱能量分布图；基于EEG信号的幅度值和功率谱特征的统计分析，对被测试者的情感状态进行识别。该方案解决了现有技术中情绪刺激材料选择单一化及情绪测量主观化的问题，提高了情感识别的准确度。

Description

基于EEG和食物图片数据集的情感识别方法
技术领域
本发明涉及情感识别技术领域，特别涉及一种基于EEG和食物图片数据集的情感识别方法。
背景技术
随着科技的不断发展，一种以人为中心和以人为驱动的数字媒体交互的新形式(HCI)有可能彻底改变生活、学习和娱乐等许多领域。在新兴网络媒体带动下，人们被各种各样的视觉食物线索包围，不仅仅是在商场、超市或餐厅里，视觉食物线索在公告牌、广告、电视节目上也经常出现。心理学的研究已经证明人们在这种视觉饮食环境之中的确有情绪变化的过程，而且饮食行为通常是基于视觉食物特征以及其后摄入效应之间的关联做出进食决策，因此，食物图片是真实食物的有效替代物。然而，现有情感计算领域的研究，仍缺乏对用户情感线索以及一些高等认知功能—思维、行为决策甚至意识的更深层理解。因此，结合脑科学、认知心理学的研究成果，探索如何能够填补计算机与人类情感语义之间的鸿沟，并实时准确地监测情绪是未来研究的趋势和重点。
近几年，脑机接口(BCI)领域的研究使得情感识别不仅可以通过文字、自我评估和行为反应(例如面部表情、语调和体态)来识别，还可以依靠脑电波(Electroencephalogram,EEG)信号来进行更为实时和真实的情绪测量。相比较于其他识别手段，生理信号直接受人类自主神经系统和内分泌系统控制，有效避免了用户的主观影响，并且相关研究也证明了EEG信号在情感分类准确率上优于其他生理信号(例如心电、皮肤电、皮温等)。目前，一种新型的无线头戴式脑电波测量设备(例如，EmotivEpoc意念控制器)以其低成本、易用性和灵活性成为了研究实时的情感识别系统中的首要设备选择。
现有的情感识别系统的情绪刺激材料主要分为图片和视频两种，引用最多的主要来自于国际情感图库(International Affective Picture System，IAPS)和DEAP数据库。目前心理学以及神经科学等越来越多的领域已经开始关注视觉食物线索与人类饮食行为决策的关联，国外一些实验室也建立了不同的食物图片数据库。其中，Jens Blechert等人建立了一个包含568张食物图片以及315张非食物图片的公开食物数据库，该图片库是目前可获取的共享食物图片库中图片数量最多，质量较高且被引用次数最多(101次)的图片库。引用该图片库的研究内容广泛涉及食物视觉线索诱发的神经活动、饮食行为与决策研究以及对食物刺激的注意偏向研究等方面。另外，西班牙情绪食物图片库(Open Library ofAffective Foods,OLAF)共包含96张食物图片，与上述图片库不同的是，Laura Miccoli等人侧重食物视觉线索的情绪维度，建立该食物图片库目的之一在于将食物图片与IAPS中的图片建立联系，从而更深层次地了解健康个体及存在饮食和体重相关问题或紊乱的患者是如何对食物进行情绪加工的。
现有大多数关于情感实时分类的系统都会选择截取的一些带有情感色彩的视频片段作为刺激材料。例如，有研究者建立了带有8种情感标签的电影片段的数据库，每个片段需要被试者在一分钟到两分钟的观看时间内，结合电影情节的上下文内容和更多的先验知识投入到情感诱发过程中去。该研究结果虽然可以实时地看到被测试者的情绪变化，但是对于情绪诱发的时间和强度的可控性都大大减弱。研究证明：减少被试者对刺激材料认知过程的加工，可以避免情绪强度的衰减。图片刺激材料相比较于视频材料的诱发时间更短，可控性更高并且一系列图片集的连续播放可以使得情绪刺激维持在一个较高的强度，从而确保诱发出与情绪标签相关的生理信号数据。另外，现有的食物情绪数据库对于实时EEG信号测量数据的收集工作还很少，并且大部分实验采集设备均为多电极多通道的，被测试者每一次实验的穿戴测量都非常繁琐与耗时。所以，通过减少电极数量或简化采集设备依然能够提取EEG信号中的有效情绪特征是具有挑战的。
发明内容
针对现有技术的不足和应用的局限，本发明提供一种基于EEG和食物图片数据集的情感识别方法。
本发明提供的基于EEG和食物图片数据集的情感识别方法包括：
S1、采集食物图片，通过对采集的食物图片进行筛选建立食物图片数据集；所述食物图片数据集包括：用于诱发被测试者积极情绪的图片、用于诱发被测试者中性情绪的图片和用于诱发被测试者消极情绪的图片；
S2、利用食物图片数据集中的食物图片作为刺激材料，采用单通道EEG测量设备对被测试者进行EEG信号采集；
S3、采用基于伪影去除算法的平稳小波变换的去噪方法对采集的EEG信号进行预处理；
S4、采用小波包变换对经过预处理的EEG信号进行小波树分解，通过对最后一层节点重排序，重构出与之对应的EEG信号每个频带内的特征波(节律波)；
S5、提取EEG信号节律波的幅度值和功率谱特征，并画出EEG信号频谱图和频谱能量分布图；
S6、基于EEG信号的幅度值和功率谱特征的统计分析，对被测试者的情感状态进行识别。
如上所述的情感识别方法，其中，在S1中所述的通过对采集的食物图片进行筛选建立食物图片数据集，具体包括：
邀请多名18-25岁年龄阶段的志愿者对采集的食物图片进行情感效价以及情感唤醒度两个维度的主观调查打分，计算每张图片x在不同的志愿者的情感效价以及情感唤醒度两个维度下的打分平均值和标准差，并将离散系数|μx/σx|≤0.2的图片筛选掉，将离散系数|μx/σx|＞0.2的图片保留。
如上所述的情感识别方法，其中，在S2中所述的采用单通道EEG测量设备对被测试者进行EEG信号采集，具体为：
参考电极为被测试者左耳垂，采样频率为512Hz，采集被测试者前额叶Fp1位置信号。
如上所述的情感识别方法，其中，在S4中所述的采用小波包变换对经过预处理的EEG信号进行小波分解，具体为：
采用小波包变换对经过预处理的EEG信号进行五层小波分解。
本发明提供的技术方案，采用食物图片作为刺激材料，食物图片数据集包括：用于诱发被测试者积极情绪的图片、用于诱发被测试者中性情绪的图片和用于诱发被测试者消极情绪的图片；采用单通道EEG测量设备对被测试者进行EEG信号采集；采用基于伪影去除算法的平稳小波变换的去噪方法对采集的EEG信号进行预处理；采用小波包变换对经过预处理的EEG信号进行小波树分解，通过对最后一层节点重排序，重构出与之对应的EEG信号每个频带内的特征波(节律波)；提取EEG信号节律波的幅度值和功率谱特征，并画出EEG信号频谱图和频谱能量分布图；基于EEG信号的幅度值和功率谱特征的统计分析，对被测试者的情感状态进行识别。本发明提供的技术方案解决了现有技术中情绪刺激材料选择单一化及情绪测量主观化的问题，进而提高了情感识别的准确度。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于EEG和食物图片数据集的情感识别方法的流程图；
图2为本发明实施例中食物图片主观评分在情感模型坐标内的可视化展示图；
图3为本发明实施例中EEG信号采集流程图；
图4为本发明实施例中三类情感标签下的脑电波变化图；
图5为本发明实施例中消极和平静组在不同频段下的功率谱图。
具体实施方式
下面将结合附图通过实施例对本发明实施的技术方案进行清楚、完整的描述。在本发明中所使用的术语，除非另有说明，一般具有本领域普通技术人员通常理解的含义。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的基于EEG和食物图片数据集的情感识别方法的流程图。如图1所示，本发明提供的基于EEG和食物图片数据集的情感识别方法可以包括以下内容。
S1、采集食物图片，通过对采集的食物图片进行筛选建立食物图片数据集；食物图片数据集包括：用于诱发被测试者积极情绪的图片、用于诱发被测试者中性情绪的图片和用于诱发被测试者消极情绪的图片。
具体的，采集食物图片时，选取那些更贴合于生活场景中人们认知的食物所出现的场景，后续进行EEG测试时，被测试者对食物图片比较熟悉，减少被测试者对刺激材料(食物图片)认知过程的加工，可以避免被测试者情绪强度的衰减。
该步骤中所述的通过对采集的食物图片进行筛选建立食物图片数据集，具体可以包括：
邀请多名18-25岁年龄阶段的志愿者对采集的食物图片进行情感效价以及情感唤醒度两个维度的主观调查打分，计算每张图片x在不同的志愿者的情感效价以及情感唤醒度两个维度下的打分平均值和标准差，并将离散系数|μx/σx|≤0.2的图片筛选掉，将离散系数|μx/σx|＞0.2的图片保留。
在具体应用中，还可以建立从连续情绪变化的维度观到离散情感的范畴观的映射模型。结合食物图片带给人的情绪体验，将传统的SAM评价系统中的九分制打分改成了五分制，以减少被测试者辨认情绪强度维度上的认知时间。
S2、利用食物图片数据集中的食物图片作为刺激材料，采用单通道EEG测量设备对被测试者进行EEG信号采集。
该步骤中所述的采用单通道EEG测量设备对被测试者进行EEG信号采集，具体为：
参考电极为被测试者左耳垂，采样频率为512Hz，采集被测试者前额叶Fp1位置信号。
S3、采用基于伪影去除算法的平稳小波变换的去噪方法对采集的EEG信号进行预处理。
S4、采用小波包变换对经过预处理的EEG信号进行小波树分解，通过对最后一层节点重排序，重构出与之对应的EEG信号每个频带内的特征波(节律波)。S2中采样频率为512Hz时，该步骤中采用小波包变换对经过预处理的EEG信号进行五层小波分解。
S5、提取EEG信号节律波的幅度值和功率谱特征，并画出EEG信号频谱图和频谱能量分布图。
S6、基于EEG信号的幅度值和功率谱特征的统计分析，对被测试者的情感状态进行识别。
本发明提供的技术方案，采用食物图片作为刺激材料，食物图片数据集包括：用于诱发被测试者积极情绪的图片、用于诱发被测试者中性情绪的图片和用于诱发被测试者消极情绪的图片；采用单通道EEG测量设备对被测试者进行EEG信号采集；采用基于伪影去除算法的平稳小波变换的去噪方法对采集的EEG信号进行预处理；采用小波包变换对经过预处理的EEG信号进行小波树分解，通过对最后一层节点重排序，重构出与之对应的EEG信号每个频带内的特征波(节律波)；提取EEG信号节律波的幅度值和功率谱特征，并画出EEG信号频谱图和频谱能量分布图；基于EEG信号的幅度值和功率谱特征的统计分析，对被测试者的情感状态进行识别。EEG本发明提供的技术方案解决了现有技术中情绪刺激材料选择单一化及情绪测量主观化的问题，进而提高了情感识别的准确度。
下面给出的是本发明提供的基于EEG和食物图片数据集的情感识别方法的应用实施例。
步骤1：食物图片数据集筛选。数据集主要来自于身边美食爱好者的日常拍照图片以及网络美食博主的相片册。与其他已有的食物数据集图片相比，本实施例中的食物图片内容和背景更加贴近生活，且最大程度能够突出食物给人的情绪刺激点，比如食物的颜色、光泽、纹理细节等。并且为了丰富刺激情绪的种类，还收集了大量可能会激发被测试者厌恶、恶心，甚至是恐惧情绪的食物图片，比如发霉的馒头、炸昆虫、腐烂的水果等。
为了能够更好地选择激发被测试者情绪的食物图片，邀请40名19-24岁年龄阶段的志愿者对收集的500张图片进行情感效价、情感强度、喜爱程度以及是否吃过四个维度的主观调查打分。为了能够保证最大程度诱发被测试者情绪的图片且不同被测试者的打分一致性最高，通过计算每张图片x在不同被测试者的情感效价以及情感唤醒度两个维度下的打分平均值和标准差，并将离散系数(μx/σx)的绝对值小于等于0.2的数据筛选掉。测试者打分一致性较高(|μx/σx|＞0.2)的188张食物图片作为下一步的情绪诱发材料选择。
步骤2：情感模型分析。根据40名志愿者主观报告中情感效价、情感唤醒度及喜爱程度三个维度数据建立了食物情感空间模型。其中横坐标Valence为情感效价的打分值(从1到5表现为情绪从恶心、不适、平静、愉悦到兴奋)，纵坐标Arousal为情感强度大小的打分值(从1到5表现为情绪从平静、起伏、波澜、强烈到剧烈)。图2显示了用户打分一致性较高的188张食物图片分布在四个情感象限中的情况，四个情感象限分别是愉悦、恶心、不适和舒适。将带有四类情感标签的数据可视化为四种不同的Emoji表情，每个表情所在的位置取决于每张食物图片来自于40个志愿者打分的情感效价平均值和情感唤醒度平均值。另外，通过表情显示的大小刻画了每张食物图片的平均喜爱程度(从小到大分别对应不喜欢、一般和喜欢)。
步骤3：实验设置。从参与前期情感调查的志愿者中随机选择十名作为下一步脑电波信号采集实验的被测试者。脑电实验的目的是根据每个被测试者前期的主观分类，在相应的EEG信号中去分析提取有分类价值的脑电波特征，为下一步基于EEG的实时情感分类研究找出依据。结合每位被测试者的主观调查数据，将他们的情感刺激材料整合为三类情绪刺激材料，分别是积极、中性和消极。对食物图片进行情感打分，其中积极类别包括主观打分在情感效价和情感唤醒度均在包含4及以上(第一象限)的食物图片；中性图片包括情感极性大于等于3且情感唤醒度值小于等于3(第四象限)的食物图片；消极类图片为只要情感极性小于3(第二、三象限)的食物图片。考虑到不同被测试者对于不同食物图片主观感受的差异性可能较大，所以为每个被测试者选取内容不同的刺激材料才能够为后续得到有效的脑电波信号做准备。
每位被测试者会进行三组测试，每组测试之间会有十分钟休息时间。通过标准的心理学刺激实验平台E-prime2.0进行图片播放，前10s会播放5张用来放松和测试的无关图片。在提醒正式实验开始之后，会依次播放15张食物图片直到结束。具体流程如图3。
步骤4：EEG记录。本实施例采用Neurosky公司生产的一种无线蓝牙传输的干电极头戴式耳机(Mindwave),该设备采集前额叶Fp1位置信号以及左耳垂处的一个参考电极，采样频率为512Hz。该设备不同于传统脑电波信号测量实验中常用的湿电极采集方式，被测试者无需涂抹导电凝胶，具有低接触阻抗、方便舒适等特点，以实现长期的脑电图测量。然而这种单电极的测量设备在用于情感计算领域中的实验还不是很多，仍缺乏大量实验验证其应用于情感分类识别领域的可靠性。本实施例得以验证前额叶Fp1处电极所测得的脑电波信号数据中含有能够区分情绪的特征分量。
步骤5：EEG预处理。采用基于伪影去除算法的平稳小波变换(SWT)的去噪方法。因为它比离散小波变换(DWT)具有平移不变的优点(例如，信号的小位移不会引起小波系数的显著变化，在不同的小波尺度下能量分布变化较大)。本实施通过Mindwave设备采集到被测试者的四种数据，分别是原始EEG数据、滤波后EEG数据、专注度以及放松度数据。由于滤波后的脑电数据只是去除了环境部分的噪声，然而眼球运动和眨眼产生的视觉伪信号(OA)比其他生物电信号(比如心电和肌电信号)以及环境噪声要大得多,所以通过Matlab的小波工具包对滤波后数据进行去伪影处理，以确保获得去除环境噪声以及相关眨眼伪迹的干净脑电波信号。
步骤6：EEG信号特征提取。脑电波按照频率高低可以划分出不同的节律波形(主要有Delta、Theta、Alpha、Beta、Gamma)，通过之前研究发现图片诱发脑电的可分性在左前额区域的Beta和Gamma频段内最强。由于本实施设备采集Fp1电极处于左前额处，所以欲重点观察Beta(16-32Hz)和Gamma(32-40Hz)两个频段内的脑电波数据特征。
采用小波包变换对脑电信号进行分解并提取特征。小波包是在小波变换的基础上进一步提出来的，小波包的主要优点是可以对信号的高频部分做更细致的刻画,分析能力更强，弥补了小波变换的不足。主要原理是首先对脑电信号进行小波分解，然后进行相关频段信号的重构，从而提取出特征波，并对其进行功率谱分析和能量计算。
本实施例中，首先收集到每位被测试者来自于积极、中性、消极三组刺激材料下诱发的EEG数据，每类情感下的EEG数据均为长达120s的时间序列。可以实时地观看被测试者实验过程中的脑电波数据变化也可以抽取不同频段的脑电波数据特征进行离线分析。
将每个被测试者采集到的120sEEG数据信号进行节律特征提取，根据本信号的采样频率选择五层小波分解。这样小波树最后一层共有2^5＝32个节点，根据奈奎斯特采样定理：512/2＝256Hz 256/32＝8Hz,即在最后一层把信号分成了32个频段，分别为0-8Hz，8-16Hz，16-24Hz，24-32Hz，32-40Hz.....(以此类推)。表1展示了不同频段所对应的脑电波信号的节点划分，主要研究节点0到4对应的频段，并再将Beta频段划分为LowBeta(16-24Hz)和HighBeta(24-32Hz)。
表1不同频段所对应的脑电波信号的节点划分表
Figure BDA0002465523170000091
通过节点重排序，我们可以获得对原始脑电波信号按照频率递增的频谱数值。
图4显示了120s内的数据日志中随机选取三个时间片下，带有三类情感标签的EEG信号频谱图以及频谱能量分布图。主要分析了Gamma频段的频谱特征，其中横坐标为时间轴，纵坐标采用dB为单位，放大了频谱的能量特征。通过直观比较可以发现平静组与消极组的频谱能量出现了明显差异，消极组有更加明显的峰值出现且波动剧烈。虽然积极组没有消极组的波动剧烈，但也出现了不同程度的波峰。
另外，图5比较了消极组与平静组在不同频率段的能量分布。其中第一行为消极组在三个时间片下的能量值变化，第二行为平静组在三个时间片下的能量值变化。可以观察到在30Hz以后平静组能量越来越低，而消极组在高频处依旧可以维持在一个较高的能量值附近。
通过计算三类已知情感标签的EEG数据所对应的Alpha、Lowbeta、HighBeta和Gamma四个频段下的脑电波信号在时间域以及频率域上的特征数据，定量地分析了每个频段波动性特征。表2、表3中，括号外的数据分别为每类情感对应不同频段的信号幅值的平均值和信号频谱能量的平均值，括号内的数据分别为每类情感对应不同频段的信号幅值的标准差值和信号频谱能量的标准差值。
表2每类情感标签对应的不同频段EEG幅值的均值(标准差).
Figure BDA0002465523170000092
Figure BDA0002465523170000101
表3每类情感标签对应的不同频段EEG功率谱的均值(标准差).
Figure BDA0002465523170000102
可以从脑电波幅值数据中得出的以下结论：
1)整体上表2、表3关于EEG信号的幅值和频谱能量值的平均值都存在明显差异，说明所收集的脑电波数据在不同情感和同一情感不同频段下具有可分性。其次，标准差的不同反映了同一情感在不同频段下脑电波幅值变化波动性的不同，从而说明分频段对信号进行特征提取的必要性。
2)时间域上(表2)进一步分析得出：
a)积极情感的脑电波数据平均值在各个频段上(除HighBeta频段不显著)都低于中性和消极情感。脑电波幅值差异最大的频段为LowBeta，其中积极、中性和消极情感分别为0.08、14.2和36.2。
b)消极情感的脑电波数据的标准差都依次大于平静组和积极组(除了Alpha频段上积极组最大为25.3)，从而说明了消极组刺激下的脑电波数据在较高频段下的波动大于另外两组。
3)频率域上(表3)进一步分析得出：
从频谱能量值的均值数据来看，积极和中性情感整体上在Alpha和LowBeta频段的能量较高，而消极情感则在HighBeta和Gamma频段内的能量较高。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于EEG和食物图片数据集的情感识别方法，其特征在于，包括：
S1、采集食物图片，通过对采集的食物图片进行筛选建立食物图片数据集；所述食物图片数据集包括：用于诱发被测试者积极情绪的图片、用于诱发被测试者中性情绪的图片和用于诱发被测试者消极情绪的图片；
S2、利用食物图片数据集中的食物图片作为刺激材料，采用单通道EEG测量设备对被测试者进行EEG信号采集；
S3、采用基于伪影去除算法的平稳小波变换的去噪方法对采集的EEG信号进行预处理；
S4、采用小波包变换对经过预处理的EEG信号进行小波树分解，通过对最后一层节点重排序，重构出与之对应的EEG信号每个频带内的节律波；
S5、提取EEG信号节律波的幅度值和功率谱特征，并画出EEG信号频谱图和频谱能量分布图；
S6、基于EEG信号的幅度值和功率谱特征的统计分析，对被测试者的情感状态进行识别。
2.如权利要求1所述的情感识别方法，其特征在于，在S1中所述的通过对采集的食物图片进行筛选建立食物图片数据集，具体包括：
邀请多名18-25岁年龄阶段的志愿者对采集的食物图片进行情感效价以及情感唤醒度两个维度的主观调查打分，计算每张图片x在不同的志愿者的情感效价以及情感唤醒度两个维度下的打分平均值和标准差，并将离散系数|μx/σx|≤0.2的图片筛选掉，将离散系数|μx/σx|＞0.2的图片保留。
3.如权利要求1或2所述的情感识别方法，其特征在于，在S2中所述的采用单通道EEG测量设备对被测试者进行EEG信号采集，具体为：
参考电极为被测试者左耳垂，采样频率为512Hz，采集被测试者前额叶Fp1位置信号。
4.如权利要求3所述的情感识别方法，其特征在于，在S4中所述的采用小波包变换对经过预处理的EEG信号进行小波分解，具体为：
采用小波包变换对经过预处理的EEG信号进行五层小波分解。
CN202010332664.3A 2020-04-24 2020-04-24 基于eeg和食物图片数据集的情感识别方法 Pending CN111466931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010332664.3A CN111466931A (zh) 2020-04-24 2020-04-24 基于eeg和食物图片数据集的情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010332664.3A CN111466931A (zh) 2020-04-24 2020-04-24 基于eeg和食物图片数据集的情感识别方法

Publications (1)

Publication Number Publication Date
CN111466931A true CN111466931A (zh) 2020-07-31

Family

ID=71764046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010332664.3A Pending CN111466931A (zh) 2020-04-24 2020-04-24 基于eeg和食物图片数据集的情感识别方法

Country Status (1)

Country Link
CN (1) CN111466931A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112450949A (zh) * 2020-12-07 2021-03-09 东北大学 一种用于认知康复训练的脑电信号处理方法及系统
CN112597838A (zh) * 2020-12-14 2021-04-02 吉林市不凡时空科技有限公司 一种基于脑电波的多维情绪语义识别系统及其处理方法
CN112999490A (zh) * 2021-02-09 2021-06-22 吉林市不凡时空科技有限公司 一种基于脑电波情绪识别的音乐疗愈系统及其处理方法
CN113662565A (zh) * 2021-08-09 2021-11-19 清华大学 一种基于脑电特征的视频播放质量评价方法及装置
CN115211854A (zh) * 2021-04-19 2022-10-21 天津科技大学 一种基于脑电波的智能自适应司机人机交互情绪调节方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140039975A1 (en) * 2012-08-03 2014-02-06 Sensory Logic, Inc. Emotional modeling of a subject
CN106663137A (zh) * 2014-04-28 2017-05-10 耶达研究及发展有限公司 用于预测对食物的反应的方法和装置
CN107080546A (zh) * 2017-04-18 2017-08-22 安徽大学 基于脑电图的青少年环境心理的情绪感知系统及方法、刺激样本选择方法
US20170258383A1 (en) * 2013-10-22 2017-09-14 Mindstrong, LLC Method and System For Assessment of Cognitive Function Based on Electronic Device Usage
US20180018555A1 (en) * 2016-07-15 2018-01-18 Alexander Sheung Lai Wong System and method for building artificial neural network architectures
CN108389623A (zh) * 2018-01-30 2018-08-10 重庆云日创心教育科技有限公司 基于历史发布图片的心理健康测评方法及测评系统
CN108536284A (zh) * 2018-03-14 2018-09-14 广东欧珀移动通信有限公司 图片显示方法及相关设备
CN109715049A (zh) * 2016-04-18 2019-05-03 塞罗拉公司 用于创伤性脑损伤的多模态生理刺激和评估的协议和签名
CN109903851A (zh) * 2019-01-24 2019-06-18 暨南大学 一种基于社交网络的心理异常变化的自动观测技术

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140039975A1 (en) * 2012-08-03 2014-02-06 Sensory Logic, Inc. Emotional modeling of a subject
US20170258383A1 (en) * 2013-10-22 2017-09-14 Mindstrong, LLC Method and System For Assessment of Cognitive Function Based on Electronic Device Usage
CN106663137A (zh) * 2014-04-28 2017-05-10 耶达研究及发展有限公司 用于预测对食物的反应的方法和装置
CN109715049A (zh) * 2016-04-18 2019-05-03 塞罗拉公司 用于创伤性脑损伤的多模态生理刺激和评估的协议和签名
US20180018555A1 (en) * 2016-07-15 2018-01-18 Alexander Sheung Lai Wong System and method for building artificial neural network architectures
CN107080546A (zh) * 2017-04-18 2017-08-22 安徽大学 基于脑电图的青少年环境心理的情绪感知系统及方法、刺激样本选择方法
CN108389623A (zh) * 2018-01-30 2018-08-10 重庆云日创心教育科技有限公司 基于历史发布图片的心理健康测评方法及测评系统
CN108536284A (zh) * 2018-03-14 2018-09-14 广东欧珀移动通信有限公司 图片显示方法及相关设备
CN109903851A (zh) * 2019-01-24 2019-06-18 暨南大学 一种基于社交网络的心理异常变化的自动观测技术

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SCHOENE, BENJAMIN,等: "Event-related frontal alpha asymmetries: electrophysiological correlates of approach motivation", 《EXPERIMENTAL BRAIN RESEARCH》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112450949A (zh) * 2020-12-07 2021-03-09 东北大学 一种用于认知康复训练的脑电信号处理方法及系统
CN112597838A (zh) * 2020-12-14 2021-04-02 吉林市不凡时空科技有限公司 一种基于脑电波的多维情绪语义识别系统及其处理方法
CN112999490A (zh) * 2021-02-09 2021-06-22 吉林市不凡时空科技有限公司 一种基于脑电波情绪识别的音乐疗愈系统及其处理方法
CN115211854A (zh) * 2021-04-19 2022-10-21 天津科技大学 一种基于脑电波的智能自适应司机人机交互情绪调节方法
CN113662565A (zh) * 2021-08-09 2021-11-19 清华大学 一种基于脑电特征的视频播放质量评价方法及装置
CN113662565B (zh) * 2021-08-09 2022-06-28 清华大学 一种基于脑电特征的视频播放质量评价方法及装置

Similar Documents

Publication Publication Date Title
Chen et al. A novel EEMD-CCA approach to removing muscle artifacts for pervasive EEG
CN111466931A (zh) 基于eeg和食物图片数据集的情感识别方法
CN110765920B (zh) 基于卷积神经网络的运动想象分类方法
Taghizadeh-Sarabi et al. Decoding objects of basic categories from electroencephalographic signals using wavelet transform and support vector machines
Wen et al. Emotion recognition based on multi-variant correlation of physiological signals
CN111651060B (zh) 一种vr沉浸效果的实时评估方法和评估系统
Colomer Granero et al. A comparison of physiological signal analysis techniques and classifiers for automatic emotional evaluation of audiovisual contents
CN109224242B (zh) 基于vr交互的心理放松系统及方法
Tarnowski et al. Combined analysis of GSR and EEG signals for emotion recognition
CN112545519B (zh) 一种群体情感同质性的实时评估方法和评估系统
Gaikwad et al. Novel approach for stress recognition using EEG signal by SVM classifier
da Silva Vieira et al. Comparing the design neurocognition of mechanical engineers and architects: a study of the effect of designer’s domain
Anwar et al. Use of portable EEG sensors to detect meditation
CN112515676A (zh) 心理体检方法和主客观相结合的受检者伪装性测试方法
CN108143412A (zh) 一种儿童脑电情绪分析的控制方法、装置及系统
Huang Recognition of psychological emotion by EEG features
Cao et al. Emotion recognition of single-electrode EEG based on multi-feature combination in time-frequency domain
CN115686208A (zh) 基于eeg的音乐诱发情绪识别方法及系统
CN113269084B (zh) 基于观众群体情感神经相似性的影视剧市场预测方法及系统
Akhanda et al. Detection of cognitive state for brain-computer interfaces
Dzianok et al. Detecting attention in Hilbert-transformed EEG brain signals from simple-reaction and choice-reaction cognitive tasks
Nawas et al. K-NN classification of brain dominance
Zhao et al. Food image-induced discrete emotion recognition using a single-channel scalp-EEG recording
Vieira et al. Industrial designers problem-solving and designing: an EEG study
Pei et al. Decoding emotional valence from EEG in immersive virtual reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200731

RJ01 Rejection of invention patent application after publication