CN113576478A - 一种基于脑电信号的图像情感分类方法及系统及装置 - Google Patents
一种基于脑电信号的图像情感分类方法及系统及装置 Download PDFInfo
- Publication number
- CN113576478A CN113576478A CN202110444201.0A CN202110444201A CN113576478A CN 113576478 A CN113576478 A CN 113576478A CN 202110444201 A CN202110444201 A CN 202110444201A CN 113576478 A CN113576478 A CN 113576478A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- image
- images
- emotion
- electroencephalogram signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000000638 stimulation Effects 0.000 claims abstract description 25
- 238000012706 support-vector machine Methods 0.000 claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims abstract description 5
- 230000037007 arousal Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008909 emotion recognition Effects 0.000 description 9
- 238000011160 research Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Fuzzy Systems (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于脑电信号的图像情感分类方法及系统及装置，从国际情绪图片系统(IASP)中选取图像作为源语料集。采用戴式多通道脑电采集仪器采集记录受试者观看源语料集中的图像刺激时的脑电信号数据。将无刺激下采集的脑电信号的平均值作为参考信号，用每一幅图像出现后1s的脑电信号，分别减去参考信号，得到基线校正后的每种图像对应的脑电信号；利用提取的脑电信号的差分熵特征训练支持向量机模型。针对待分类图像，采集多个用户观看图像时的脑电信号并提取差分熵特征。利用训练好的支持向量机模型对差分熵特征进行分类，得到图像对应的多个用户的情感类别，选取票数最多的作为图像的情感类别。
Description
技术领域
本发明属于情感识别技术领域，特别是涉及一种基于脑电信号的图像情感分类方法及系统及装置。
背景技术
图像情感识别是计算机视觉领域的研究热点，图像情感识别的目的是为了识别图像中包含的诸如快乐、悲伤、愤怒等情感，按照不同的情感类型对图像进行分类，图像情感识别方法在图像分类、舆情分析、广告设计等领域有重要的研究意义。
现有技术提出的图像情感分类方法包括：首先利用显著性检测网络提取情感图像的显著性图；再通过孪生神经网络实现显著性图的特征图对对应情感图像的特征图的调制，以便于Inception-v4网络对情感图像的情感表达区域更多的关注度，从而有效提高图像情感分类的精度；最后利用Inception-v4网络对经孪生神经网络调制后的调制特征图进行分类，以准确获得对应情感图像的情感类别。
现有技术提出的图像情感分类方法还包括：利用预训练过的卷积神经网络和颜色直方图，分别提取待分类图像的内容特征和颜色特征；对提取的内容特征和颜色特征进行交叉相关，从而获得增强的内容特征和颜色特征；将增强的内容特征在所有情感类别上的概率分布与增强的颜色特征在所有情感类别上的概率分布通过加权和的方式进行信息再融合，获得情感分类结果。
现有技术提出的图像情感分类方法还包括：首先通过深度卷积神经网络提取图像整体特征，利用多尺度全卷积神经网络对图像进行显著性检测，进一步得到图像的显著性区域特征，同时仅仅利用图像级别的情感标签，通过类激活映射生成图像的情感分布图并提取情感区域特征。图像显著性区域特征和情感区域特征均视为图像的局部表示，将其与图像的整体特征进一步融合从而得到更具判别性的视觉特征并将其用于视觉情感分类。
情感识别是一个多学科交叉的研究方向，但现有的图像情感识别方法都未曾引入脑科学领域产生的丰硕研究成果，并且忽略了产生情感的主体是人，图像的内容本身并不蕴含情感，这极大的限制了图像情感识别领域的发展和完善。
发明内容
本发明的目的在于提供一种基于脑电信号的图像情感分类方法及装置，以解决上述问题。
为实现上述目的，本发明采用以下技术方案：
一种基于脑电信号的图像情感分类方法，包括以下步骤：
步骤1，选取图像：从国际情绪图片系统IASP中选取不同效价维度评分和唤醒维度评分的图像；
步骤2，采集脑电信号：依据不同效价维度评分和唤醒维度评分，施加不同效价唤醒维度评分范围的刺激，根据每种刺激采集电脑信号；
步骤3，提取单次脑电信号的差分熵特征，得到与各种图像一一对应的单次脑电信号的差分熵特征；
步骤4，对单次脑电信号的差分熵特征进行分类；
步骤5，图像情感分类：针对待分类图像，采集多个受图像刺激的脑电信号，提取出对应的脑电信号的差分熵特征，转换为特征矩阵，利用训练好的支持向量机的模型，对特征矩阵进行分类，得到图像对应的多个情感类别，选取票数最多的作为图像的情感类别。
进一步的，步骤1中，具体为：
(1a)从国际情绪图片系统IASP中，从效价维度评分0～5、唤醒维度评分0～5的图片中，选取尺寸大小相近的50张图像；
(1b)从国际情绪图片系统IASP中，从效价维度评分0～5、唤醒维度评分5～9的图片中，选取尺寸大小相近的50张图像；
(1c)从国际情绪图片系统IASP中，从效价维度评分5～9、唤醒维度评分0～5的图片中，选取尺寸大小相近的50张图像；
(1d)从国际情绪图片系统IASP中，从效价维度评分5～9、唤醒维度评分5～9的图片中，选取尺寸大小相近的50张图像。
进一步的，步骤2中，具体为：在实验环境状态下，采用实验范式分别施加4种不同效价唤醒维度评分范围的刺激；使用脑电信号采集系统，分别获取每种刺激对应的脑电信号的时间序列数据。
进一步的，实验环境状态是指：
受试者佩戴头戴式多通道脑电采集仪器，进行脑电信号采集；
实验范式是指：
1)给受试者呈现黑色的屏幕；
2)在屏幕中央有一个白色的十字，告知受试者图像视觉刺激即将出现；
3)将图像展示给受试者，时长为2s；
4)黑屏呈现给受试者；
5)重复1～4；
脑电信号采集系统是指脑电信号采集软件ZhenTecBCIServer；获取每种刺激对应的脑电信号的时间序列数据的方法是通过多个脑电采集通道，采集受试者观看图像刺激源时的脑电信号的时间序列数据。
进一步的，步骤3中，具体为：
(3a)将无刺激下采集的脑电信号的平均值作为参考信号，用每一幅图像出现后1s的脑电信号，分别减去参考信号，得到基线校正后的每种图像对应的脑电信号；
(3b)将脑电信号降采样至200Hz，用1-75Hz带通滤波器进行滤波处理；
(3c)在delta(1～4Hz)、theta(4～8Hz)、alpha(8～14Hz)、beta(14～31Hz)、gamma(31～50Hz) 频带上提取脑电信号的差分熵特征，得到与各种图像一一对应的单次脑电信号的差分熵特征。
进一步的，步骤3c中，差分熵特征提取的前提是假设脑电信号服从高斯分布。
进一步的，步骤4中，具体为：
(4a)对单次脑电信号的差分熵特征转化为32通道，每个通道200采样点的特征矩阵；
(4b)将特征矩阵输入到支持向量机，训练支持向量机的模型：
s.t.yi(wxi+b)≥1 i＝1，2，...，n
(4c)利用训练好的支持向量机的模型，对单次脑电信号的差分熵特征进行分类。
进一步的，步骤5中，具体为：针对待分类图像，采集多个受图像刺激的脑电信号，并提取出对应的脑电信号的差分熵特征，并转换为5个频道，每个频道32通道，每个通道400采样点的特征矩阵；利用训练好的支持向量机的模型，对特征矩阵进行分类，得到图像对应的多个用户的情感类别，选取票数最多的作为图像的情感类别。
进一步的，一种基于脑电信号的图像情感分类系统，包括：
图像选取模块，用于从国际情绪图片系统IASP中选取不同效价维度评分和唤醒维度评分的图像；
脑电信号采集模块用于依据不同效价维度评分和唤醒维度评分，施加不同效价唤醒维度评分范围的刺激，根据每种刺激采集电脑信号；
单次脑电信号的差分熵特征提取模块，用于单次脑电信号的差分熵特征，得到与各种图像一一对应的单次脑电信号的差分熵特征；
差分熵特征进行分类模块用于对单次脑电信号的差分熵特征进行分类；
图像情感分类模块用于针对待分类图像，采集多个受图像刺激的脑电信号，提取出对应的脑电信号的差分熵特征，转换为特征矩阵，利用训练好的支持向量机的模型，对特征矩阵进行分类，得到图像对应的多个情感类别，选取票数最多的作为图像的情感类别。
进一步的，一种基于脑电信号的图像情感分类装置，包括存储器和处理器，存储器存储有基于脑电信号的图像情感分类计算机程序，处理器用于执行计算机程序，以实现如权利1-6中任意一项所述方法的步骤。
与现有技术相比，本发明有以下技术效果：
第一，本发明采集与图像对应的脑电信号，充分考虑了人类是产生情感的主体，直接从频段、电极位置和时间信息中探索出各种有关情绪的信息，克服了现有技术图像情感分类中没有考虑图像内容不蕴含情感的问题，使得本发明具有对图像进行情感分类时更加符合人类产生情感的优点。
第二，利用脑科学领域产生的丰硕研究成果，本发明将脑科学领域的知识迁移到图像情感识别，有利于图像情感识别领域的发展和完善。
附图说明
图1是本发明脑电信号数据集采集实验范式图。
图2是本发明的图像情感分类方法流程图。
具体实施方式
以下结合附图对本发明进一步说明：
请参阅图1至图2，一种基于脑电信号的图像情感分类方法，包括以下步骤：
步骤1，选取图像：
(1a)从国际情绪图片系统(IASP)中，从效价维度评分0～5、唤醒维度评分0～5的图片中，选取尺寸大小相近的50张图像；
(1b)从国际情绪图片系统(IASP)中，从效价维度评分0～5、唤醒维度评分5～9的图片中，选取尺寸大小相近的50张图像；
(1c)从国际情绪图片系统(IASP)中，从效价维度评分5～9、唤醒维度评分0～5的图片中，选取尺寸大小相近的50张图像；
(1d)从国际情绪图片系统(IASP)中，从效价维度评分5～9、唤醒维度评分5～9的图片中，选取尺寸大小相近的50张图像；
步骤2，采集脑电信号：
(2a)在实验环境状态下，采用我们设计的实验范式，对受试者分别施加4种不同效价唤醒维度评分范围的刺激；
(2b)使用脑电信号采集系统，分别获取每种刺激对应的脑电信号的时间序列数据；
步骤3，提取单次脑电信号的差分熵特征：
f3a)将无刺激下采集的脑电信号的平均值作为参考信号，用每一幅图像出现后1s的脑电信号，分别减去参考信号，得到基线校正后的每种图像对应的脑电信号；
(3b)将脑电信号降采样至200Hz，用1-75Hz带通滤波器进行滤波处理；
(3c)在delta(1～4Hz)、theta(4～8Hz)、alpha(8～14Hz)、beta(14～31Hz)、gamma(31～50Hz) 频带上提取脑电信号的差分熵特征，得到与各种图像一一对应的单次脑电信号的差分熵特征；
步骤4，对单次脑电信号的差分熵特征进行分类：
(4a)对单次脑电信号的差分熵特征转化为5个频道，每个频道32通道，每个通道200 采样点的特征矩阵；
(4b)将特征矩阵输入到支持向量机，训练支持向量机的模型：
s.t.yi(wxi+b)≥1 i＝1，2，...，n
(4c)利用训练好的支持向量机的模型，对单次脑电信号的差分熵特征进行分类；
步骤5，图像情感分类：
(5a)针对待分类图像，采集多个用户受图像刺激的脑电信号，并提取出对应的脑电信号的差分熵特征，并转换为5个频道，每个频道32通道，每个通道400采样点的特征矩阵；
(5b)利用训练好的支持向量机的模型，对特征矩阵进行分类，得到图像对应的多个用户的情感类别，选取票数最多的作为图像的情感类别。
进一步的，实验采集环境具体为：
受试者应处于一亮度舒适、温度舒适的密闭空间，隔绝外界干扰，佩戴臻泰智能公司的便捷头戴式多通道脑电采集仪器，面对1280×1024分辨率的显示器，与显示器的距离为70cm，并且确保受试者是在精神饱满、经历充沛的状态下进行脑电信号采集。
进一步的，实验范式包括：
1)给受试者呈现黑色的屏幕；
2)在屏幕中央有一个白色的十字，告知受试者图像视觉刺激即将出现；
3)将图像展示给受试者，时长为2s；
4)黑屏呈现给受试者；
5)重复1～4。
进一步的，差分熵特征提取的过程包括：
1)假设脑电信号服从高斯分布N(μ，δ2)；
2)针对每个脑电采集通道的时间序列数据按以下公式提取delta(1～4Hz)、theta(4～8Hz)、alpha(8～14Hz)、beta(14～31Hz)、gamma(31～50Hz)上的差分熵特征。
实施例：
以某事件在网络舆情上的图片素材为实施例说明图像情感分类方法的实现过程。
首先从国际情绪图片系统(IASP)中，从效价维度评分0～5、唤醒维度评分0～5图片中选取尺寸大小相近的50张图像、从效价维度评分0～5、唤醒维度评分5～9的图片中选取尺寸大小相近的50张图像、从效价维度评分5～9、唤醒维度评分0～5的图片中选取尺寸大小相近的50张图像、从效价维度评分5～9、唤醒维度评分5～9的图片中选取尺寸大小相近的50张图像作为源语料集。其次，收集网络舆情上某事件的相关图片作为目标语料集。
在实验环境状态下，采用我们设计的实验范式，对受试者分别施加4种不同效价唤醒维度评分范围的刺激，使用臻泰智能公司的便捷头戴式多通道脑电采集仪器采集记录脑电信号数据；所述的实验环境状态是指，受试者应处于一亮度舒适、温度舒适的密闭空间，隔绝外界干扰，佩戴臻泰智能公司的便捷头戴式多通道脑电采集仪器，面对1280×1024 分辨率的显示器，与显示器的距离为70cm，并且确保受试者是在精神饱满、经历充沛的状态下进行脑电信号采集；所述的实验范式是指：
1)给受试者呈现黑色的屏幕；
2)在屏幕中央有一个白色的十字，告知受试者图像视觉刺激即将出现；
3)将图像展示给受试者，时长为2s；
4)黑屏呈现给受试者；
5)重复1～4。
将无刺激下采集的脑电信号的平均值作为参考信号，将每一幅图像刺激出现后的脑电信号分割成1s的片段，将分割后的每1s的信号数据分别减去参考信号，得到基线校正后的每种图像对应的脑电信号。
将脑电信号降采样至200Hz，用1-75Hz带通滤波器进行滤波处理，在delta(1～4Hz)、 theta(4～8Hz)、alpha(8～14Hz)、beta(14～31Hz)、gamma(31～50Hz)五个频带上利用以下公式分别提取脑电信号的差分熵特征，得到与各种图像刺激一一对应的单次脑电差分熵特征矩阵，该特征矩阵为5个频带，每个频带有32个通道，每个通道400个采样点的矩阵。
将特征矩阵输入到支持向量机，训练支持向量机的模型：
s.t.yi(wxi+b)≥1 i＝1，2，...，n
针对待分类的某事件相关图片，使用臻泰智能公司的便捷头戴式多通道脑电采集仪器采集记录多个用户观看某事件相关图片时的脑电信号数据，时长为2s，将无刺激下采集的脑电信号的平均值作为参考信号，将采集记录的脑电信号分割成1s的片段，将分割后的每1s的信号数据分别减去参考信号，得到基线校正后的脑电信号。
将脑电信号降采样至200Hz，用1-75Hz带通滤波器进行滤波处理，在delta(1～4Hz)、 theta(4～8Hz)、alpha(8～14Hz)、beta(14～31Hz)、gamma(31～50Hz)五个频带上利用以下公式分别提取脑电信号的差分熵特征，得到有5个频带，每个频带有32个通道，每个通道400 个采样点的特征矩阵。
将特征矩阵输入到已训练好的支持向量机模型，得到待分类图像对应的多个用户的情感类别，选取票数最多的作为待分类图像的情感类别。
Claims (10)
1.一种基于脑电信号的图像情感分类方法，其特征在于，包括以下步骤：
步骤1，选取图像：从国际情绪图片系统IASP中选取不同效价维度评分和唤醒维度评分的图像；
步骤2，采集脑电信号：依据不同效价维度评分和唤醒维度评分，施加不同效价唤醒维度评分范围的刺激，根据每种刺激采集电脑信号；
步骤3，提取单次脑电信号的差分熵特征，得到与各种图像一一对应的单次脑电信号的差分熵特征；
步骤4，对单次脑电信号的差分熵特征进行分类；
步骤5，图像情感分类：针对待分类图像，采集多个受图像刺激的脑电信号，提取出对应的脑电信号的差分熵特征，转换为特征矩阵，利用训练好的支持向量机的模型，对特征矩阵进行分类，得到图像对应的多个情感类别，选取票数最多的作为图像的情感类别。
2.根据权利要求1所述的一种基于脑电信号的图像情感分类方法，其特征在于，步骤1中，具体为：
(1a)从国际情绪图片系统IASP中，从效价维度评分0～5、唤醒维度评分0～5的图片中，选取尺寸大小相近的50张图像；
(1b)从国际情绪图片系统IASP中，从效价维度评分0～5、唤醒维度评分5～9的图片中，选取尺寸大小相近的50张图像；
(1c)从国际情绪图片系统IASP中，从效价维度评分5～9、唤醒维度评分0～5的图片中，选取尺寸大小相近的50张图像；
(1d)从国际情绪图片系统IASP中，从效价维度评分5～9、唤醒维度评分5～9的图片中，选取尺寸大小相近的50张图像。
3.根据权利要求1所述的一种基于脑电信号的图像情感分类方法，其特征在于，步骤2中，具体为：在实验环境状态下，采用实验范式分别施加4种不同效价唤醒维度评分范围的刺激；使用脑电信号采集系统，分别获取每种刺激对应的脑电信号的时间序列数据。
4.根据权利要求3所述的一种基于脑电信号的图像情感分类方法，其特征在于，实验环境状态是指：
受试者佩戴头戴式多通道脑电采集仪器，进行脑电信号采集；
实验范式是指：
1)给受试者呈现黑色的屏幕；
2)在屏幕中央有一个白色的十字，告知受试者图像视觉刺激即将出现；
3)将图像展示给受试者，时长为2s；
4)黑屏呈现给受试者；
5)重复1～4；
脑电信号采集系统是指脑电信号采集软件ZhenTecBCIServer；获取每种刺激对应的脑电信号的时间序列数据的方法是通过多个脑电采集通道，采集受试者观看图像刺激源时的脑电信号的时间序列数据。
5.根据权利要求1所述的一种基于脑电信号的图像情感分类方法，其特征在于，步骤3中，具体为：
(3a)将无刺激下采集的脑电信号的平均值作为参考信号，用每一幅图像出现后1s的脑电信号，分别减去参考信号，得到基线校正后的每种图像对应的脑电信号；
(3b)将脑电信号降采样至200Hz，用1-75Hz带通滤波器进行滤波处理；
(3c)在delta(1～4Hz)、theta(4～8Hz)、alpha(8～14Hz)、beta(14～31Hz)、gamma(31～50Hz)频带上提取脑电信号的差分熵特征，得到与各种图像一一对应的单次脑电信号的差分熵特征。
6.根据权利要求5所述的一种基于脑电信号的图像情感分类方法，其特征在于，步骤3c中，差分熵特征提取的前提是假设脑电信号服从高斯分布。
7.根据权利要求1所述的一种基于脑电信号的图像情感分类方法，其特征在于，步骤4中，具体为：
(4a)对单次脑电信号的差分熵特征转化为32通道，每个通道200采样点的特征矩阵；
(4b)将特征矩阵输入到支持向量机，训练支持向量机的模型：
s.t.yi(wxi+b)≥1 i＝1，2，…，n
(4c)利用训练好的支持向量机的模型，对单次脑电信号的差分熵特征进行分类。
8.根据权利要求1所述的一种基于脑电信号的图像情感分类方法，其特征在于，步骤5中，具体为：针对待分类图像，采集多个受图像刺激的脑电信号，并提取出对应的脑电信号的差分熵特征，并转换为5个频道，每个频道32通道，每个通道400采样点的特征矩阵；利用训练好的支持向量机的模型，对特征矩阵进行分类，得到图像对应的多个用户的情感类别，选取票数最多的作为图像的情感类别。
9.一种基于脑电信号的图像情感分类系统，其特征在于，基于权利要求1至8任意一项所述的一种基于脑电信号的图像情感分类方法，包括：
图像选取模块，用于从国际情绪图片系统IASP中选取不同效价维度评分和唤醒维度评分的图像；
脑电信号采集模块用于依据不同效价维度评分和唤醒维度评分，施加不同效价唤醒维度评分范围的刺激，根据每种刺激采集电脑信号；
单次脑电信号的差分熵特征提取模块，用于单次脑电信号的差分熵特征，得到与各种图像一一对应的单次脑电信号的差分熵特征；
差分熵特征进行分类模块用于对单次脑电信号的差分熵特征进行分类；
图像情感分类模块用于针对待分类图像，采集多个受图像刺激的脑电信号，提取出对应的脑电信号的差分熵特征，转换为特征矩阵，利用训练好的支持向量机的模型，对特征矩阵进行分类，得到图像对应的多个情感类别，选取票数最多的作为图像的情感类别。
10.一种基于脑电信号的图像情感分类装置，其特征在于，包括存储器和处理器，存储器存储有基于脑电信号的图像情感分类计算机程序，处理器用于执行计算机程序，以实现如权利1-6中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110444201.0A CN113576478A (zh) | 2021-04-23 | 2021-04-23 | 一种基于脑电信号的图像情感分类方法及系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110444201.0A CN113576478A (zh) | 2021-04-23 | 2021-04-23 | 一种基于脑电信号的图像情感分类方法及系统及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113576478A true CN113576478A (zh) | 2021-11-02 |
Family
ID=78243109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110444201.0A Pending CN113576478A (zh) | 2021-04-23 | 2021-04-23 | 一种基于脑电信号的图像情感分类方法及系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113576478A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115422983A (zh) * | 2022-11-04 | 2022-12-02 | 智慧眼科技股份有限公司 | 基于脑电波信号的情绪分类方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103690165A (zh) * | 2013-12-12 | 2014-04-02 | 天津大学 | 一种跨诱发模式情绪脑电识别建模方法 |
| KR101748731B1 (ko) * | 2016-09-22 | 2017-06-20 | 금오공과대학교 산학협력단 | 아이겐 페이스 개념을 이용한 뇌파 신호 분류 방법 및 이를 실행하는 장치 |
| CN107080546A (zh) * | 2017-04-18 | 2017-08-22 | 安徽大学 | 基于脑电图的青少年环境心理的情绪感知系统及方法、刺激样本选择方法 |
| CN107157477A (zh) * | 2017-05-24 | 2017-09-15 | 上海交通大学 | 脑电信号特征识别系统及方法 |
| CN110353675A (zh) * | 2019-08-14 | 2019-10-22 | 东南大学 | 基于图片生成的脑电信号情感识别方法及装置 |
| CN110946576A (zh) * | 2019-12-31 | 2020-04-03 | 西安科技大学 | 一种基于宽度学习的视觉诱发电位识别情绪方法 |
| CN111184509A (zh) * | 2019-11-29 | 2020-05-22 | 杭州电子科技大学 | 一种基于传递熵的情绪诱导脑电信号分类方法 |
| KR20210026305A (ko) * | 2019-08-29 | 2021-03-10 | 주식회사 룩시드랩스 | 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스 |
| CN112656427A (zh) * | 2020-11-26 | 2021-04-16 | 山西大学 | 一种基于维度模型的脑电信号情绪识别方法 |
-
2021
- 2021-04-23 CN CN202110444201.0A patent/CN113576478A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103690165A (zh) * | 2013-12-12 | 2014-04-02 | 天津大学 | 一种跨诱发模式情绪脑电识别建模方法 |
| KR101748731B1 (ko) * | 2016-09-22 | 2017-06-20 | 금오공과대학교 산학협력단 | 아이겐 페이스 개념을 이용한 뇌파 신호 분류 방법 및 이를 실행하는 장치 |
| CN107080546A (zh) * | 2017-04-18 | 2017-08-22 | 安徽大学 | 基于脑电图的青少年环境心理的情绪感知系统及方法、刺激样本选择方法 |
| CN107157477A (zh) * | 2017-05-24 | 2017-09-15 | 上海交通大学 | 脑电信号特征识别系统及方法 |
| CN110353675A (zh) * | 2019-08-14 | 2019-10-22 | 东南大学 | 基于图片生成的脑电信号情感识别方法及装置 |
| KR20210026305A (ko) * | 2019-08-29 | 2021-03-10 | 주식회사 룩시드랩스 | 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스 |
| CN111184509A (zh) * | 2019-11-29 | 2020-05-22 | 杭州电子科技大学 | 一种基于传递熵的情绪诱导脑电信号分类方法 |
| CN110946576A (zh) * | 2019-12-31 | 2020-04-03 | 西安科技大学 | 一种基于宽度学习的视觉诱发电位识别情绪方法 |
| CN112656427A (zh) * | 2020-11-26 | 2021-04-16 | 山西大学 | 一种基于维度模型的脑电信号情绪识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| VEENA N; S MAHALAKSHMI: "Classification of Emotions through EEG Signals using SVM and DNN", 《INTERNATIONAL JOURNAL OF INNOVATIVE TECHNOLOGY AND EXPLORING ENGINEERING》 * |
| 柳长源；李文强；毕晓君: "基于脑电信号的情绪特征提取与分类", 《传感技术学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115422983A (zh) * | 2022-11-04 | 2022-12-02 | 智慧眼科技股份有限公司 | 基于脑电波信号的情绪分类方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Palazzo et al. | Decoding brain representations by multimodal learning of neural activity and visual features | |
| George et al. | Recognition of emotional states using EEG signals based on time-frequency analysis and SVM classifier. | |
| CN111329474B (zh) | 基于深度学习的脑电身份识别方法、系统及信息更新方法 | |
| CN110619301B (zh) | 一种基于双模态信号的情绪自动识别方法 | |
| CN106569604B (zh) | 视听双模态语义匹配和语义失配协同刺激脑机接口方法 | |
| CN110353673B (zh) | 一种基于标准互信息的脑电通道选择方法 | |
| CN110464366A (zh) | 一种情绪识别方法、系统及存储介质 | |
| CN108491077A (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
| CN103631941B (zh) | 基于脑电的目标图像检索系统 | |
| CN110070105A (zh) | 基于元学习实例快速筛选的脑电情绪识别方法、系统 | |
| CN105512609A (zh) | 一种基于核超限学习机的多模融合视频情感识别方法 | |
| CN108256579A (zh) | 一种基于先验知识的多模态民族认同感量化测量方法 | |
| CN109330613A (zh) | 基于实时脑电的人体情绪识别方法 | |
| CN110037693A (zh) | 一种基于面部表情和eeg的情绪分类方法 | |
| CN110390272A (zh) | 一种基于加权主成分分析的eeg信号特征降维方法 | |
| CN105468738A (zh) | 基于眼动和脑电相结合的图像检索方法 | |
| CN111930238A (zh) | 基于动态ssvep范式的脑机接口系统实现方法及装置 | |
| Li et al. | Emotion recognition of subjects with hearing impairment based on fusion of facial expression and EEG topographic map | |
| Zainuddin et al. | Classification of EEG signal from capable dyslexic and normal children using KNN | |
| CN113576478A (zh) | 一种基于脑电信号的图像情感分类方法及系统及装置 | |
| Jiang et al. | Single-trial ERP detecting for emotion recognition | |
| CN109993132B (zh) | 一种基于脑电信号的图形识别生成方法及系统 | |
| CN116211306A (zh) | 基于眼动和心电信号的心理健康自评估系统 | |
| CN116035598A (zh) | 一种睡眠纺锤波智能识别方法及系统 | |
| CN109359543A (zh) | 一种基于骨骼化的人像检索方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211102 |