CN112057089A - 情绪识别方法、装置及存储介质 - Google Patents

情绪识别方法、装置及存储介质 Download PDF

Info

Publication number
CN112057089A
CN112057089A CN202010895051.0A CN202010895051A CN112057089A CN 112057089 A CN112057089 A CN 112057089A CN 202010895051 A CN202010895051 A CN 202010895051A CN 112057089 A CN112057089 A CN 112057089A
Authority
CN
China
Prior art keywords
electroencephalogram
matrix
characteristic
frequency band
emotion recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010895051.0A
Other languages
English (en)
Inventor
王洪涛
唐聪
裴子安
许林峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202010895051.0A priority Critical patent/CN112057089A/zh
Publication of CN112057089A publication Critical patent/CN112057089A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Power Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了情绪识别方法、装置及存储介质，其中方法包括获取脑电信号；提取功率谱密度作为频域特征并构建多频带特征矩阵；计算相位锁定值作为脑电连通性特征并构建对称连通矩阵；将两者特征融合；将融合脑电特征输入至基于胶囊网络的识别网络，进而识别出情绪类别。将多频带特征矩阵和对称连通矩阵融合得到的融合脑电特征能从空间和频率域上提供与情绪状态相关的显著特征信息；将融合脑电特征输入至基于胶囊网络的识别网络判断情绪状态，具有效率快和识别准确性高的优点。

Description

情绪识别方法、装置及存储介质
技术领域
本发明涉及智能领域，特别是情绪识别方法、装置及存储介质。
背景技术
通过脑电信号识别人类情绪活动，是目前神经科学领域的重点研究项目。通过神经网络和深度学习有利于该项目的展开。但是，目前大部分研究单单从时域、频域中的单个方面进行研究，导致研究结果不全面。且目前大部分的神经网络，如深度信念网络和叠层自动编码器等，在处理二维目标时对空间域特性的敏感性较差，。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供情绪识别方法、装置及存储介质。
本发明解决其问题所采用的技术方案是：
本发明的第一方面，情绪识别方法，包括以下步骤：
获取脑电信号；
从所述脑电信号的每个通道提取θ频段、α频段、β频段和γ频段的功率谱密度作为频域特征，利用所述频域特征构建多频带特征矩阵；
对所述脑电信号进行非重叠时间窗分割处理得到多个脑电信号片段，对每个所述脑电信号片段的每个频段计算相位锁定值作为脑电连通性特征，根据所述脑电连通性特征构建对称连通矩阵；
将所述多频带特征矩阵和所述对称连通矩阵进行特征融合，得到融合脑电特征；
将所述融合脑电特征输入至基于胶囊网络的识别网络，使所述识别网络通过卷积操作和动态路由法识别出情绪类别。
根据本发明的第一方面，将所述功率谱密度进行归一化后作为所述频域特征；归一化式子为：
Figure BDA0002658197840000021
式中，F为归一化前的功率谱密度，Fmax为同通道的功率谱密度中的最大值，Fmin为同通道的功率谱密度中的最小值。
根据本发明的第一方面，将每个频段的所有通道的所述频域特征组成一个第一频域子矩阵，得到四个所述第一频域子矩阵；将四个所述第一频域子矩阵以2X2的方式构建所述多频带特征矩阵。
根据本发明的第一方面，所述相位锁定值的计算方式为取时间窗上相位差的绝对平均值，计算式子如下：
Figure BDA0002658197840000022
式中PLV为相位锁定值，N为时间窗的数量，Δφn为第n个时间窗的相位差。
根据本发明的第一方面，将每个频段的所有所述脑电连通性特征构成一个大小为kxk的第二频域子矩阵，得到四个所述第二频域子矩阵，其中所述第二频域子矩阵的第(i，j)元素为第i通道与第j通道之间的所述脑电连通性特征；将四个所述第二频域子矩阵以2X2的方式构建所述对称连通矩阵。
根据本发明的第一方面，利用F-score特征选择方法对所述融合脑电特征进行计算打分，对所述融合脑电特征按分数从大至小排列，选择前m个所述融合脑电特征输入至所述识别网络。
根据本发明的第一方面，所述动态路由法包括以下步骤：
对输入量做矩阵乘法，得到第一结果；
对所述第一结果做标量加权，得到第二结果；
对所述第二结果做求和处理，得到第三结果；
对所述第三结果做非线性化处理，得到第四结果；
其中所述第四结果用于输入至分类器得到所述情绪类别。
根据本发明的第一方面，情绪识别方法，还包括以下步骤：通过前馈神经网络根据所述情绪类别重构融合脑电特征，并利用重构的所述融合脑电特征进行反馈。
本发明的第二方面，情绪识别装置，包括：
输入模块，用于获取脑电信号；
第一特征处理模块，用于从所述脑电信号的每个通道提取θ频段、α频段、β频段和γ频段的功率谱密度作为频域特征，利用所述频域特征构建多频带特征矩阵；
第二特征处理模块，用于对所述脑电信号进行非重叠时间窗分割处理得到多个脑电信号片段，对每个所述脑电信号片段的每个频段计算相位锁定值作为脑电连通性特征，根据所述脑电连通性特征构建对称连通矩阵；
特征融合模块，用于将所述多频带特征矩阵和所述对称连通矩阵进行特征融合，得到融合脑电特征；
分类模块，用于将所述融合脑电特征输入至识别网络，使所述识别网络通过卷积操作和动态路由法识别出情绪类别。
本发明的第三方面，存储介质，存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如本发明第一方面所述的情绪识别方法。
上述方案至少具有以下的有益效果：根据脑电信号构建反映频域特征的多频带特征矩阵，以及构建反映脑电信号个通道之间的相对位置关系的对称连通矩阵，将多频带特征矩阵和对称连通矩阵融合得到的融合脑电特征能从空间和频率域上提供与情绪状态相关的显著特征信息；将融合脑电特征输入至基于胶囊网络的识别网络判断情绪状态，具有效率快和识别准确性高的优点
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明实施例情绪识别方法的步骤流程图；
图2是本发明实施例情绪识别装置的结构图；
图3是本发明实施例情绪识别装置的具体原理图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1，本发明的一个实施例，提供了情绪识别方法，包括以下步骤：
步骤S100、获取脑电信号；
步骤S200、从脑电信号的每个通道提取θ频段、α频段、β频段和γ频段的功率谱密度作为频域特征，利用频域特征构建多频带特征矩阵；
步骤S300、对脑电信号进行非重叠时间窗分割处理得到多个脑电信号片段，对每个脑电信号片段的每个频段计算相位锁定值作为脑电连通性特征，根据脑电连通性特征构建对称连通矩阵；
步骤S400、将多频带特征矩阵和对称连通矩阵进行特征融合，得到融合脑电特征；
步骤S500、将融合脑电特征输入至基于胶囊网络的识别网络，使识别网络通过卷积操作和动态路由法识别出情绪类别。
在该实施例中，根据脑电信号构建反映频域特征的多频带特征矩阵，以及构建反映脑电信号个通道之间的相对位置关系的对称连通矩阵，将多频带特征矩阵和对称连通矩阵融合得到的融合脑电特征能从空间和频率域上提供与情绪状态相关的显著特征信息；将融合脑电特征输入至基于胶囊网络的识别网络判断情绪状态，具有效率快和识别准确性高的优点。
进一步，在步骤S100中，通过32个脑电极覆盖在人的头部上获取32通道的脑电信号。另外，获取的脑电信号需要通过滤波器进行预处理，将干扰信号过滤，以免干扰信号影响后续的分类识别。
进一步，在步骤S200中，将32通道脑电信号映射到9×9的正方形矩阵中，通过韦尔奇方法从脑电信号的每个通道提取θ频段(4–8hz)、α频段(8–14hz)、β频段(14–31hz)和γ频段(31–50hz)的功率谱密度，将功率谱密度进行归一化后作为频域特征；归一化式子为：
Figure BDA0002658197840000071
式中，F为归一化前的功率谱密度，Fmax为同通道的功率谱密度中的最大值，Fmin为同通道的功率谱密度中的最小值。由于存在32个通道和4个频带，因此每个样本的频域特征数量为128个。
另外，在步骤S200中，将每个频段的所有通道的频域特征组成一个第一频域子矩阵，得到四个第一频域子矩阵；对于第一频域子矩阵，元素值对应设置为对应通道的功率谱密度，而没有对应电极的元素的默认值为0。然后将四个第一频域子矩阵以2X2的方式构建多频带特征矩阵。在多频带特征矩阵中，对应通道的元素处于多频带特征矩阵的位置与对应的电极在人的头部的位置是一一对应的。
进一步，在步骤S300中，对脑电信号进行4s的非重叠时间窗分割，则每个样本包含32个通道的4秒脑电信号片段。
相位锁定值的计算方式为取时间窗上相位差的绝对平均值，计算式子如下：
Figure BDA0002658197840000072
式中PLV为相位锁定值，N为时间窗的数量，Δφn为第n个时间窗的相位差，j为常数。如果两个脑电信号是独立的，PLV为0。如果两个脑电信号的相位完全同步，PLV为1。
进一步，将每个频段的所有脑电连通性特征构成一个大小为kxk的第二频域子矩阵，得到四个第二频域子矩阵，其中第二频域子矩阵的第(i，j)元素为第i通道与第j通道之间的脑电连通性特征；由于自相关的值总是等于1，第二频域子矩阵的主对角线上的元素通常被设置为零。将四个第二频域子矩阵以2X2的方式构建对称连通矩阵。需要说明的是，为了便于对称连通矩阵与多频带特征矩阵融合，通常对称连通矩阵与多频带特征矩阵的结构大小相同；即多频带特征矩阵的结构大小为18X18，共有18X18个元素，那么对称连通矩阵的结构大小也为18X18，共有18X18个元素
进一步，在步骤S400中，将多频带特征矩阵与多频带特征矩阵连接，组成36X18大小的矩阵；利用F-score特征选择方法对融合脑电特征进行计算打分，对融合脑电特征按分数从大至小排列，选择前m个融合脑电特征输入至识别网络。在该实施例中，m取18。
参照图3，进一步，在步骤S500中，基于胶囊网络的识别网络包括：带校正线性单元的卷积层51、初级胶囊层52与高级胶囊层53。
其中，带校正线性单元的卷积层51对输入的m个融合脑电特征进行动态卷积，检测局部特征。对输入的融合脑电特征作动态卷积操作，对应的公式具体为：
Figure BDA0002658197840000081
Figure BDA0002658197840000082
0≤πk(x)≤1，
Figure BDA0002658197840000083
其中，πk(x)表示第k个注意力权重，K为注意力权重的数量，
Figure BDA0002658197840000084
表示权重矩阵的转置，
Figure BDA0002658197840000085
表示偏置向量。带校正线性单元的卷积层51采用步长为1的3×3卷积核和ReLU激活函数。该卷积层不使用填充；输出的大小为16×16，共256通道。
在初级胶囊层52中，对带校正线性单元的卷积层51的输出进行卷积运算。初级胶囊层52中的卷积层由卷积核大小为3×3、步长为2的卷积单元组成。卷积运算后，输出数据在7×7矩阵中被整形为256维矢量。然后，应用压缩激活函数对输出进行压缩。
高级胶囊层53重塑由初级胶囊层52生成的7×7矩阵，并通过256维向量形成49个胶囊的输出向量。然后，将该胶囊的输出向量乘以权重矩阵Wi，得到预测向量，其中i表示每个输出类的索引。然后，采用动态路由算法确定cij。动态路由算法在该模型中迭代三次，并将cij编码成
Figure BDA0002658197840000091
到32维的实例化参数激活向量得到胶囊的总输入向量。最后，对输出向量进行压缩，以确定每个情绪状态的概率。
动态路由法包括以下步骤：
对输入量做矩阵乘法，得到第一结果；
对第一结果做标量加权，得到第二结果；
对第二结果做求和处理，得到第三结果；
对第三结果做非线性化处理，得到第四结果；
其中第四结果用于输入至分类器54得到情绪类别，本实施例中分类器54采用sofamax分类器。
需要说明的是，动态路由法可以通过以下的式子进行表述：
Figure BDA0002658197840000092
Figure BDA0002658197840000093
Figure BDA0002658197840000094
Figure BDA0002658197840000095
Figure BDA0002658197840000101
式中，i表示第l层的第i个胶囊，j表示第l+1层的第j个胶囊。Vj表示第j个胶囊输出的向量，sj表示第j个胶囊的总输入向量，
Figure BDA0002658197840000102
表示预测向量，ui表示第i个胶囊的输出向量，cij表示耦合系数，bij初始为0。
进一步，情绪识别方法，还包括以下步骤：通过前馈神经网络根据情绪类别重构融合脑电特征，并利用重构的融合脑电特征进行反馈，从而尽可能地在网络中保持来自输入的信息，这可以防止过度拟合，并有助于将新样本推广为一个标准化器。前馈神经网络具有三层神经网络，该三层神经网络分别具有512、1024和256个单元，该模型利用L2函数进行重构，利用边缘损失函数进行分类。其中边缘损失函数如下：
Le＝Te max(0,m+-||ve||)2+λ(1-Te)max(0,||ve||-m-)2；式中，e为情绪类别；如果情绪类别e存在且m-＝0.1且m+＝0.9，则Te等于1；m+表示情绪类别e为正类别的概率，m-表示情绪类别e为负类别的概率。λ是损失的向下权重，默认设置为0.5。ve表示e类的最终输出向量。
参照图2，本发明的另一个实施例，情绪识别装置，采用如方法实施例所述的情绪识别方法。情绪识别装置包括：
输入模块10，用于获取脑电信号；
第一特征处理模块20，用于从脑电信号的每个通道提取θ频段、α频段、β频段和γ频段的功率谱密度作为频域特征，利用频域特征构建多频带特征矩阵；
第二特征处理模块30，用于对脑电信号进行非重叠时间窗分割处理得到多个脑电信号片段，对每个脑电信号片段的每个频段计算相位锁定值作为脑电连通性特征，根据脑电连通性特征构建对称连通矩阵；
特征融合模块40，用于将多频带特征矩阵和对称连通矩阵进行特征融合，得到融合脑电特征；
分类模块50，用于将融合脑电特征输入至识别网络，使识别网络通过卷积操作和动态路由法识别出情绪类别。
在该实施例中，该情绪识别装置能根据脑电信号构建反映频域特征的多频带特征矩阵，以及构建反映脑电信号个通道之间的相对位置关系的对称连通矩阵，将多频带特征矩阵和对称连通矩阵融合得到的融合脑电特征能从空间和频率域上提供与情绪状态相关的显著特征信息；将融合脑电特征输入至基于胶囊网络的识别网络判断情绪状态，具有效率快和识别准确性高的优点。
装置实施例的情绪识别装置采用如方法实施例所述的情绪识别方法。该装置实施例的情绪识别装置的各个模块与情绪识别方法的各个步骤一一对应，具有与情绪识别方法相同的技术效果，在此不再详述。
本发明的另一个实施例，存储介质，存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如方法实施例所述的情绪识别方法。
存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.情绪识别方法，其特征在于，包括以下步骤：
获取脑电信号；
从所述脑电信号的每个通道提取θ频段、α频段、β频段和γ频段的功率谱密度作为频域特征，利用所述频域特征构建多频带特征矩阵；
对所述脑电信号进行非重叠时间窗分割处理得到多个脑电信号片段，对每个所述脑电信号片段的每个频段计算相位锁定值作为脑电连通性特征，根据所述脑电连通性特征构建对称连通矩阵；
将所述多频带特征矩阵和所述对称连通矩阵进行特征融合，得到融合脑电特征；
将所述融合脑电特征输入至基于胶囊网络的识别网络，使所述识别网络通过卷积操作和动态路由法识别出情绪类别。
2.根据权利要求1所述的情绪识别方法，其特征在于，将所述功率谱密度进行归一化后作为所述频域特征；归一化式子为：
Figure FDA0002658197830000011
式中，F为归一化前的功率谱密度，Fmax为同通道的功率谱密度中的最大值，Fmin为同通道的功率谱密度中的最小值。
3.根据权利要求2所述的情绪识别方法，其特征在于，将每个频段的所有通道的所述频域特征组成一个第一频域子矩阵，得到四个所述第一频域子矩阵；将四个所述第一频域子矩阵以2X2的方式构建所述多频带特征矩阵。
4.根据权利要求1所述的情绪识别方法，其特征在于，所述相位锁定值的计算方式为取时间窗上相位差的绝对平均值，计算式子如下：
Figure FDA0002658197830000021
式中PLV为相位锁定值，N为时间窗的数量，Δφn为第n个时间窗的相位差。
5.根据权利要求4所述的情绪识别方法，其特征在于，将每个频段的所有所述脑电连通性特征构成一个大小为kxk的第二频域子矩阵，得到四个所述第二频域子矩阵，其中所述第二频域子矩阵的第(i，j)元素为第i通道与第j通道之间的所述脑电连通性特征；将四个所述第二频域子矩阵以2X2的方式构建所述对称连通矩阵。
6.根据权利要求1所述的情绪识别方法，其特征在于，利用F-score特征选择方法对所述融合脑电特征进行计算打分，对所述融合脑电特征按分数从大至小排列，选择前m个所述融合脑电特征输入至所述识别网络。
7.根据权利要求1所述的情绪识别方法，其特征在于，所述动态路由法包括以下步骤：
对输入量做矩阵乘法，得到第一结果；
对所述第一结果做标量加权，得到第二结果；
对所述第二结果做求和处理，得到第三结果；
对所述第三结果做非线性化处理，得到第四结果；
其中所述第四结果用于输入至分类器得到所述情绪类别。
8.根据权利要求1所述的情绪识别方法，其特征在于，还包括以下步骤：通过前馈神经网络根据所述情绪类别重构融合脑电特征，并利用重构的所述融合脑电特征进行反馈。
9.情绪识别装置，其特征在于，包括：
输入模块，用于获取脑电信号；
第一特征处理模块，用于从所述脑电信号的每个通道提取θ频段、α频段、β频段和γ频段的功率谱密度作为频域特征，利用所述频域特征构建多频带特征矩阵；
第二特征处理模块，用于对所述脑电信号进行非重叠时间窗分割处理得到多个脑电信号片段，对每个所述脑电信号片段的每个频段计算相位锁定值作为脑电连通性特征，根据所述脑电连通性特征构建对称连通矩阵；
特征融合模块，用于将所述多频带特征矩阵和所述对称连通矩阵进行特征融合，得到融合脑电特征；
分类模块，用于将所述融合脑电特征输入至识别网络，使所述识别网络通过卷积操作和动态路由法识别出情绪类别。
10.存储介质，其特征在于，所述存储介质存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如权利要求1至8任一项所述的情绪识别方法。
CN202010895051.0A 2020-08-31 2020-08-31 情绪识别方法、装置及存储介质 Pending CN112057089A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010895051.0A CN112057089A (zh) 2020-08-31 2020-08-31 情绪识别方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010895051.0A CN112057089A (zh) 2020-08-31 2020-08-31 情绪识别方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN112057089A true CN112057089A (zh) 2020-12-11

Family

ID=73665005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010895051.0A Pending CN112057089A (zh) 2020-08-31 2020-08-31 情绪识别方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112057089A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112617860A (zh) * 2020-12-31 2021-04-09 山东师范大学 基于锁相值构建的脑功能连接网络的情绪分类方法及系统
CN112861778A (zh) * 2021-03-05 2021-05-28 南京邮电大学 一种基于多模态融合的情绪分类识别方法
CN113057657A (zh) * 2021-03-22 2021-07-02 华南理工大学 基于多尺度连通性特征和元迁移学习的脑电情绪分类方法
CN113081004A (zh) * 2021-02-23 2021-07-09 厦门大学 一种基于脑电运动想象的小样本特征提取方法
CN113191438A (zh) * 2021-05-08 2021-07-30 啊哎(上海)科技有限公司 学习风格识别模型训练和识别方法、装置、设备及介质
CN113554110A (zh) * 2021-07-30 2021-10-26 合肥工业大学 一种基于二值胶囊网络的脑电情绪识别方法
CN113855020A (zh) * 2021-09-18 2021-12-31 中国信息通信研究院 用于情绪识别的方法及装置、计算机设备、存储介质
CN114209323A (zh) * 2022-01-21 2022-03-22 中国科学院计算技术研究所 一种识别情绪的方法以及基于脑电数据的情绪识别模型
CN114818786A (zh) * 2022-04-06 2022-07-29 五邑大学 通道筛选方法、情绪识别方法、系统及存储介质
CN116058851A (zh) * 2023-02-20 2023-05-05 之江实验室 脑电数据处理方法、装置、分析系统、电子装置和介质
CN116304585A (zh) * 2023-05-18 2023-06-23 中国第一汽车股份有限公司 情感识别及模型训练方法、装置、电子设备及存储介质
CN116831580A (zh) * 2023-08-31 2023-10-03 北京中科心研科技有限公司 一种识别抑郁情绪障碍的方法、装置及可穿戴设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956546A (zh) * 2016-04-28 2016-09-21 杭州电子科技大学 一种基于脑电信号的情绪识别方法
CN106874952A (zh) * 2017-02-16 2017-06-20 中国人民解放军国防科学技术大学 基于栈式自编码器的特征融合方法
CN110322968A (zh) * 2019-06-24 2019-10-11 北京科技大学 一种疾病类别医学数据的特征选择方法和装置
CN110390942A (zh) * 2019-06-28 2019-10-29 平安科技（深圳）有限公司 基于婴儿哭声的情绪检测方法及其装置
CN110584684A (zh) * 2019-09-11 2019-12-20 五邑大学 一种驾驶疲劳相关的eeg功能连接动态特性的分析方法
CN111150392A (zh) * 2020-02-12 2020-05-15 五邑大学 一种有向动态脑功能网络多类情绪识别构建方法及其装置
CN111513735A (zh) * 2020-05-31 2020-08-11 天津大学 基于脑机接口和深度学习的重度抑郁症辨识系统及应用
CN111563663A (zh) * 2020-04-16 2020-08-21 五邑大学 一种机器人、服务质量评价方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956546A (zh) * 2016-04-28 2016-09-21 杭州电子科技大学 一种基于脑电信号的情绪识别方法
CN106874952A (zh) * 2017-02-16 2017-06-20 中国人民解放军国防科学技术大学 基于栈式自编码器的特征融合方法
CN110322968A (zh) * 2019-06-24 2019-10-11 北京科技大学 一种疾病类别医学数据的特征选择方法和装置
CN110390942A (zh) * 2019-06-28 2019-10-29 平安科技（深圳）有限公司 基于婴儿哭声的情绪检测方法及其装置
CN110584684A (zh) * 2019-09-11 2019-12-20 五邑大学 一种驾驶疲劳相关的eeg功能连接动态特性的分析方法
CN111150392A (zh) * 2020-02-12 2020-05-15 五邑大学 一种有向动态脑功能网络多类情绪识别构建方法及其装置
CN111563663A (zh) * 2020-04-16 2020-08-21 五邑大学 一种机器人、服务质量评价方法及系统
CN111513735A (zh) * 2020-05-31 2020-08-11 天津大学 基于脑机接口和深度学习的重度抑郁症辨识系统及应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FARES AL-SHARGIE ET AL: "Emotion Recognition Based on Fusion of Local Cortical Activations and Dynamic Functional Networks Connectivity:An EEG Study", 《IEEE ACCESS》, vol. 7, 26 September 2019 (2019-09-26), pages 143551 - 143560 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112617860A (zh) * 2020-12-31 2021-04-09 山东师范大学 基于锁相值构建的脑功能连接网络的情绪分类方法及系统
CN113081004A (zh) * 2021-02-23 2021-07-09 厦门大学 一种基于脑电运动想象的小样本特征提取方法
CN112861778A (zh) * 2021-03-05 2021-05-28 南京邮电大学 一种基于多模态融合的情绪分类识别方法
CN113057657A (zh) * 2021-03-22 2021-07-02 华南理工大学 基于多尺度连通性特征和元迁移学习的脑电情绪分类方法
CN113191438B (zh) * 2021-05-08 2023-08-15 啊哎(上海)科技有限公司 学习风格识别模型训练和识别方法、装置、设备及介质
CN113191438A (zh) * 2021-05-08 2021-07-30 啊哎(上海)科技有限公司 学习风格识别模型训练和识别方法、装置、设备及介质
CN113554110B (zh) * 2021-07-30 2024-03-01 合肥工业大学 一种基于二值胶囊网络的脑电情绪识别方法
CN113554110A (zh) * 2021-07-30 2021-10-26 合肥工业大学 一种基于二值胶囊网络的脑电情绪识别方法
CN113855020A (zh) * 2021-09-18 2021-12-31 中国信息通信研究院 用于情绪识别的方法及装置、计算机设备、存储介质
CN114209323A (zh) * 2022-01-21 2022-03-22 中国科学院计算技术研究所 一种识别情绪的方法以及基于脑电数据的情绪识别模型
CN114209323B (zh) * 2022-01-21 2024-05-10 中国科学院计算技术研究所 一种识别情绪的方法以及基于脑电数据的情绪识别模型
CN114818786A (zh) * 2022-04-06 2022-07-29 五邑大学 通道筛选方法、情绪识别方法、系统及存储介质
CN114818786B (zh) * 2022-04-06 2024-03-01 五邑大学 通道筛选方法、情绪识别方法、系统及存储介质
CN116058851A (zh) * 2023-02-20 2023-05-05 之江实验室 脑电数据处理方法、装置、分析系统、电子装置和介质
CN116304585B (zh) * 2023-05-18 2023-08-15 中国第一汽车股份有限公司 情感识别及模型训练方法、装置、电子设备及存储介质
CN116304585A (zh) * 2023-05-18 2023-06-23 中国第一汽车股份有限公司 情感识别及模型训练方法、装置、电子设备及存储介质
CN116831580B (zh) * 2023-08-31 2023-12-01 北京中科心研科技有限公司 识别抑郁情绪障碍的计算设备应用、装置及可穿戴设备
CN116831580A (zh) * 2023-08-31 2023-10-03 北京中科心研科技有限公司 一种识别抑郁情绪障碍的方法、装置及可穿戴设备

Similar Documents

Publication Publication Date Title
CN112057089A (zh) 情绪识别方法、装置及存储介质
US20210326377A1 (en) Multi-stage image querying
EP2068308B1 (en) Signal separation method, signal separation device, and signal separation program
US20170293838A1 (en) Deep high-order exemplar learning for hashing and fast information retrieval
CN112765370B (zh) 知识图谱的实体对齐方法、装置、计算机设备和存储介质
CN117009780A (zh) 一种基于对比学习的时空频域有效通道注意力运动想象脑电解码方法
CN113643723A (zh) 一种基于注意力CNN Bi-GRU融合视觉信息的语音情感识别方法
Zhang et al. Fruit category classification by fractional Fourier entropy with rotation angle vector grid and stacked sparse autoencoder
WO2022188793A1 (zh) 生理电信号分类处理方法、装置、计算机设备和存储介质
CN116524197B (zh) 一种结合边缘点和深度网络的点云分割方法、装置及设备
US20180137410A1 (en) Pattern recognition apparatus, pattern recognition method, and computer program product
CN116385239A (zh) 一种基于灾害现场信息动态感知融合的应急管理方法
Lee et al. Improved recurrent generative adversarial networks with regularization techniques and a controllable framework
Akbal et al. Explainable automated anuran sound classification using improved one-dimensional local binary pattern and Tunable Q Wavelet Transform techniques
EP4310794B1 (en) A method and system for scene graph generation
CN115345209B (zh) 基于模型融合的手势识别方法、系统和存储介质
CN111107082A (zh) 一种基于深度信念网络的免疫入侵检测方法
CN116150700A (zh) 数据处理方法及装置、电子设备、计算机可读存储介质
CN115801152A (zh) 基于层次化transformer模型的WiFi动作识别方法
CN113065640B (zh) 一种基于卷积核形状自动学习的图像分类网络压缩方法
Bharathi et al. Comparison of Forest Fire Prediction System using Machine Learning Alogrithms
CN114386527A (zh) 一种用于域自适应目标检测的类别正则化方法及系统
CN114495911A (zh) 说话人聚类方法、装置及设备
Das et al. A Neural Expert System to Identify Major Risk Factors of Breast Cancer
Wang et al. [Retracted] Use Brain‐Like Audio Features to Improve Speech Recognition Performance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201211