CN116933137A - 脑电跨被试的情绪识别方法、装置、设备及介质 - Google Patents

脑电跨被试的情绪识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN116933137A
CN116933137A CN202310918429.8A CN202310918429A CN116933137A CN 116933137 A CN116933137 A CN 116933137A CN 202310918429 A CN202310918429 A CN 202310918429A CN 116933137 A CN116933137 A CN 116933137A
Authority
CN
China
Prior art keywords
features
feature
electroencephalogram
initial
unstructured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310918429.8A
Other languages
English (en)
Inventor
梁臻
叶炜珊
黄淦
张力
李琳玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202310918429.8A priority Critical patent/CN116933137A/zh
Publication of CN116933137A publication Critical patent/CN116933137A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请涉及一种脑电跨被试的情绪识别方法、装置、设备及介质，其中方法包括：获取脑电图数据；从所述脑电图数据中提取多个频带的差分熵特征，得到初始特征；基于梯度反转的方式，对所述初始特征进行特征提取，得到非结构化特征；对所述初始特征进行数据增强和结构化特征的提取，得到结构化特征；基于多头自注意机制，将所述非结构化特征和所述结构化特征进行特征融合，得到融合特征；通过所述融合特征在所述标记源域的脑电图数据上训练分类器，得到训练后的分类器，并基于所述分类器输出情绪识别结果。本发明克服了在适应未标记源域和捕获丰富的非结构化和结构化信息方面的局限性，有利于提高情绪识别的准确性。

Description

脑电跨被试的情绪识别方法、装置、设备及介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种脑电跨被试的情绪识别方法、装置、设备及介质。
背景技术
情感计算领域正在迅速发展基于脑电图的情感识别技术。然而，当前该领域的研究工作主要采用监督学习方法，这些方法在模型训练中严重依赖高质量的标记数据。这个过程可能耗时、昂贵，并且难以获取。相比之下，大量可用的未标记数据为半监督学习(SSL)提供了机会，其中少量标记数据可以与大量未标记数据结合，构建具有增强泛化能力的模型，同时减轻广泛标注工作的负担。
当前半监督脑电图情感识别面临的一个重要挑战是开发能够有效利用标记和未标记数据来提高模型学习的算法。然而，先前的半监督脑电图情感识别方法在模型训练中仅利用了来自源域的标记数据，并且开发了区分标记源域和未知目标域的域分类器。这些方法无法很好地适应未标记的源域，导致性能不佳，特别是当源数据主要是未标记的时候。此外，这些方法从孤立的脑电图通道中提取特征，忽略了不同脑电图通道之间的复杂特征表示。这种限制导致了在建模过程中缺乏丰富的结构信息表示。
发明内容
本申请实施例的目的在于提出一种脑电跨被试的情绪识别方法、装置、设备及介质，以克服在适应未标记源域和捕获丰富的非结构化和结构化信息方面的局限性，提高情绪识别的准确性。
为了解决上述技术问题，本申请实施例提供一种脑电跨被试的情绪识别方法，包括：
获取脑电图数据，其中，所述脑电图数据包括：标记源域的脑电图数据、未标记源域的脑电图数据和未知目标域的脑电图数据；
从所述脑电图数据中提取多个频带的差分熵特征，得到初始特征；
基于梯度反转的方式，对所述初始特征进行特征提取，得到非结构化特征；
对所述初始特征进行数据增强和结构化特征的提取，得到结构化特征；
基于多头自注意机制，将所述非结构化特征和所述结构化特征进行特征融合，得到融合特征；
通过所述融合特征在所述标记源域的脑电图数据上训练分类器，得到训练后的分类器，并基于所述分类器输出情绪识别结果。
为了解决上述技术问题，本申请实施例提供一种脑电跨被试的情绪识别装置，包括：
脑电图数据获取单元，用于获取脑电图数据，其中，所述脑电图数据包括：标记源域的脑电图数据、未标记源域的脑电图数据和未知目标域的脑电图数据；
差分熵特征提取单元，用于从所述脑电图数据中提取多个频带的差分熵特征，得到初始特征；
非结构化特征提取单元，用于基于梯度反转的方式，对所述初始特征进行特征提取，得到非结构化特征；
结构化特征提取单元，用于对所述初始特征进行数据增强和结构化特征的提取，得到结构化特征；
特征融合单元，用于基于多头自注意机制，将所述非结构化特征和所述结构化特征进行特征融合，得到融合特征；
分类器训练单元，用于通过所述融合特征在所述标记源域的脑电图数据上训练分类器，得到训练后的分类器，并基于所述分类器输出情绪识别结果。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的脑电跨被试的情绪识别方法。
为解决上述技术问题，本发明采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的脑电跨被试的情绪识别方法。
本发明实施例提供了一种脑电跨被试的情绪识别方法、装置、设备及介质。其中，方法包括：获取脑电图数据，其中，所述脑电图数据包括：标记源域的脑电图数据、未标记源域的脑电图数据和未知目标域的脑电图数据；从所述脑电图数据中提取多个频带的差分熵特征，得到初始特征；基于梯度反转的方式，对所述初始特征进行特征提取，得到非结构化特征；对所述初始特征进行数据增强和结构化特征的提取，得到结构化特征；基于多头自注意机制，将所述非结构化特征和所述结构化特征进行特征融合，得到融合特征；通过所述融合特征在所述标记源域的脑电图数据上训练分类器，得到训练后的分类器，并基于所述分类器输出情绪识别结果。本发明实施例能够克服在适应未标记源域和捕获丰富的非结构化和结构化信息方面的局限性，有利于提高情绪识别的准确性。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的脑电跨被试的情绪识别方法流程的一实现流程图；
图2是本申请实施例提供的脑电跨被试的情绪识别方法的实施过程示意图；
图3是本申请实施例提供的脑电跨被试的情绪识别方法中子流程图；
图4是本申请实施例提供的脑电跨被试的情绪识别方法中子流程图；
图5是本申请实施例提供的脑电跨被试的情绪识别方法中子流程图；
图6是本申请实施例提供的脑电跨被试的情绪识别方法中子流程图；
图7是本申请实施例提供的情绪识别实施例示意图；
图8是本申请实施例提供的不同迭代下模型性能示意图；
图9是本申请实施例提供的信息特征在不同阶段的示意图；
图10是本申请实施例提供的不同阶段的分类结果示意图；
图11是本申请实施例提供的脑电跨被试的情绪识别装置示意图；
图12是本申请实施例提供的计算机设备的示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
下面结合附图和实施方式对本发明进行详细说明。
需要说明的是，本申请实施例所提供的脑电跨被试的情绪识别方法一般由计算机设备执行，相应地，脑电跨被试的情绪识别装置一般配置于计算机设备中。
请参阅图1和图2，图1示出了脑电跨被试的情绪识别方法的一种具体实施方式，图2是本申请实施例提供的脑电跨被试的情绪识别方法的实施过程示意图。
需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限，该方法包括如下步骤：
S1：获取脑电图数据，其中，脑电图数据包括：标记源域的脑电图数据、未标记源域的脑电图数据和未知目标域的脑电图数据。
本申请实施例是一种基于脑电图的情绪识别方法，故需要先获取脑电图数据。其中，脑电图数据是来自标记源域、未标记源域和未知目标域的数据。
其中，标记源域的脑电图数据包含具有相应情感标签的标记样本。未标记源域的脑电图数据/> 包含没有情感标签的未标记样本。未知目标域的脑电图数据/>包含来自需要进行分类的未知领域的样本。其中，/>和/>是来自三个领域的脑电图数据，/>是标记源域中/>的给定情感标签。NS、Nu和Nt是相应的样本大小。需要说明的是，在模型训练过程中，未标记源域和未知目标域中的情感标签信息是不可用的。
S2：从脑电图数据中提取多个频带的差分熵特征，得到初始特征。
本申请实施例中，需要从脑电图数据中提取多个频带的差分熵特征。其中，可以提取Delta、Theta、Alpha、Beta和Gamma这五个频带的差分熵特征。
在一具体实施例中，将脑电数据划分为数个1秒的片段，并从每个1秒的片段中提取五个频带(Delta、Theta、Alpha、Beta和Gamma)中的差分熵特征，这些差分熵特征由62个通道给出。然后，使用线性动态系统方法，对每个1秒的片段进行平滑处理，将其表示为一个310维的特征向量(5个频带×62个通道)。
S3：基于梯度反转的方式，对初始特征进行特征提取，得到非结构化特征。
本申请实施例中，采用特征提取器来处理来自标记源域、未标记源域和未知目标域的初始特征。为了促进域不变性，在特征提取过程中使用了梯度反转层，用于反转梯度，使模型能够学习域不变的特征，并确保从三个域提取的特征不可区分。其中，非结构化特征是一种非结构化的脑电图特征。
请参阅图3，图3示出了步骤S3的一种具体实施方式，详叙如下：
S31：将初始特征展平为一维特征向量。
S32：将一维特征向量输入特征提取器中，以基于梯度反转的方式对一维特征向量进行样本特征提取，得到样本特征。
S33：将不同域中样本特征的分布偏移进行对齐，得到非结构化特征。
本申请实施例中，在非结构流中，从初始特征中提取非结构化的脑电图特征，得到非结构化特征。为了解决三个领域之间的分布偏移问题，采用了多领域对抗神经网络进行特征适应，它可以使特征的分布在不同领域之间更加一致和可靠。具体来说，本申请首先将提取的初始特征展平为一维特征向量{f1,f2,...,fm,}，其中，m是特征的维度；然后将该一维特征向量输入到特征提取器中进行样本特征提取。这产生了相应的特征其中是经过提取后得到的特征维度。进一步地，提供步骤S33的一种具体实施方式：
通过鉴别器对不同域中样本特征的分布偏移进行对齐，生成鉴别器损失值；
根据鉴别器损失函数基于鉴别器损失值优化不同域中样本特征的分布差异，得到非结构化特征；
本申请实施例中，为了对齐标记源域、无标记源域和未知目标域中提取的标记源域样本特征、未标记源域样本特征以及未知目标域样本特征的分布偏移，引入了一个鉴别器，其参数为θd，用于区分样本特征的来源域。本申请通过优化鉴别器损失函数来最小化三个域之间的分布差异，从而得到最终的非结构化特征。
其中，鉴别器损失函数为：
其中，l(xi)是输入样本数据的独热编码标签，FNS(Xi)是相应源域对应的样本特征，θd为鉴别器参数，为所述鉴别器损失值。在本申请实施例中，域对抗训练通过对齐三个域中的特征表示分布，使非结构化特征对域的变化更加鲁棒，并对下游任务更加有效。
S4：对初始特征进行数据增强和结构化特征的提取，得到结构化特征。
本申请实施例中，从三个定义的领域中提取结构化的脑电图特征，作为结构化特征。基于不同频带上提取的初始特征，构建了一个图卷积网络(GCN)用于空间特征表示，并通过数据增强生成相应的正样本。然后，定义了一个特征提取器来表征输入中的结构化特征表示，通过对比损失确保从正样本中提取的结构特征是一致的。
请参阅图4，图4示出了步骤S4的一种具体实施方式，详叙如下：
S41：构建图卷积网络，并基于图卷积网络将初始特征转换为空间特征表示形式，得到图卷积特征。
进一步地，提供步骤S41的一种具体实施方式：构建基于通道的图卷积网络；根据脑电图数据与初始特征构建特征矩阵；根据图卷积网络聚合特征矩阵的邻居信息，以提取初始特征的空间特征，得到图卷积特征。
其中，在图卷积网络中，构建动态的邻接矩阵，并基于图拉普拉斯矩阵的切比雪夫展开，从邻接矩阵提取节点特征，且对邻接矩阵中的输入的脑电图数据进行多项式转换，以得到图卷积特征，其中，节点特征为每个通道上提取的初始特征。
本申请实施例中，通过提取结构化特征来捕捉从多个脑电图通道收集的脑电信号的结构信息，并通过表达通道之间的内在关系，能够更深入地了解脑电网络中复杂的相互连接和依赖关系。本申请实施例中，定义一个无向图G＝(VG,EG,AG)，其中VG、EG和AG分别表示节点、边和邻接矩阵。|VG|等于脑电通道的数量，表示为NG。对于样本数据xi，输入表示为
其中,是k第个节点的提取的特征。
进一步地，本申请实施例构建了一个图卷积网络来聚合特征矩阵Ψi的邻居信息，用于空间特征提取，得到图卷积特征G。具体而言，本申请实施例构建了一个基于通道的图，其中节点VG对应于脑电图通道，节点特征是每个通道上提取的初始特征，表示为
进一步地，本申请实施例定义一个动态的邻接矩阵AG，如下所示：
其中，和/>是第j个和第k个通道上提取的初始特征。这里使用线性整流函数(ReLU)作为激活函数，以确保线性操作的输出(即权重向量w和节点距离/>之间的点积)为非负值，这引入了非线性因素，提高了模型学习复杂模式的能力。权重向量w通过最小化GCN损失函数来学习，表示为：
这里，和/>是节点特征向量，/>是对应的邻接值的倒数，其表示两个节点之间的距离，距离越小表示两个节点连接越紧密。这反映了更强连接的节点更可能具有相似的特征。由于脑网络具有稀疏连接的特点，本申请实施例在图学习过程中引入了稀疏性约束。在公式3中，邻接矩阵AG的Frobenius范数项用于鼓励邻接矩阵的稀疏性。λ≥0是一个正则化参数，用于控制图学习和稀疏度之间的权衡。
根据获得的邻接矩阵AG，基于图拉普拉斯矩阵的切比雪夫展开，提取节点特征。切比雪夫图卷积被定义为Φ-1次多项式，表示为：
其中，是切比雪夫系数向量，xi是输入样本数据。/>是以变量L～为参数的/>阶切比雪夫多项式，L～表示为：
其中，λmax是拉普拉斯矩阵的最大特征值，是单位矩阵，L是计算如下的拉普拉斯矩阵：
L＝D-AG (6)；
其中，D是度矩阵。然后，将输入样本数据xi通过这些多项式进行转换，得到表示为：
其中，并且/>在最终得到的图G中，对应的节点表示能够很好地捕捉图中第/>阶节点的信息，并提供了更丰富、更全面的图形视角。
S42：通过对图卷积特征进行数据增强生成正样本，并通过对比损失的方式，从正样本中提取结构化的特征，得到结构化特征。
本申请实施例中，为了提高脑电图信号特征表示的区分能力，引入了图形对比学习(GCL)来学习对某些数据的变换或增强具有鲁棒性的表示，确保相似的实例在表示空间中更接近，而不相似的实例被推开。
请参阅图5，图5示出了步骤S42的一种具体实施方式，详叙如下：
S421：基于图卷积特征生成第一增强图特征和第二增强图，并将第一增强图特征和第二增强图作为正样本。
S422：分别将第一增强图特征和第二增强图展平为一维特征向量，得到第一展平特征向量和第二展平特征向量。
S423：基于特征提取器分别对第一展平特征向量和第二展平特征向量进行特征提取，生成第一高级特征向量和第二高级特征向量。
S424：通过投影器分别降低第一高级特征向量和第二高级特征向量，得到第一目标增强图特征向量和第二目标增强图特征向量。
S425：调整第一目标增强图特征向量和第二目标增强图特征向量的对比学习损失，以输出结构化特征。
本申请实施例中，通过随机从图卷积特征G中以均匀的丢失概率删除ζ％的节点，生成第一增强图特征和第二增强图/>并将第一增强图特征/>和第二增强图/>作为正样本。然后，将第一增强图特征/>和第二增强图/>被展平为一维特征向量，得到第一展平特征向量/>和第二展平特征向量/>其中，n是相应的特征维度。接着应用特征提取器生成高级特征表示，得到第一高级特征向量/>和第二高级特征向量/>其中，/>是特征提取后得到的特征维度。然后，使用投影进一步降低特征维度，生成第一目标增强图特征向量第二目标增强图特征向量的zi和第二目标增强图特征向量zj。为了确保来自同一输入的两个增强图的特征表示一致，定义了对比学习损失/>作为归一化温度缩放的交叉熵损失，如下所示：
其中，Sim表示余弦相似度，是调整特征学习性能的温度参数，/>鼓励最大化zi和zj(正样本)之间的相似性，同时将zi和zj(负样本)之间的相似性推开，B是批量大小。
S5：基于多头自注意机制，将非结构化特征和结构化特征进行特征融合，得到融合特征。
本申请实施例中，将上述两个并行流中提取的非结构化特征和结构化特征进行融合。首先将提取的非结构化特征和结构化特征进行级联，然后将其输入到多头自注意机制中。这个融合过程生成一个新的特征表示，强调与情感相关的最有区别性的特征，并抑制无关的信息。
请参阅图6，图6示出了步骤S5的一种具体实施方式，详叙如下：
S51：将非结构化特征和结构化特征进行连接，生成初始融合特征，并对初始融合特征进行线性变换，生成三个矩阵特征。
S52：基于多头自注意力机制，将每一矩阵特征分成多个子空间特征，并对每一子空间特征进行注意力计算，得到注意力特征。
S53：将所有注意力特征进行连接，得到融合特征。
本申请实施例中，为了有效突出重要特征并为与目标域数据更接近的源域数据分配更高的权重，引入了自注意融合机制，从而得到更具信息性的特征表示。此外，为确保提取的特征对情绪识别具有区分性，还将监督分类部分纳入模型学习过程中。
在一具体实施例中，通过提取的非结构化特征和通过提取的结构化特征被连接成一个新的特征表示，表示为为了有效地进行特征融合，采用了多头自注意机制，用于突出输入特征表示中最显著的特征。如图2所示，本申请实施例使用线性变换从输入生成了三个矩阵Q、K和V。注意力权重定义如下：
进一，步将注意机制扩展到三个矩阵上的个头部。每个矩阵被分成H个子空间，记为Q＝{Q1，…，QH}，K＝{K1，…，KH}，V＝{V1，…，VH}。在每个子空间中，使用注意公式计算，如下所示：
Ah＝ATT(Qh，Kh，Vh) (10)；
最后，将所有H个表示连接在一起，得到最终的输出用于分类，如下所示：
MHA(Q，K，V)＝Concat(A1，…，AH) (11)；
S6：通过融合特征在标记源域的脑电图数据上训练分类器，得到训练后的分类器，并基于分类器输出情绪识别结果。
本申请实施例中，为了确保特征的可解释性，本申请实施例使用融合特征在标记源数据上训练一个分类器，使用分类损失。特征表示和分类器同时进行优化，确保最终的特征表示足够有效地进行情感识别。
进一步地，利用注意机制在模型训练过程中对每个样本的贡献进行加权，对于对情绪识别更具信息性的样本给予更高的权重。具体而言，基于获得的信息特征表示MHA(·)，对来自标记的源域和未知目标域的特征表示应用全连接层φ(·)，如下所示：
其中，B表示批处理大小。对于每个标记的源域样本本申请实施例计算其与所有未知目标域样本的余弦相似度，如下所示：
然后对应用进行归一化。最后，使用归一化的相似度权重来调整多类别交叉熵损失函数中的样本贡献，如下所示：
其中，和/>分别表示第b个标记的源域样本的实际情绪标签和预测情绪标签，是情绪类别的总数。
本申请实施例中，非结构化特征采用特征提取器FNS(·)进行提取的；结构化特征采用的是特征提取器FS(·)进行提取的。
特征提取器FNS(·)被设计为310个神经元(输入层)、64个神经元(隐藏层1)、ReLU激活、64个神经元(隐藏层2)、ReLU激活、64个神经元(输出特征层)。节点丢失的概率设置为0.2，剩余49个通道。
特征提取器FS(·)被设计为245个神经元(输入层、64个神经元(隐藏层1)、ReLU激活、64个神经元(隐藏层2)、ReLU激活、64个神经元(输出特征层)。
鉴别器被设计为64个神经元(输入层)、64个神经元(隐藏层1)、ReLU激活、丢失层、64个神经元(隐藏层2)、2个神经元(输出层)或/3个神经元(输出层)、Softmax激活。
请参阅图7至图10，图7是本申请实施例提供的情绪识别实施例示意图；图8是本申请实施例提供的不同迭代下模型性能示意图；图9是本申请实施例提供的信息特征在不同阶段的示意图；图10是本申请实施例提供的不同阶段的分类结果示意图。
为了为了评估本申请实施例的有效性，本申请实施例在两个公开的情绪脑电数据库上进行了实验：SEED数据库和SEED-IV数据库。在SEED数据库中，使用了15个电影片段诱发了三种情绪(负面、中性和积极)，并使用62通道的ESI Neuroscan系统记录了15名不同情绪状态的受试者(7名男性和8名女性)的同时脑电信号。在SEED-IV数据库中，使用了24个电影片段诱发了四种情绪(愉快、悲伤、恐惧和中性)，并使用62通道的ESI Neuroscan系统记录了15名不同情绪状态的受试者(7名男性和8名女性)的同时脑电信号。每个受试者参与了三个不同的实验，每个实验包括24个不同的电影片段。
为了确保与这两个基准数据库上的其他研究进行公平比较，本申请实施例还使用预先计算的差分熵特征作为模型的输入。具体而言，对于每个试验，将脑电数据划分为数个1秒的片段，并从每个1秒的片段中提取五个频带()中的DE特征，这些特征由62个通道给出。然后，使用线性动态系统方法[9]，[39]对每个1秒的片段进行平滑处理，将其表示为一个310维的特征向量(5个频带×62个通道)。
本申请实施例采用留一被试外交叉验证的跨被试实验协议，具有不完整标签。和/>分别代表有标签的源领域、无标签的源领域和未知的目标领域。对于共计15个受试者，14-N个受试者属于/>而N个受试者属于/>对于每个受试者，总试验数称为M。和/>分别是分类损失、GCN损失、GCL损失和鉴别器损失，由上述公式14、公式3、公式8和公式1给出。
如图7所示，本申请采用了一个具有不完整标签的留一被试交叉被试实验协议。具体而言，本申请将14个被试作为源领域，将剩下的一个被试作为目标领域。对于源领域，有个没有标签的被试(未标记的源领域)，以及剩下的14-N个带有标签的被试(带标签的源领域/>)。剩下的一个被试的数据被视为用于测试模型的目标领域/>本申请重复实验15次，直到每个被试都被视为一次目标领域。对于每次迭代，未标记的源领域根据目标被试的编号进行选择，然后计算平均准确率和标准差作为最终的模型性能。值得注意的是，在模型训练过程中，未标记的源域和目标领域的标签信息是未知的。此外，为了衡量模型在不同不完整标签条件下的稳定性，本申请将的值从1调整到13。
在模型的训练过程中，一开始排除了未标记的源域只有带标签的源域/>和未知的目标域/>参与前Et次迭代的训练。此时，鉴别器的输出层有两个神经元，对和领域进行二分类。当模型达到一定稳定性后，将未标记的源域/>添加到训练中，鉴别器的输出层有三个神经元，对/>和/>领域进行三分类。值得注意的是，整个过程中只使用带标签的源领域的数据来计算分类器中的交叉熵损失。
在模型训练过程中，本申请实施例在经过一定数量的迭代(记为Et)后引入未标记的源域进入训练过程。本申请实施例进行了一项评估来研究不同Et值对模型性能的影响。Et值从0(开始)变化到100(最大迭代次数)，对应的SEED和SEED-IV数据库上的性能结果如图8(a)和(b)所示。研究结果明确表明，在模型达到一定稳定水平后，通过在训练过程中引入U可以实现更好的性能，而不是在开始时就包括它(Et＝0)。这是因为在训练过程的开始阶段引入可能会引入噪声并破坏模型学习的初始化阶段。
为了深入了解学习过程，本申请实施例采用了t-分布随机邻居嵌入(t-SNE)算法，以在不同阶段对比所得到的特征表示。这种分析能够让对模型的学习动态获得宝贵的见解。具体而言，本申请实施例在不同的学习阶段可视化通过获得的融合特征(图9)和最终的分类结果(图10)：训练前、第30个训练时期以及训练完成的最终模型。通过检查这些可视化图像，本申请实施例可以生动地描述特征表示和分类性能的演变和增强。这些可视化展示了类间可分性的明显提升，意味着不同类别之间的区别更加显著。同时，类内的变异性被最小化，导致属于同一类别的样本聚类更加紧密。通过这种视觉检查，本申请实施例观察到模型在区分不同类别方面的能力呈明显的趋势，学到的特征表示越来越独特和具有区分性。类内变异性的减少确保了同一类别内的样本更加接近，增强了模型对其进行准确分类的能力。这种可视化证据突显了模型学习有意义和具有区分性的特征的能力，使其能够在整个学习过程中对类别进行精细区分，并实现增强的分类性能。其中，在图9和图10中，根据图中的灰度的深浅分别对应不同情绪，如图10(c)中，最上一团对应中性情绪、左下一团对应消极情绪、右下一团对应积极情绪。
本申请实施例中，获取脑电图数据，其中，所述脑电图数据包括：标记源域的脑电图数据、未标记源域的脑电图数据和未知目标域的脑电图数据；从所述脑电图数据中提取多个频带的差分熵特征，得到初始特征；基于梯度反转的方式，对所述初始特征进行特征提取，得到非结构化特征；对所述初始特征进行数据增强和结构化特征的提取，得到结构化特征；基于多头自注意机制，将所述非结构化特征和所述结构化特征进行特征融合，得到融合特征；通过所述融合特征在所述标记源域的脑电图数据上训练分类器，得到训练后的分类器，并基于所述分类器输出情绪识别结果。本发明实施例能够克服在适应未标记源域和捕获丰富的非结构化和结构化信息方面的局限性，有利于提高情绪识别的准确性。
进一步的，本申请实施例能运用于情感识别与情绪监测、心理健康辅助诊断、情绪驱动的人机交互以及用户情感分析与市场研究。
情感识别与情绪监测：本申请实施例可以应用于情感识别和情绪监测领域，帮助识别人类的情感状态和情绪变化。例如，在人机交互、虚拟现实和游戏等应用中，可以利用这种方法来实时监测用户的情绪状态，以实现情感智能交互和情绪感知。
心理健康辅助诊断：情绪识别在心理健康领域具有重要的应用。通过分析脑电信号并识别情绪状态，可以辅助心理医生或临床医生进行心理疾病的辅助诊断和治疗。例如，在抑郁症、焦虑症等心理障碍的诊断中，该方法可以提供客观的生物标记，辅助医生进行评估和治疗决策。
情绪驱动的人机交互：情感识别技术可以在人机交互中实现情绪驱动的体验和个性化服务。通过实时识别用户的情绪状态，系统可以根据用户的情绪需求和偏好提供相应的反馈和支持。例如，在虚拟助手、智能音箱和情感智能机器人等领域，该方法可以用于改善用户体验和提供个性化的情感支持。
用户情感分析与市场研究：情绪识别在市场研究和用户情感分析中具有广泛应用。通过分析用户在特定情境下的情绪状态，可以获取对产品、服务或广告的情感反馈。这些信息对于企业决策和市场策略制定具有重要意义。例如，在广告评估、产品改进和用户调研等领域，该方法可以帮助企业了解用户情感需求和市场反馈。
请参考图11，作为对上述图1所示方法的实现，本申请提供了一种脑电跨被试的情绪识别装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图11所示，本实施例的脑电跨被试的情绪识别装置包括：脑电图数据获取单元71、差分熵特征提取单元72、非结构化特征提取单元73、结构化特征提取单元74、特征融合单元75及分类器训练单元76，其中：
脑电图数据获取单元71，用于获取脑电图数据，其中，脑电图数据包括：标记源域的脑电图数据、未标记源域的脑电图数据和未知目标域的脑电图数据；
差分熵特征提取单元72，用于从脑电图数据中提取多个频带的差分熵特征，得到初始特征；
非结构化特征提取单元73，用于基于梯度反转的方式，对初始特征进行特征提取，得到非结构化特征；
结构化特征提取单元74，用于对初始特征进行数据增强和结构化特征的提取，得到结构化特征；
特征融合单元75，用于基于多头自注意机制，将非结构化特征和结构化特征进行特征融合，得到融合特征；
分类器训练单元76，用于通过融合特征在标记源域的脑电图数据上训练分类器，得到训练后的分类器，并基于分类器输出情绪识别结果。
进一步地，非结构化特征提取单元73包括：
初始特征展平单元，用于将初始特征展平为一维特征向量；
样本特征提取单元，用于将一维特征向量输入特征提取器中，以基于梯度反转的方式对一维特征向量进行样本特征提取，得到样本特征；
对齐单元，用于将不同域中样本特征的分布偏移进行对齐，得到非结构化特征。
进一步地，样本特征包括标记源域样本特征、未标记源域样本特征以及未知目标域样本特征，对齐单元包括：
鉴别器损失计算单元，用于通过鉴别器对不同域中样本特征的分布偏移进行对齐，生成鉴别器损失值；
分布差异优化单元，用于根据鉴别器损失函数基于鉴别器损失值优化不同域中样本特征的分布差异，得到非结构化特征；
其中，鉴别器损失函数为：
其中，l(xi)是输入样本数据的独热编码标签，FNS(Xi)是相应源域对应的样本特征，θd为鉴别器参数，为所述鉴别器损失值。
进一步地，结构化特征提取单元74包括：
图卷积特征生成单元，用于构建图卷积网络，并基于图卷积网络将初始特征转换为空间特征表示形式，得到图卷积特征；
结构化特征生成单元，用于通过对图卷积特征进行数据增强生成正样本，并通过对比损失的方式，从正样本中提取结构化的特征，得到结构化特征。
进一步地，图卷积特征生成单元包括：
图卷积网络构建单元，用于构建基于通道的图卷积网络；
特征矩阵构建单元，用于根据脑电图数据与初始特征构建特征矩阵；
空间特征提取单元，用于根据图卷积网络聚合特征矩阵的邻居信息，以提取初始特征的空间特征，得到图卷积特征；
其中，在图卷积网络中，构建动态的邻接矩阵，并基于图拉普拉斯矩阵的切比雪夫展开，从邻接矩阵提取节点特征，且对邻接矩阵中的输入的脑电图数据进行多项式转换，以得到图卷积特征，其中，节点特征为每个通道上提取的初始特征。
进一步地，结构化特征生成单元包括：
数据增强单元，用于基于图卷积特征生成第一增强图特征和第二增强图，并将第一增强图特征和第二增强图作为正样本；
图特征展平单元，用于分别将第一增强图特征和第二增强图展平为一维特征向量，得到第一展平特征向量和第二展平特征向量；
展平特征提取单元，用于基于特征提取器分别对第一展平特征向量和第二展平特征向量进行特征提取，生成第一高级特征向量和第二高级特征向量；
特征向量降低单元，用于通过投影器分别降低第一高级特征向量和第二高级特征向量，得到第一目标增强图特征向量和第二目标增强图特征向量；
对比学习损失调整单元，用于调整第一目标增强图特征向量和第二目标增强图特征向量的对比学习损失，以输出结构化特征。
进一步地，特征融合单元75包括：
矩阵特征生成单元，用于将非结构化特征和结构化特征进行连接，生成初始融合特征，并对初始融合特征进行线性变换，生成三个矩阵特征；
注意力计算单元，用于基于多头自注意力机制，将每一矩阵特征分成多个子空间特征，并对每一子空间特征进行注意力计算，得到注意力特征；
特征连接单元，用于将所有注意力特征进行连接，得到融合特征。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图12，图12为本实施例计算机设备基本结构框图。
计算机设备8包括通过系统总线相互通信连接存储器81、处理器82、网络接口83。需要指出的是，图中仅示出了具有三种组件存储器81、处理器82、网络接口83的计算机设备8，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field －Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器81至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器81可以是计算机设备8的内部存储单元，例如该计算机设备8的硬盘或内存。在另一些实施例中，存储器81也可以是计算机设备8的外部存储设备，例如该计算机设备8上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器81还可以既包括计算机设备8的内部存储单元也包括其外部存储设备。本实施例中，存储器81通常用于存储安装于计算机设备8的操作系统和各类应用软件，例如脑电跨被试的情绪识别方法的程序代码等。此外，存储器81还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器82在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器82通常用于控制计算机设备8的总体操作。本实施例中，处理器82用于运行存储器81中存储的程序代码或者处理数据，例如运行上述脑电跨被试的情绪识别方法的程序代码，以实现脑电跨被试的情绪识别方法的各种实施例。
网络接口83可包括无线网络接口或有线网络接口，该网络接口83通常用于在计算机设备8与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序可被至少一个处理器执行，以使至少一个处理器执行如上述的一种脑电跨被试的情绪识别方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种脑电跨被试的情绪识别方法，其特征在于，包括：
获取脑电图数据，其中，所述脑电图数据包括：标记源域的脑电图数据、未标记源域的脑电图数据和未知目标域的脑电图数据；
从所述脑电图数据中提取多个频带的差分熵特征，得到初始特征；
基于梯度反转的方式，对所述初始特征进行特征提取，得到非结构化特征；
对所述初始特征进行数据增强和结构化特征的提取，得到结构化特征；
基于多头自注意机制，将所述非结构化特征和所述结构化特征进行特征融合，得到融合特征；
通过所述融合特征在所述标记源域的脑电图数据上训练分类器，得到训练后的分类器，并基于所述分类器输出情绪识别结果。
2.根据权利要求1所述的脑电跨被试的情绪识别方法，其特征在于，所述基于梯度反转的方式，对所述初始特征进行特征提取，得到非结构化特征，包括：
将所述初始特征展平为一维特征向量；
将所述一维特征向量输入特征提取器中，以基于梯度反转的方式对所述一维特征向量进行样本特征提取，得到样本特征；
将不同域中所述样本特征的分布偏移进行对齐，得到所述非结构化特征。
3.根据权利要求2所述的脑电跨被试的情绪识别方法，其特征在于，所述样本特征包括标记源域样本特征、未标记源域样本特征以及未知目标域样本特征，所述将不同域中的所述样本特征的分布偏移进行对齐，得到所述非结构化特征，包括：
通过鉴别器对不同域中所述样本特征的分布偏移进行对齐，生成鉴别器损失值；
根据鉴别器损失函数基于所述鉴别器损失值优化不同域中所述样本特征的分布差异，得到所述非结构化特征；
其中，所述鉴别器损失函数为：
其中，l(xi)是输入样本数据的独热编码标签，FNS(Xi)是相应源域对应的样本特征，θd为鉴别器参数，为所述鉴别器损失值。
4.根据权利要求1所述的脑电跨被试的情绪识别方法，其特征在于，所述对所述初始特征进行数据增强和结构化的特征提取，得到结构化特征，包括：
构建图卷积网络，并基于所述图卷积网络将所述初始特征转换为空间特征表示形式，得到图卷积特征；
通过对所述图卷积特征进行数据增强生成正样本，并通过对比损失的方式，从所述正样本中提取结构化的特征，得到所述结构化特征。
5.根据权利要求4所述的脑电跨被试的情绪识别方法，其特征在于，所述构建图卷积网络，并基于所述图卷积网络将所述初始特征转换为空间特征表示形式，得到图卷积特征，包括：
构建基于通道的所述图卷积网络；
根据所述脑电图数据与所述初始特征构建特征矩阵；
根据所述图卷积网络聚合所述特征矩阵的邻居信息，以提取所述初始特征的空间特征，得到所述图卷积特征；
其中，在所述图卷积网络中，构建动态的邻接矩阵，并基于图拉普拉斯矩阵的切比雪夫展开，从所述邻接矩阵提取节点特征，且对所述邻接矩阵中的输入的脑电图数据进行多项式转换，以得到所述图卷积特征，其中，所述节点特征为每个通道上提取的初始特征。
6.根据权利要求4所述的脑电跨被试的情绪识别方法，其特征在于，所述通过对所述图卷积特征进行数据增强生成正样本，并通过对比损失的方式，从所述正样本中提取结构化的特征，得到所述结构化特征，包括：
基于所述图卷积特征生成第一增强图特征和第二增强图，并将所述第一增强图特征和所述第二增强图作为所述正样本；
分别将所述第一增强图特征和所述第二增强图展平为一维特征向量，得到第一展平特征向量和第二展平特征向量；
基于特征提取器分别对所述第一展平特征向量和所述第二展平特征向量进行特征提取，生成第一高级特征向量和第二高级特征向量；
通过投影器分别降低所述第一高级特征向量和所述第二高级特征向量，得到第一目标增强图特征向量和第二目标增强图特征向量；
调整所述第一目标增强图特征向量和所述第二目标增强图特征向量的对比学习损失，以输出所述结构化特征。
7.根据权利要求1至6任一项所述的脑电跨被试的情绪识别方法，其特征在于，所述基于多头自注意机制，将所述非结构化特征和所述结构化特征进行特征融合，得到融合特征，包括：
将所述非结构化特征和所述结构化特征进行连接，生成初始融合特征，并对所述初始融合特征进行线性变换，生成三个矩阵特征；
基于所述多头自注意力机制，将每一所述矩阵特征分成多个子空间特征，并对每一所述子空间特征进行注意力计算，得到注意力特征；
将所有所述注意力特征进行连接，得到所述融合特征。
8.一种脑电跨被试的情绪识别装置，其特征在于，包括：
脑电图数据获取单元，用于获取脑电图数据，其中，所述脑电图数据包括：标记源域的脑电图数据、未标记源域的脑电图数据和未知目标域的脑电图数据；
差分熵特征提取单元，用于从所述脑电图数据中提取多个频带的差分熵特征，得到初始特征；
非结构化特征提取单元，用于基于梯度反转的方式，对所述初始特征进行特征提取，得到非结构化特征；
结构化特征提取单元，用于对所述初始特征进行数据增强和结构化特征的提取，得到结构化特征；
特征融合单元，用于基于多头自注意机制，将所述非结构化特征和所述结构化特征进行特征融合，得到融合特征；
分类器训练单元，用于通过所述融合特征在所述标记源域的脑电图数据上训练分类器，得到训练后的分类器，并基于所述分类器输出情绪识别结果。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的脑电跨被试的情绪识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的脑电跨被试的情绪识别方法。
CN202310918429.8A 2023-07-25 2023-07-25 脑电跨被试的情绪识别方法、装置、设备及介质 Pending CN116933137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310918429.8A CN116933137A (zh) 2023-07-25 2023-07-25 脑电跨被试的情绪识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310918429.8A CN116933137A (zh) 2023-07-25 2023-07-25 脑电跨被试的情绪识别方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116933137A true CN116933137A (zh) 2023-10-24

Family

ID=88392120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310918429.8A Pending CN116933137A (zh) 2023-07-25 2023-07-25 脑电跨被试的情绪识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116933137A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473303A (zh) * 2023-12-27 2024-01-30 小舟科技有限公司 基于脑电信号的个性化动态意图特征提取方法及相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473303A (zh) * 2023-12-27 2024-01-30 小舟科技有限公司 基于脑电信号的个性化动态意图特征提取方法及相关装置
CN117473303B (zh) * 2023-12-27 2024-03-19 小舟科技有限公司 基于脑电信号的个性化动态意图特征提取方法及相关装置

Similar Documents

Publication Publication Date Title
Yang et al. Learning face age progression: A pyramid architecture of gans
Johnston et al. A review of image-based automatic facial landmark identification techniques
Buty et al. Characterization of lung nodule malignancy using hybrid shape and appearance features
Sai et al. Facial age range estimation with extreme learning machines
CN102422324B (zh) 年龄估计设备和方法
Bargshady et al. The modeling of human facial pain intensity based on Temporal Convolutional Networks trained with video frames in HSV color space
CN109492750B (zh) 基于卷积神经网络和因素空间的零样本图像分类方法
Liu et al. Facial age estimation using a multi-task network combining classification and regression
Li et al. Dating ancient paintings of Mogao Grottoes using deeply learnt visual codes
CN111090764A (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN116933137A (zh) 脑电跨被试的情绪识别方法、装置、设备及介质
CN115147607A (zh) 一种基于凸优化理论的抗噪声零样本图像分类方法
CN104978569A (zh) 一种基于稀疏表示的增量人脸识别方法
CN110874576B (zh) 一种基于典型相关分析融合特征的行人再识别方法
Zhang et al. Semantically modeling of object and context for categorization
CN111881965B (zh) 药材产地等级的高光谱图形分类识别方法、装置及设备
CN111898528B (zh) 数据处理方法、装置、计算机可读介质及电子设备
Li et al. Anatomically constrained squeeze-and-excitation graph attention network for cortical surface parcellation
CN103268494A (zh) 基于稀疏表示的寄生虫虫卵识别方法
Rakowski et al. Hand shape recognition using very deep convolutional neural networks
Zhu et al. A tensor statistical model for quantifying dynamic functional connectivity
Shen et al. Face identification using reference-based features with message passing model
Mao et al. Bone age assessment method based on fine-grained image classification using multiple regions of interest
Hachad et al. Student's attendance management using deep facial recognition
Kailash et al. Deep learning based detection of mobility aids using yolov5

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination