CN117530701A - 一种认知负荷分类方法和系统 - Google Patents

一种认知负荷分类方法和系统 Download PDF

Info

Publication number
CN117530701A
CN117530701A CN202311338241.2A CN202311338241A CN117530701A CN 117530701 A CN117530701 A CN 117530701A CN 202311338241 A CN202311338241 A CN 202311338241A CN 117530701 A CN117530701 A CN 117530701A
Authority
CN
China
Prior art keywords
cognitive load
feature
frequency band
features
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311338241.2A
Other languages
English (en)
Inventor
宋亚林
李世昌
胡小树
于俊洋
李涵
辛致宜
赵宇曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202311338241.2A priority Critical patent/CN117530701A/zh
Publication of CN117530701A publication Critical patent/CN117530701A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2131—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on a transform domain processing, e.g. wavelet transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供一种认知负荷分类方法和系统。该方法包括获取目标用户的脑电信号；将脑电信号输入至训练好的认知负荷分类模型中，得到目标用户此时的认知负荷等级；认知负荷分类模型的分类过程具体包括：根据输入的用户的脑电信号，生成能量地形图；提取能量地形图中的空间特征；对提取到的空间特征进行频谱时间特征提取以便定位得到最具有区分力的时段内的特征；根据所述最具有区分力的时段内的特征，预测得到用户的认知负荷等级；其中，提取能量地形图中的空间特征具体包括：步骤A1：对能量地形图中每个频段的信息进行独立提取并优化，得到每个频段对应的优化后空间特征；步骤A2：对不同尺度的特征图进行融合，得到最终的空间特征。

Description

一种认知负荷分类方法和系统
技术领域
本发明涉及脑电图信号技术领域，尤其涉及一种认知负荷分类方法和系统。
背景技术
随着脑机接口(Brain-Computer Interface,BCI)，人机交互(human-computerinteraction,HCI)、虚拟现实(Virtual Reality)技术的发展，将脑电分类融入至相关技术以提高人机交互能力成为了新的发展方向。
由于人的认知能力是有限的，因此当工作对人的认知要求超过负荷极限时，就会导致认知超载，从而导致任务性能下降和学习速度减慢。因此如何提取认知状态的脑电信号，并构建高效、精准的分类识别模型，对于包括脑机接口、人机交互和辅导服务在内的许多应用都变得非常重要。
脑电图是一种被广泛应用的无创神经成像方式，它通过测量皮层活动引起的头皮上的电压变化来工作，代表了由电极记录的脑细胞群自发和有节奏的电活动，在生活与研究中已经取得了广泛应用。
随着卷积神经网络的发展，EEG信号的识别有了更多可能性。卷积结构可以利用空间结构的关系，更好地挖掘多通道数据的特征进行脑电解码，减少需要学习的参数量，提高反向传播算法的训练效率。但是，卷积神经网络自身的下采样会导致特征采集的过程会出现信息丢失，并且由于信噪比较低，振幅较小等原因，特征丢失将大幅提高损失率，严重影响模型本身的分类结果。此外，尽管卷积层能够在输入数据的不同层次上提取特征，但多个卷积层的简单堆叠可能会导致特征表示的表达能力有限。
考虑到EEG信号具有时间上的连续性，目前也有基于LSTM网络的EEG信号识别方法。LSTM网络在每个时间步骤都会将输入数据进行信息压缩，并生成一个隐藏状态来传递到下一个时间步骤，因此LSTM能够捕捉到EEG信号中的时间依赖关系和长期依赖关系。但是，在这个过程中，一些输入数据的细节信息可能会丢失，而只保留了隐藏状态中的汇总信息。这种信息压缩可能导致一部分原始特征的损失，特别是当输入数据包含重要的局部细节信息时。
发明内容
为了提高对用户认知负荷状态的识别准确度，本发明提供一种认知负荷分类方法和系统。
一方面，本发明提供一种认知负荷分类方法，包括：
获取目标用户的脑电信号；
将所述脑电信号输入至训练好的认知负荷分类模型中，得到所述目标用户此时的认知负荷等级；所述认知负荷分类模型的分类过程具体包括：根据输入的用户的脑电信号，生成能量地形图；提取能量地形图中的空间特征；对提取到的空间特征进行频谱时间特征提取以便定位得到最具有区分力的时段内的特征；根据所述最具有区分力的时段内的特征，预测得到用户的认知负荷等级；
其中，提取能量地形图中的空间特征具体包括：
步骤A1：对能量地形图中每个频段的信息进行独立提取并优化，得到每个频段对应的优化后空间特征；
步骤A2：根据优化后的空间特征获取不同尺度的特征图，对不同尺度的特征图进行融合，得到最终的空间特征。
进一步地，步骤A1具体包括：使用一组Depthwise卷积对每个频段的信息进行独立提取，扩增每个频段的特征图；按照公式(1)对每个频段的特征图分别进行全局最大池化和平均池化操作得到该频段对应的空间特征，使用共享的一维卷积对该单个频段的空间特征进行权重计算，得到该空间特征的注意力权重F；根据注意力权重F对每个频段的特征图进行优化，并结合残差思想得到每个频段对应的优化后空间特征；
F＝σ(C1Dk(MaxPool(X)))+σ(C1Dk(AvgPool(X))) (1)
其中，X表示单个频段的特征图，MaxPool和AvgPool分别表示全局最大池化和平均池化操作，C1Dk表示卷积核为K的一维卷积，σ表示softmax函数。
进一步地，步骤A2具体包括：优化后的空间特征依次通过两组卷积层，以获取两个不同尺度的特征图Ci和Ci+1，接着按照公式(2)先将两组卷积层输出的中间特征图Ci,Ci+1各自进行逐点卷积，得到两个新的特征图；再将其中的高层特征图进行上采样后与另一个新的特征图进行相加，最后再进行逐点卷积以进行融合，得到最终的空间特征；
Pi,Pi+1＝f(Con1*1(Ci,Ci+1)) (2)
其中，i表示第i层卷积，Con1*1表示逐点卷积，f表示包括上采样、相加和逐点卷积融合操作。
进一步地，对提取到的空间特征进行频谱时间特征提取以便定位得到最具有区分力的时段内的特征，具体包括：
将提取到的空间特征输入至BILSTM，利用BILSTM来提取正向和反向的时间特征和/>并按照公式(3)将正向和反向的时间特征/>和/>进行拼接得到新的输出向量H；
其中，cat表示拼接操作；
按照公式(4)利用注意力机制从所述新的输出向量H中提取出最具区分力的时段内的特征h*：
其中，α是训练得到的注意力分数。
进一步地，根据所述最具有区分力的时段内的特征，预测得到用户的认知负荷等级，具体包括：将所述最具有区分力的时段内的特征输入至全连接层进行分类，得到用户的认知负荷等级。
另一方面，本发明提供一种认知负荷分类系统，包括：
脑电信号采集单元，用于获取目标用户的脑电信号；
认知负荷分类模型单元，用于存储训练好的认知负荷分类模型，以便根据目标用户的脑电信号，通过训练好的认知负荷分类模型得到所述目标用户此时的认知负荷等级；其中，所述认知负荷分类模型包括：
能量地形图生成单元，用于根据输入的用户的脑电信号，生成能量地形图；
空间特征提取单元，用于提取能量地形图中的空间特征；
频谱时间特征提取单元，用于对提取到的空间特征进行频谱时间特征提取以便定位得到最具有区分力的时段内的特征；
预测单元，用于根据所述最具有区分力的时段内的特征，预测得到用户的认知负荷等级；
其中，所述空间特征提取单元包括频段特征自适应优化模块和多尺度特征融合模块；
所述频段特征自适应优化模块，用于对能量地形图中每个频段的信息进行独立提取并优化，得到每个频段对应的优化后空间特征；
所述多尺度特征融合模块，用于根据优化后的空间特征获取不同尺度的特征图，对不同尺度的特征图进行融合，得到最终的空间特征。
本发明的有益效果：
通过FBFAO模块可以极大地丰富频段特征，获取最具代表性的频段信息。通过MSFF模块，引入特征融合思想，成功地保留了被高维特征忽略的信息，提高了模型的表达能力。在TPE模块中，利用BiLSTM提取双向的时间信息，结合注意力机制，能够更好地捕捉时间模式中的关键特征，提升了模型在记忆负荷分类任务上的性能。本发明通过准确识别认知负荷脑电信号水平对于包括脑机接口应用、计算机辅助教育、医疗康复治疗等应用可以发挥重要作用。
附图说明
图1为本发明实施例提供的一种认知负荷分类方法的流程示意图；
图2为本发明实施例提供的认知负荷分类模型的网络结构图；
图3为Sternberg记忆任务范式；
图4为本发明实施例提供的一种认知负荷分类系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，本发明实施例提供一种认知负荷分类方法，包括以下步骤：
S101：按照10-10国际导联获取目标用户的脑电信号；
S102：将目标用户的脑电信号输入至训练好的认知负荷分类模型(如图2所示)中，得到所述目标用户此时的认知负荷等级；其中，所述认知负荷分类模型的分类过程具体包括：
S1021：根据输入的用户的脑电信号，生成能量地形图；
具体地，脑电信号(也称为脑电图，EEG)包括多个时间序列，一个时间序列对应于皮层上一个空间位置的测量结果。EEG信号最显著的特征存在于频域，因此通常用EEG信号的谱图来研究。
本实施例中，通过快速傅里叶变换FFT提取脑电图中的功率谱，接着根据功率谱将不同频段内的信号幅值求平方和来得到每个频段的能量值，将10-10国际导联标准下的电极坐标从三维空间投影到二维平面上，然后将每个频段的能量值投射到相应的电极位置，这样就可以获取每个频段的能量地形图。本实施例中，主要提取了三个频段的能量值，对应得到三个频段的能量地形图，如此组成三个个通道的RGB图片。
S1022：提取能量地形图中的空间特征；具体包括：
步骤A1：对能量地形图中每个频段的信息进行独立提取空间特征并优化，得到每个频段对应的优化后空间特征；
具体地，本实施例提出了一个频段特征自适应优化模块(Frequency BandFeature Adaptive Optimization Module，FBFAO)，该单元内部由一组Depthwise卷积、全局最大池化层、平均池化层和所有频段共享一个一维卷积组成。优化过程具体为：采用使用一组Depthwise卷积对每个频段的信息进行独立提取，扩增每个频段的特征图(初始的3通道图片通过Depthwise卷积扩增到了33，即每个频段的特征图被扩增了11倍)；按照公式(1)对每个频段的特征图分别进行全局最大池化和平均池化操作得到该频段对应的空间特征，使用共享的一维卷积对该单个频段的空间特征进行权重计算，得到该空间特征的注意力权重F；根据注意力权重F对每个频段的特征图进行优化，得到每个频段对应的优化后空间特征。
F＝σ(C1Dk(MaxPool(X)))+σ(C1Dk(AvgPool(X))) (1)
其中，X表示单个频段的特征图，MaxPool和AvgPool分别表示全局最大池化和平均池化操作，C1Dk表示卷积核为K的一维卷积，σ表示softmax函数。
通过对每个频段的信息进行独立的卷积提取，而不进行信息的融合，可以获取仅包含单个频段信息的丰富特征表达。通过最大池化和平均池化操作，可以单个频段的不同空间特征。使用共享的一维卷积对所有频段的特征图进行权重计算，可以获取最具代表性的频段特征。
步骤A2：对不同尺度的特征图进行融合，得到最终的空间特征。
具体地，本实施例提出了一种多尺度特征融合模块(Multi-Scale FeatureFusion Module，MSFF)，经过FBFAO模块优化后的特征图被送入MSFF中进行处理。MSFF的处理过程具体为：
经过FBFAO模块优化后的特征图依次通过两组卷积层，以获取两个不同尺度的特征图Ci和Ci+1，接着按照公式(2)将两组卷积层输出的中间特征图Ci,Ci+1各自进行逐点卷积，得到两个新的特征图；再将其中的高层特征图进行上采样后与另一个新的特征图进行相加，最后再进行逐点卷积以进行融合，得到最终的空间特征；
Pi,Pi+1＝f(Con1*1(Ci,Ci+1)) (2)
其中，i表示第i层卷积，Con1*1表示逐点卷积，f表示包括上采样、相加和逐点卷积融合操作。
最终，相比于输入的原始特征图的尺寸，融合模块产生的特征图的尺寸进行了翻倍，从而保留了更多信息。通过MSFF的处理，可以保留中间被忽略的信息并提高特征的表达能力。
S1023：对提取到的空间特征进行频谱时间特征提取以便定位得到最具有区分力的时段内的特征；
具体地，本实施例提出了一种时间模式增强模块(Temporal PatternEnhancement Module，TPE)，TPE模块主要由BiLSTM和注意力模块构成，其工作过程为：将提取到的空间特征输入至BILSTM，利用BILSTM来提取正向和反向的时间特征和/>并将正向和反向的时间特征/>和/>进行拼接得到新的输出向量H，以保证正向和反向的时间模式能够完整地保留下来；拼接过程可采用公式(3)表示：
其中，cat代表计算框架torch中的cat函数。
按照公式(4)利用注意力机制从所述新的输出向量H中提取出最具区分力的时段内的特征h*：
其中，α是训练得到的注意力分数。
S1024：根据所述最具有区分力的时段内的特征，预测得到用户的认知负荷等级；
具体地，本实施例中，采用全连接层作为预测模块，将所述最具有区分力的时段内的特征输入至全连接层进行分类，得到用户的认知负荷等级。
在上述实施例的基础上，本发明实施例中，所述认知负荷分类模型的训练过程具体包括：
针对每个认知负荷等级，使用基于修正版本的Sternberg记忆任务对被试进行实验，采集实验过程中被试的脑电信号；如图3所示，所述实验过程包括：在屏幕上显示一组字符(该组字符由围绕中心点的不同英文字符组成)，记作SET，以便被试进行记忆，该显示过程持续500毫秒；其中，SET所包含的字符数的不同来表征不同的认知负荷等级(例如，2个字符、4个字符、6个字符和8个字符分别对应第一、第二、第三和第四认知负荷等级)；间隔3秒后，在屏幕上显示一个字符，并让被试判断此时显示的字符是否属于SET；
利用不同认知负荷等级下的脑电信号对所述认知负荷分类模型进行训练。
本发明实施例中，通过FBFAO模块可以极大地丰富频段特征，获取最具代表性的频段信息。通过MSFF模块，引入特征融合思想，成功地保留了被高维特征忽略的信息，提高了模型的表达能力。在TPE模块中，利用BiLSTM提取双向的时间信息，结合注意力机制，能够更好地捕捉时间模式中的关键特征，提升了模型在记忆负荷分类任务上的性能。
实施例2
为了实现上述方法实施例，本发明实施例还提供一种认知负荷分类系统，如图4所示，包括脑电信号采集单元、认知负荷分类模型单元、能量地形图生成单元、空间特征提取单元、频谱时间特征提取单元和预测单元；所述空间特征提取单元包括频段特征自适应优化模块和多尺度特征融合模块。
其中，脑电信号采集单元用于获取目标用户的脑电信号；认知负荷分类模型单元用于存储训练好的认知负荷分类模型，以便根据目标用户的脑电信号，通过训练好的认知负荷分类模型得到所述目标用户此时的认知负荷等级；能量地形图生成单元用于根据输入的用户的脑电信号，生成能量地形图；空间特征提取单元用于提取能量地形图中的空间特征；频谱时间特征提取单元用于对提取到的空间特征进行频谱时间特征提取以便定位得到最具有区分力的时段内的特征；预测单元用于根据所述最具有区分力的时段内的特征，预测得到用户的认知负荷等级；频段特征自适应优化模块用于对能量地形图中每个频段的信息进行独立提取空间特征并优化，得到每个频段对应的优化后空间特征；多尺度特征融合模块用于对不同尺度的特征图进行融合，得到最终的空间特征。
需要说明的是，本发明实施例是为了实现上述方法实施例的，其功能具体可参考上述方法实施例，此处不再赘述。
为了验证本发明中各个模块对提升整个模型的作用，还进行了下述对比实验。
(一)评估指标：
使用准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F1-Score)四个指标作为模型性能的评估标准。其对应公式如下：
其中，TP为正确预测的正样本数，TN为正确预测的负样本数，FP为错误预测的正样本数，FN为错误预测的负样本数。
(二)实验结果
对比方法包括CNN+1D-Conv、CNN+LSTM、CNN+LSTM/1D-Conv和ARCNN四种现有分类模型。本发明和现有分类模型的实验结果如表1所示。
表1 10倍交叉验证下各种深度学习模型的平均分类性能
方法 AVERAGE Precision RECALL F1
CNN+1D-Conv 0.9053 0.9176 0.9061 0.9025
CNN+LSTM 0.9077 0.9223 0.9116 0.9057
CNN+LSTM/1D-Conv 0.9148 0.9297 0.9166 0.9142
ARCNN 0.9207 0.9322 0.9236 0.9197
本发明 0.9355 0.9435 0.9353 0.9333
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种认知负荷分类方法，其特征在于，包括：
获取目标用户的脑电信号；
将所述脑电信号输入至训练好的认知负荷分类模型中，得到所述目标用户此时的认知负荷等级；所述认知负荷分类模型的分类过程具体包括：根据输入的用户的脑电信号，生成能量地形图；提取能量地形图中的空间特征；对提取到的空间特征进行频谱时间特征提取以便定位得到最具有区分力的时段内的特征；根据所述最具有区分力的时段内的特征，预测得到用户的认知负荷等级；
其中，提取能量地形图中的空间特征具体包括：
步骤A1：对能量地形图中每个频段的信息进行独立提取并优化，得到每个频段对应的优化后空间特征；
步骤A2：根据优化后的空间特征获取不同尺度的特征图，对不同尺度的特征图进行融合，得到最终的空间特征。
2.根据权利要求1所述的认知负荷分类方法，其特征在于，步骤A1具体包括：使用一组Depthwise卷积对每个频段的信息进行独立提取，扩增每个频段的特征图；按照公式(1)对每个频段的特征图分别进行全局最大池化和平均池化操作得到该频段对应的空间特征，使用共享的一维卷积对该单个频段的空间特征进行权重计算，得到该空间特征的注意力权重F；根据注意力权重F对每个频段的特征图进行优化，并结合残差思想得到每个频段对应的优化后空间特征；
F＝σ(C1Dk(MaxPool(X)))+σ(C1Dk(AvgPool(X))) (1)
其中，X表示单个频段的特征图，MaxPool和AvgPool分别表示全局最大池化和平均池化操作，C1Dk表示卷积核为K的一维卷积，σ表示softmax函数。
3.根据权利要求1所述的认知负荷分类方法，其特征在于，步骤A2具体包括：优化后的空间特征依次通过两组卷积层，以获取两个不同尺度的特征图Ci和Ci+1，接着按照公式(2)先将两组卷积层输出的中间特征图Ci,Ci+1各自进行逐点卷积，得到两个新的特征图；再将其中的高层特征图进行上采样后与另一个新的特征图进行相加，最后再进行逐点卷积以进行融合，得到最终的空间特征；
Pi,Pi+1＝f(Con1*1(Ci,Ci+1)) (2)
其中，i表示第i层卷积，Con1*1表示逐点卷积，f表示包括上采样、相加和逐点卷积融合操作。
4.根据权利要求1所述的认知负荷分类方法，其特征在于，对提取到的空间特征进行频谱时间特征提取以便定位得到最具有区分力的时段内的特征，具体包括：
将提取到的空间特征输入至BILSTM，利用BILSTM来提取正向和反向的时间特征和并按照公式(3)将正向和反向的时间特征/>和/>进行拼接得到新的输出向量H；
其中，cat表示拼接操作；
按照公式(4)利用注意力机制从所述新的输出向量H中提取出最具区分力的时段内的特征h*：
其中，α是训练得到的注意力分数。
5.根据权利要求1所述的认知负荷分类方法，其特征在于，根据所述最具有区分力的时段内的特征，预测得到用户的认知负荷等级，具体包括：将所述最具有区分力的时段内的特征输入至全连接层进行分类，得到用户的认知负荷等级。
6.一种认知负荷分类系统，其特征在于，包括：
脑电信号采集单元，用于获取目标用户的脑电信号；
认知负荷分类模型单元，用于存储训练好的认知负荷分类模型，以便根据目标用户的脑电信号，通过训练好的认知负荷分类模型得到所述目标用户此时的认知负荷等级；其中，所述认知负荷分类模型包括：
能量地形图生成单元，用于根据输入的用户的脑电信号，生成能量地形图；
空间特征提取单元，用于提取能量地形图中的空间特征；
频谱时间特征提取单元，用于对提取到的空间特征进行频谱时间特征提取以便定位得到最具有区分力的时段内的特征；
预测单元，用于根据所述最具有区分力的时段内的特征，预测得到用户的认知负荷等级；
其中，所述空间特征提取单元包括频段特征自适应优化模块和多尺度特征融合模块；
所述频段特征自适应优化模块，用于对能量地形图中每个频段的信息进行独立提取并优化，得到每个频段对应的优化后空间特征；
所述多尺度特征融合模块，用于根据优化后的空间特征获取不同尺度的特征图，对不同尺度的特征图进行融合，得到最终的空间特征。
CN202311338241.2A 2023-10-16 2023-10-16 一种认知负荷分类方法和系统 Pending CN117530701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311338241.2A CN117530701A (zh) 2023-10-16 2023-10-16 一种认知负荷分类方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311338241.2A CN117530701A (zh) 2023-10-16 2023-10-16 一种认知负荷分类方法和系统

Publications (1)

Publication Number Publication Date
CN117530701A true CN117530701A (zh) 2024-02-09

Family

ID=89785035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311338241.2A Pending CN117530701A (zh) 2023-10-16 2023-10-16 一种认知负荷分类方法和系统

Country Status (1)

Country Link
CN (1) CN117530701A (zh)

Similar Documents

Publication Publication Date Title
CN103294199B (zh) 一种基于脸部肌音信号的无声信息识别系统
CN111134666A (zh) 一种多通道脑电数据的情绪识别方法及电子装置
CN110353673B (zh) 一种基于标准互信息的脑电通道选择方法
CN109165556A (zh) 一种基于grnn身份识别方法
CN104771163A (zh) 基于csp和r-csp算法的脑电信号特征提取方法
US20230101539A1 (en) Physiological electric signal classification processing method and apparatus, computer device and storage medium
WO2022183966A1 (zh) 脑电信号分类方法、装置、设备、存储介质及程序产品
CN113486752B (zh) 基于心电信号的情感识别方法及系统
CN109009084A (zh) 多导联心电信号的qrs波群校验方法、装置及设备、介质
CN111026267B (zh) Vr脑电意念控制接口系统
EP4303759A1 (en) Physiological electrical signal classification and processing method and apparatus, computer device, and storage medium
CN114415842B (zh) 一种基于位点等效增强的脑机接口解码方法及装置
CN114037003A (zh) 问答模型的训练方法、装置及电子设备
CN110786849B (zh) 基于多视图鉴别分析的心电信号身份识别方法及系统
US20230315203A1 (en) Brain-Computer Interface Decoding Method and Apparatus Based on Point-Position Equivalent Augmentation
Havugimana et al. Predicting cognitive load using parameter-optimized cnn from spatial-spectral representation of eeg recordings
CN117530701A (zh) 一种认知负荷分类方法和系统
CN115954019A (zh) 一种融合自注意力和卷积操作的环境噪声识别方法及系统
CN109820523A (zh) 心理测试仪控制方法、装置及计算机可读存储介质
CN114742107A (zh) 信息服务中的感知信号的识别方法及相关设备
CN112733727B (zh) 基于线性分析的特征决策融合的脑电意识动态分类方法
CN114721514A (zh) 一种基于脑电信号的几何模型选择意图判别方法及系统
CN111012337A (zh) 基于脑网络和正则化判别分析的脑电分析方法
Kolla et al. Comparative Analysis of VGG19, ResNet50, and GoogLeNet Inception Models for BCI
CN112244873B (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination