CN115381467A - 一种基于注意力机制的时频信息动态融合解码方法及装置 - Google Patents
一种基于注意力机制的时频信息动态融合解码方法及装置 Download PDFInfo
- Publication number
- CN115381467A CN115381467A CN202211341225.4A CN202211341225A CN115381467A CN 115381467 A CN115381467 A CN 115381467A CN 202211341225 A CN202211341225 A CN 202211341225A CN 115381467 A CN115381467 A CN 115381467A
- Authority
- CN
- China
- Prior art keywords
- time
- frequency
- domain characteristics
- different
- characterization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004927 fusion Effects 0.000 title claims abstract description 42
- 230000001537 neural effect Effects 0.000 claims abstract description 53
- 238000012512 characterization method Methods 0.000 claims description 95
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 230000002708 enhancing effect Effects 0.000 claims description 24
- 230000009471 action Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 16
- 230000006399 behavior Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 9
- 230000033001 locomotion Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010037714 Quadriplegia Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000000976 primary motor cortex Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7228—Signal modulation applied to the input signal sent to patient or subject; demodulation to recover the physiological signal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Complex Calculations (AREA)
Abstract
本发明实施例提供一种基于注意力机制的时频信息动态融合解码方法及装置，所述方法包括：接收神经信号，获取神经信号中的锋电位信号对应的时域特征和场电位信号对应的频域特征；基于时域特征结合自注意力机制建模，得到动态增强时域特征；基于频域特征结合自注意力机制建模得到动态增强频域特征；并基于动态增强后的时域特征及频域特征，结合交叉注意力机制建模，得到时频特征；根据动态融合后的时频特征，结合分类变量计算解码结果。采用本方法能够动态调整两种信号的融合方式，降低信号的变化对解码性能的影响，提高了神经解码对时间变化和噪声的鲁棒性，实现了更准确且鲁棒的神经解码。
Description
技术领域
本发明涉及运动神经信号解码技术领域，尤其涉及一种基于注意力机制的时频信息动态融合解码方法及装置。
背景技术
侵入式脑机接口可以通过神经活动与外部设备直接通信，这在运动功能恢复和神经假体等临床应用中显示出巨大潜力。在侵入式脑机接口的临床应用中，如何解决脑信号中存在的时间漂移和噪声严重问题，从而实现准确且鲁棒的解码结果至关重要。从侵入式脑机接口的数据来源角度来看，典型的神经信号包括动作电位（锋电位）和局部场电位（场电位）。这两种类型的信号对与运动相关的信息进行不同的编码。对于锋电位来说，运动信息由单个神经元放电活动的时间和频率编码，该信号包含更准确和高精度的运动信息，但容易受到噪声的影响，稳定性较差；对于场电位来说，该信号反映了大量神经元的集群活动，其频域信息包含了可用于运动解码的丰富信息，虽然在时间和空间上都表现出较低的分辨率，但是数据模式稳定。因此，双方的融合可以潜在地提高神经解码的准确性和鲁棒性。
近年来，已经有许多学者基于锋电位和场电位的融合解码得到了更加准确且鲁棒的性能。这些研究证明了锋电位和场电位融合的有效性和必要性，但它们大多直接连接两个信号而忽略了它们之间的相互作用。特别是，锋电位信号和场电位信号中的时谱连接在不同的任务和条件下显示出动态变化的特性，而现有方法使用锋电位和场电位之间的固定组合，导致性能欠佳。因此，如何根据样本的数据特点动态调整锋电位和场电位的连接，从而实现信号间的动态融合，实现稳定且鲁棒的解码性能，是当前运动神经解码领域仍待解决的重要问题。
发明内容
针对现有技术中存在的问题，本发明实施例提供一种基于注意力机制的时频信息动态融合解码方法及装置。
本发明实施例提供一种基于注意力机制的时频信息动态融合解码方法，包括：
接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征；
基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征；
基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征；
基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征；
根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。
在其中一个实施例中，所述表征因子，包括：
查询表征、键表征和值表征。
在其中一个实施例中，所述方法还包括：
基于不同时间步内的时域特征，结合所述查询表征、键表征和值表征对应的线性转换矩阵，结合对应的时间步，计算得到不同时间步对应的查询表征、键表征和值表征；
通过每个时间步的查询表征计算与其余时间步的键表征之间的连接强度，并基于所述连接强度定义对应时间步的值表征加权的权重值，通过所述连接强度及权重值计算得到不同时间步对应的时域特征，并应用残差连接和带有层归一化的全连接前馈层进行所述时域特征的动态增强。
在其中一个实施例中，所述方法还包括：
基于不同频段内的时域特征，结合所述查询表征、键表征和值表征对应的线性转换矩阵，结合对应的频段，计算得到不同频段对应的查询表征、键表征和值表征；
通过每个频段的查询表征计算与其余频段的键表征之间的连接强度，并基于所述连接强度定义对应频段的值表征加权的权重值，通过所述连接强度及权重值计算得到不同频段对应的频域特征，并应用残差连接和带有层归一化的全连接前馈层进行所述频域特征的动态增强。
在其中一个实施例中，所述方法还包括：
基于动态增强后的时域特征，学习得到对应的查询表征、键表征和值表征对应的线性转换矩阵，结合对应的时域特征，计算得到不同时间步对应的查询表征、键表征和值表征；
基于动态增强后的频域特征，学习得到对应的查询表征、键表征和值表征对应的线性转换矩阵，结合对应的频域特征，计算得到不同频段对应的查询表征、键表征和值表征；
通过每个时间步的查询表征计算与每个频段的键表征之间的连接强度，并基于所述连接强度定义对应频段的值表征加权的权重值，通过所述连接强度及权重值计算得到以时域特征为查询基的频域特征；
通过每个频段的查询表征计算与每个时间步的键表征之间的连接强度，并基于所述连接强度定义对应时间步的值表征加权的权重值，通过所述连接强度及权重值计算得到以频域特征为查询基的时域特征；
将所述以时域特征为查询基的频域特征、以频域特征为查询基的时域特征进行动态融合，得到对应的时频特征。
在其中一个实施例中，所述方法还包括：
基于所述时频特征对应的时域特征及频域特征，结合所述动作行为的对应特征，通过多层感知器计算所述解码结果的损失率。
在其中一个实施例中，所述方法还包括：
将所述时域特征、频域特征的数据分为训练集数据、验证集数据和测试集数据；
所述解码结果包括：
训练集数据解码结果；
所述通过所述时频特征对应的时域特征及频域特征计算解码结果之后，还包括：
通过验证集数据对所述交叉注意力机制建模的对应模型拟合程度进行评估，选出评估结果中的最优模型，并结合所述测试集数据评估所述最优模型的模型性能。
本发明实施例提供一种基于注意力机制的时频信息动态融合解码装置，包括：
接收模块，用于接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征；
第一建模模块，用于基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征；
第二建模模块，用于基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征；
交叉建模模块，用于基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征；
计算模块，用于根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。
本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于注意力机制的时频信息动态融合解码方法的步骤。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于注意力机制的时频信息动态融合解码方法的步骤。
本发明实施例提供的一种基于注意力机制的时频信息动态融合解码方法及装置，接收目标用户基于动作行为产生的神经信号，对神经信号进行预处理，获取神经信号中的锋电位信号和场电位信号，并基于锋电位信号提取不同时间步内的时域特征，基于场电位信号提取不同频段内的频域特征；基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过关联性动态增强时域特征；基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过关联性动态增强频域特征；基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于关联性动态融合得到时频特征；根据动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与时频特征对应的时域特征及频域特征，并通过时频特征对应的时域特征及频域特征计算解码结果。这样能够动态调整两种信号的融合方式，降低信号的变化对解码性能的影响，提高了神经解码对时间变化和噪声的鲁棒性，实现了更准确且鲁棒的神经解码。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于注意力机制的时频信息动态融合解码方法的流程图；
图2为本发明实施例中一种数据集实验范式时序图；
图3为本发明实施例中一种基于注意力机制的时频信息动态融合解码装置的结构图；
图4为本发明实施例中电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种基于注意力机制的时频信息动态融合解码方法的流程示意图，如图1所示，本发明实施例提供了一种基于注意力机制的时频信息动态融合解码方法，包括：
步骤S101，接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征。
具体地，对于目标用户下达动作指示后，目标用户产生动作行为，然后基于动作行为产生对应的神经信号，接收到神经信号后，对神经信号的预处理包括：信号的分类、去噪等等，即获取硬件记录的原始侵入式神经信号，预处理原始神经信号获取锋电位信号和场电位信号；基于锋电位信号，提取不同时间窗口下的发放率获取时域特征，基于场电位，提取不同频段的频带能量获取频域特征。
步骤S102，基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征。
具体地，神经信号的时间相邻时间步的发放率之间的相互作用包含丰富的信息，可用于准确的运动解码，本实施例利用自注意力机制对锋电位不同时间步之间的连接进行建模，基于连接关系动态增强时间序列中具有显著解码效果的时间步特征，以捕获锋电位时域上的动态关系模式，具体的计算方式可以包括：
首先，将锋电位的时域特征到经过三种线性转换得到查询表征，键表征和值表征，其中，通过查询表征及键表征可以确定不同时间步之间的连接强度（关联性），通过值表征能够基于时间步之间的连接强度对不同时间步进行对应的权重分配，计算方式如下：
其中，
然后，基于自注意力机制对锋电位不同时间步特征的交互进行建模，具体地，通过
值表征
的加权和来定义自注意力注意特征，其中权重由自注意力的连接强度表征，自
注意力的连接强度由
和
的点积相似度定义，具体通过每个时间步的查询表征计算
与其余时间步的键表征确定。计算方式如下：
其中，
最后，为了稳定训练，在自注意力特征后应用残差连接和带有层归一化的全连接前馈层进行时域特征的动态增强。
步骤S103，基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征。
具体地，由于场电位信号在各种频段中编码运动信息，且不同的任务范式中显著有效的频段特征不同，因此对不同频段信息之间的相互作用进行建模有利于有效的频域特征学习，与步骤S102的建模类似，本实施例利用自注意力机制对场电位不同频段之间的连接进行建模，基于连接关系动态增强频域中具有显著解码效果的频段特征，具体的计算方式可以包括：
首先，将场电位的频域特征经过三种线性转换得到查询表征，键表征和值表征，计算方式如下：
其中，
表示从场电位的频域特征学习得到的查询表征，键表征和值表征；
然后，基于自注意力机制对场电位不同频段特征的交互进行建模，具体地，通过值
表征
的加权和来定义自注意力注意特征，其中权重由自注意力的连接强度表征，自注意
力的连接强度由
和
的点积相似度定义，具体通过每个频段的查询表征计算与其余
频段的键表征确定，计算方式如下：
其中，
最后，为了稳定训练，在自注意力特征后应用残差连接和带有层归一化的全连接前馈层进行频域特征的动态增强。
步骤S104，基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征。
具体地，由于大脑发出的信号是时刻动态变化的，故锋电位和场电位的连接关系和有效成分也随之动态变化，为了得到准确且鲁棒解码性能，基于交叉注意力机制，建模锋电位的时域特征和场电位的频域特征之间的连接强弱，以动态调整两种信号的融合方式，降低信号的变化对解码性能的影响，计算方式如下：
首先，将锋电位的增强时域特征和场电位的增强频域特征经过线性转换得到的查询表征，键表征和值表征，计算方式如下：
其中，
然后，基于交叉注意力机制对锋电位的时域特征和场电位的频域特征之间的连接
强弱进行建模，具体来说，交叉注意力的连接强度由
和
的点积相似度定义，频域特
征到时域特征的交叉注意力的连接强度由
和
的点积相似度定义，计算方式如下：
其中，
将以时域特征为查询基的频域特征、以频域特征为查询基的时域特征进行动态融合，得到对应的时频特征，为了稳定训练，在两层交叉注意力特征后应用残差连接和带有层归一化的全连接前馈层。
步骤S105，根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。
具体地，为了得到充分融合时频域的表征，本实施例在实时过程中包括两个可学
习的时域和频域分类变量（
），拼接在原始的锋电位时域特征和场电位频域特征前，
作为模型的输入，然后计算得到对应的输出（
）作为最终的任务表征，计算方式如
下：
其中，
另外，基于多层感知器作为分类器得到最终的解码结果，还可以进一步的计算解码结果的损失率，计算方式如下：
其中，
另外，在接收到神经信号并提取到时域特征及频域特征后，将时域特征、频域特征的数据分为训练集数据、验证集数据和测试集数据，训练集数据、验证集数据和测试集数据的数据数量比例可以由工作人员自行设定。
另外，在本实施例中，上述步骤中基于注意力机制的时频信息动态融合解码方法的框架图具体包括上述步骤中的接收神经信号、锋电位预处理、场电位预处理、时域自注意力建模、频域自注意力建模、时域特征动态增强、频域特征动态增强、时频交叉注意力建模、时频域特征动态融合，以及最后的将相加的结果使用多层感知器作为分类器得到最终的解码结果。
在上述步骤中处理对象为训练集数据，得到的解码结果为训练集数据解码结果，并在得到训练集数据解码结果，通过验证集数据对交叉注意力机制建模的对应模型拟合程度进行评估，选出评估结果中拟合程度最好的最优模型，并结合测试集数据评估最优模型的模型性能，模型性能的评估可以通过与动作行为进行对比，判断对比结果是否准确，通过统计准确判断的比例确定最优模型的模型性能。
本发明实施例提供的一种基于注意力机制的时频信息动态融合解码方法，接收目标用户基于动作行为产生的神经信号，对神经信号进行预处理，获取神经信号中的锋电位信号和场电位信号，并基于锋电位信号提取不同时间步内的时域特征，基于场电位信号提取不同频段内的频域特征；基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过关联性动态增强时域特征；基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过关联性动态增强频域特征；基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于关联性动态融合得到时频特征；根据动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与时频特征对应的时域特征及频域特征，并通过时频特征对应的时域特征及频域特征计算解码结果。这样能够动态调整两种信号的融合方式，降低信号的变化对解码性能的影响，提高了神经解码对时间变化和噪声的鲁棒性，实现了更准确且鲁棒的神经解码。
在另一实施例中，一种基于注意力机制的时频信息动态融合解码方法还可以包括：
在本实施例中，设定具体的实例模型，实例模型的基于如下背景实施：
目标用户是一名72岁的男性，车祸导致C4级颈椎外伤，四肢瘫痪，只能移动自己脖子以上的部位，具有正常的语言沟通能力和任务的理解能力。目标用户的左侧初级运动皮层中植入了两个96通道的Utah皮质内微电极阵列（Blackrock Microsystems，盐湖城，美国犹他州），以记录神经信号。目标用户在每个工作日进行脑机接口训练任务，周末休息。每天的训练时间大约3个小时，包括准备信号记录，阻抗测试，锋电位分类和范式任务。
在本实施例中，对于数据采集的实验范式如图2所示，具体来说：在开始后的前2s中，目标用户坐在屏幕前方，屏幕显示“准备”符号；在2s结束时屏幕会出现对应十种不同动作任务的视频提示，目标用户需要根据出现的提示做相应的运动任务，动作任务的时间为4s，十种运动任务分别为：提眉，张嘴，抬头、右转头、右抬臂、右屈肘、右翻腕、右手五指张开、右脚踮起、右提膝。目标用户可以实际执行前四个动作并想象后六个动作；每个动作完成后会进行一段时间的休息为下一组实验做准备。每个动作每天重复10次，目标用户的实验数据采集在5天内完成。
在接收到目标用户的神经信号后，对于锋电位，使用Central软件包（Blackrock
Microsystem）将每个经过高通滤波（250Hz截止频率）的电极的神经动作电位检测的阈值分
别设置为-6.5RMS到-5.5RMS。使用长度为 400 ms 的非重叠滑动窗口进行时间分割，故获
得 10 个 时间步，因此可以得到每个锋电位样本的时域特征为
（其中96为通道
数）。
对于场电位，首先对场电位采用2阶巴特沃兹带通滤波器滤波去除伪迹，去除伪迹
后获得的有效频段频率为0~400Hz，然后计算不同频段的对数功率谱作为场电位信号的频
域特征，我们使用从0-300 Hz的10个连续30 Hz频段的对数功率作为频域特征
（其
中96为通道数）
然后，将数据按照合理比例分成训练集、验证集和测试集，按照10折交叉验证的方式，按照8:1:1的方式将数据划分为训练集、验证集和测试集。在训练集得到标准化的均值和方差后，对数据进行标准化。
在本实施例中，实例模型学习的主要参数如下：批次大小设置为5；使用Adam算法优化参数，学习率设为0.001，权重衰减设为1e-4；采用早停法以减轻过拟合问题；损失函数设置为交叉熵损失；查询表征和键值表征的维度在[4,8,16]和[32,64,128]中根据模型在验证集选取最优的。
并对实例模型5天的实验数据进行性能分析，可以得到如下结论：1）融合解码相较于单信号源解码，能显著提升解码性能。与单独使用锋电位相比，融合解码最大提高了6%的运动分类准确率。与单独使用场电位相比，融合解码最大提高了14%的分类准确率。融合解码的平均分类准确率为 85.40%，明显高于单独使用锋电位（82.00%）和场电位（78.00%）。2）本发明提出的融合算法分类性能优于其他融合算法。时频动态融合方法的平均准确率为85.4%，分别比支持向量机（SVM）、多层感知机（MLP）、长短期记忆网络(LSTM)提升了2.9%、2.4%、2.2%。与基于典型相关分析的方法相比，本实施例中的方法较于传统典型相关分析提升了5.6%，较于深度典型相关分析提升了4.4%。
图3为本发明实施例提供的一种基于注意力机制的时频信息动态融合解码装置，包括：接收模块S201、第一建模模块S202、第二建模模块S203、交叉建模模块S204、计算模块S205，其中：
接收模块S201，用于接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征。
第一建模模块S202，用于基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征。
第二建模模块S203，用于基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征。
交叉建模模块S204，用于基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征。
计算模块S205，用于根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。
在一个实施例中，装置还可以包括：
第二仿真实验模块，用于基于所述参数范围对落点目标及落点目标的同类型目标进行仿真实验，根据仿真实验结果，确定所述参数范围对所述落点目标及同类型目标的检测概率及虚警概率，并结合预设的概率要求，选择最符合所述概率要求的参数范围作为最佳参数范围。
关于基于注意力机制的时频信息动态融合解码装置的具体限定可以参见上文中对于基于注意力机制的时频信息动态融合解码方法的限定，在此不再赘述。上述基于注意力机制的时频信息动态融合解码装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)301、存储器(memory)302、通信接口(Communications Interface)303和通信总线304，其中，处理器301，存储器302，通信接口303通过通信总线304完成相互间的通信。处理器301可以调用存储器302中的逻辑指令，以执行如下方法：接收目标用户基于动作行为产生的神经信号，对神经信号进行预处理，获取神经信号中的锋电位信号和场电位信号，并基于锋电位信号提取不同时间步内的时域特征，基于场电位信号提取不同频段内的频域特征；基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过关联性动态增强时域特征；基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过关联性动态增强频域特征；基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于关联性动态融合得到时频特征；根据动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与时频特征对应的时域特征及频域特征，并通过时频特征对应的时域特征及频域特征计算解码结果。
此外，上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：接收目标用户基于动作行为产生的神经信号，对神经信号进行预处理，获取神经信号中的锋电位信号和场电位信号，并基于锋电位信号提取不同时间步内的时域特征，基于场电位信号提取不同频段内的频域特征；基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过关联性动态增强时域特征；基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过关联性动态增强频域特征；基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于关联性动态融合得到时频特征；根据动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与时频特征对应的时域特征及频域特征，并通过时频特征对应的时域特征及频域特征计算解码结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于注意力机制的时频信息动态融合解码方法，其特征在于，包括：
接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征；
基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征；
基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征；
基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征；
根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。
2.根据权利要求1所述的基于注意力机制的时频信息动态融合解码方法，其特征在于，所述表征因子，包括：
查询表征、键表征和值表征。
3.根据权利要求2所述的基于注意力机制的时频信息动态融合解码方法，其特征在于，所述基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征，包括：
基于不同时间步内的时域特征，结合所述查询表征、键表征和值表征对应的线性转换矩阵，结合对应的时间步，计算得到不同时间步对应的查询表征、键表征和值表征；
通过每个时间步的查询表征计算与其余时间步的键表征之间的连接强度，并基于所述连接强度定义对应时间步的值表征加权的权重值，通过所述连接强度及权重值计算得到不同时间步对应的时域特征，并应用残差连接和带有层归一化的全连接前馈层进行所述时域特征的动态增强。
4.根据权利要求3所述的基于注意力机制的时频信息动态融合解码方法，其特征在于，所述基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征，包括：
基于不同频段内的时域特征，结合所述查询表征、键表征和值表征对应的线性转换矩阵，结合对应的频段，计算得到不同频段对应的查询表征、键表征和值表征；
通过每个频段的查询表征计算与其余频段的键表征之间的连接强度，并基于所述连接强度定义对应频段的值表征加权的权重值，通过所述连接强度及权重值计算得到不同频段对应的频域特征，并应用残差连接和带有层归一化的全连接前馈层进行所述频域特征的动态增强。
5.根据权利要求4所述的基于注意力机制的时频信息动态融合解码方法，其特征在于，所述基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征，包括：
基于动态增强后的时域特征，学习得到对应的查询表征、键表征和值表征对应的线性转换矩阵，结合对应的时域特征，计算得到不同时间步对应的查询表征、键表征和值表征；
基于动态增强后的频域特征，学习得到对应的查询表征、键表征和值表征对应的线性转换矩阵，结合对应的频域特征，计算得到不同频段对应的查询表征、键表征和值表征；
通过每个时间步的查询表征计算与每个频段的键表征之间的连接强度，并基于所述连接强度定义对应频段的值表征加权的权重值，通过所述连接强度及权重值计算得到以时域特征为查询基的频域特征；
通过每个频段的查询表征计算与每个时间步的键表征之间的连接强度，并基于所述连接强度定义对应时间步的值表征加权的权重值，通过所述连接强度及权重值计算得到以频域特征为查询基的时域特征；
将所述以时域特征为查询基的频域特征、以频域特征为查询基的时域特征进行动态融合，得到对应的时频特征。
6.根据权利要求1所述的基于注意力机制的时频信息动态融合解码方法，其特征在于，所述通过所述时频特征对应的时域特征及频域特征计算解码结果之后，还包括：
基于所述时频特征对应的时域特征及频域特征，结合所述动作行为的对应特征，通过多层感知器计算所述解码结果的损失率。
7.根据权利要求1所述的基于注意力机制的时频信息动态融合解码方法，其特征在于，所述基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征之后，还包括：
将所述时域特征、频域特征的数据分为训练集数据、验证集数据和测试集数据；
所述解码结果包括：
训练集数据解码结果；
所述通过所述时频特征对应的时域特征及频域特征计算解码结果之后，还包括：
通过验证集数据对所述交叉注意力机制建模的对应模型拟合程度进行评估，选出评估结果中的最优模型，并结合所述测试集数据评估所述最优模型的模型性能。
8.一种基于注意力机制的时频信息动态融合解码装置，其特征在于，所述装置包括：
接收模块，用于接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征；
第一建模模块，用于基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征；
第二建模模块，用于基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征；
交叉建模模块，用于基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征；
计算模块，用于根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于注意力机制的时频信息动态融合解码方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于注意力机制的时频信息动态融合解码方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341225.4A CN115381467B (zh) | 2022-10-31 | 2022-10-31 | 一种基于注意力机制的时频信息动态融合解码方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341225.4A CN115381467B (zh) | 2022-10-31 | 2022-10-31 | 一种基于注意力机制的时频信息动态融合解码方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115381467A true CN115381467A (zh) | 2022-11-25 |
| CN115381467B CN115381467B (zh) | 2023-03-10 |
Family
ID=84115271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211341225.4A Active CN115381467B (zh) | 2022-10-31 | 2022-10-31 | 一种基于注意力机制的时频信息动态融合解码方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115381467B (zh) |
Citations (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009081315A1 (en) * | 2007-12-18 | 2009-07-02 | Koninklijke Philips Electronics N.V. | Encoding and decoding audio or speech |
| US20120172743A1 (en) * | 2007-12-27 | 2012-07-05 | Teledyne Licensing, Llc | Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli |
| US20160007899A1 (en) * | 2013-03-13 | 2016-01-14 | Aptima, Inc. | Systems and methods to determine user state |
| US20160242690A1 (en) * | 2013-12-17 | 2016-08-25 | University Of Florida Research Foundation, Inc. | Brain state advisory system using calibrated metrics and optimal time-series decomposition |
| CN106983505A (zh) * | 2017-05-08 | 2017-07-28 | 天津医科大学 | 一种基于信息熵的神经电活动相关性分析方法 |
| JP2018205292A (ja) * | 2017-06-05 | 2018-12-27 | 瀏陽 宋 | 時間領域・周波数領域のヒストグラムの特徴解析による状態識別法 |
| US20200052946A1 (en) * | 2017-04-21 | 2020-02-13 | Huawei Technologies Co., Ltd. | Signal quality control method and base station |
| CN111568446A (zh) * | 2020-05-28 | 2020-08-25 | 兰州大学 | 结合人口学注意力机制的便携式脑电抑郁检测系统 |
| US20200352520A1 (en) * | 2019-05-09 | 2020-11-12 | Tim Chifong Lei | Process and hardware implementation of adaptive real-time neural spike sorting |
| CN112294342A (zh) * | 2020-10-30 | 2021-02-02 | 哈尔滨理工大学 | 一种基于深度残差Mask-CCNN的睡眠分期方法 |
| US20210106830A1 (en) * | 2017-04-25 | 2021-04-15 | The General Hospital Corporation | Systems, methods and media for detecting and facilitating an effortful mental task by providing real-time deep brain stimulation |
| CN112800894A (zh) * | 2021-01-18 | 2021-05-14 | 南京邮电大学 | 一种基于时空流间注意力机制的动态表情识别方法及系统 |
| CN112869754A (zh) * | 2021-01-08 | 2021-06-01 | 浙江大学 | 一种脑机融合的神经信号测谎方法 |
| CN113095428A (zh) * | 2021-04-23 | 2021-07-09 | 西安交通大学 | 一种融合脑电和刺激源信息的视频情感分类方法及系统 |
| CN113239744A (zh) * | 2021-04-25 | 2021-08-10 | 西安电子科技大学 | 基于深度学习的脑电-肌电信号融合识别方法 |
| CN113288162A (zh) * | 2021-06-03 | 2021-08-24 | 北京航空航天大学 | 基于自适应注意力机制的短时心电信号房颤自动检测系统 |
| US20210267474A1 (en) * | 2020-03-02 | 2021-09-02 | Wuyi University | Training method, and classification method and system for eeg pattern classification model |
| WO2021226778A1 (zh) * | 2020-05-11 | 2021-11-18 | 浙江大学 | 一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质 |
| CN113693613A (zh) * | 2021-02-26 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 脑电信号分类方法、装置、计算机设备及存储介质 |
| CN113729707A (zh) * | 2021-09-06 | 2021-12-03 | 桂林理工大学 | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 |
| CN113892931A (zh) * | 2021-10-14 | 2022-01-07 | 重庆大学 | 一种基于深度学习的fmcw雷达提取分析腹内压力方法 |
| CN114081494A (zh) * | 2022-01-21 | 2022-02-25 | 浙江大学 | 一种基于大脑外侧缰核信号的抑郁状态检测系统 |
| CN114266276A (zh) * | 2021-12-25 | 2022-04-01 | 北京工业大学 | 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法 |
| CN114259255A (zh) * | 2021-12-06 | 2022-04-01 | 深圳信息职业技术学院 | 一种基于频域信号与时域信号的模态融合胎心率分类方法 |
| CN114298216A (zh) * | 2021-12-27 | 2022-04-08 | 杭州电子科技大学 | 一种基于时间-频域融合Transformer的脑电视觉分类方法 |
| CN114403899A (zh) * | 2022-02-08 | 2022-04-29 | 浙江浙大西投脑机智能科技有限公司 | 一种大脑神经元锋电位与局部场电位结合的抑郁检测方法 |
| CN114533086A (zh) * | 2022-02-21 | 2022-05-27 | 昆明理工大学 | 一种基于空域特征时频变换的运动想象脑电解码方法 |
| CN114557708A (zh) * | 2022-02-21 | 2022-05-31 | 天津大学 | 基于脑电双特征融合的体感刺激意识检测装置和方法 |
| CN114596520A (zh) * | 2022-02-09 | 2022-06-07 | 天津大学 | 一种第一视角视频动作识别方法及装置 |
| CN114795178A (zh) * | 2022-04-28 | 2022-07-29 | 电子科技大学 | 一种基于多注意力神经网络的大脑状态解码方法 |
| CN114818813A (zh) * | 2022-05-04 | 2022-07-29 | 哈尔滨理工大学 | 一种基于自注意力卷积神经网络的刀具磨损值预测算法 |
| CN115054272A (zh) * | 2022-07-27 | 2022-09-16 | 安徽大学 | 一种面向运动障碍功能重塑的脑电信号识别方法及系统 |
| CN115105094A (zh) * | 2022-07-15 | 2022-09-27 | 燕山大学 | 基于注意力和3d密集连接神经网络的运动想象分类方法 |
| CN115153588A (zh) * | 2022-07-25 | 2022-10-11 | 陕西师范大学 | 融合密集残差和注意力机制的脑电时空去噪方法 |
| CN115188429A (zh) * | 2022-07-27 | 2022-10-14 | 华东理工大学 | 一种融合时序特征提取的催化裂化装置关键指标建模方法 |
| CN115205730A (zh) * | 2022-06-10 | 2022-10-18 | 西安工业大学 | 一种结合特征增强与模板更新的目标跟踪方法 |
-
2022
- 2022-10-31 CN CN202211341225.4A patent/CN115381467B/zh active Active
Patent Citations (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009081315A1 (en) * | 2007-12-18 | 2009-07-02 | Koninklijke Philips Electronics N.V. | Encoding and decoding audio or speech |
| US20120172743A1 (en) * | 2007-12-27 | 2012-07-05 | Teledyne Licensing, Llc | Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli |
| US20160007899A1 (en) * | 2013-03-13 | 2016-01-14 | Aptima, Inc. | Systems and methods to determine user state |
| US20160242690A1 (en) * | 2013-12-17 | 2016-08-25 | University Of Florida Research Foundation, Inc. | Brain state advisory system using calibrated metrics and optimal time-series decomposition |
| US20200052946A1 (en) * | 2017-04-21 | 2020-02-13 | Huawei Technologies Co., Ltd. | Signal quality control method and base station |
| US20210106830A1 (en) * | 2017-04-25 | 2021-04-15 | The General Hospital Corporation | Systems, methods and media for detecting and facilitating an effortful mental task by providing real-time deep brain stimulation |
| CN106983505A (zh) * | 2017-05-08 | 2017-07-28 | 天津医科大学 | 一种基于信息熵的神经电活动相关性分析方法 |
| JP2018205292A (ja) * | 2017-06-05 | 2018-12-27 | 瀏陽 宋 | 時間領域・周波数領域のヒストグラムの特徴解析による状態識別法 |
| US20200352520A1 (en) * | 2019-05-09 | 2020-11-12 | Tim Chifong Lei | Process and hardware implementation of adaptive real-time neural spike sorting |
| US20210267474A1 (en) * | 2020-03-02 | 2021-09-02 | Wuyi University | Training method, and classification method and system for eeg pattern classification model |
| WO2021226778A1 (zh) * | 2020-05-11 | 2021-11-18 | 浙江大学 | 一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质 |
| CN111568446A (zh) * | 2020-05-28 | 2020-08-25 | 兰州大学 | 结合人口学注意力机制的便携式脑电抑郁检测系统 |
| CN112294342A (zh) * | 2020-10-30 | 2021-02-02 | 哈尔滨理工大学 | 一种基于深度残差Mask-CCNN的睡眠分期方法 |
| CN112869754A (zh) * | 2021-01-08 | 2021-06-01 | 浙江大学 | 一种脑机融合的神经信号测谎方法 |
| CN112800894A (zh) * | 2021-01-18 | 2021-05-14 | 南京邮电大学 | 一种基于时空流间注意力机制的动态表情识别方法及系统 |
| CN113693613A (zh) * | 2021-02-26 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 脑电信号分类方法、装置、计算机设备及存储介质 |
| WO2022179548A1 (zh) * | 2021-02-26 | 2022-09-01 | 腾讯科技（深圳）有限公司 | 脑电信号分类方法、装置、设备、存储介质及程序产品 |
| CN113095428A (zh) * | 2021-04-23 | 2021-07-09 | 西安交通大学 | 一种融合脑电和刺激源信息的视频情感分类方法及系统 |
| CN113239744A (zh) * | 2021-04-25 | 2021-08-10 | 西安电子科技大学 | 基于深度学习的脑电-肌电信号融合识别方法 |
| CN113288162A (zh) * | 2021-06-03 | 2021-08-24 | 北京航空航天大学 | 基于自适应注意力机制的短时心电信号房颤自动检测系统 |
| CN113729707A (zh) * | 2021-09-06 | 2021-12-03 | 桂林理工大学 | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 |
| CN113892931A (zh) * | 2021-10-14 | 2022-01-07 | 重庆大学 | 一种基于深度学习的fmcw雷达提取分析腹内压力方法 |
| CN114259255A (zh) * | 2021-12-06 | 2022-04-01 | 深圳信息职业技术学院 | 一种基于频域信号与时域信号的模态融合胎心率分类方法 |
| CN114266276A (zh) * | 2021-12-25 | 2022-04-01 | 北京工业大学 | 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法 |
| CN114298216A (zh) * | 2021-12-27 | 2022-04-08 | 杭州电子科技大学 | 一种基于时间-频域融合Transformer的脑电视觉分类方法 |
| CN114081494A (zh) * | 2022-01-21 | 2022-02-25 | 浙江大学 | 一种基于大脑外侧缰核信号的抑郁状态检测系统 |
| CN114403899A (zh) * | 2022-02-08 | 2022-04-29 | 浙江浙大西投脑机智能科技有限公司 | 一种大脑神经元锋电位与局部场电位结合的抑郁检测方法 |
| CN114596520A (zh) * | 2022-02-09 | 2022-06-07 | 天津大学 | 一种第一视角视频动作识别方法及装置 |
| CN114533086A (zh) * | 2022-02-21 | 2022-05-27 | 昆明理工大学 | 一种基于空域特征时频变换的运动想象脑电解码方法 |
| CN114557708A (zh) * | 2022-02-21 | 2022-05-31 | 天津大学 | 基于脑电双特征融合的体感刺激意识检测装置和方法 |
| CN114795178A (zh) * | 2022-04-28 | 2022-07-29 | 电子科技大学 | 一种基于多注意力神经网络的大脑状态解码方法 |
| CN114818813A (zh) * | 2022-05-04 | 2022-07-29 | 哈尔滨理工大学 | 一种基于自注意力卷积神经网络的刀具磨损值预测算法 |
| CN115205730A (zh) * | 2022-06-10 | 2022-10-18 | 西安工业大学 | 一种结合特征增强与模板更新的目标跟踪方法 |
| CN115105094A (zh) * | 2022-07-15 | 2022-09-27 | 燕山大学 | 基于注意力和3d密集连接神经网络的运动想象分类方法 |
| CN115153588A (zh) * | 2022-07-25 | 2022-10-11 | 陕西师范大学 | 融合密集残差和注意力机制的脑电时空去噪方法 |
| CN115054272A (zh) * | 2022-07-27 | 2022-09-16 | 安徽大学 | 一种面向运动障碍功能重塑的脑电信号识别方法及系统 |
| CN115188429A (zh) * | 2022-07-27 | 2022-10-14 | 华东理工大学 | 一种融合时序特征提取的催化裂化装置关键指标建模方法 |
Non-Patent Citations (4)
| Title |
|---|
| 胡屹杉等: "结合分段频域和局部注意力的超声甲状腺分割", 《中国图象图形学报》 * |
| 谢康宁等: "糖尿病大鼠内嗅皮层神经元放电与场电位相干性研究", 《现代生物医学进展》 * |
| 谢康宁等: "被动运动对海马神经元活动协同性的影响", 《清华大学学报(自然科学版)》 * |
| 高明柯等: "基于注意力机制和特征融合的手势识别方法", 《计算机应用与软件》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115381467B (zh) | 2023-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | GANSER: A self-supervised data augmentation framework for EEG-based emotion recognition | |
| CN109784023B (zh) | 基于深度学习的稳态视觉诱发脑电身份识别方法及系统 | |
| Wysoski et al. | On-line learning with structural adaptation in a network of spiking neurons for visual pattern recognition | |
| CN109886068B (zh) | 基于运动数据的动作行为识别方法 | |
| CN110680313B (zh) | 一种基于脉冲群智能算法并结合stft-psd和pca的癫痫时期分类方法 | |
| CN106108894A (zh) | 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法 | |
| CN111317468A (zh) | 脑电信号分类方法、装置、计算机设备和存储介质 | |
| CN104573458A (zh) | 一种基于心电信号的身份识别方法、装置及系统 | |
| CN111553295A (zh) | 基于自注意力机制的多模态情感识别方法 | |
| Połap et al. | Bio-inspired voice evaluation mechanism | |
| CN108577865A (zh) | 一种心理状态确定方法及装置 | |
| Tan et al. | Dimensionality reduction in evolutionary algorithms-based feature selection for motor imagery brain-computer interface | |
| CN107239684A (zh) | 一种用于ecg身份识别的特征学习方法和系统 | |
| CN110503082B (zh) | 一种基于深度学习的模型训练方法以及相关装置 | |
| Wang et al. | An approach of one-vs-rest filter bank common spatial pattern and spiking neural networks for multiple motor imagery decoding | |
| Köster et al. | A two-layer model of natural stimuli estimated with score matching | |
| CN113180692A (zh) | 一种基于特征融合和注意力机制的脑电信号分类识别方法 | |
| Abibullaev et al. | A brute-force CNN model selection for accurate classification of sensorimotor rhythms in BCIs | |
| CN114492513A (zh) | 跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法 | |
| CN113143295A (zh) | 基于运动想象脑电信号的设备控制方法及终端 | |
| CN113569997A (zh) | 基于图卷积神经网络的情绪分类方法及系统 | |
| Wysoski et al. | Adaptive learning procedure for a network of spiking neurons and visual pattern recognition | |
| Zhou et al. | Speech2eeg: Leveraging pretrained speech model for eeg signal recognition | |
| CN113705296A (zh) | 生理电信号分类处理方法、装置、计算机设备和存储介质 | |
| CN115381467B (zh) | 一种基于注意力机制的时频信息动态融合解码方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |