CN117520755A - 运动想象时的高通量神经信号的处理方法及相关设备 - Google Patents
运动想象时的高通量神经信号的处理方法及相关设备 Download PDFInfo
- Publication number
- CN117520755A CN117520755A CN202410020213.4A CN202410020213A CN117520755A CN 117520755 A CN117520755 A CN 117520755A CN 202410020213 A CN202410020213 A CN 202410020213A CN 117520755 A CN117520755 A CN 117520755A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- learning model
- flux
- target
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000005036 nerve Anatomy 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims description 38
- 238000012545 processing Methods 0.000 title claims description 23
- 238000013136 deep learning model Methods 0.000 claims abstract description 96
- 230000001537 neural effect Effects 0.000 claims abstract description 60
- 230000009467 reduction Effects 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000003672 processing method Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 210000003710 cerebral cortex Anatomy 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012847 principal component analysis method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 239000000306 component Substances 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 8
- 230000009471 action Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012880 independent component analysis Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241000288906 Primates Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Feedback Control In General (AREA)
Abstract
本申请公开了一种运动想象时的高通量神经信号的处理方法及相关设备，该处理方法包括：基于预设降维算法对高通量神经信号进行特征降维，生成目标高通量神经信号；基于目标高通量神经信号，利用训练好的目标深度学习模型，预测运动想象的速度参数和位置参数；根据与多个目标高通量神经信号对应的各速度参数和各位置参数，确定运动想象的运动轨迹；其中，目标深度学习模型是通过对预训练的第一深度学习模型进行参数更新后生成的，通过对高通量神经信号进行降维，大幅降低了预测模型的特征输入维度，提高了训练效率和预测效率，同时基于预设目标位置对预训练的第一深度学习模型进行参数更新，进一步提高了模型预测精度。
Description
技术领域
本申请涉及运动想象技术领域，特别涉及一种运动想象时的高通量神经信号的处理方法及相关设备。
背景技术
运动想象是指人在大脑中模拟和预测相关动作的过程。人在进行某种实际动作前能够通过大脑中预先想象该动作的方式来提高运动技能或者做好预备。运动想象涉及到许多领域，包括运动训练、康复、运动心理学等。
当前，在对运动想象神经信号解码识别时，采用的神经信号一般是从颅骨外采集的EEG（Electroencephalogram，脑电波）信号，此类信号衰减大、信噪比较低，且通道数量较少，不能准确地预测出运动想象的动作轨迹。
发明内容
本申请旨在提供一种运动想象时的高通量神经信号的处理方法及相关设备，所述高通量神经信号为目标对象进行运动想象时从其大脑皮层采集到的神经信号，所述处理方法旨在准确且高效地预测出运动想象的持续的动作轨迹。
第一方面，提供一种运动想象时的高通量神经信号的处理方法，所述高通量神经信号为目标对象进行运动想象时从其大脑皮层采集到的神经信号，所述处理方法包括：基于预设降维算法对高通量神经信号进行特征降维，生成目标高通量神经信号；基于所述目标高通量神经信号，利用训练好的目标深度学习模型，预测运动想象的速度参数和位置参数；根据与多个所述目标高通量神经信号对应的各所述速度参数和各所述位置参数，确定运动想象的运动轨迹；其中，所述目标深度学习模型是通过对预训练的第一深度学习模型进行参数更新后生成的，在所述参数更新的过程中，基于预设目标位置和所述第一深度学习模型在前一时刻输出的位置参数，调整所述第一深度学习模型在当前时刻输出的速度参数，并基于调整后的速度参数更新所述第一深度学习模型。
第二方面，提供一种运动想象时的高通量神经信号的处理装置，所述处理装置包括处理器，所述处理器配置为执行根据第一方面所述的运动想象时的高通量神经信号的处理方法。
第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现根据第一方面所述的运动想象时的高通量神经信号的处理方法。
通过应用以上技术方案，使用直接从大脑皮层内采集的高通量神经元信号，增大了输入模型的信息量，并对高通量神经信号进行降维，实现有效提取关键特征，大幅降低了预测模型的特征输入维度，且提高了训练效率和预测效率，同时通过对预训练的第一深度学习模型针对预测的速度参数在相对于目标位置的运动趋势上的表现进行参数更新，进一步提高了模型预测精度，进而实现更加准确和高效地预测出运行想象的持续的运动轨迹。
附图说明
在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
图1为本申请实施例的一种运动想象时的高通量神经信号的处理方法的流程图；
图2为本申请实施例中基于多头注意机制的Transformer深度学习模型示意图；
图3为本申请实施例中基于Refit的输出速度向量校正方法示意图；
图4为本申请实施例中对运动想象轨迹进行离线训练和预测的示意图；
图5为本申请实施例中进行实时轨迹预测的示意图；
图6为本申请实施例中一种运动想象时的高通量神经信号的处理装置的结构框图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式。
当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。
本申请实施例提供一种运动想象时的高通量神经信号的处理方法，高通量神经信号为目标对象进行运动想象时从其大脑皮层采集到的神经信号，如图1所示，该处理方法包括以下步骤：
步骤S101，基于预设降维算法对高通量神经信号进行特征降维，生成目标高通量神经信号。
本实施例中，高通量神经信号为目标对象进行运动想象时从其大脑皮层采集到的神经信号，目标对象可以为人类、灵长类、哺乳类等，由于大脑皮层存在丰富的神经元，在大脑皮层中很小的区域中即可采集到高通量神经信号，高通量神经信号的精度可以为神经元级别，与从颅骨外采集的EEG信号相比，信噪比更高，通道数更多，因此信息量更大。可选的，高通量神经信号可以为预先采集的神经信号，也可以为实时采集的神经信号。高通量神经信号具体为高通量神经尖峰信号。预先在目标对象上设置脑机接口，在目标对象进行运动想象时，通过脑机接口对目标对象的大脑皮层进行高通量神经尖峰信号采集，从而获得所有通道的动作电位发放率数据。
将采集到的高通量神经信号作为深度学习模型的输入时，数据张量的维度为样本数量×序列长度×特征数量，本实施例中，特征数量为信号通道数量和包含当前时间窗的某几个时间窗的发放率的组合（例如，256通道×三个时间窗的发放率=256×3=768个特征）。大的特征量可能意味着冗余的稀疏信息，为了提高预测效率，有必要对数据进行降维并提取有效特征。因此，基于预设降维算法对高通量神经信号进行特征降维，生成目标高通量神经信号。
可选的，预设降维算法为包括主成分分析（PCA）、独立成分分析（ICA）、局部线性嵌入（LLE）、t-随机邻近嵌入（t-SNE）等算法中任一种。
步骤S102，基于所述目标高通量神经信号，利用训练好的目标深度学习模型，预测运动想象的速度参数和位置参数。
本实施例中，预先训练出目标深度学习模型，其中，目标深度学习模型是通过对预训练的第一深度学习模型进行参数更新后生成的，在参数更新的过程中，基于预设目标位置和第一深度学习模型在前一时刻输出的位置参数，调整第一深度学习模型在当前时刻输出的速度参数，并基于调整后的速度参数更新第一深度学习模型，从而使目标深度学习模型适应不断变化的数据分布，改进了模型的性能，增强了模型的泛化能力。
将降维后的目标高通量神经信号输入目标深度学习模型，目标深度学习模型预测出运动想象的速度参数和位置参数。
步骤S103，根据与多个所述目标高通量神经信号对应的各所述速度参数和各所述位置参数，确定运动想象的运动轨迹。
将多个目标高通量神经信号输入目标深度学习模型，目标深度学习模型相应预测出多组速度参数和位置参数，基于多组速度参数和位置参数形成运动轨迹，从而准确地预测出运动想象的运动轨迹。
在本申请一些实施例中，所述基于预设目标位置和所述第一深度学习模型在前一时刻输出的位置参数，调整所述第一深度学习模型在当前时刻输出的速度参数的具体过程包括：
确定所述预设目标位置和所述前一时刻输出的位置参数之间的第一角度偏差；
基于预设权重对所述第一角度偏差进行加权，生成第二角度偏差；
基于所述第二角度偏差对所述当前时刻输出的速度参数进行调整。
本实施例中，通过将测试集输入第一深度学习模型，并基于预设目标位置对深度学习模型在各时刻输出的预测结果进行校正，预设目标位置可以是运动轨迹的终点位置。具体的，先确定预设目标位置和前一时刻输出的位置参数之间的第一角度偏差，再基于预设权重对第一角度偏差进行加权，生成第二角度偏差，获取第一深度学习模型在当前时刻输出的速度参数，最后基于第二角度偏差对所述当前时刻输出的速度参数进行调整，从而实现基于预设目标位置对各时刻的速度参数进行迭代调整，并通过对角度偏差进行加权，避免了参数过调，提高了参数调整过程中的准确度。
举例来说，在本申请具体的应用场景中，采用基于Refit的参数更新方式对第一深度学习模型进行参数更新。如图3所示为基于Refit的输出速度向量校正方法示意图，图3中，解码位置为第一深度学习模型预测出的位置参数，解码速度向量为第一深度学习模型预测出的速度参数，该位置参数与预设目标位置之间的第一角度偏差为θ，基于预设权重w对第一角度偏差θ进行加权，得到第二角度偏差wθ，通过第二角度偏差wθ对解码速度向量进行校正，得到校正后的速度向量，即调整后的速度参数。
在本申请一些实施例中，所述基于调整后的速度参数更新所述第一深度学习模型的具体过程包括：
确定所述当前时刻输出的速度参数和所述调整后的速度参数之间的均方误差；
基于所述均方误差更新所述第一深度学习模型中优化器的梯度，并基于所述梯度更新所述第一深度学习模型。
本实施例中，在确定调整后的速度参数后，确定当前时刻输出的速度参数和调整后的速度参数之间的均方误差，均方误差是指预测值与真实值之间差的平方的平均值，之后基于均方误差更新第一深度学习模型中优化器的梯度，并基于梯度更新第一深度学习模型，从实现更加准确的对第一深度学习模型进行迭代更新。
可选的，本领域技术人员也可根据需要采用其他方式计算当前时刻输出的速度参数和调整后的速度参数之间的误差，例如平均绝对误差、均方根误差、R方值、对数损失函数等。
在本申请一些实施例中，所述第一深度学习模型采用基于多头注意力机制的Transformer模型，在所述参数更新的过程中，保持所述第一深度学习模型中的Dropout层和Batch Normalization层处于冻结状态。
Transformer模型是一种强大的深度学习架构，Transformer 的核心组件是多头注意力机制，允许有效捕获序列中的长程依赖关系。通过使用多个注意力头，它可以同时关注输入序列的不同部分，使其高度可并行化并适用于大型数据集的训练。如图2所示为基于多头注意机制的Transformer深度学习模型示意图， Transformer模型由编码器10和解码器20组成，编码器10和解码器20分别由多个基于自注意力的模块叠加而成的。编码器10中基于自注意力的模块包括1个多头注意层200和1个前馈层300，解码器20中基于自注意力的模块包括两个多头注意层200和一个前馈层300，解码器20中位于中间的多头注意层200的查询、键和值均来自于编码器10中前一个基于自注意力的模块的输出。嵌入层100用于将输入到编码器10和解码器20的序列加上位置编码，再分别输入到编码器10和解码器20中。以下结合图2对基于多头注意力机制的 Transformer模型工作原理进行说明：
（1）输入序列： Transformer模型的输入是维度为样本数量×序列长度×降维后特征数量的张量，这些张量被表示为连续的向量，将上述张量输入嵌入层100。其中，编码器10的输入为源序列，解码器20的输入为解码器20在之前时刻输出的一些目标序列，在本申请一些实施例中，嵌入层100为一个线性层。
（2）位置编码：由于 Transformer模型不具有内置的位置信息，因此在嵌入层100中添加位置编码，以向模型提供有关序列中每个特征位置的信息，以使模型能够捕获序列信息。
（3）输入多头注意层200：对于输入序列中的每个特征，自注意力机制计算三个向量：查询（Q）、键（K）和值（V）。每个注意力头都涉及并行多组查询、键和值的变换，这允许模型学习从输入序列中获取不同类型的注意力模式或特征。自注意力机制计算了查询和键之间的相似性分数（注意力分数）以及每个特征在其他特征上的关注程度来获得注意力权重。最后通过每个特征注意力权重的加权和，代表每个特征的注意力输出。
（4）拼接和线性变换：连接所有注意力头的输出并经过线性变换，以产生每个注意力头的最终注意力输出。
（5）残差连接和标准化：多头注意层200输出与嵌入层100相加（使用残差连接），然后通过标准化步骤帮助稳定训练过程。
（6）输入位置逐点前馈网络（即前馈层300）：在多头注意力层200之后，每个标记的表示经过前馈层300。在本申请一些实施例中，前馈层300由两个线性变换层组成，中间采用tanh激活。
（7）残差连接和标准化（再次）：前馈层300的输出与多头注意力层200的输出相加，然后进行标准化。
（8）从解码器20的输出层输出：Transformer模型的最后一层可用于各种任务，具体取决于特定的应用。在本申请一些实施例中，使用tanh激活输出层，用于预测运动想象的速度参数和位置参数，可选的，还可采用sigmoid、ReLU、PReLU、ELU、softplus、softmax、swish等激活函数替代tanh。
第一深度学习模型中包括Dropout层和Batch Normalization层，Dropout层可由防止模型过拟合，提高泛化能力，Batch Normalization层用于进行标准化处理，在进行参数更新时保持Dropout层和Batch Normalization层处于冻结状态，防止其在参数更新过程中被更新，使模型的输入特征保持不变，提高了参数更新过程中的稳定性。
另外，除了可采用Transformer模型，本领域技术人员可根据实际需要基于其他类型的深度学习模型生成第一深度学习模型，如深度强化学习模型、生成对抗网络模型等，这并不影响本申请的保护范围。
可以理解的是，若第一深度学习模型采用基于多头注意力机制的Transformer模型，则目标深度学习模型和第二深度学习模型均采用基于多头注意力机制的Transformer模型。
在本申请一些实施例中，所述第一深度学习模型的生成过程包括：
基于高通量神经信号的样本数据生成训练集和测试集；
基于所述训练集对第二深度学习模型进行训练，训练完成后，生成所述第一深度学习模型；
其中，所述测试集为用于对所述第一深度学习模型进行参数更新的数据集。
本实施例中，获取高通量神经信号的样本数据，并基于样本数据生成训练集和测试集，其中，训练集用于对第二深度学习模型进行训练，测试集为用于对第一深度学习模型进行参数更新。构建第二深度学习模型，基于训练集对第二深度学习模型进行训练，训练完成后，生成第一深度学习模型，通过基于样本数据生成训练集和测试集，可更加高效地训练出第一深度学习模型，并对其进行参数更新。
在本申请一些实施例中，基于高通量神经信号的样本数据生成训练集和测试集的具体过程包括：
基于所述预设降维算法对所述样本数据进行特征降维，生成降维数据集；
按预设比例将所述降维数据集划分为所述训练集和所述测试集。
本实施例中，样本数据的特征量较大，大的特征量可能意味着冗余的稀疏信息，这会导致训练欠拟合和效率降低，因此，基于预设降维算法对样本数据进行特征降维，生成降维数据集，然后按预设比例将降维数据集划分为训练集和测试集，例如，预设比例可以为训练集占80%，测试集占20%。为了保证准确地进行参数更新，训练集和测试集中的数据不同。
通过对样本数据进行降维，大幅降低了输入模型的特征量，避免了训练欠拟合，提高了训练效率。
可选的，预设降维算法为包括主成分分析（PCA）、独立成分分析（ICA）、局部线性嵌入（LLE）、t-随机邻近嵌入（t-SNE）等算法中任一种。
在本申请一些实施例中，还包括：按预设预处理流程对要进行特征降维的高通量神经信号或样本数据先进行预处理，所述预设预处理流程为包括带通滤波、去除异常值、划分时间窗中的一种或多种的组合。
本实施例中，通过对要进行特征降维的高通量神经信号或样本数据进行预处理，提高了高通量神经信号或样本数据的准确性，从而进一步提高了模型输出的预测结果的准确性。
需要说明的是，带通滤波、去除异常值、划分时间窗的具体过程为现有技术，在此不再赘述。
在本申请一些实施例中，所述预设降维算法包括主成分分析法，其中，降维后保留的主成分，对原始数据方差的解释程度累计达到80%以上。
主成分分析法的主要目标是在尽量保留原始数据的方差的前提下，减少数据集中的特征数量。将原始数据转换到一个新的坐标系，其中新的坐标系中的坐标轴（主成分）彼此正交且按对原始数据方差的解释程度排序。具有最大特征值的特征向量是第一个主成分，具有第二大特征值的是第二个主成分，依此类推。本实施例中，降维后保留的主成分，对原始数据方差的解释程度累计达到80%以上，从而实现在保证保留主要特征的基础上降低了特征量。
本领域技术人员可根据不同类型的高通量神经信号采用不同的解释程度累计标准，这并不影响本申请的保护范围。
本申请实施例中的运动想象时的高通量神经信号的处理方法，基于预设降维算法对高通量神经信号进行特征降维，生成目标高通量神经信号；基于目标高通量神经信号，利用训练好的目标深度学习模型，预测运动想象的速度参数和位置参数；根据与多个目标高通量神经信号对应的各速度参数和各位置参数，确定运动想象的运动轨迹；其中，目标深度学习模型是通过对预训练的第一深度学习模型进行参数更新后生成的，在参数更新的过程中，基于预设目标位置和第一深度学习模型在前一时刻输出的位置参数，调整第一深度学习模型在当前时刻输出的速度参数，并基于调整后的速度参数更新第一深度学习模型，通过使用直接从大脑皮层内采集的高通量神经元信号，增大了输入模型的信息量，并对高通量神经信号进行降维，实现有效提取关键特征，大幅降低了预测模型的特征输入维度，且提高了训练效率和预测效率，同时通过对预训练的第一深度学习模型针对预测的速度参数在相对于目标位置的运动趋势上的表现进行参数更新，进一步提高了模型预测精度，进而实现更加准确和高效地预测出运行想象的持续的运动轨迹。
为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。
本申请实施例提供一种运动想象时的高通量神经信号的处理方法，高通量神经信号为目标对象进行运动想象时从其大脑皮层采集到的神经信号，包括以下步骤：
步骤S1，按预设预处理流程对高通量神经信号的样本数据进行预处理，预设预处理流程包括带通滤波、去除异常值和划分时间窗。
步骤S2，基于主成分分析法对样本数据进行特征降维，生成降维数据集，并将降维数据集中的80%作为训练集，20%作为测试集。
步骤S3，基于Transformer模型构建第二深度学习模型，基于训练集对第二深度学习模型进行训练，训练完成后，生成第一深度学习模型。
步骤S4，冻结第一深度学习模型中的Dropout层和Batch Normalization层，基于测试集，采用基于Refit的速度向量校正方法对第一深度学习模型进行参数更新，参数更新完成后生成目标深度学习模型。
具体的，如图3所示，解码位置为第一深度学习模型预测出的位置参数，解码速度向量为第一深度学习模型预测出的速度参数，该位置参数与预设目标位置之间的第一角度偏差为θ，根据预设权重w对第一角度偏差θ进行加权，得到第二角度偏差wθ，基于第二角度偏差wθ对解码速度向量进行校正，得到校正后的速度向量，即调整后的速度参数。确定当前时刻输出的速度参数和所述调整后的速度参数之间的均方误差，基于均方误差更新第一深度学习模型中优化器的梯度，并基于梯度更新所述第一深度学习模型，在达到预设迭代次数后，生成目标深度学习模型。图4示出了对运动想象轨迹进行离线训练和预测的示意图。如图4所示，包括多条用实线表示的真实轨迹，以及与真实轨迹对应的多条用虚线表示的预测轨迹，模型预测出的多条预测轨迹与相应的真实轨迹接近（平均R方大于0.7），表明模型可准确的对运动想象的运动轨迹进行预测。
步骤S5， 按预设预处理流程对实时高通量神经信号进行预处理。
步骤S6，基于主成分分析法对预处理后的高通量神经信号进行特征降维，生成目标高通量神经信号。
步骤S7，基于目标高通量神经信号，利用训练好的目标深度学习模型，预测运动想象的速度参数和位置参数。
步骤S8，根据与多个所述目标高通量神经信号对应的各所述速度参数和各所述位置参数，确定运动想象的运动轨迹。如图5所示为进行实时轨迹预测的示意图，可见本申请实施例中的运动想象时的高通量神经信号的处理方法实现了准确的对运动想象的运动轨迹进行预测。
通过应用以上技术方案，通过使用直接从大脑皮层内采集的高通量神经元信号，增大了输入模型的信息量，并对高通量神经信号进行降维，实现有效提取关键特征，大幅降低了预测模型的特征输入维度，且提高了训练效率和预测效率，同时通过对预训练的第一深度学习模型针对预测的速度参数在相对于目标位置的运动趋势上的表现进行参数更新，进一步回传损失，优化模型精度，进而实现了更加准确和高效地预测出运行想象的持续的运动轨迹。
本申请实施例还提出了一种运动想象时的高通量神经信号的处理装置，如图6所示，所述处理装置包括处理器，所述处理器配置为执行根据本申请各个实施例的运动想象时的高通量神经信号的处理方法。
上述的处理器可以是通用处理器，包括CPU (Central Processing Unit，中央处理器)、NP (Network Processor，网络处理器)等；还可以是DSP (Digital SignalProcessing，数字信号处理器)、ASIC (Application Specific Integrated Circuit，专用集成电路)、FPGA (Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现根据本申请各个实施例的运动想象时的高通量神经信号的处理方法。
所述计算机可读存储介质诸如但并不限于包括软盘、光盘、CDROM、磁光盘等任何类型的盘、只读存储器（ROM）、随机存取存储器（RAM）、EPROM、EEPROM、磁卡或光卡、或适于存储电子指令的任何类型的介质，其中每个介质耦合到计算机系统总线。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘)等。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (10)
1.一种运动想象时的高通量神经信号的处理方法，所述高通量神经信号为目标对象进行运动想象时从其大脑皮层采集到的神经信号，其特征在于，所述处理方法包括：
基于预设降维算法对高通量神经信号进行特征降维，生成目标高通量神经信号；
基于所述目标高通量神经信号，利用训练好的目标深度学习模型，预测运动想象的速度参数和位置参数；
根据与多个所述目标高通量神经信号对应的各所述速度参数和各所述位置参数，确定运动想象的运动轨迹；
其中，所述目标深度学习模型是通过对预训练的第一深度学习模型进行参数更新后生成的，在所述参数更新的过程中，基于预设目标位置和所述第一深度学习模型在前一时刻输出的位置参数，调整所述第一深度学习模型在当前时刻输出的速度参数，并基于调整后的速度参数更新所述第一深度学习模型。
2.如权利要求1所述的处理方法，其特征在于，所述基于预设目标位置和所述第一深度学习模型在前一时刻输出的位置参数，调整所述第一深度学习模型在当前时刻输出的速度参数的具体过程包括：
确定所述预设目标位置和所述前一时刻输出的位置参数之间的第一角度偏差；
基于预设权重对所述第一角度偏差进行加权，生成第二角度偏差；
基于所述第二角度偏差对所述当前时刻输出的速度参数进行调整。
3.如权利要求2所述的处理方法，其特征在于，所述基于调整后的速度参数更新所述第一深度学习模型的具体过程包括：
确定所述当前时刻输出的速度参数和所述调整后的速度参数之间的均方误差；
基于所述均方误差更新所述第一深度学习模型中优化器的梯度，并基于所述梯度更新所述第一深度学习模型。
4. 如权利要求1所述的处理方法，其特征在于，所述第一深度学习模型采用基于多头注意力机制的Transformer模型，在所述参数更新的过程中，保持所述第一深度学习模型中的Dropout层和Batch Normalization层处于冻结状态。
5.如权利要求1所述的处理方法，其特征在于，所述第一深度学习模型的生成过程包括：
基于高通量神经信号的样本数据生成训练集和测试集；
基于所述训练集对第二深度学习模型进行训练，训练完成后，生成所述第一深度学习模型；
其中，所述测试集为用于对所述第一深度学习模型进行参数更新的数据集。
6.如权利要求5所述的处理方法，其特征在于，基于高通量神经信号的样本数据生成训练集和测试集的具体过程包括：
基于所述预设降维算法对所述样本数据进行特征降维，生成降维数据集；
按预设比例将所述降维数据集划分为所述训练集和所述测试集。
7.如权利要求1或6所述的处理方法，其特征在于，还包括：按预设预处理流程对要进行特征降维的高通量神经信号或样本数据先进行预处理，所述预设预处理流程为包括带通滤波、去除异常值、划分时间窗中的一种或多种的组合。
8.根据权利要求1或6所述的处理方法，其特征在于，所述预设降维算法包括主成分分析法，其中，降维后保留的主成分，对原始数据方差的解释程度累计达到80%以上。
9.一种运动想象时的高通量神经信号的处理装置，其特征在于，所述处理装置包括处理器，所述处理器配置为执行根据权利要求1-8中任一项所述的运动想象时的高通量神经信号的处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-8中任一项所述的运动想象时的高通量神经信号的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410020213.4A CN117520755B (zh) | 2024-01-08 | 2024-01-08 | 运动想象时的高通量神经信号的处理方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410020213.4A CN117520755B (zh) | 2024-01-08 | 2024-01-08 | 运动想象时的高通量神经信号的处理方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117520755A true CN117520755A (zh) | 2024-02-06 |
| CN117520755B CN117520755B (zh) | 2024-03-12 |
Family
ID=89742424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410020213.4A Active CN117520755B (zh) | 2024-01-08 | 2024-01-08 | 运动想象时的高通量神经信号的处理方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117520755B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118094200A (zh) * | 2024-04-28 | 2024-05-28 | 中国科学院深圳先进技术研究院 | 一种基于自监督学习的神经信号生成方法、系统及终端 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413050A (zh) * | 2013-08-20 | 2013-11-27 | 北京工业大学 | 基于极速学习机的运动想象脑电信号投票策略分类方法 |
| CN107193240A (zh) * | 2017-07-13 | 2017-09-22 | 江苏易格生物科技有限公司 | 一种高通量生理信号采集分析装置 |
| CN107661099A (zh) * | 2017-08-03 | 2018-02-06 | 天津大学 | 一种检测不同脑力负荷水平下运动状态的脑电分析方法 |
| CN108364062A (zh) * | 2018-02-28 | 2018-08-03 | 天津大学 | 基于memd的深度学习模型构建方法及在运动想象中的应用 |
| CN108875799A (zh) * | 2018-05-29 | 2018-11-23 | 齐鲁工业大学 | 一种基于改进s变换的运动想象分类识别方法 |
| CN110555468A (zh) * | 2019-08-15 | 2019-12-10 | 武汉科技大学 | 一种联合递归图和cnn的脑电信号识别方法及系统 |
| KR20190141326A (ko) * | 2018-06-14 | 2019-12-24 | 한국과학기술원 | 심층 컨볼루션 신경망을 이용한 심전도 부정맥 분류 방법 및 장치 |
| CN114400066A (zh) * | 2022-01-14 | 2022-04-26 | 北京航空航天大学 | 运动想象设备操控方法、装置及系统 |
| CN115474948A (zh) * | 2022-09-23 | 2022-12-16 | 深圳睿瀚医疗科技有限公司 | 基于运动幻觉增强下肢运动想象的脑机接口方法及系统 |
| CN115687982A (zh) * | 2022-11-30 | 2023-02-03 | 北京航空航天大学 | 自供能脑机接口系统及其应用方法 |
| CN116028874A (zh) * | 2021-10-25 | 2023-04-28 | 复旦大学 | 一种轻量化的运动想象脑电信号分类方法 |
-
2024
- 2024-01-08 CN CN202410020213.4A patent/CN117520755B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413050A (zh) * | 2013-08-20 | 2013-11-27 | 北京工业大学 | 基于极速学习机的运动想象脑电信号投票策略分类方法 |
| CN107193240A (zh) * | 2017-07-13 | 2017-09-22 | 江苏易格生物科技有限公司 | 一种高通量生理信号采集分析装置 |
| CN107661099A (zh) * | 2017-08-03 | 2018-02-06 | 天津大学 | 一种检测不同脑力负荷水平下运动状态的脑电分析方法 |
| CN108364062A (zh) * | 2018-02-28 | 2018-08-03 | 天津大学 | 基于memd的深度学习模型构建方法及在运动想象中的应用 |
| CN108875799A (zh) * | 2018-05-29 | 2018-11-23 | 齐鲁工业大学 | 一种基于改进s变换的运动想象分类识别方法 |
| KR20190141326A (ko) * | 2018-06-14 | 2019-12-24 | 한국과학기술원 | 심층 컨볼루션 신경망을 이용한 심전도 부정맥 분류 방법 및 장치 |
| CN110555468A (zh) * | 2019-08-15 | 2019-12-10 | 武汉科技大学 | 一种联合递归图和cnn的脑电信号识别方法及系统 |
| CN116028874A (zh) * | 2021-10-25 | 2023-04-28 | 复旦大学 | 一种轻量化的运动想象脑电信号分类方法 |
| CN114400066A (zh) * | 2022-01-14 | 2022-04-26 | 北京航空航天大学 | 运动想象设备操控方法、装置及系统 |
| CN115474948A (zh) * | 2022-09-23 | 2022-12-16 | 深圳睿瀚医疗科技有限公司 | 基于运动幻觉增强下肢运动想象的脑机接口方法及系统 |
| CN115687982A (zh) * | 2022-11-30 | 2023-02-03 | 北京航空航天大学 | 自供能脑机接口系统及其应用方法 |
Non-Patent Citations (2)
| Title |
|---|
| 孟霏 等: ""运动想象脑电信号的特征提取和分类进展"", 《北京生物医学工程》, vol. 32, no. 2, 30 April 2013 (2013-04-30), pages 209 - 214 * |
| 袁小庆 等: ""基于运动意图识别的上肢助力外骨骼复合 控制方法研究"", 《机 械 工 程 学 报》, vol. 59, no. 15, 31 August 2023 (2023-08-31), pages 73 - 82 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118094200A (zh) * | 2024-04-28 | 2024-05-28 | 中国科学院深圳先进技术研究院 | 一种基于自监督学习的神经信号生成方法、系统及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117520755B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | KDnet-RUL: A knowledge distillation framework to compress deep neural networks for machine remaining useful life prediction | |
| CN112446270B (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| CN117520755B (zh) | 运动想象时的高通量神经信号的处理方法及相关设备 | |
| CN112052948B (zh) | 一种网络模型压缩方法、装置、存储介质和电子设备 | |
| CN113761261A (zh) | 图像检索方法、装置、计算机可读介质及电子设备 | |
| CN116977730A (zh) | 一种基于迁移学习的无监督低质量图像分类方法 | |
| CN113781461A (zh) | 一种病人智能监控排序方法 | |
| CN117217280A (zh) | 神经网络模型优化方法、装置及计算设备 | |
| CN115810351A (zh) | 一种基于视听融合的管制员语音识别方法及装置 | |
| CN117094451B (zh) | 一种耗电量的预测方法、装置及终端 | |
| US20210374545A1 (en) | Method and apparatus of increasing knowledge based on uncertainty in neural networks | |
| CN113920123A (zh) | 一种成瘾性脑网络分析方法及装置 | |
| CN115824213A (zh) | 一种基于follower模型的视觉语言导航方法 | |
| CN115512214A (zh) | 一种基于因果注意力的室内视觉导航方法 | |
| Xia et al. | A conditional classification recurrent RBM for improved series mid-term forecasting | |
| Wirayasa et al. | Comparison of Convolutional Neural Networks Model Using Different Optimizers for Image Classification | |
| CN112733925A (zh) | 基于fpcc-gan的构建轻型图像分类网络的方法及系统 | |
| CN111080730A (zh) | 基于跨通道和空间加权卷积特征的脑图像解码方法及系统 | |
| CN116401377B (zh) | 一种基于扩散概率分布的时序知识图谱推理方法 | |
| CN117974693B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN117274256B (zh) | 一种基于瞳孔变化的疼痛评估方法、系统及设备 | |
| US20210365794A1 (en) | Discovering Novel Artificial Neural Network Architectures | |
| Goh et al. | Reducing the complexity of an adaptive radial basis function network with a histogram algorithm | |
| Zhang et al. | Directly Denoising Diffusion Model | |
| CN117576162A (zh) | 一种白质纤维束追踪方法、装置、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |