CN111445542B - 基于弹性突触门的跨受试者神经解码系统、方法、装置 - Google Patents
基于弹性突触门的跨受试者神经解码系统、方法、装置 Download PDFInfo
- Publication number
- CN111445542B CN111445542B CN202010246799.8A CN202010246799A CN111445542B CN 111445542 B CN111445542 B CN 111445542B CN 202010246799 A CN202010246799 A CN 202010246799A CN 111445542 B CN111445542 B CN 111445542B
- Authority
- CN
- China
- Prior art keywords
- layer
- subject
- representation
- decoding
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 210000000225 synapse Anatomy 0.000 title claims abstract description 51
- 230000001537 neural effect Effects 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 65
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 40
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 46
- 230000004913 activation Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 7
- 230000000946 synaptic effect Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 5
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims 1
- 230000004048 modification Effects 0.000 claims 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 57
- 230000008569 process Effects 0.000 description 21
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 238000013508 migration Methods 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 5
- 230000000638 stimulation Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000007177 brain activity Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 230000008904 neural response Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241001653634 Russula vesca Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000036992 cognitive tasks Effects 0.000 description 2
- 230000007646 directional migration Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000002610 neuroimaging Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于脑机接口技术领域，具体涉及一种基于弹性突触门的跨受试者神经解码系统、方法、装置，旨在解决在特定受试者上独立训练的神经解码在跨受试者解码时准确率较低的问题。本系统包括：预处理模块，配置为获取待解码的功能性核磁共振图像并进行预处理，得到预处理图像；解码模块，配置为通过基于弹性突触门的解码模型对所述预处理图像进行解码，得到在采集功能性核磁共振图像时受试者受到的刺激的向量表示；其中，基于弹性突触门的解码模型基于多层前向神经网络构建。本发明提高了基于功能性核磁共振成像的神经解码在跨受试者解码时的准确率。
Description
技术领域
本发明属于脑机接口技术领域，具体涉及一种基于弹性突触门的跨受试者神经解码系统、方法、装置。
背景技术
近年来，神经解码技术发展迅速，它通过分析人的大脑活动来揭示人所看到、感知或注意到的刺激。目前神经解码所采用的信号主要有神经电生理信号，如脑电，和神经影像信号，如核磁共振成像。其中，基于功能性核磁共振成像(fMRI)的神经解码是在神经反应与刺激之间建立映射关系，从脑成像数据中计算出对应的刺激信息，由于其具有非侵入性、没有辐射暴露的优点，使其在本领域中得到了广泛的应用。
现有基于功能性核磁共振成像(fMRI)的神经解码大多是针对特定受试者的解码器，但要破译大脑皮层的表征，仅仅研究特定对象的特性是不够的，相反，要获得贯穿个体的普遍原理。因此，跨受试者的准确解码仍然具有挑战性。
由于解码器的核心是将神经反应与刺激联系起来的计算映射，因此对于不同的受试者，其脑神经响应模式的细节可能会有较大差异，这是实现精确的受试者间解码的主要障碍。如果解码器是在不同的受试者进行训练和测试的，那么相比于在同一个受试者进行训练和测试，解码精度会大幅提高。
相应地，本领域需要一种新的跨受试者神经解码方法来解决上述问题。
发明内容
为了解决现有技术中的上述问题，即为了解决在特定受试者上独立训练的神经解码在跨受试者解码时准确率较低的问题，本发明第一方面，提出了一种基于弹性突触门的跨受试者神经解码系统，该系统包括：预处理模块、解码模块；
所述预处理模块，配置为获取待解码的功能性核磁共振图像并进行预处理，得到预处理图像；
所述解码模块，配置为通过基于弹性突触门的解码模型对所述预处理图像进行解码，得到第一表示；所述第一表示为在采集功能性核磁共振图像时受试者受到的刺激的向量表示；
所述基于弹性突触门的解码模型基于多层前向神经网络构建，所述多层前向神经网络其隐含层的隐含状态通过门控函数值与各隐含层权重的乘积对上一隐含层的隐含状态加权获取；所述门控函数值通过预设的门控函数获取。
在一些优选的实施方式中，所述预处理模块中“获取待解码的功能性核磁共振图像并进行预处理”，其方法为：将获取的功能性核磁共振图像进行时间对齐、头动校正，校正完成后进行空间标准化。
在一些优选的实施方式中，所述基于弹性突触门的解码模型其训练方法为：
步骤A100，获取训练样本集，并将训练样本集中的训练样本进行预处理；所述训练样本包括功能性核磁共振图像样本、对应的第一表示标签；所述第一表示的预处理为将第一表示编码成预设维度的数值表示；
步骤A200，依次选取所述样本集中的训练样本，根据选取的功能性核磁共振图像及对应第一表示的维度初始化所述多层前向神经网络的输入层、输出层的尺寸；
步骤A300，输入选取的功能性核磁共振图像；根据受试者对应的描述子，通过预设的门控函数得到门控函数值，并结合各隐含层的权重，得到各隐含层的隐含状态；基于最后一层的隐含状态，输出层输出第一表示的预测标签，作为第二表示；
步骤A400，基于门控函数值修改梯度值，最小化神经网络的损失函数；根据所述第二表示、所述第一表示，通过最小化的损失函数得到损失值，更新神经网络的权重；
步骤A500，判断是否遍历完所述训练样本集中的样本，若是，则结束训练，否则跳转步骤A200。
在一些优选的实施方式中，步骤A100中“将第一表示编码成预设维度的数值表示”，其方法为：若所述第一表示其对应的刺激为图像刺激，则通过预训练的残差网络ResNet模型进行编码；若所述第一表示其对应的刺激为文本刺激，则通过预训练的word2vec模型进行编码。
在一些优选的实施方式中，所述预设的门控函数其计算方法为：
其中，
表示多层前向神经网络第l层对应受试者Ti的门控函数值，
表示多层前向神经网络第l层对应受试者Ti的描述子，为0-1的随机值，s表示激活函数的加权项，σ(.)表示sigmoid激活函数。
在一些优选的实施方式中，步所述隐含层的隐含状态其获取方法为：
其中，Wl表示多层前向神经网络第l层的权重，bl表示多层前向神经网络第l层的偏置，σact[·]表示sigmoid激活函数，
表示在受试者Ti上训练的多层前向神经网络第l层出的输出的隐含状态，
表示在受试者Ti上训练的多层前向神经网络第l-1层的隐含状态，T表示转置。
在一些优选的实施方式中，步骤A400中“基于门控函数值修改梯度值”，其方法为：
其中，gradl',ij表示多层前向神经网络第l层修改后的梯度值， i，j为下标，表示网络层单元的序号，gradl,ij为多层前向神经网络第l层未修改的梯度值，
表示在受试者Ti及Ti前的受试者上累积的门控函数值。
本发明的第二方面，提出了一种基于弹性突触门的跨受试者神经解码方法，该方法包括：
步骤S100，获取待解码的功能性核磁共振图像并进行预处理，得到预处理图像；
步骤S200，通过基于弹性突触门的解码模型对所述预处理图像进行解码，得到第一表示；所述第一表示为在采集功能性核磁共振图像时受试者受到的刺激的向量表示；
所述基于弹性突触门的解码模型基于多层前向神经网络构建，所述多层前向神经网络其隐含层的隐含状态通过门控函数值与各隐含层权重的乘积对上一隐含层的隐含状态加权获取；所述门控函数值通过预设的门控函数获取。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的基于弹性突触门的跨受试者神经解码方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于弹性突触门的跨受试者神经解码方法。
本发明的有益效果：
本发明提高了基于功能性核磁共振成像的神经解码在跨受试者解码时的准确率。本发明构建了基于弹性突触门的解码模型，在不同受试者上训练单个解码模型时，通过弹性突触门即门控函数激活或阻断隐藏层的特定单元，使得单个解码模型可以连续适用于多个受试者，不会受试者的差异而造成解码准确率降低。
由于弹性突触门是一种非线性的、可变的门控函数，为了保证解码的准确率，本发明使用描述子来记录了神经网络隐藏层各单元和受试者的特应关系，通过调节梯度，保护神经网络中对解码某一受试者较为重要的参数。同时，作为网络的附属模块的描述子，结构简单，可以随神经网络的参数同步优化，显著减少优化算法的负担。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于弹性突触门的跨受试者神经解码系统的框架示意图；
图2是本发明一种实施例的基于弹性突触门的跨受试者神经解码方法的流程示意图；
图3是本发明基于弹性突触门的解码模型的训练过程的流程示意图；
图4是本发明基于弹性突触门的解码模型与其他解码模型的解码效果对比示意图；
图5是本发明一种实施例的基于弹性突触门的跨受试者神经解码系统的硬件框架示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的基于弹性突触门的跨受试者神经解码系统，如图1 所示，该系统包括：预处理模块100、解码模块200；
所述预处理模块100，配置为获取待解码的功能性核磁共振图像并进行预处理，得到预处理图像；
所述解码模块200，配置为通过基于弹性突触门的解码模型对所述预处理图像进行解码，得到第一表示；所述第一表示为在采集功能性核磁共振图像时受试者受到的刺激的向量表示；
所述基于弹性突触门的解码模型基于多层前向神经网络构建，所述多层前向神经网络其隐含层的隐含状态通过门控函数值与各隐含层权重的乘积对上一隐含层的隐含状态加权获取；所述门控函数值通过预设的门控函数获取。
为了更清晰地对本发明基于弹性突触门的跨受试者神经解码系统进行说明，下面结合附图对本发明方法一种实施例中各模块进行展开详述。
下文优选实施例中，先对基于弹性突触门的解码模型的训练过程进行详述，然后再对基于弹性突触门的跨受试者神经解码系统进行详述。
1、基于弹性突触门的解码模型的训练过程
步骤A100，获取训练样本集，并将训练样本集中的训练样本进行预处理；所述训练样本包括功能性核磁共振图像样本、对应的第一表示标签；所述第一表示的预处理为将第一表示编码成预设维度的数值表示。
训练样本集中的训练样本包括功能性核磁共振图像(FMRI) 样本、对应的第一表示标签，第一表示为在采集功能性核磁共振图像时受试者受到的刺激的向量表示。在采集训练样本时，使用了两组功能性核磁共振实验中获得的数据，分别针对自然语言刺激和图像刺激。自然语言刺激组采集了5个受试者分别阅读627个英文句子时的大脑活动；图像刺激组采集了3个受试者分别观看4983张图像时的大脑活动。
基于获取的训练样本，功能性核磁共振图像采用FSL(一种神经影像处理软件)进行时间对齐和头动校正，采用FLIRT将校正完成数据标准空间MNI-152上(即空间标准化)。
在采集fMRI时感知到的刺激表示可运算的数值形式。其中，利用预训练的残差网络ResNet-152模型将图片刺激编码为1000维的数值表示；本发明利用预训练的word2vec模型将自然语言文本刺激编码为300 维的数值表示。1000维和300维为本实施例中的优选维度。
步骤A200，依次选取所述样本集中的训练样本，根据选取的功能性核磁共振图像及对应第一表示的维度初始化所述多层前向神经网络的输入层、输出层的尺寸。
本发明中，基于弹性突触门的解码模型基于多层前向神经网络构建。因此，在进行训练前，先对多层前向神经网络进行初始化，如图3所示。具体如下：
根据预处理得到的功能性核磁共振图像及第一表示的维度配置神经网络输入层、输出层的尺寸，根据受试者数量配置基础网络描述子的容量。另外，网络层数L、dropout百分比beta和激活函数控制参数 smax均为预设值，网络输入层、隐藏层、输出层和描述子的权重及偏置也设置为随机的初始值。
在本发明中，网络输入层维度优选设置为1000，输出层维度优选设置为300，dropout百分比beta优选设置为0.2，激活函数控制参数 smax优选设置为400，网络层数L优选设置为4层，隐藏层设置为2层，每一个隐藏层都附有与受试者个数相同的描述子。描述子设置为一个维度与对应神经网络隐藏层单元个数相同的向量，描述子向量中的值表示了对应隐藏层单元对于解码某一受试者的重要程度。网络输入层、隐藏层、输出层和描述子的权重及偏置优选设置为随机的正值小数。
步骤A300，输入选取的功能性核磁共振图像；根据受试者对应的描述子，通过预设的门控函数得到门控函数值，并结合各隐含层的权重，得到各隐含层的隐含状态；基于最后一层的隐含状态，输出层输出第一表示的预测标签，作为第二表示。
按受试者顺序将预处理后的训练样本送入神经网络，按照设置参数训练跨受试者解码模型(即基于弹性突触门的解码模型)。具体处理过程如下：
步骤A310，设置设定学习速率alpha、学习速率衰减项gamma、批大小bs、迭代轮数epoch，在本发明中，优选的初始化学习速率alpha为 0.008，学习速率衰减项gamma为2，批大小bs为32，迭代轮数epoch为100，弹性因子smax为750。
步骤A320，输入功能性核磁共振图像并计算经过前向神经网络f的每一层(第l层)的隐含状态值，并传递给下一层(第l+1层)，直到输出层为止。计算方法如公式(1)(2)所示：
其中，Wl表示多层前向神经网络第l层的权重，bl表示多层前向神经网络第l层的偏置，σact[·]表示sigmoid激活函数，也就是本文的门控函数，
表示在受试者Ti上训练的多层前向神经网络第l层出的输出的隐含状态，
表示在受试者Ti上训练的多层前向神经网络第l-1层的隐含状态，
表示多层前向神经网络第l层对应受试者Ti的门控函数值，
表示多层前向神经网络第l层对应受试者Ti的描述子，为0-1的随机值，s表示激活函数的加权项，σ(.)表示sigmoid激活函数，T表示转置。
由公式(1)(2)可知描述子经激活函数运算后的值为门控函数值，每一个隐藏层单元对应一个门控函数值。隐藏层的输出都需要乘以门控函数值。因此如果门控函数值为0，则对应单元输出到下一层的值也为0，相当于该单元被隐藏，
其中，s具体表示如公式(3)(4)：
其中，e表示当前迭代轮数，E表示总迭代轮数(预设值 epoch)，smax表示弹性因子，b表示当前训练批次，B表示当前训练轮中总训练批次(B＝E/bs)。
基于最后一层的隐含状态，通过输出层输出第一表示的预测标签，作为第二表示。
基于门控函数值修改梯度值，最小化神经网络的损失函数；根据所述第二表示、所述第一表示，通过最小化的损失函数得到损失值，更新神经网络的权重。
根据步骤A300获取的预测标签，即第二表示，将其与真实标签即第一表示进行对比，得到损失值；并通过门控函数值修改对应的梯度值。具体处理如下：
本发明中神经网络的损失函数，如公式(5)所示：
其中，
为损失值，
表示受试者受到刺激Si后采集的功能性核磁共振图像，
表示刺激Si的数值表示，i表示下标，训练语料中句子个数，
表示根据门控函数值
进行加权的L1正则化项，λ表示正则化项的加权值。
其中，
如公式(6)所示：
其中，
表示第l层第i个单元在受试者Ti之前的所有受试者上累积的门控函数值，
第l层第i个单元，L表示神经网络总层数，Nl表示神经网络第l层单元总数。
使用SGD算法(反向传播算法)最小化损失函数，具体如下：
步骤S410，利用反向传播算法，计算各单元权重为优化所述损失函数所需的梯度gradl,ij；
步骤S411，根据门控函数值修改梯度，如公式(7)所示：
其中，grad’l,ij表示多层前向神经网络第l层修改后的梯度，即梯度值，i，j为下标，表示网络层单元的序号。
步骤S412，基于修改后的梯度值，使用SGD算法最小化损失函数，得到损失值，更新多层前向神经网络的权重。
步骤A500，判断是否遍历完所述训练样本集中的样本，若是，则结束训练，否则跳转步骤A200。
循环执行步骤A200-A400，直至遍历完训练样本集中的所有样本。
2、基于弹性突触门的跨受试者神经解码系统
所述预处理模块100，配置为获取待解码的功能性核磁共振图像并进行预处理，得到预处理图像。
在本实施例中，获取待解码的功能性核磁共振图像，并采用 FSL(一种神经影像处理软件)进行时间对齐和头动校正，采用FLIRT将校正完成数据标准空间MNI-152上(即空间标准化)，得到预处理图像。
所述解码模块200，配置为通过基于弹性突触门的解码模型对所述预处理图像进行解码，得到第一表示；所述第一表示为在采集功能性核磁共振图像时受试者受到的刺激的向量表示。
在本实施例中，基于预处理图像，通过基于弹性突触门的解码模型进行解码，得到在采集功能性核磁共振图像时受试者受到的刺激的向量表示。
另外，为证明本发明解码方法的有效性，将其与其他模型的解码模型进行对比，如图4所示：
图4中，SGN(Synaptic Gating Network)为采用了本发明的提出的基于弹性突触门的解码模型，FFN(Feed-forward Network，简单前向神经网络)、IMM(IncrementalMoment Moving，递进冲量转移模型)、LWF(Learning without Forgetting，无遗忘学习模型)和EWC(Elastic Weight Consolidation，弹性权重巩固模型)分别为4种对比模型；其中FNN 包括两种子模型FFN-f(FFN-frozen，冻结参数的前向神经网络)和FFN-s (FFN-start，同步训练的前向神经网络)；其中IMM包含两种子模型 IMM-m(IMM-mode，模式冲量转移模型)和IMM-d(IMM-distance，距离冲量转移模型)；VT1、VT2、VT3表示接受了视觉认知任务的受试者， LT1-LT5表示5个接受了语言认知任务的受试者。在图中，不同受试者大脑激活水平的解码准确率以不同颜色的圆点表示。mean表示平均解码准确率。图4中(a)、(b)、(c)表示不同方法在接受了视觉认知任务的 3个受试者VT1、VT2、VT3上进行跨受试者解码的准确率。图4中(d)、 (e)、(f)表示不同方法在接受了语言认知任务的5个受试者LT1--LT5 上进行跨受试者解码的准确率。
由图4中的(a)、(b)可以看出，本发明提供的弹性突触门的跨受试者学习方法SGN，在从受试者VT1迁移到VT2、VT3的过程中，分别取得了0.831、0.845和0.850的解码准确率，如图4中的(a)所示。相对于IMM-m的解码准确率取得了平均14.96％的提升；相对于LWF的解码准确率平均取得了22.46％的提升；SGN相对于其他方法的提升则更多。而在与此反向的迁移过程，即从VT3迁移到VT2、VT1的过程中，分别取得了0.833、0.846和0.853的解码准确率，如图4中的(b)所示。与正向迁移过程相比，在同一受试者大脑激活上的解码表现并未出现显著变化。而其他方法，反向迁移过程中VT1和VT3的解码表现均有显著的、大幅度的下降。图4中的(c)将正向和方向的迁移过程在每个受试者上的解码表现做了平均，各种方法的解码准确率排名与图4中的(a)、(b)中一致，本发明提出的方法SGN显著优于其他方法。
由图4中的(d)、(e)可以看出，本发明提供的弹性突触门的跨受试者学习方法SGN，在从受试者LT1迁移到LT5的过程中，分别取得了0.940、0.925、0.931、0.883和0.928的解码准确率，如图4中的(d) 所示。而在与此反向的迁移过程，即从LT5迁移到LT1的过程中，分别取得了0.946、0.927、0.932、0.873和0.931的解码准确率，如图4中的(e) 所示。与正向迁移过程相比，在同一受试者大脑激活上的解码表现并未出现显著变化。而其他方法，同一受试者在反向迁移过程中的解码表现均比正向迁移有显著的、大幅度的下降。图4中的(f)将正向和方向的迁移过程在每个受试者上的解码表现做了平均，各种方法的解码准确率排名与图4中的(d)、(e)中一致，本发明提出的方法SGN显著优于其他方法。
需要说明的是，上述实施例提供的基于弹性突触门的跨受试者神经解码系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第二实施例的一种基于弹性突触门的跨受试者神经解码方法，如图2所示，包括：
步骤S100，获取待解码的功能性核磁共振图像并进行预处理，得到预处理图像；
步骤S200，通过基于弹性突触门的解码模型对所述预处理图像进行解码，得到第一表示；所述第一表示为在采集功能性核磁共振图像时受试者受到的刺激的向量表示；
所述基于弹性突触门的解码模型基于多层前向神经网络构建，所述多层前向神经网络其隐含层的隐含状态通过门控函数值与各隐含层权重的乘积对上一隐含层的隐含状态加权获取；所述门控函数值通过预设的门控函数获取。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的方法的具体的工作过程及有关说明，可以参考前述系统实施例中的对应过程，在此不再赘述。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于弹性突触门的跨受试者神经解码方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于弹性突触门的跨受试者神经解码方法。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
下面参考图5，其示出了适于用来实现本申请方法、系统、装置实施例的服务器的计算机系统的结构示意图。图5示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统包括中央处理单元(CPU， Central Processing Unit)501，其可以根据存储在只读存储器(ROM， Read Only Memory)502中的程序或者从存储部分508加载到随机访问存储器(RAM，Random Access Memory)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统操作所需的各种程序和数据。 CPU 501、ROM502以及RAM 503通过总线504彼此相连。输入/输出(I/O， Input/Output)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD， Liquid Crystal Display)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM 或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种基于弹性突触门的跨受试者神经解码系统，其特征在于，该系统包括：预处理模块、解码模块；
所述预处理模块，配置为获取待解码的功能性核磁共振图像并进行预处理，得到预处理图像；
所述解码模块，配置为通过基于弹性突触门的解码模型对所述预处理图像进行解码，得到第一表示；所述第一表示为在采集功能性核磁共振图像时受试者受到的刺激的向量表示；
所述基于弹性突触门的解码模型基于多层前向神经网络构建，所述多层前向神经网络其隐含层的隐含状态通过门控函数值与各隐含层权重的乘积对上一隐含层的隐含状态加权获取；所述门控函数值通过预设的门控函数获取；
所述预设的门控函数其计算方法为：
其中，
表示多层前向神经网络第l层对应受试者Ti的门控函数值，
表示多层前向神经网络第l层对应受试者Ti的描述子，为0-1的随机值，s表示激活函数的加权项，σ(.)表示sigmoid激活函数；
所述基于弹性突触门的解码模型其训练方法为：
步骤A100，获取训练样本集，并将训练样本集中的训练样本进行预处理；所述训练样本包括功能性核磁共振图像样本、对应的第一表示标签；所述第一表示的预处理为将第一表示编码成预设维度的数值表示；
步骤A200，依次选取所述样本集中预处理的训练样本，根据选取的功能性核磁共振图像及对应第一表示的维度初始化所述多层前向神经网络的输入层、输出层的尺寸；
步骤A300，输入选取的功能性核磁共振图像；根据受试者对应的描述子，通过预设的门控函数得到门控函数值，并结合各隐含层的权重，得到各隐含层的隐含状态；基于最后一层的隐含状态，输出层输出第一表示的预测标签，作为第二表示；
步骤A400，基于门控函数值修改梯度值，最小化神经网络的损失函数；根据所述第二表示、所述第一表示，通过最小化的损失函数得到损失值，更新神经网络的权重；
步骤A500，判断是否遍历完所述训练样本集中的样本，若是，则结束训练，否则跳转步骤A200。
2.根据权利要求1所述的基于弹性突触门的跨受试者神经解码系统，其特征在于，所述预处理模块中“获取待解码的功能性核磁共振图像并进行预处理”，其方法为：将获取的功能性核磁共振图像进行时间对齐、头动校正，校正完成后进行空间标准化。
3.根据权利要求1所述的基于弹性突触门的跨受试者神经解码系统，其特征在于，步骤A100中“将第一表示编码成预设维度的数值表示”，其方法为：若所述第一表示其对应的刺激为图像刺激，则通过预训练的残差网络ResNet模型进行编码；若所述第一表示其对应的刺激为文本刺激，则通过预训练的word2vec模型进行编码。
4.根据权利要求1所述的基于弹性突触门的跨受试者神经解码系统，其特征在于，所述隐含层的隐含状态其获取方法为：
其中，W l 表示多层前向神经网络第l层的权重，b l 表示多层前向神经网络第l层的偏置，σact[·]表示sigmoid激活函数，
表示在受试者Ti上训练的多层前向神经网络第l层出的输出的隐含状态，
表示在受试者Ti上训练的多层前向神经网络第l-1层的隐含状态，T表示转置。
5.根据权利要求1所述的基于弹性突触门的跨受试者神经解码系统，其特征在于，步骤A400中“基于门控函数值修改梯度值”，其方法为：
其中，grad′ l,ij表示多层前向神经网络第l层修改后的梯度值，i，j为下标，grad l,ij为多层前向神经网络第l层未修改的梯度值，
表示在受试者Ti及Ti前的受试者上累积的门控函数值。
6.一种基于弹性突触门的跨受试者神经解码方法，其特征在于，该方法包括：
步骤S100，获取待解码的功能性核磁共振图像并进行预处理，得到预处理图像；
步骤S200，通过基于弹性突触门的解码模型对所述预处理图像进行解码，得到第一表示；所述第一表示为在采集功能性核磁共振图像时受试者受到的刺激的向量表示；
所述基于弹性突触门的解码模型基于多层前向神经网络构建，所述多层前向神经网络其隐含层的隐含状态通过门控函数值与各隐含层权重的乘积对上一隐含层的隐含状态加权获取；所述门控函数值通过预设的门控函数获取；
所述预设的门控函数其计算方法为：
其中，
表示多层前向神经网络第l层对应受试者Ti的门控函数值，
表示多层前向神经网络第l层对应受试者Ti的描述子，为0-1的随机值，s表示激活函数的加权项，σ(.)表示sigmoid激活函数；
所述基于弹性突触门的解码模型其训练方法为：
步骤A100，获取训练样本集，并将训练样本集中的训练样本进行预处理；所述训练样本包括功能性核磁共振图像样本、对应的第一表示标签；所述第一表示的预处理为将第一表示编码成预设维度的数值表示；
步骤A200，依次选取所述样本集中预处理的训练样本，根据选取的功能性核磁共振图像及对应第一表示的维度初始化所述多层前向神经网络的输入层、输出层的尺寸；
步骤A300，输入选取的功能性核磁共振图像；根据受试者对应的描述子，通过预设的门控函数得到门控函数值，并结合各隐含层的权重，得到各隐含层的隐含状态；基于最后一层的隐含状态，输出层输出第一表示的预测标签，作为第二表示；
步骤A400，基于门控函数值修改梯度值，最小化神经网络的损失函数；根据所述第二表示、所述第一表示，通过最小化的损失函数得到损失值，更新神经网络的权重；
步骤A500，判断是否遍历完所述训练样本集中的样本，若是，则结束训练，否则跳转步骤A200。
7.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求6所述的基于弹性突触门的跨受试者神经解码方法。
8.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求6所述的基于弹性突触门的跨受试者神经解码方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010246799.8A CN111445542B (zh) | 2020-03-31 | 2020-03-31 | 基于弹性突触门的跨受试者神经解码系统、方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010246799.8A CN111445542B (zh) | 2020-03-31 | 2020-03-31 | 基于弹性突触门的跨受试者神经解码系统、方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111445542A CN111445542A (zh) | 2020-07-24 |
| CN111445542B true CN111445542B (zh) | 2022-07-29 |
Family
ID=71650972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010246799.8A Active CN111445542B (zh) | 2020-03-31 | 2020-03-31 | 基于弹性突触门的跨受试者神经解码系统、方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111445542B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104605853A (zh) * | 2015-01-21 | 2015-05-13 | 北京师范大学 | 一种基于脑功能特征的实时神经解码系统 |
| CN107248180A (zh) * | 2017-05-08 | 2017-10-13 | 西安交通大学 | 一种基于隐状态模型的fMRI自然图像解码方法 |
| CN107533380A (zh) * | 2015-04-10 | 2018-01-02 | 谷歌公司 | 用于键盘输入解码的神经网络 |
| CN110569880A (zh) * | 2019-08-09 | 2019-12-13 | 天津大学 | 一种利用人工神经网络模型对视觉刺激解码方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10092205B2 (en) * | 2013-07-03 | 2018-10-09 | University Of Houston System | Methods for closed-loop neural-machine interface systems for the control of wearable exoskeletons and prosthetic devices |
-
2020
- 2020-03-31 CN CN202010246799.8A patent/CN111445542B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104605853A (zh) * | 2015-01-21 | 2015-05-13 | 北京师范大学 | 一种基于脑功能特征的实时神经解码系统 |
| CN107533380A (zh) * | 2015-04-10 | 2018-01-02 | 谷歌公司 | 用于键盘输入解码的神经网络 |
| CN107248180A (zh) * | 2017-05-08 | 2017-10-13 | 西安交通大学 | 一种基于隐状态模型的fMRI自然图像解码方法 |
| CN110569880A (zh) * | 2019-08-09 | 2019-12-13 | 天津大学 | 一种利用人工神经网络模型对视觉刺激解码方法 |
Non-Patent Citations (3)
| Title |
|---|
| Brain Encoding and Decoding in fMRI with Bidirectional Deep Generative Models;Changde Du 等;《Engineering》;20191031;第5卷(第5期);全文 * |
| 基于fMRI的视觉信息解码研究进展;宋素涛 等;《济南大学学报( 自然科学版)》;20160331;第30卷(第2期);全文 * |
| 基于视觉信息编解码的深度学习类脑机制研究;杜长德 等;《张江科技评论》;20190831(第4期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111445542A (zh) | 2020-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yue et al. | A novel semi-supervised convolutional neural network method for synthetic aperture radar image recognition | |
| US11138731B2 (en) | Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium | |
| Güçlü et al. | Increasingly complex representations of natural movies across the dorsal stream are shared between subjects | |
| Gokcay et al. | Information theoretic clustering | |
| US8799202B2 (en) | Predicting states of subjects | |
| Seeliger et al. | End-to-end neural system identification with neural information flow | |
| US11341632B2 (en) | Method for obtaining at least one feature of interest | |
| CN114944229A (zh) | 基于深度学习和磁共振结构脑影像的脑龄预测方法 | |
| Wein et al. | A graph neural network framework for causal inference in brain networks | |
| CN111667483B (zh) | 多模态图像的分割模型的训练方法、图像处理方法和装置 | |
| CN109447096B (zh) | 一种基于机器学习的扫视路径预测方法和装置 | |
| CN113688862B (zh) | 一种基于半监督联邦学习的脑影像分类方法及终端设备 | |
| CN111667027B (zh) | 多模态图像的分割模型训练方法、图像处理方法及装置 | |
| CN113256592B (zh) | 图像特征提取模型的训练方法、系统及装置 | |
| CN112991483B (zh) | 一种非局部低秩约束的自校准并行磁共振成像重构方法 | |
| CN117011673B (zh) | 基于噪声扩散学习的电阻抗层析成像图像重建方法和装置 | |
| CN115330669A (zh) | 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质 | |
| Wein et al. | Forecasting brain activity based on models of spatiotemporal brain dynamics: A comparison of graph neural network architectures | |
| Ghimire et al. | Improving generalization of deep networks for inverse reconstruction of image sequences | |
| Adams et al. | Fully bayesian vib-deepssm | |
| CN111445542B (zh) | 基于弹性突触门的跨受试者神经解码系统、方法、装置 | |
| CN111714124B (zh) | 磁共振电影成像方法、装置、成像设备及存储介质 | |
| Li et al. | Neural architecture search for optimization of spatial-temporal brain network decomposition | |
| CN111080730B (zh) | 基于跨通道和空间加权卷积特征的脑图像解码方法及系统 | |
| Qiao et al. | Generative modelling of the ageing heart with cross-sectional imaging and clinical data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |