CN115349833B - 一种基于解码的实时功能磁共振神经反馈调控系统及装置 - Google Patents

Abstract

本发明公开了一种基于解码的实时功能磁共振神经反馈调控系统及装置。包括：行为学模块：用于得到被试者的记忆准确率；解码模型训练模块：用于所述图模型数据和所述解码标签作为解码模型的输入进行模型训练，获取最优解码模型；实时解码神经反馈模块：用于利用所述最优解码模型实时预测被试者包含记忆状态和非记忆状态的实时状态信息及实时准确率，并以不同的图片形式反馈给被试者，被试者利用调节策略调节反馈信息，自主训练工作记忆能力。本发明利用解码实时功能磁共振神经反馈技术提高或者改善被试者的工作记忆水平，并且提高被试者对于注意力网络和工作记忆网络的自我控制。本发明可应用于阿尔茨海默病等患者的临床治疗。

Description

一种基于解码的实时功能磁共振神经反馈调控系统及装置

技术领域

本发明涉及一种认知干预技术领域，尤其涉及一种基于解码的实时功能磁共振神经反馈调控系统及装置。

背景技术

工作记忆的处理过程分为三个阶段：编码阶段、巩固阶段和回忆阶段。一段信息被记住还是遗忘取决于记忆编码之前以及编码过程中的大脑活动。有关功能磁共振和脑电的研究表明，许多皮层和皮层下脑区比如背外侧前额叶、扣带回、海马以及颞叶等脑区的活动可能预测被记住的信息与被遗忘的信息。而前额叶皮质（the prefrontal cortex , PFC）和内侧颞叶（medial temporal lobes , MTL）等脑区是对序列记忆至关重要的区域。例如，PFC受损的患者在涉及项目呈现顺序的记忆的任务中经常受到损害。2008年有研究利用被试者在记忆编码阶段的激活模式预测了被试者是否记住室内和室外场景，预测准确率大于机会概率（Balci, S. K., et al. "Prediction of successful memory encoding fromfMRI data." Medical image computing and computer-assisted intervention:MICCAI... International Conference on Medical Image Computing and Computer-Assisted Intervention. Vol. 2008. No. 11. NIH Public Access, 2008.）。另外还有研究指出记忆编码刺激之前发生的大脑状态会影响记忆的结果，海马旁回脑区对于记忆的影响最大，当实时检测到被试者进入他们的“好”或“坏”的记忆大脑状态时，就会触发不同的实验刺激场景，并且被试者记住由“好”的脑状态触发的场景方面比“坏”脑状态更准确（Yoo J J, Hinds O, Ofen N, et al. When the brain is prepared to learn:enhancing human learning using real-time fMRI[J]. Neuroimage, 2012, 59(1):846-852.）。因此，通过利用编码阶段的磁共振数据对记忆结果进行分类，被试者可能会更加意识到他们什么时候处于，以及如何进入更好的记忆状态。

使用调控技术手段让被试者进入良好的记忆状态对于提高记忆力有着重要的作用，目前主要分为侵入式的调控手段以及非侵入式技术。侵入式调控手段包括植入电极电刺激(electrical stimulation)，2018年，有研究表明编码阶段的神经活动可以预测记忆表现，通过给被试者植入电极刺激，并开发对与分类记忆相关的大脑状态的特定神经活动模型，然后触发刺激以响应预测记忆功能较差的时间间隔进行干预，该技术作为一种调控手段，可用于治疗记忆功能障碍（Ezzyat, Youssef, et al. "Closed-loop stimulationof temporal cortex rescues functional networks and improves memory." Naturecommunications 9.1 (2018): 1-8.）。然而，侵入式手段对于被试者而言是有创伤性的，并且如果没有专业技术人员指导的话具体实施过程不太安全，因此使用非侵入式的实时功能磁共振神经反馈手段进行调控更具有应用价值。基于实时功能磁共振的神经反馈技术是一种无创、非侵入式以及高分辨率成像的技术，被试者通过实时磁共振神经反馈训练，能够自愿的控制特异性区域的大脑活动。通过实时连续测量大脑活动，并向被试者提供关于目标大脑区域正在进行的活动的反馈，完成训练过程。目前很多研究将神经反馈目标大脑区域定位在背外侧前额叶、海马体和海马旁回等单个脑区上，虽然通过神经反馈训练被试者的工作记忆改善显著，但是这些研究还具有局限性，即单个脑区提供的信息不够全面，不能够完全反映被试者记忆过程中全脑的活动状态。

为此，我们提出一种基于解码的实时功能磁共振神经反馈调控系统及装置以解决上述技术问题。

发明内容

本发明的目的在于提供一种基于解码的实时功能磁共振神经反馈调控系统及装置，解决了现有技术中如何利用解码模型检测与记忆有关的脑区活动，并将解码结果反馈给被试者，被试者根据解码结果及时自主调节大脑活动，生成新的神经反馈信号，提供较全面的反馈信息并且形成闭环调控有助于被试者的自我调节，有效地提高被试者大脑中工作记忆和注意力网络的工作效率，使得被试者的工作记忆水平显著提升的问题。

本发明采用的技术方案如下：

一种基于解码的实时功能磁共振神经反馈调控系统，包括：

行为学模块：用于测量被试者的工作记忆水平，得到被试者的记忆准确率；

解码模型训练模块：用于利用磁共振机器采集每名被试者的短序列记忆实验磁共振数据和基线实验磁共振数据，分别获取记忆状态和非记忆状态作为解码标签，将所述短序列记忆实验磁共振数据和所述基线实验磁共振数据转换为图模型数据，所述图模型数据和所述解码标签作为解码模型的输入进行模型训练，获取最优解码模型；

实时解码神经反馈模块：用于利用所述最优解码模型实时预测被试者包含记忆状态和非记忆状态的实时状态信息及实时准确率，并以不同的图片形式反馈给被试者，被试者利用调节策略调节反馈信息，自主训练工作记忆能力。

进一步地，对被试者的工作记忆水平进行测量采用面孔3-back实验任务。

进一步地，所述解码模型训练模块具体包括：

序列实验单元：用于利用磁共振机器采集每名被试者的短序列记忆实验磁共振数据，获取通过按键判断并排不同图片的相对位置正确的实验块对应的短序列记忆实验磁共振数据作为记忆状态；利用磁共振机器采集每名被试者的基线实验磁共振数据，通过按键判断并排相同图片的方向正确的实验块对应的基线实验磁共振数据作为非记忆状态；

模型训练单元：用于将所述短序列记忆实验磁共振数据和所述基线试验磁共振数据进行预处理，并将预处理后的数据转换为图模型数据，将所述记忆状态和所述非记忆状态作为解码标签，利用所述图模型数据和所述解码标签对解码模型进行训练，通过调参获取最优解码模型。

进一步地，所述短序列记忆实验具体为：被试者对并排呈现的若干张不同图片进行序列编码记忆，根据被试者按键判断并排不同图片的相对位置顺序，获取按键表示的图片顺序结果和短序列记忆实验磁共振数据，并将图片顺序结果为正确实验块的序列编码记忆阶段时间点对应的短序列记忆实验磁共振数据作为记忆状态。

进一步地，所述基线实验具体为：被试者对并排呈现的若干张相同图片进行观看，不进行编码记忆，根据被试者按键判断并排相同图片的方向位置，获取按键表示的图片方向结果和基线实验磁共振数据，并将图片方向结果为正确实验块的观看阶段时间点对应的基线实验磁共振数据作为非记忆状态。

进一步地，所述模型训练单元中利用所述图模型数据和所述解码标签对解码模型进行训练，通过调参获取最优解码模型具体包括：

图模型数据处理单元：用于利用脑图谱模板将所述图模型数据划分为不同脑区，计算每个脑区对应的时间序列，生成每个被试者对应的时间序列乘以脑区数量的图模型特征数据；

解码标签设置单元：用于将所述记忆状态设置为记忆标签，所述非记忆状态设置为非记忆标签，并将记忆标签和非记忆标签作为解码标签；

解码模型训练单元：用于将所述图模型特征数据和所述解码标签输入到解码模型中，通过调整学习率、参数个数和轮次，计算解码模型的准确率，将准确率不再下降的解码模型确定为最优解码模型。

进一步地，所述实时解码神经反馈模块具体包括：

实时预处理单元：用于利用外接工作站对磁共振机器采集每名被试者实时得到的每个时间点的数据进行实时头动校正和实时平滑处理，得到实时预处理数据；

实时解码单元：用于将所述实时预处理数据输入至所述最优解码模型得到被试者当前时间点处于记忆或非记忆的实时状态信息以及实时准确率，并将实时状态信息和实时准确率作为神经反馈信号并转换为图片形式反馈给被试者；

实时反馈单元：用于被试者根据所述神经反馈信号，利用调节策略将所述神经反馈信号转变为当前时间点处于记忆的实时状态信息和实时准确率比上一次实时准确率高的信息。

进一步地，所述调节策略为在实时解码神经反馈前被试者记忆长度大于10的图片序列或者字母顺序，用于提高被试者记忆脑区的活动，自主调控记忆脑区的激活程度。

进一步地，所述实时解码神经反馈模块由反馈和静息两个任务交替组成，每个循环由预设次数反馈和静息交替组成。

本发明还提供一种基于解码的实时功能磁共振神经反馈调控装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现如下操作：

获取行为模块测量的被试者的工作记忆水平，得到被试者的记忆准确率；

利用磁共振机器采集每名被试者的短序列记忆实验磁共振数据和基线实验磁共振数据，分别获取记忆状态和非记忆状态作为解码标签，将所述短序列记忆实验磁共振数据和所述基线实验磁共振数据转换为图模型数据，所述图模型数据和所述解码标签作为解码模型的输入进行模型训练，获取最优解码模型；

利用所述最优解码模型实时预测被试者包含记忆状态和非记忆状态的实时状态信息及实时准确率，并以不同的图片形式反馈给被试者，被试者利用调节策略调节反馈信息，自主训练工作记忆能力。

本发明的有益效果是：本发明利用解码实时功能磁共振神经反馈技术提高或者改善被试者的工作记忆水平，并且提高被试者对于注意力网络和工作记忆网络的自我控制。本发明可应用于阿尔茨海默病等患者的临床治疗。

附图说明

图1为本发明一种基于解码的实时功能磁共振神经反馈调控系统的框架图；

图2本发明实施例行为学模块中的面孔3-back实验范式；

图3本发明实施例解码模型训练模块中的短序列记忆实验范式；

图4本发明实施例解码模型训练模块中的基线实验范式；

图5本发明实施例实时解码神经反馈模块的示意图；

图6本发明实施例实时解码神经反馈模块中的实时反馈单元实验范式；

图7为本发明一种基于解码的实时功能磁共振神经反馈调控装置的结构示意图。

具体实施方式

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：参见图1，本系统主要包括实时解码神经反馈模块，通过实时调控记忆脑区，有望提高被试者的记忆能力。首先采集短序列记忆实验磁共振数据和基线实验磁共振数据，并利用解码模型分类记忆和非记忆两种认知状态。进一步地，将该解码模型用于实时功能磁共振神经反馈实验，即利用解码模型实时地判断被试者当前的神经活动状态并预测记忆准确率，并将状态信息和预测准确率以不同微笑程度和清晰度图片的形式反馈给被试者，当检测到被试者记忆编码时未处于记忆的神经状态时，通过让被试者集中注意力并使用调节策略，实时地调节当前的大脑活动，从而让被试者可以进入有效的记忆编码状态。本发明通过解码被试者的大脑活动精准调控记忆编码脑区，有望改善当前和后续的记忆能力，该方法可能为记忆障碍患者提供一种有效的治疗系统，通过多次训练，达到长期的改善效果。

一种基于解码的实时功能磁共振神经反馈调控系统，包括：

参见图2，行为学模块：用于测量被试者的工作记忆水平，得到被试者的记忆准确率；

对被试者的工作记忆水平进行测量采用面孔3-back实验任务。

招募30名年龄在18~30岁的身体和精神健康的被试者，视力正常或者矫正之后正常，无幽闭恐惧症，妊娠等。所有被试者首先在磁共振外面的计算机上进行记忆力测试的面孔3-back行为学实验。面孔3-back实验任务，实验使用的刺激图片为不同的中国名人面孔图片，每幅面孔图像的人脸都会位于图片的中央，并且为了避免不同表情对记忆任务的干扰，所选图片表情多为中性或者微笑。在每次试验中，一张名人面孔图片呈现在屏幕中央，持续时间为1s，紧接着是时间抖动为0.5到0.75s的刺激间隔。如果当前的人脸图片和间隔为3的人脸图片一致，则要求被试者按键“1”，记录被试者的按键结果和反应时间。在神经反馈前进行一次行为学实验，在神经反馈任务之后也进行一次行为学实验。

解码模型训练模块：用于利用磁共振机器采集每名被试者的短序列记忆实验磁共振数据和基线实验磁共振数据，分别获取记忆状态和非记忆状态作为解码标签，将所述短序列记忆实验磁共振数据和所述基线实验磁共振数据转换为图模型数据，所述图模型数据和所述解码标签作为解码模型的输入进行模型训练，获取最优解码模型；

大脑神经活动随着不同的记忆状态而波动，本研究通过磁共振实验来解码记忆与非记忆状态下的脑影像，研究不同状态下的大脑活动模式。

所述解码模型训练模块具体包括：

序列实验单元：用于利用磁共振机器采集每名被试者的短序列记忆实验磁共振数据，获取通过按键判断并排不同图片的相对位置正确的实验块对应的短序列记忆实验磁共振数据作为记忆状态；利用磁共振机器采集每名被试者的基线实验磁共振数据，通过按键判断并排相同图片的方向正确的实验块对应的基线实验磁共振数据作为非记忆状态；

所述短序列记忆实验具体为：被试者对并排呈现的若干张不同图片进行序列编码记忆，根据被试者按键判断并排不同图片的相对位置顺序，获取按键表示的图片顺序结果和短序列记忆实验磁共振数据，并将图片顺序结果为正确实验块的序列编码记忆阶段时间点对应的短序列记忆实验磁共振数据作为记忆状态。

所使用的面孔图片均是被试者熟悉的面孔，目的是让被试者使用名人姓名或者角色姓名等语义的记忆策略进行序列记忆。序列记忆实验如图3所示，对于每一个试次，均包括了记住顺序，回忆顺序和判断顺序阶段，其中记住顺序阶段包括同时呈现水平排列的四张名人面孔图片，被试者在4s持续时间内记住四张图片的相对空间位置，然后是注视圆点的回忆顺序阶段，被试者在该阶段不断地回忆上一个阶段记住的顺序，持续时间为6~10s的随机，判断顺序阶段由水平排列的2张面孔图片组成，被试者在4s之内要求判断2张图片的相对于记忆顺序阶段的空间顺序，若左边一张图片在前面，则通过食指按键“1”，若右边图片在前面，则按键“2”。为了能够最大化记忆任务的难度和灵敏度，判断阶段的2张图片均为相邻的图片。三个阶段结束之后是随机时间的静息，确保每个实验块block的持续时间在30s。每名被试者每个实验包括了15次所述试次，共进行3次实验。

所述基线实验具体为：被试者对并排呈现的若干张相同图片进行观看，不进行编码记忆，根据被试者按键判断并排相同图片的方向位置，获取按键表示的图片方向结果和基线实验磁共振数据，并将图片方向结果为正确实验块的观看阶段时间点对应的基线实验磁共振数据作为非记忆状态。

参见图4，主要包括3次实验，该实验包括了观看图片，注视圆点和判断方向三个阶段，其中观看图片阶段包括同时呈现水平排列的相同四张人脸图片，目的是匹配在短序列记忆实验的视觉信息量，但不对图片顺序进行加工，总共持续4s，然后是注视圆点阶段，要求被试者注视屏幕上的圆点，持续时间为6~10s随机，判断方向阶段由水平呈现的2张相同面孔图片组成，但以相反或者相同的空间位置呈现，概率为50%，如果2张图片方向一致，则要求被试者按键“1”，如果2张图片方向不一致，则按键“2”。之后是随机时间的静息状态，时间设置与序列记忆实验基本一致。该实验过程在1次实验中包含15个试次。

在开始实验之前，所有被试者在磁共振外面进行了练习实验，使得每个被试者均熟悉具体的实验任务要求和流程，并且直到被试者的判断准确率达到85%，才进行下一步的磁共振扫描实验。

模型训练单元：用于将所述短序列记忆实验磁共振数据和所述基线试验磁共振数据进行预处理，并将预处理后的数据转换为图模型数据，将所述记忆状态和所述非记忆状态作为解码标签，利用所述图模型数据和所述解码标签对解码模型进行训练，通过调参获取最优解码模型。

将得到的短序列记忆实验磁共振数据和基线试验磁共振数据进行时间层校正，头动校正，分割，配准，标准化和平滑等预处理流程。具体而言，将序列记忆实验中判断正确试次的分类标签设记忆状态模式，所使用的训练数据为该标签对应的记住顺序阶段预处理之后的短序列记忆实验磁共振数据。将基线实验中判断正确试次的分类标签设非记忆状态模式，所使用的训练数据为该标签对应的观看图片阶段预处理之后的基线试验磁共振数据。

所述模型训练单元中利用所述图模型数据和所述解码标签对解码模型进行训练，通过调参获取最优解码模型具体包括：

图模型数据处理单元：用于利用脑图谱模板将所述图模型数据划分为不同脑区，计算每个脑区对应的时间序列，生成每个被试者对应的时间序列乘以脑区数量的图模型特征数据；

根据脑图谱MMP模板将预处理之后的图模型数据分为不同的脑区，计算每个脑区图像的平均值即时间序列作为每个脑区的特征，最终每个被试者图模型特征数据为VϵR^(t×n)，其中t为每个试次的时长，n为脑区分区数量。

解码标签设置单元：用于将所述记忆状态设置为记忆标签，所述非记忆状态设置为非记忆标签，并将记忆标签和非记忆标签作为解码标签；

解码模型训练单元：用于将所述图模型特征数据和所述解码标签输入到解码模型中，通过调整学习率、参数个数和轮次，计算解码模型的准确率，将准确率不再下降的解码模型确定为最优解码模型。

解码模型包括深度学习的多层感知机（MLP）、图神经网络（GNN）、长短期记忆网络（LSTM），机器学习的支持向量机（SVM）。解码模型的输出为是否记忆的概率。将数据按7：1：2分为训练集、验证集、测试集，使用训练集训练模型，根据验证集结果调整解码模型参数，最终使用测试集结果计算解码模型的准确率，将准确率不再下降的解码模型作为最优解码模型。

参见图5，实时解码神经反馈模块：用于利用所述最优解码模型实时预测被试者包含记忆状态和非记忆状态的实时状态信息及实时准确率，并以不同的图片形式反馈给被试者，被试者利用调节策略调节反馈信息，自主训练工作记忆能力。

实时解码神经反馈模块利用基于最优解码模型的神经反馈技术来增强被试者的工作记忆能力。在该模块中，被试者躺在磁共振里进行反馈实验任务，利用实时平台进行数据实时预处理和实时解码计算，利用最优解码模型计算被试者当前的大脑状态并在一个重复时间（TR）2s内实时反馈给被试者，被试者根据反馈信号及时调节大脑活动，从而自主训练激活记忆相关脑区，通过多次训练达到改善记忆的目的。

所述实时解码神经反馈模块具体包括：

实时预处理单元：用于利用外接工作站对磁共振机器采集每名被试者实时得到的每个时间点的数据进行实时头动校正和实时平滑处理，得到实时预处理数据；

实时预处理单元将从磁共振机器得到的每个时间点的原始数据在实时计算机中进行实时头动校正和实时平滑处理；

实时解码单元：用于将所述实时预处理数据输入至所述最优解码模型得到被试者当前时间点处于记忆或非记忆的实时状态信息以及实时准确率，并将实时状态信息和实时准确率作为神经反馈信号并转换为图片形式反馈给被试者；

实时解码单元将实时预处理得到的数据放入最优解码模型中，计算被试者当前时间点处于记忆或非记忆的实时状态信息以及实时准确率，将该实时状态信息和实时准确率以比较形象生动的笑脸形式反馈给被试者，如果被试者看到的反馈图片微笑程度低，则表明解码器预测被试者此时处于“非记忆”状态，如果被试者看到的反馈图片微笑程度高，则表明解码器预测被试者此时处于“记忆”状态，图片中笑脸的清晰程度随着预测准确率的升高而更清晰。

实时反馈单元：用于被试者根据所述神经反馈信号，利用调节策略将所述神经反馈信号转变为当前时间点处于记忆的实时状态信息和实时准确率比上一次实时准确率高的信息。

所述调节策略为在实时解码神经反馈前被试者记忆长度大于10的图片序列或者字母顺序，用于提高被试者记忆脑区的活动，自主调控记忆脑区的激活程度。

所述实时解码神经反馈模块由反馈和静息两个任务交替组成，每个循环由预设次数反馈和静息交替组成。

实时反馈单元时，被试者根据看到神经反馈信号，使用调节策略调节大脑当前神经活动，使得反馈信号朝着笑脸程度最大以及图片更清晰的方向调整，其调节反馈策略是让被试者回忆实验前准备好长度大于10的人脸序列或者字母顺序，利用调节反馈策略极大地提高被试者记忆相关脑区的活动，自主调控记忆脑区的激活程度。该实验由“反馈”和“静息”2个实验任务交替组成，即进行30s的神经反馈之后，进入30s的静息阶段，目的是使得被试者的神经活动回到基线水平。该调节反馈策略实验每个run由6次“反馈”和6次“静息”交替组成，一次实验进行3个run，被试者总共进行3次相同的实验，每周固定时间进行一次。解码实时神经反馈实验过程如图6所示。

数据分析模块：用于对脑影像数据和行为学数据进行分析，即对神经反馈实验数据进行离线的预处理、激活分析和行为学数据的相关性分析；

将实时解码神经反馈模块和行为学模块得到的所有数据在数据分析模块进行计算；

所述数据分析模块具体包括：

磁共振数据离线预处理单元：用于对若干次的磁共振机器采集每名被试者实时得到的每个时间点的数据进行时间层校正、头动校正、分割、配准、标准化和平滑预处理，得到磁共振数据离线预处理数据；

离线预处理包括对结构像和功能像的分别预处理过程。结构像的预处理流程包括结构像合并，去脑壳，分割，空间标准化和皮层重建。具体流程如下：由于磁共振数据的原始结构图像中都包含着一些非脑结构，比如头骨等。因为头骨信号在后续分析中并不使用且图像边缘的信噪比较差，所以需要在图像预处理操作中将图像中的头骨等非脑结构移除。在磁共振图像处理时，有时只关注某些特定区域的状态，这就需要根据大脑的解剖结构将目标部位的组织提取出来，将脑影像按脑灰质、白质、脑脊液结构分割成为3个不同的组分。由于每个人的大脑的形状和大小均有差异，空间标准化是为了在之后的研究中可以对大量病人的数据进行统一处理和统计分析，因而需要将图像进行空间标准化。将结构像空间标准化至MNI152NLinincAsym(Ants)，方便进行后续的组分析。利用FreeSurfer软件包(http://www.freesurfer.net/)进行皮层重建，量化人脑的功能、连接以及结构属性，对结构像进行三维重建，生成展平或胀平图像，并得到皮质厚度、面积、灰质容积等解剖参数。

功能磁共振成像技术依赖神经和血管之间的耦合效应。当神经元活动增强时，能量和氧气的消耗也随之增加，造成血管内的血氧水平降低。血氧水平降低会导致血管扩张，血流量增大。上述代偿反应使得血液中的去氧血红蛋白含量总体上呈现下降趋势。顺磁性的去氧血红蛋白含量降低使得因顺磁性物质带来的散相减弱，磁共振信号增强。神经血管耦合效应使得我们可以通过检测血氧水平依赖信号的改变估计神经元的活动。上述机制使得功能磁共振信号广泛受到各类噪声的影响，因此功能磁共振数据一般要经过一系列的预处理后才能进行进一步的分析。本研究的预处理步骤包括时间层校正，头动校正，配准，标准化及空间平滑。预处理的具体流程如下：首先是时间层校正，功能磁共振的图像采集过程采用了分层采集的策略，因此单个TR下的功能磁共振图像不同层之间的采集时间也不同。不同层的采集时间差异会在后续的分析处理中带来系统性的误差，因此需要通过插值等方式进行时间层校正，将每一层的采集时间都校正到相同时间点（通常为每个TR的中间时刻）；第二步是头动校正，头动校正可以消除被试者在实验过程中头动造成的空间位置不匹配。被试者在采集过程中头部不可避免地会产生各类移动。不同TR间的头部移动造成不同TR到图像在空间位置上不匹配。而一个TR内的头动则会带来各类头动伪影，产生复杂影响。头动过程包括空间上的平移和转动。一般可以将人的大脑视作刚体模型，因此可以通过刚体模型的运动估计实现对头动参数的估计；第三步是图像配准，将功能磁共振图像与结构图像在空间上对齐有利于将功能信息映射到精细结构，实现功能的准确定位。图像配准的过程类似于头动校正，区别在于图像配准过程中涉及到的参考图像和目标图像往往具有不同的图像对比；第四步是空间标准化，空间标准化将不同被试者的个体脑空间对齐到统一的模板。不同被试者的大脑由于尺寸和形状存在差异，因此不适用于简单的刚体模型配准方法。使用非线性仿射变换进行平移，旋转，缩放，错切等变换可以估计得到被试者个体结构空间到统一模板空间到映射矩阵。将上述映射矩阵运用到被试者个体的功能图像上即可将被试者功能空间映射到模板空间。所有被试者的功能空间都映射到模板空间后可以归一化解剖结构对应的位置，实现被试者群体的分析；最后是平滑，空间平滑一般使用高斯核函数对图像进行空间域低通滤波。功能磁共振图像信噪比低，经过空间平滑可以提高图像信噪比，增强后续分析的稳定性和可靠性。

激活分析单元：用于对所述磁共振数据离线预处理数据中每名被试者进行一般线性模型分析，通过设置对比条件反馈>静息，得到大脑激活信息数据，所述大脑激活信息数据通过组水平的统计检验分析和校正得到所有被试者只由反馈任务引起的大脑激活信息，并提取记忆脑区的激活值；

激活分析单元主要分为模型建立，模型估计，对比条件以及组分析。具体分析步骤如下：对于每名被试者，使用SPM12对预处理之后的磁共振数据离线预处理数据进行个体激活分析，对于神经反馈实验的“反馈”和“静息”条件，分别定义了条件的开始时间和持续时间，并将预处理头动校正之后得到的头动参数作为协变量加入实验设计矩阵，以消除头动对信号的影响。使用128s的周期来实现高通滤波器，以便从时间序列中去除低频漂移。序列自相关采用1阶自回归模型（+白噪声）的限制最大似然算法估计。通过对建立的一般线性模型进行估计，将“反馈”条件与“静息”条件活动进行比较，设置对比条件[1,-1]，从而得到只有反馈任务导致的体素激活。将所有被试者得到的体素激活进行组分析，使用配对T检验评估第三次神经反馈训练和第一次训练的激活差异，即反馈任务对于大脑激活水平差异的显著性。并在体素水平上进行统计推断，在p<0.05时，对整个大脑进行多重比较校正，从而得到被试者群体对于“反馈>静息”的显著大脑激活响应，并确定神经反馈训练前后的差异脑区比如背外侧前额叶、海马体、海马旁回、顶叶和颞叶等的团块数量，激活点坐标以及激活T值。

脑影像与行为学数据相关性分析单元：用于计算每名被试者第一次到最后一次实时解码神经反馈模块的激活值差异，将所述激活值差异作为神经反馈前后的脑影像数据，并通过行为学模块计算被试者神经反馈前后的记忆准确率变化，将所述脑影像数据和所述记忆水平准确率变化做相关性分析计算，得到相关系数。

将组水平分析中得到的背外侧前额叶、海马体、海马旁回、顶叶和颞叶的激活坐标点，设置激活半径，然后分别提取每个被试者在这些脑区在第一次实时解码神经反馈模块训练到第三次实时解码神经反馈模块训练的激活变化值；其次，神经反馈前后均进行行为学模块的实验，神经反馈后减去神经反馈前的3-back记忆准确率和反应时分别计算每个被试者的记忆准确率变化和反应时变化；将脑影像激活变化与记忆准确率变化以及反应时变化做相关性分析，并查看显著性，从而得到随着记忆准确率的提高，被试者的大脑激活变化也有明显的提升等结果。

训练效果评估模块

基于解码的实时功能磁共振神经反馈训练是否成功需要利用数据分析模块得到的脑影像和相关性分析得到的结果去评估。具体而言，如果神经反馈技术对被试者改善记忆力有效，则在脑影像上的表现如下：随着神经反馈训练实验次数增加，被试者能够越来越灵活地调控相关脑区的激活，并且认知控制和记忆网络之内脑区的相关性会更加紧密，比如背外侧前额叶脑区在认知控制以及序列记忆时发挥着重要的作用，在记忆任务时会对海马体等脑区有自上而下的控制作用，神经反馈前后这些脑区的激活程度差异也越来越显著。而如果神经反馈对于被试者没有效果的话，被试者的背外侧前额叶以及海马体等这些脑区的激活在神经反馈前后是没有显著变化的；其次，激活变化和行为学实验准确率变化的相关性增强也能够反应神经反馈的效果显著，随着被试者3-back实验中准确率越高或者按键反应时越小，背外侧前额叶和海马体等脑区的激活差异越明显，则表明被试者的记忆增强，对应的脑影像活动也增强，进一步表明了神经反馈训练对改善记忆力产生了显著的行为效应。

与前述一种基于解码的实时功能磁共振神经反馈调控系统的实施例相对应，本发明还提供了一种基于解码的实时功能磁共振神经反馈调控装置的实施例。

参见图7，本发明实施例提供的一种基于解码的实时功能磁共振神经反馈调控装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现如下操作：

获取行为模块测量的被试者的工作记忆水平，得到被试者的记忆准确率；

利用磁共振机器采集每名被试者的短序列记忆实验磁共振数据和基线实验磁共振数据，分别获取记忆状态和非记忆状态作为解码标签，将所述短序列记忆实验磁共振数据和所述基线实验磁共振数据转换为图模型数据，所述图模型数据和所述解码标签作为解码模型的输入进行模型训练，获取最优解码模型；

利用所述最优解码模型实时预测被试者包含记忆状态和非记忆状态的实时状态信息及实时准确率，并以不同的图片形式反馈给被试者，被试者利用调节策略调节反馈信息，自主训练工作记忆能力。

本发明一种基于解码的实时功能磁共振神经反馈调控装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本发明一种基于解码的实时功能磁共振神经反馈调控装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于解码的实时功能磁共振神经反馈调控系统，其特征在于，包括：

行为学模块：用于测量被试者的工作记忆水平，得到被试者的记忆准确率；

解码模型训练模块：用于利用磁共振机器采集每名被试者的短序列记忆实验磁共振数据和基线实验磁共振数据，分别获取记忆状态和非记忆状态作为解码标签，将所述短序列记忆实验磁共振数据和所述基线实验磁共振数据转换为图模型数据，所述图模型数据和所述解码标签作为解码模型的输入进行模型训练，获取最优解码模型；

所述解码模型训练模块具体包括：

序列实验单元：用于利用磁共振机器采集每名被试者的短序列记忆实验磁共振数据，获取通过按键判断并排不同图片的相对位置正确的实验块对应的短序列记忆实验磁共振数据作为记忆状态；利用磁共振机器采集每名被试者的基线实验磁共振数据，通过按键判断并排相同图片的方向正确的实验块对应的基线实验磁共振数据作为非记忆状态；

所述短序列记忆实验具体为：被试者对并排呈现的若干张不同图片进行序列编码记忆，根据被试者按键判断并排不同图片的相对位置顺序，获取按键表示的图片顺序结果和短序列记忆实验磁共振数据，并将图片顺序结果为正确实验块的序列编码记忆阶段时间点对应的短序列记忆实验磁共振数据作为记忆状态；

所述基线实验具体为：被试者对并排呈现的若干张相同图片进行观看，不进行编码记忆，根据被试者按键判断并排相同图片的方向位置，获取按键表示的图片方向结果和基线实验磁共振数据，并将图片方向结果为正确实验块的观看阶段时间点对应的基线实验磁共振数据作为非记忆状态；

模型训练单元：用于将所述短序列记忆实验磁共振数据和所述基线试验磁共振数据进行预处理，并将预处理后的数据转换为图模型数据，将所述记忆状态和所述非记忆状态作为解码标签，利用所述图模型数据和所述解码标签对解码模型进行训练，通过调参获取最优解码模型；

所述模型训练单元中利用所述图模型数据和所述解码标签对解码模型进行训练，通过调参获取最优解码模型具体包括：

图模型数据处理单元：用于利用脑图谱模板将所述图模型数据划分为不同脑区，计算每个脑区对应的时间序列，生成每个被试者对应的时间序列乘以脑区数量的图模型特征数据，每个被试者图模型特征数据为VϵR^(t×n)，其中t为每个试次的时长，n为脑区分区数量；

解码标签设置单元：用于将所述记忆状态设置为记忆标签，所述非记忆状态设置为非记忆标签，并将记忆标签和非记忆标签作为解码标签；

解码模型训练单元：用于将所述图模型特征数据和所述解码标签输入到解码模型中，通过调整学习率、参数个数和轮次，计算解码模型的准确率，将准确率不再下降的解码模型确定为最优解码模型；

所述解码模型包括深度学习的多层感知机、图神经网络、长短期记忆网络、机器学习的支持向量机；

实时解码神经反馈模块：用于利用所述最优解码模型实时预测被试者包含记忆状态和非记忆状态的实时状态信息及实时准确率，并以不同的图片形式反馈给被试者，被试者利用调节策略调节反馈信息，自主训练工作记忆能力。

2.如权利要求1所述的一种基于解码的实时功能磁共振神经反馈调控系统，其特征在于，对被试者的工作记忆水平进行测量采用面孔3-back实验任务。

3.如权利要求1所述的一种基于解码的实时功能磁共振神经反馈调控系统，其特征在于，所述实时解码神经反馈模块具体包括：

实时预处理单元：用于利用外接工作站对磁共振机器采集每名被试者实时得到的每个时间点的数据进行实时头动校正和实时平滑处理，得到实时预处理数据；

实时解码单元：用于将所述实时预处理数据输入至所述最优解码模型得到被试者当前时间点处于记忆或非记忆的实时状态信息以及实时准确率，并将实时状态信息和实时准确率作为神经反馈信号并转换为图片形式反馈给被试者；

实时反馈单元：用于被试者根据所述神经反馈信号，利用调节策略将所述神经反馈信号转变为当前时间点处于记忆的实时状态信息和实时准确率比上一次实时准确率高的信息。

4.如权利要求3所述的一种基于解码的实时功能磁共振神经反馈调控系统，其特征在于，所述调节策略为在实时解码神经反馈前被试者记忆长度大于10的图片序列或者字母顺序，用于提高被试记忆脑区的活动，自主调控记忆脑区的激活程度。

5.如权利要求3所述的一种基于解码的实时功能磁共振神经反馈调控系统，其特征在于，所述实时解码神经反馈模块由反馈和静息两个任务交替组成，每个循环由预设次数反馈和静息交替组成。

6.一种基于解码的实时功能磁共振神经反馈调控装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-5任一项所述的一种基于解码的实时功能磁共振神经反馈调控系统的功能流程。

Images