CN104605853B - 一种基于脑功能特征的实时神经解码系统 - Google Patents

Abstract

本发明提供一种基于脑功能特征的实时神经解码系统，利用实时功能磁共振成像技术，通过对在线提取的脑功能特征进行分类，实现对磁共振功能图像的实时神经解码。本发明涉及的系统包括：预处理模块、特征提取模块、分类解码模块、显示与反馈模块以及参数配置模块。预处理模块对磁共振功能图像进行在线读取和格式转换后，通过实时头动校正、空间标准化和平滑，提高图像的信噪比；然后利用特征提取模块提取全脑图像信号的主要成分作为特征；分类解码模块则利用实时支持向量机或高斯过程分类器对特征进行分类解码，并通过显示与反馈模块将分类正确率实时反馈给被试。本发明对解读心理、识别大脑活动、以及认知功能改善等多个领域有着重要的应用价值。

Description

一种基于脑功能特征的实时神经解码系统

技术领域

本发明提供一种基于脑功能特征的实时神经解码系统，属于信息处理技术领域，具体是指通过分析实时功能磁共振成像数据提取脑功能特征，并对该特征进行实时特征分类，从而获取大脑的认知状态；同时受试者可在线观测自己的分类结果，并通过相应策略调节自己大脑的活动状态，从而达到改善相应的认知功能。

背景技术

神经解码技术是指通过建立从大脑活动到刺激的直接映射关系，利用大脑活动信号识别出刺激信息。目前神经解码所采用的信号主要有神经电生理信号，如脑电，和神经影像信号，如磁共振成像。其中，基于功能磁共振成像(fMRI)的神经解码则是在脑影像数据与目标认知功能状态之间建立映射关系，从脑成像数据中计算出认知状态信息。加州大学伯克利分校的研究者成功地利用电脑模型和fMRI数据，将观察到的脑神经活动进行解码，从而确定了测试者所看到的图片的类别。目前，基于fMRI的神经解码主要以离线方式为主，即研究者并不能够在实验结束后立即获得实验结果，往往还需要几个小时甚至几天的时间对数据进行离线处理。

实时fMRI是一种逐渐兴起的研究脑功能的技术手段，它要求功能图像的采集和处理在每个扫描脉冲重复间隔时间内完成。因此，实时磁共振成像的实现必须保证快速的扫描成像序列和图像处理算法。基于实时fMRI，可以将受训者脑功能数据的分析结果实时的反馈给受试者，从而形成了神经反馈，它为认知心理学提供了新的研究手段。在神经反馈研究中，受试者通过反馈训练，学习用意识控制自身相关脑区按照指定的方式活动。在传统的实验中，脑区的激活被认为是依赖于实验给定刺激(视觉或听觉形式)的因变量。也就是说研究的出发点是探求给定刺激对人脑活动的影响。相比之下，神经反馈允许人们来研究脑区活动的自我调控对行为的影响，即行为被当作自我意识调控的因变量。这是对传统实验模式的一种突破。此外，对功能受损脑区的康复训练可以通过反馈相关脑区的活动，按照一定的策略，使受训者学会提高这些脑区的活动强度，不断强化受损脑区功能，进而加强与之相关行为能力的表现，达到最佳康复效果。

将实时fMRI技术和神经解码技术结合起来，即实时神经解码。实时神经解码应用领域极其广泛，可以作为一类脑机接口，根据大脑刺激情况解读大脑状态，进而判断受试者的意图，从而提供了一种仅凭大脑活动就能够与外界交流或者控制外部设备的方式。另一方面，借助实时神经解码进行神经反馈，通过对在线提取的脑功能特征进行分类，从而将对大脑状态的解读反馈给受试者，受试者可通过调节神经活动直接改变目标认知功能的当前状态，理论上更有利于认知功能的改善与康复。然而，实时神经解码在国内目前尚属于空白，已有的解码系统仍属于离线方式，无法达到神经反馈的要求；且采用的特征提取方法大多是基于感兴趣区域的，而分类方法主要以支持向量机为主，该分类器的优化过程比较复杂。

发明内容

为了解决上述背景技术中现存的问题，本发明提出了一种基于脑功能特征的实时神经解码系统，通过分析实时fMRI数据提取脑功能特征，并对该特征进行实时特征分类，从而获取大脑的认知状态；同时也可将分类准确率实时反馈给受试者，通过相应策略调节自己大脑活动，从而达到改善相应的认知功能。本发明可以实时监控数据的质量，从而对实验效果进行实时评估；也可以对全脑进行特征提取和分类，从而对人的行为表现或者认知状态进行判别；也可以利用反馈训练被试，从而调节被试的心理状态和大脑功能。

一种基于脑功能特征的实时神经解码系统包括：

预处理模块，用于实时读取功能磁共振数据，然后进行格式转换、实时头动校正、实时空间标准化和平滑；

特征提取模块，用于对预处理后的功能磁共振数据进行特征提取并保存；

分类解码模块，用于对特征提取后的数据进行实时分类；

显示与反馈模块，用于实时显示脑功能特征以及头动参数的大小，并将分类的结果以多种方式实时反馈给被试；

参数配置模块，用于设置、保存、读取每个模块的详细参数。

所述的预处理模块包含格式转换子模块、实时头动校正子模块、实时空间标准化子模块和平滑子模块，格式转换子模块用于在线读取fMRI数据，同时进行格式转换后与扫描参数信息存储为三维矩阵数据结构文件；实时头动校正子模块，用于估计磁共振数据扫描时被试的头动参数，并利用该参数对格式转换后的图像进行实时头动校准；实时空间标准化子模块采用基于主轴变化和自适应高斯牛顿迭代算法的仿射变换和基于最优截止频率离散余弦基函数的非线性变换对第一幅图像进行参数估计，然后利用所估计的参数，对后续图像进行空间变换；平滑子模块用于对标准化后的图像进行空间平滑滤波，以降低高频噪声和其他因素的干扰。

所述的特征提取模块用于提取预处理后的fMRI图像中的脑功能类别特征，采用平滑L0范数重构算法或主成分分析算法将与认知状态相关的特征体素提取并保存。

所述的分类解码模块用于对脑功能特征进行分类，采用的分类器是实时支持向量机或实时高斯过程分类；首先通过离线训练数据集获取分类器的最佳分类参数，然后利用此参数的分类器，对在线测试数据集的每个TR的脑功能特征在线计算分类结果，并统计分类正确率。

所述的显示与反馈模块用于实时显示所提取的脑功能特征以及每个TR的头动参数大小，脑功能特征可以显示在二维模板或三维模板上；将统计的当前所有TR的分类准确率以动态曲线或者动态温度计的形式实时呈现给个体。

所述的参数配置模块，用于各个模块及全局参数的设置、读取与保存，包括各种预处理参数、数据处理设置、实验设计参数及反馈方式的选择和设置。

附图说明

图1：基于脑功能特征的实时神经解码系统流程图

图2：实时空间标准化流程图

图3：动态曲线反馈示意图

图4：分类器以及存取路径设置界面

具体实施方式

图1为基于脑功能特征的实时神经解码系统流程图，包括：

(1)预处理模块

预处理模块包括格式转换子模块、实时头动校正子模块、实时空间标准化子模块和平滑子模块。其中，格式转换子模块用于在线读取fMRI数据，即每扫描一次全脑(一个TR)就读取一幅图像，对应着一个时间点的fMRI数据，同时进行格式转换后与扫描参数信息存储为三维矩阵数据结构文件。以目前常用的NIFTI格式为例，NIFTI格式包括两个文件：*.img是数据文件，用于存放图像矩阵；*.hdr是头文件用于存放与扫描设备、扫描参数、被试相关的文件头信息。实时头动校正子模块利用基于高斯牛顿迭代法的回溯校正法对第一幅图像的变形参数进行估计，在保证准确性的前提下适当降低迭代收敛条件精度，即源图像与参考图像的方差的变化率小于10^-2时停止迭代，然后利用所估计的参数，对后续每个TR的图像进行实时头动校正。实时空间标准化子模块利用优化的仿射变换和非线性变换进行参数估计(参见图2)，其中优化的仿射变换是通过主轴估计法为高斯牛顿迭代提供了一个更易于收敛的初始估计，并在高斯牛顿迭代过程中引入自适应参数来调整迭代的步长以加快迭代的速度，减少仿射变换所需时间；而优化的非线性变换则是通过选取最优的离散余弦基函数的截止频率，来平衡标准化算法的运行时间与准确性；具体地说，对第一幅图像进行空间标准化参数估计，然后利用所估计的参数，对后续每个TR的图像进行空间变换。平滑子模块用于对空间标准化后的图像进行空域低通滤波处理，即使用三维高斯核与fMRI图像进行离散卷积运算，而达到以下三个目的：一是提高信噪比，降低高频噪声；二是使数据更符合高斯随机场模型，增强统计检验的有效性；三是减少不同个体的脑形状差异，便于不同个体的相互比较。高斯核在三个方向上的平滑度通常选为相同的值，用最大值半高全宽(FWHM)值来表示。

(2)特征提取模块

特征提取模块主要用于训练阶段(参见图1)，采用基于拉普拉斯的平滑L0稀疏表征算法或主成分分析算法对预处理后的fMRI图像数据进行脑功能特征提取并保存，然后在测试阶段通过在被试脑功能图像上加载该特征实现在线提取特征。其中，基于拉普拉斯的平滑L0稀疏表征算法，利用全脑体素在特定认知活动中表现出的“稀疏”特性，即只有部分体素参与特定的认知过程，并具有对脑状态进行分类的能力，采用拉普拉斯函数为核函数，将不可解析的0范数最小化问题解析化，然后利用梯度算法对最小化问题进行寻优求解，并在迭代中利用提前结束迭代的机制提高计算效率。此外，为解决拉普拉斯函数在零值附近不可导的缺陷，使用反余弦函数对其逼近。具体来说，平滑L0稀疏表征算法通过对稀疏向量进行z变换，然后利用阈值对变换后的向量进行筛选来提取特征。而主成分分析算法则是将每个训练样本去均值，通过提取离线训练数据集的主特征向量，得到一个数据降维的变换矩阵来获取特征。

(3)分类解码模块

分类解码模块采用的分类器为实时支持向量机或实时高斯过程分类。在训练阶段，实时支持向量机训练得到支持向量，即距离类别分界线最近的向量，由这些向量构成分界面；而实时高斯过程分类则利用离线训练数据集的协方差矩阵，通过牛顿迭代法得到后验概率的估计值和最优参数。在测试阶段，实时支持向量机根据分界面对每个图像进行实时分类；而实时高斯过程分类则根据训练阶段后验概率的估计值，利用拉普拉斯或者期望传播方法对每个TR的功能特征在线计算所属不同类别的概率，得到分类结果。

(4)显示与反馈模块

显示与反馈模块可以对脑功能特征和头动参数进行实时显示，其中脑功能特征是指在测试阶段的特征提取模块获取的来自fMRI信号的分类特征，可以选择显示在二维脑模板或者三维脑模板上；头动参数包括每个TR的图像在X、Y、Z三个方向的平移参数以及旋转参数，并采用不同颜色表示这6个参数。如果发现头动参数超过了正常范围，可以重新扫描或对被试进行纠正，以保证高质量的实验数据。显示与反馈模块也可以把当前所有TR的分类准确率作为反馈信号呈现给被试，分类准确率指的是在每个任务阶段(task block)中，识别正确的脑图像累积数目和当前脑图像所有累积数目的比值。被试可以通过采用与分类相关的认知策略，学习调节分类结果的准确率，进而达到影响相应的行为表现。反馈信号可使用动态曲线或者动态变化的温度计形式呈现给被试(参见图3)。

(5)参数配置模块

参数配置模块用于各个模块及全局参数的设置、读取与保存，包括各种预处理参数、数据处理设置、实验设计参数及反馈方式的选择和设置。全局参数包括扫描参数设置、文件路径参数设置等，其中，扫描参数包括扫描TR数、图像区域、切片层数、层间距等参数。数据预处理参数包含数据类型、预处理步骤选择、重采样体素大小、自适应参数、截止频率、FWHM参数等。数据处理设置包含特征提取方法、分类方法和运行模式等参数(参见图4)。实验设计参数主要有任务周期、任务个数、持续时间、任务开始时间等参数置。与反馈相关的参数包含了反馈方式的选择以及不同方式下反馈参数的设置，具体来说，在动态曲线方式中，包含了偏移的TR数、最大变化量、坐标系宽度、坐标系高度等；在温度计方式中，包含了偏移的TR数、最大变化量、刻度宽度、刻度高度、刻度个数、零刻度位置等。

本发明的使用可按以下几个方面进行：

(1)实时监控数据质量。fMRI数据容易受到各种噪声、系统稳定性、头动伪影等因素的干扰。噪声主要包括了白噪声和生理噪声，其中白噪声主要是热噪声，来自功能磁共振系统和被试，而生理噪声主要是被试呼吸和心跳等生理活动带来的干扰；系统稳定性干扰主要是供电系统、射频发射系统和射频接受系统造成的时间信号波动；另外，扫描中被试的头动也会在时间信号中造成非常明显的波动。如果干扰信号过大，则将严重“污染”fMRI数据，导致数据失效。因此往往需要根据功能像来评估数据的质量，并根据存在问题及时采取措施来降低干扰的影响，保证实验的进行。

(2)解读心理状态或者行为表现。利用神经解码可以检测大脑的认知状态或者行为表现，例如，判断被试所看图片的类别，并应用在人脸识别领域中；判断被试的情绪状态，并应用在情绪调节领域中；判断被试想象运动的方向，并应用在脑机接口领域中。值得一提的是，神经解码与脑机接口结合，通过判断大脑的认知状态，进而控制外部设备，这将为患有特定功能障碍，如语言障碍、运动障碍的患者提供改善生活质量的途径。

(3)认知功能调节与临床辅助康复治疗。利用神经解码进行神经反馈，既可以调节健康个体的特定认知功能，也可以对特定认知功能障碍疾病的康复起到辅助促进的作用。例如，抑郁症患者往往存在杏仁核的过度激活，表现为过度沉思和无征兆地陷入情绪化的回忆。由于功能障碍下的大脑活动状态与异常的行为表现紧密相关，利用神经解码反馈，可以使患者学习调节自己大脑活动的强度，从而达到改善患者的行为表现，即通过调整患者的大脑模式从而改变相应的异常行为表现。

Claims (2)

1.一种基于脑功能特征的实时神经解码系统，包括：

预处理模块，用于实时读取功能磁共振数据，然后进行格式转换、实时头动校正、实时空间标准化和平滑，所述的实时空间标准化采用基于主轴变化和自适应高斯牛顿迭代算法的仿射变换和基于离散余弦基函数的最优截止频率的非线性变换对第一幅图像进行参数估计，然后利用所估计的参数，对后续每个图像进行空间变换；其中，仿射变换，通过主轴变化为高斯牛顿迭代提供了一个更易于收敛的初始估计，并在高斯牛顿迭代过程中引入自适应参数来调整迭代的步长以加快迭代的速度，减少仿射变换所需时间；其中，非线性变换，通过选取最优的离散余弦基函数的截止频率，来平衡标准化算法的运行时间与准确性；

特征提取模块，用于对预处理后的功能磁共振数据进行特征提取并保存；

分类解码模块，用于对特征提取后的功能磁共振数据进行实时分类；

显示与反馈模块，用于实时显示脑功能特征以及头动参数的大小，并将分类的结果以多种方式实时反馈给个体；

这套系统的特征在于，其特征提取模块采用基于拉普拉斯核的平滑L0稀疏表征算法对预处理后的功能磁共振数据进行特征提取；基于拉普拉斯的平滑L0稀疏表征算法，采用拉普拉斯函数为核函数，将不可解析的0范数最小化问题解析化，然后利用梯度算法对最小化问题进行寻优求解，并在迭代中利用提前结束迭代的机制提高计算效率；此外，为解决拉普拉斯函数在零值附近不可导的缺陷，使用反余弦函数对其逼近；具体来说，平滑L0稀疏表征算法通过对稀疏向量进行z变换，然后利用阈值对变换后的向量进行筛选来提取特征；其分类模块采用实时高斯过程分类算法，首先通过离线训练获取后验概率的估计值和最优参数，然后利用离线训练获取的后验概率的估计值对每个扫描脉冲间隔的功能特征在线计算所属不同类别的概率，得到分类结果；具体为实时高斯过程分类算法利用离线训练数据集的协方差矩阵，通过牛顿迭代法得到后验概率的估计值和最优参数，再根据训练阶段后验概率的估计值，利用拉普拉斯或者期望传播方法对每个TR获取的功能磁共振数据的功能特征在线计算所属不同类别的概率，得到分类结果。

2.如权利要求1所述的一种基于脑功能特征的实时神经解码系统，其显示与反馈模块的特征在于，在个体脑模板上显示所提取的脑功能特征；将当前所有扫描脉冲间隔的分类准确率以动态曲线的形式实时呈现给个体。