CN111080730A - 基于跨通道和空间加权卷积特征的脑图像解码方法及系统 - Google Patents

Abstract

本发明公开了一种基于跨通道和空间加权卷积特征的脑图像解码方法，该方法以稀疏线性回归模型作为脑解码器的基础，通过输入大脑视觉皮层区域的核磁共振信号来预测受试者所看到图片的高级语义卷积特征。一旦解码器训练完成后，对于任意给定一组测得的fMRI信号，可以通过该解码器判别出受试者当时所看到图片的类别。本发明还提出了一种脑图像解码系统，与传统方法相比，本发明针对卷积网络特征缺乏几何不变性的缺点，对不同通道及空间位置上的卷积特征进行加权，得到了表征能力更强的特征，从而提高了识别的准确性；另一方面，本发明所利用的卷积特征，消除了随机性带来的干扰，更加稳定，且特征维数更低，大幅减少了计算量。

Description

基于跨通道和空间加权卷积特征的脑图像解码方法及系统

技术领域

本发明涉及一种大脑核磁共振成像(fMRI)信号解码方法及系统，属于认知神经科学、图像处理、计算机视觉、深度学习技术领域。

背景技术

脑图像解码是指针对大脑状态信息进行解码，是根据受试者的大脑fMRI信号，利用解码器还原出其所看到的图片类别。尽管当前已经有许多方法能够实现这一目标，但这些方法大多受限于训练样本，即所要预测的图像类别必须在训练样本中出现过。

为克服这一困难，现已有方法通过学习图像的特征而非图像本身，以此将所能够预测的类别扩展到任何未曾遇到过的图像类别。另一方面，大量研究表明，视觉皮层对图像的处理过程与当今流行的深度卷积神经网络存在极高的相似性，因此，卷积特征成为了此类方法的首选特征。然而，由于卷积特征本身缺乏几何不变性，直接对特征进行采样并不能完全发挥出卷积特征的性能，这极大限制了脑图像解码的准确性；另外，随机采样获得的卷积特征具有随机性，难以保证最终预测结果的稳定性。

发明内容

本发明所要解决的技术问题是：为了克服现有技术的缺点和不足，本发明提供了一种新的基于跨通道和空间加权卷积特征(CroW)的脑图像解码方法，在此基础上针对特征做log变换，从而使得解码准确度更高。

为解决以上技术问题，本发明采用的技术方案为：

本发明提出一种基于跨通道和空间加权卷积特征的脑图像解码方法，该方法包括以下步骤：

1)、数据预处理步骤：分别对fMRI信号做预处理和提取图片的卷积特征；

2)、基于稀疏线性回归模型构建脑解码器，包括如下子步骤：

201)、构建稀疏线性回归模型；

202)、构建训练样本，即将一组fMRI信号与所看到的图片的跨通道和空间加权卷积特征一一对应；

203)、利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器；

3)、基于训练好的稀疏线性回归模型，对任意给定的一组受试者观看图片时记录的fMRI数据，解码出所看到图片的类别。

进一步的，本发明所提出的方法中，数据预处理步骤具体如下：

101)、处理不同时刻的fMRI信号与展示的图片，使其一一对应；

102)、fMRI信号预处理；具体如下：

2.1)、对fMRI信号做头动校正，并将信号注册到对应高分辨率的T1加权图像中；

2.2)、利用掩模提取位于视觉皮层部分的fMRI数据，并展成为一维向量；至此，对于每一张观看到的图片，均有一个一维的fMRI信号与之相对应；

103)、图片CroW特征提取；具体如下：

3.1)、对于给定图片，将其通过预训练好的AlexNet,取其第5层卷积层的输出，大小为6*6*256，记为χ_ijk；其中i，j分别表示卷积特征的第i行，第j列，k表示第k个通道；

3.2)、对χ_ijk分别做空间加权和通道加权，具体步骤如下：

3.2.1)、空间加权：对χ_ijk沿着通道方向求和，计算公式为S_ij＝∑_kχ_ijk；然后对S_ij做正则化及尺度变换，计算公式为

其中m，n分别表示卷积特征的第m行，第n列，m≠i，n≠j；

3.2.2)、通道加权：利用信息量的思想对通道进行加权，公式为

其中

∈是一个以防止除数为0的自定义参数，Q_k表示第k个通道特征量非零的个数，W和H分别表示特征图的宽度、高度，此处为6*6；

3.3)、CroW特征最终计算方法，具体如下:

3.3.1)、将3.2)中计算好的权重应用到原始特征χ_ijk，计算公式为χ'_ijk＝α_ijβ_kχ_ijk；

3.3.2)、合并3.3.1)中得到的新特征，计算公式为

进一步的，本发明所提出的方法，对3.3)中所述的CroW特征做log变换，具体为：

将得到的CroW特征向量取对数，即f'_k＝ln(f_k+∈₁)，其中∈₁是以防止ln(0)的出现的自定义参数。

进一步的，本发明所提出的方法中，在步骤203)所述利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器，步骤为：

a)、假设对于给定的有d个体素组成的fMRI样本x＝{x₁,…,x_d}^T，则将该回归模型表示成

其中y表示预测的图像特征值，x_i表示第i个体素的fMRI幅度值，w_i表示第i个体素对应的权重；若令w＝{w₀,…,w_d}^T，x＝{x₀,…,x_d}^T，x₀＝1，则将上述模型简写为y(x)＝w^Tx；令t_l表示为图像特征向量第l个值则将包含零均值的高斯噪声∈_g的回归模型表示为t_l＝y(x)+∈_g；

b)、将似然函数表示为

c)、假设权重的精度参数α＝{α₀,…,α_d}^T和噪声精度参数β，则得到概率公式为

d)联合上述步骤b)、步骤c)中的概率分布，最终可得联合后验概率分布

e)利用变分贝叶斯估计对参数w,α,β进行估计。

进一步的，本发明所提出的方法，在步骤3)中对受试者进行图像类别解码步骤具体如下：

301)、对于给定的一组受试者fMRI信号，将该信号输入训练好的解码器中，输出一组相应的特征向量f；

302)、对于不同类别的图片，分别针对某一特定类别，获取足够多的该类别的图片；然后，通过3.3)的计算步骤得到每张图片的CroW特征向量；最后，对这些特征向量取平均，作为该类别对应的特征向量；

303)、将步骤301)中解码得到特征向量f逐一与步骤302)中的预先计算好的类别特征向量f_c求相关系数，把其中相关系数最大的类别作为预测的受试者所看到图片的类别。

本发明还提出一种基于跨通道和空间加权卷积特征的脑图像解码系统，包括：

数据预处理单元，用于对实验数据做预处理，即预处理fMRI信号和提取图片CroW特征。

稀疏线性回归模型训练单元，用于基于稀疏线性回归模型的脑解码器，训练设计好的稀疏线性回归模型，被配置以执行以下步骤。

1)、构建稀疏线性回归模型；

2)、构建训练样本，即一组fMRI信号与所看到的图片的卷积特征一一对应；

3)、利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器；

图像识别单元，被配置以执行以下动作：基于训练好的稀疏线性回归模型，将给定的一组经预处理的fMRI信号输入到稀疏线性回归模型，得到一组预测的图片特征向量，将该特征向量与预先准备好的一些图像类别特征向量求相关系数，系数最大者即为所预测的图片类别。

本发明相比现有技术，具有以下有益效果：

本发明提出的基于跨通道和空间加权的脑解码方法可以根据任意给定的一组大脑fMRI信号，预测出测试时受试者所看到图片的类别。与传统方法相比，本发明针对卷积网络特征缺乏几何不变性的缺点，对不同通道及空间位置上的输出进行加权，得到了表征能力更强的特征，从而提高了目标识别的准确性；另一方面，本发明所利用的卷积特征，消除了随机性带来的干扰，鲁棒性更好，且特征维数更低，大幅减少了计算量。

附图说明

图1是本发明所提出的基于跨通道和空间加权卷积特征的脑图像解码方法的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例和说明书附图1对本发明的技术方案进行清楚、完整的描述，显然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明提出一种基于CroW特征的广义脑图像解码方法，参考图1所示。该方法的适用场景为：令受试者逐一观看预先准备好的一组图片，同时记录其大脑fMRI信号。该方法包括以下步骤：

1)、数据预处理步骤：分别对fMRI信号做预处理和提取图片的卷积特征。

2)、基于稀疏线性回归模型构建脑解码器，包括如下子步骤：

2.1)、构建稀疏线性回归模型；

2.2)、构建训练样本，即一组fMRI信号与所看到的图片的卷积特征一一对应；

2.3)、利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器；

3)、对任意给定的一组受试者观看图片时记录的fMRI数据，解码出所看到图片的类别。

进一步的，作为本发明所提出的脑图像解码方法中的一个优选实施例，数据预处理步骤具体如下：

1)、处理不同时刻的fMRI信号与展示的图片，使其一一对应；

2)、fMRI信号预处理；

2.1)、对fMRI信号做头动校正，并将信号注册到对应高分辨率的T1加权图像中；

2.2)、利用掩模提取位于视觉皮层部分的fMRI数据，并展成为一维向量。至此，对于每一张观看到的图片，均有一个一维的fMRI信号与之相对应；

3)、图片CroW特征提取；

3.1)、对于给定图片，将其通过预训练好的AlexNet,取其第5层卷积层(conv5)的输出，大小为6x6x256，记为χ_ijk。其中i，j分别表示卷积特征的第i行，第j列，k表示第k个通道；

3.2)、对χ_ijk分别做空间加权和通道加权。具体步骤如下：

3.2.1)、空间加权。对χ_ijk沿着通道方向求和，公式为S_ij＝∑_kχ_ijk；然后对S_ij做正则化及尺度变换，公式为

3.2.2)、通道加权。利用信息量的思想对通道进行加权，即出现概率越小的通道，其包含的信息量越大，相对更重要。公式为

其中

∈是一个极小的量以防止除数为0，Q_k表示第k个通道特征量非0的个数，W和H分别表示特征图的大小，此处为6x6(AlexNet第5层卷积层输出)；

3.3)、CroW特征最终计算方法:

3.3.1)、将3.2)中计算好的权重应用到原始特征χ_ijk，公式为χ'_ijk＝α_ijβ_kχ_ijk；

3.3.2)、合并3.3.1)中得到的新特征。公式为

进一步的，作为本发明所提出的脑图像解码方法中的一个优选实施例，对3.3)中提到的CroW特征做log变换，具体为：

由于受卷积神经网络中的激活函数(ReLU函数)影响，3.3)中计算所得到的CroW特征并不服从高斯分布。为此，将得到的CroW特征向量取对数，即f'_k＝ln(f_k+∈₁)。其中∈₁是一个极小的值，以防止ln(0)的出现。

进一步的，作为本发明所提出的脑图像解码方法中的一个优选实施例，在步骤2.3)所述利用变分贝叶斯估计训练基于稀疏线性回归模型的解码器，步骤为：

1)、对于给定的有d个体素组成的fMRI样本x＝{x₁,…,x_d}^T，则该回归模型可以表示成

其中y表示预测的图像特征值，x_i表示第i个体素的fMRI幅度值，w_i表示第i个体素对应的权重。若令w＝{w₀,…,w_d}^T，x＝{x₀,…,x_d}^T，x₀＝1，则上述模型可简写为y(x)＝w^Tx。进一步的，若令t_l(l∈{1,…,L})表示为图像特征向量第l个值，则包含零均值的高斯噪声∈_g的回归模型可表示为t_l＝y(x)+∈_g；

2)、为了构造目标函数，可首先将似然函数表示为

3)、为满足线性回归模型的稀疏先验，进一步假设权重的精度参数α＝{α₀,…,α_d}^T和噪声精度参数β。概率公式为

4)联合上述2)，3)中的概率分布，最终可得联合后验概率分布

5)利用变分贝叶斯估计对参数w,α,β进行估计。

进一步的，作为本发明所提出的脑图像解码方法的一个优选实施例，对受试者进行图像类别解码步骤具体如下：

1)、对于给定的一组受试者fMRI信号，将该信号输入训练好的解码器中，输出一组相应的特征向量f；

2)、对于不同类别的图片，分别针对某一特定类别，获取足够多的该类别的图片。然后，通过3.3.1)所述方法计算得到每张图片的CroW特征向量。最后，对这些特征向量取平均，作为该类别对应的特征向量。

3)、将1)中解码得到特征向量f逐一与2)中的预先计算好的类别特征向量f_c求相关系数，把其中相关系数最大的类别作为预测的受试者所看到图片的类别。

本发明还提出一种基于跨通道和空间加权卷积特征和稀疏线性回归模型的脑图像解码系统，包括：

数据预处理单元，用于对实验数据做预处理，即预处理fMRI信号和提取图片CroW特征。

稀疏线性回归模型训练单元，用于基于稀疏线性回归模型的脑解码器，训练设计好的稀疏线性回归模型，被配置以执行以下步骤。

1)、构建稀疏线性回归模型；

2)、构建训练样本，即一组fMRI信号与所看到的图片的卷积特征一一对应；

3)、利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器；

图像识别单元，被配置以执行以下动作：基于训练好的稀疏线性回归模型，将给定的一组经预处理的fMRI信号输入到稀疏线性回归模型，得到一组预测的图片特征向量，将该特征向量与预先准备好的一些图像类别特征向量求相关系数，系数最大者即为所预测的图片类别。

本技术领域技术人员可以理解的是，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来生成机器，从而通过计算机或其他可编程数据处理方法的处理器来执行的指令创建了用于实现结构图和/或框图和/或流图的框或多个框中指定的方法。

本技术领域技术人员可以理解的是，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于跨通道和空间加权卷积特征的脑图像解码方法，其特征在于，该方法包括以下步骤：

1)、数据预处理步骤：分别对fMRI信号做预处理和提取图片的卷积特征；

2)、基于稀疏线性回归模型构建脑解码器，包括如下子步骤：

201)、构建稀疏线性回归模型；

202)、构建训练样本，即将一组fMRI信号与所看到的图片的跨通道和空间加权卷积特征一一对应；

203)、利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器；

3)、基于训练好的稀疏线性回归模型，对任意给定的一组受试者观看图片时记录的fMRI数据，解码出所看到图片的类别。

2.根据权利要求1所述的方法，其特征在于，数据预处理步骤具体如下：

101)、处理不同时刻的fMRI信号与展示的图片，使其一一对应；

102)、fMRI信号预处理；具体如下：

2.1)、对fMRI信号做头动校正，并将信号注册到对应高分辨率的T1加权图像中；

2.2)、利用掩模提取位于视觉皮层部分的fMRI数据，并展成为一维向量；至此，对于每一张观看到的图片，均有一个一维的fMRI信号与之相对应；

103)、图片CroW特征提取；具体如下：

3.1)、对于给定图片，将其通过预训练好的AlexNet,取其第5层卷积层的输出，大小为6*6*256，记为χ_ijk；其中i，j分别表示卷积特征的第i行，第j列，k表示第k个通道；

3.2)、对χ_ijk分别做空间加权和通道加权，具体步骤如下：

3.2.1)、空间加权：对χ_ijk沿着通道方向求和，计算公式为S_ij＝∑_kχ_ijk；然后对S_ij做正则化及尺度变换，计算公式为

其中m，n分别表示卷积特征的第m行，第n列，m≠i，n≠j；

3.2.2)、通道加权：利用信息量的思想对通道进行加权，公式为

其中

∈是一个以防止除数为0的自定义参数，Q_k表示第k个通道特征量非零的个数，W和H分别表示特征图的宽度、高度，此处为6*6；

3.3)、CroW特征最终计算方法，具体如下:

3.3.1)、将3.2)中计算好的权重应用到原始特征χ_ijk，计算公式为χ'_ijk＝α_ijβ_kχ_ijk；

3.3.2)、合并3.3.1)中得到的新特征，计算公式为

。

3.根据权利要求2所述的方法，其特征在于，对3.3)中所述的CroW特征做log变换，具体为：

将得到的CroW特征向量取对数，即f'_k＝ln(f_k+∈₁)，其中∈₁是以防止ln(0)的出现的自定义参数。

4.根据权利要求2所述的方法，其特征在于，在步骤203)所述利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器，步骤为：

a)、假设对于给定的有d个体素组成的fMRI样本x＝{x₁,…,x_d}^T，则将该回归模型表示成

其中y表示预测的图像特征值，x_i表示第i个体素的fMRI幅度值，w_i表示第i个体素对应的权重；若令w＝{w₀,…,w_d}^T，x＝{x₀,…,x_d}^T，x₀＝1，则将上述模型简写为y(x)＝w^Tx；令t_l表示为图像特征向量第l个值则将包含零均值的高斯噪声∈_g的回归模型表示为t_l＝y(x)+∈_g；

b)、将似然函数表示为

c)、假设权重的精度参数α＝{α₀,…,α_d}^T和噪声精度参数β，则得到概率公式为

d)联合上述步骤b)、步骤c)中的概率分布，最终可得联合后验概率分布

e)利用变分贝叶斯估计对参数w,α,β进行估计。

5.根据权利要求2所述的方法，其特征在于，步骤3)中对受试者进行图像类别解码步骤具体如下：

301)、对于给定的一组受试者fMRI信号，将该信号输入训练好的解码器中，输出一组相应的特征向量f；

302)、对于不同类别的图片，分别针对某一特定类别，获取足够多的该类别的图片；然后，通过3.3)的计算步骤得到每张图片的CroW特征向量；最后，对这些特征向量取平均，作为该类别对应的特征向量；

303)、将步骤301)中解码得到特征向量f逐一与步骤302)中的预先计算好的类别特征向量f_c求相关系数，把其中相关系数最大的类别作为预测的受试者所看到图片的类别。

6.一种基于跨通道和空间加权卷积特征的脑图像解码系统，其特征在于，包括：

数据预处理单元，用于对实验数据做预处理，即预处理fMRI信号和提取图片CroW特征；

稀疏线性回归模型训练单元，用于基于稀疏线性回归模型的脑解码器，训练设计好的稀疏线性回归模型，被配置以执行以下步骤：

1)、构建稀疏线性回归模型；

2)、构建训练样本，即一组fMRI信号与所看到的图片的卷积特征一一对应；

3)、利用变分贝叶斯估计训练基于稀疏线性回归模型的脑解码器；

图像识别单元，被配置以执行以下动作：基于训练好的稀疏线性回归模型，将给定的一组经预处理的fMRI信号输入到稀疏线性回归模型，得到一组预测的图片特征向量，将该特征向量与预先准备好的一些图像类别特征向量求相关系数，系数最大者即为所预测的图片类别。

Images