CN110188836A - 一种基于变分自编码器的脑功能网络分类方法 - Google Patents

Abstract

一种基于变分自编码器的脑功能网络分类方法，包括以下步骤：采集若干正常人和脑认知功能障碍患者的T1加权磁共振图像T1 weighted MRI和静息态功能磁共振图像rs‑fMRI；进行预处理；将预处理后的rs‑fMRI作为回归因变量，大脑功能网络作为回归自变量进行双回归分析，得到个体水平大脑功能网络；构建深度变分自编码器(VAE)模型，将得到的个体水平大脑功能网络图作为VAE的输入和输出，编码器部分作为特征提取模块用于得到个体功能网络的隐编码；构建多层感知器网络对步骤四中VAE得到的编码进行分类；利用训练好的针对不同脑功能网络的多个分类器对测试集中的样本进行推断，并将多个分类器的推断结果进行融合，得到最终的分类结果；本发明提高了分类的准确率。

Description

一种基于变分自编码器的脑功能网络分类方法

技术领域

本发明涉及医学图像分析技术领域，特别涉及脑科学领域对功能磁共振影像进行处理分类的方法，具体是一种基于变分自编码器的脑功能网络分类方法。

背景技术

人脑是自然界中最复杂的系统之一，大脑的各种神经生理活动是不同脑区之间相互作用的结果。一个复杂认知任务的实现，往往需要多个脑区的协同配合，对不同脑区之间相互依赖关系的研究有助于加深人类对于大脑工作方式的理解。从网络的角度对大脑的功能进行建模已被证实是一种有效的研究手段，脑功能网络分析已成为脑科学领域的重要研究方向之一。

基于血样水平依赖(blood oxygenation level dependent，BOLD)的功能磁共振成像(functional magnetic resonance imaging,fMRI)方法由于其无创性、空间分辨率高、可全脑成像等一系列的优点为脑科学研究提供了有利条件。fMRI数据通常包含有噪声，并且作为一种包含时间信息的4维数据在不同人之间并不具有一致性，不适合直接用于分析。目前对大脑功能网络的表征通常是利用标准化的大脑分区模板将大脑划分维若干脑区，计算不同脑区之间的关系，如皮尔逊互相关、偏相关、tangent embedding等，得到相关系数矩阵，称为功能连接矩阵(functional connectivity matrices)。进一步地，支持向量机、随机森林、LASSO等传统机器学习方法方法将功能连接矩阵作为分类特征用以区分不同群体的脑功能网络。利用功能连接矩阵对脑功能网络进行分类有以下问题：

1.功能连接矩阵的计算依赖于对大脑脑区的划分，不同的脑区划分方式对分类结果会产生较大影响；2功能连接矩阵作为分类特征忽视了不同体素间的空间结构信息；3.传统的机器学习模型都是浅层模型，对于高维的fMRI数据拟合效果不好；4.fMRI数据局部区域内体素之间存在较强的相关性，而传统机器学习模型不能很好的挖掘和利用fMRI中的这种局部特性。

近几年来，深度学习方法特别是卷积神经网络由于其强大的特征提取能力被广泛应用于各种计算机视觉任务中，如分类、目标检测、语义分割等。变分自编码器基于卷积神经网络，作为一种生成模型可以直接对数据分布进行建模，同时变分自编码器对输入的高维数据可以进行有效的压缩，经过压缩后的隐编码向量具有良好的分布性质可以用来进一步做脑功能网络生成、分类等任务。

发明内容

为克服传统脑功能网络分类方法中输入特征向量包含信息不够丰富，忽略了脑功能网络中不同脑区之间的拓扑结构关系，以及传统机器学习算法对数据建模能力有限的问题，本发明的目的在于提出了一种基于变分自编码器的脑功能网络分类方法，成组独立成分分析(Group ICA)能够有效区分具有生理意义的信号和噪声信号，并且能够分离出具有共活动模式的脑网络，再运用双回归方法提取出个体水平脑功能网络；Group ICA作为一种数据驱动的方法无需事先定义模板网络，同时保留了不同脑区间的拓扑结构信息；变分自编码器作为一种深度神经网络生成模型一方面可以将脑网络中不同脑区的激活程度和不同脑区间的非局部关系进行捕捉，另一方面可以对隐变量的分布进行学习，得到一组具有良好分布性质的隐变量。利用该隐变量可以进一步对不同个体的脑功能网络进行分析，比较同一脑功能网络在不同人群之间的差异性，从而实现对脑功能网络的分类。

为了达到上述目的，本发明采用如下的技术方案：

一种基于变分自编码器的脑功能网络分类方法，包括以下步骤：

步骤一、采集若干正常人和脑认知功能障碍患者的T1加权磁共振图像T1weightedMRI和静息态功能磁共振图像rs-fMRI；

步骤二、分别对每个被试采集到的两种模态磁共振影像使用fmriprep软件进行预处理；

步骤三、群体水平大脑功能网络的提取：将步骤二得到的预处理后的rs-fMRI作为回归因变量，大脑功能网络作为回归自变量进行双回归分析，得到个体水平大脑功能网络；

步骤四、构建深度变分自编码器(VAE)模型，将步骤三中得到的个体水平大脑功能网络图作为VAE的输入和输出，编码器部分作为特征提取模块用于得到个体功能网络的隐编码；

步骤五、构建多层感知器网络，对步骤四中VAE得到的编码进行分类；

步骤六、利用步骤五中训练好的针对不同脑功能网络的多个分类器对测试集中的样本进行推断，并将多个分类器的推断结果进行融合，得到最终的分类结果。

步骤三包括如下步骤：

S3-1、大脑功能网络由独立成分分析法(Independence Component Analysis，ICA)得到，群体水平大脑功能网络的提取是将所有样本经过步骤2)处理后得到的fMRI串联在一起进行组ICA分析，得到群体水平下的多个模板脑功能网络；

S3-2、将步骤S3-1得到的模板脑功能网络通过多元线性回归得到针对每个个体不同脑功能网络的一维时序信号；

S3-3、将步骤S3-2得到的基于不同脑功能网络的时序信号作为预测因子再次进行多元线性回归，得到个体性的一组功能网络空间图谱。

进一步地，步骤S3-1由FSL软件中的MELODIC工具实现，步骤S3-2、S3-3由FSL软件中的dual_regression工具实现。

步骤四包括如下步骤：

S4-1、编码器的构建采用卷积神经网络，其中包括下采样模块和残差模块，下采样操作采用步进卷积的方式，残差模块在加深编码器网络的同时有利于编码器学习到更为抽象的特征表示。

S4-2、设定VAE中隐变量的维度为d，将编码器的输出通过一个全连接层与2d个神经元相连，其中前d个神经元代表隐编码分布的均值μ，后d个神经元代表隐编码分布的方差σ²。通过重参数化方法得到隐变量Z：

Z＝μ+ε×σ

其中ε是从标准正态分布中采样得到。

S4-3、解码器接收步骤4-2中得到的隐变量Z，通过上采样模块和卷积模块将隐变量解码为输入图像，上采样采用线性插值的方式实现。

S4-4、训练过程中的损失函数定义如下：

其中xⁱ代表第i个输入样本，代表解码器对xⁱ重构的重构结果，作为重构损失使得生成图像与输入图像尽可能接近。中j表示d维隐变量Z的第j个分量，KL散度损失使得隐变量Z的分布尽可能接近高斯分布，从而使得隐变量具有良好的分布特性。

步骤五包括如下步骤：

多层感知器的设计包含若干隐层和一个输出层，隐层的激活函数为线性整流函数Rectified Linear Unit,ReLU,其表达形式为：

σ(z)＝max(0，z)

输出层激活函数为Softmax函数,其表达形式为：

z为卷积层或者全连接层的输出；

多层感知器连接在VAE的编码器部分，直接对VAE得到的隐变量进行分类，训练时编码器部分预训练训练好的参数冻结，只更新多层感知器的参数，分类网络采用二元交叉熵损失函数其表达形式为：

其中，N代表mini-batch中训练样本的数量，y∈{0，1}表示样本的真实类别，a为多层感知器的输出。

步骤六包括以下步骤：

对测试样本进行测试，将测试样本经过步骤三得到的N个脑功能网络空间图谱分别送入步骤五中已经训练好的N个分类器中，每一个分类器都输出一个概率值表示在该分类器的判断下该测试样本脑功能网络正常的可能性；然后将多种功能网络分类器输出的概率值进行融合得出最终实现对两类不同群体脑功能网络的分类判断结果。

相对于现有技术，本发明的创新点及有益效果为：

传统基于脑功能连接矩阵的脑网络分类方法进行的分析需要人为地划分脑区，计算不同脑区之间BOLD信号的相关性，忽视了不同脑区之间的拓扑结构关系。本发明提出了一种新的脑功能网络的分类方法，即基于变分自编码器的脑功能网络分类方法。该方法可以利用成组ICA的方式得到群体性脑功能网络模板。成组ICA作为一种数据驱动的方法，避免了人为对脑区进行划分从而确定脑功能网络所带来的偏差。双回归的结果直接从影像的角度为度量不同群体之间脑功能网络的差异性提供了一种可能的生物标记。利用深度学习方法对脑功能网络进行特征提取克服了以往传统机器学习方法对高维功能磁共振数据拟合能力差的缺点，卷积神经网络的使用可以直接捕捉到大脑不同脑区激活强度及形状的特征。变分自编码器网络作为特征提取网络可以有效地学习脑功能网络的特征，编码器输出的隐变量具有良好的分布特性，实现了对高维磁共振数据的降维。与此同时编码器中学习到的权重可以较好的作为整个分类器网络一组比较好的初始化权重，确保后续分类器的训练结果收敛到一个较优的解，提升了模型的泛化能力。本发明直接从全脑功能影像数据进行学习，保留了大脑不同脑区间的拓扑结构特征，较以往基于功能连接矩阵的分析方法具有更为丰富的特征输入。最后通过集成学习将不同脑功能网络的分类结果进行集成可以有效地降低分类方差，提升模型的鲁棒性，提高分类的准确率。

附图说明

图1为基于一种基于变分自编码器的脑功能网络分类方法算法流程图。

图2为变分自编码器网络结构示意图。

图3为分类器网络结构示意图。

具体实施方式

下面结合附图对本发明一种基于变分自编码器的脑功能网络分类方法进行详细说明。对自闭症患者和正常人的脑功能网络进行分类。

如图1所示，本发明包含如下步骤：

步骤一、采集足够数量的正常人和自闭症患者的大脑T1加权结构像(T1WeightedMRI)和静息态功能磁共振影像(rest state functional MRI,rs-fMRI)，本实例共采集了316例被试者的磁共振数据，其中143例被确诊为自闭症，其余175例为正常人。

步骤二、采集到的结构磁共振影像和功能磁共振影像做预处理，T1加权结构图像提取大脑、皮层重构、头动估计与校正、层时校正、个体内配准、全局归一化、表面采样、子空间投影去噪以及非稳态检测等。整个的预处理流程使用fmriprep软件(https://fmriprep.readthedocs.io/en/stable/)完成。

步骤三、群体水平大脑功能网络的提取：将316例被试的经过步骤2)预处理后的rs-fMRI做组独立成分分析(Group ICA,gica)，gica的结果经过专家筛查挑选最终得到10个静息态下的脑功能网络作为群体水平大脑功能网络的模板。这十个脑功能网络包括3个视觉网络、默认模式网络、小脑网络、听觉网络、感觉运动网络、执行控制网络，左右额顶网络。之后利用脑功能网络模板对每一个被试的rs-fMRI做双回归分析，得到每一个被试对应到十个模板网络的特异性脑功能网络空间图谱(individual specific functionalconnective spatial maps)。模板功能网络的提取由FSL软件中的MELODIC(https://fsl.fmrib.ox.ac.uk/fsl/fslwiki/MELODIC)工具经过ICA分析后实现，双回归分析由FSL软件中的dual_regression(https://fsl.fmrib.ox.ac.uk/fsl/fslwiki/DualRegression)工具实现。

步骤四、构建深度变分自编码器(VAE)模型，整个变分自编码器的网络结构如图2所示。将步骤三中得到的个体特异性脑功能网络空间图谱(spatial maps)作为VAE的输入和输出，编码器部分作为特征提取模块用于得到个体功能网络的隐式编码。每个功能网络spatial map的大小均为64x72x64，编码器包含3个下采样模块，每个下采样模块都由卷积核大小为3x3x3，步长为2的卷积层，非线性激活层，批归一化(Batch Normalization)构成。经过三次下采样后特征图的大小为8x9x8。两个残差模块被用于进一步提取特征，残差模块不改变特征图的大小和数目。隐变量Z的维数设置为128，通过全连接层将残差模块的输出映射为128维的均值向量μ，和128维的方差向量σ²。利用重参数化方法从标准正态分布中采样128维的向量ε，对隐变量Z的采样由如下公式实现：

Z＝μ+ε×σ

本实施例中解码器的结构采取与编码器对称的方式，隐变量Z经过全连接层后将特征升维成尺寸为8x9x8的特征图。经过两个残差模块后进行3次连续的上采样操作和1层卷积操作得到最终的输出。输出特征图的尺寸与输入图像的尺寸相同。上采样操作采用的是三线性插值方法实现。

训练VAE时需要先将步骤三得到的个体特异性脑功能网络空间图谱按照7：3的比例随机划分为训练集和验证集。通过反向传播和随机梯度下降法对VAE中的参数进行优化。根据每一轮迭代中验证集上损失函数的变化，选择损失函数最小的一次结果作为模型预训练的权重。

步骤五、构建多层感知器网络对步骤四中VAE得到的编码进行分类；如图3所示，本实例中设计了包含64个节点的单隐层网络与变分自编码器的编码器输出Z相连。训练时先加载步骤四中预训练好的编码器参数，并将其固定。反向传播时只微调多层感知器中的参数，编码器中的参数不进行更新。训练时训练样本的同一种脑功能网络被作为一个训练子集，用于训练该脑功能网络的分类器，每一种脑功能网络都需要训练一个分类器，最终可以得到十个训练好的分类器。

步骤六、利用步骤五训练好的针对不同脑功能网络的多个分类器对测试集中的样本进行推断，测试时不直接利用隐变量Z进行分类，而是把编码器得到的均值向量μ送入多层感知器通过前向传播得到分类结果。并将多个分类器的推断结果进行融合，在本实例中采取对十个分类器输出进行平均的方式得到最终的分类结果。该分类结果表示本方法从十个不同的角度对个体脑功能网络情况的整体评估，给出了该个体脑功能网络正常与否的判断。

为了评估最后分类结果的准确性，使用灵敏度(sensitivity)和特异度(specificity)作为指标。灵敏度的计算公式如下：

其中TP指的是此方法分类的结果与医生判断为自闭症结果一致的个数；FP指的是此方法分类结果是自闭症异常脑功能网络，但是医生判断为正常的个数；FN是指医生判断为自闭症，但没有被此分类方法分为自闭症的样本个数。

以上实施例描述了本发明的具体实施方式，其描述较为具体和详细，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。应当指出的是，在不脱离本发明构思的前提下做出的若干变形和改进，都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于变分自编码器的脑功能网络分类方法，其特征在于，包括以下步骤：

步骤一、采集若干正常人和脑认知功能障碍患者的T1加权磁共振图像T1 weightedMRI和静息态功能磁共振图像rs-fMRI；

步骤二、分别对每个被试采集到的两种模态磁共振影像使用fmriprep软件进行预处理；

步骤三、群体水平大脑功能网络的提取：将步骤二得到的预处理后的rs-fMRI作为回归因变量，大脑功能网络作为回归自变量进行双回归分析，得到个体水平大脑功能网络；

步骤四、构建深度变分自编码器(VAE)模型，将步骤三中得到的个体水平大脑功能网络图作为VAE的输入和输出，编码器部分作为特征提取模块用于得到个体功能网络的隐编码；

步骤五、构建多层感知器网络对步骤四中VAE得到的编码进行分类；

步骤六、利用步骤五中训练好的针对不同脑功能网络的多个分类器对测试集中的样本进行推断，并将多个分类器的推断结果进行融合，得到最终的分类结果。

2.根据权利要求1所述的一种基于变分自编码器的脑功能网络分类方法，其特征在于，步骤三包括如下步骤：

S3-1、大脑功能网络由独立成分分析法(Independence Component Analysis，ICA)得到，群体水平大脑功能网络的提取是将所有样本经过步骤2)处理后得到的fMRI串联在一起进行组ICA分析，得到群体水平下的多个模板脑功能网络；

S3-2、将步骤S3-1得到的模板脑功能网络通过多元线性回归得到针对每个个体不同脑功能网络的一维时序信号；

S3-3、将步骤S3-2得到的基于不同脑功能网络的时序信号作为预测因子再次进行多元线性回归，得到个体性的一组功能网络空间图谱。

3.根据权利要求2所述的一种基于变分自编码器的脑功能网络分类方法，其特征在于，步骤S3-1由FSL软件中的MELODIC工具实现，步骤S3-2、S3-3由FSL软件中的dual_regression工具实现。

4.根据权利要求1所述的一种基于变分自编码器的脑功能网络分类方法，其特征在于，步骤四包括如下步骤：

S4-1、编码器的构建采用卷积神经网络，其中包括下采样模块和残差模块，下采样操作采用步进卷积的方式，残差模块在加深编码器网络的同时有利于编码器学习到更为抽象的特征表示；

S4-2、设定VAE中隐变量的维度为d，将编码器的输出通过一个全连接层与2d个神经元相连，其中前d个神经元代表隐编码分布的均值μ，后d个神经元代表隐编码分布的方差σ²；通过重参数化方法得到隐变量Z：

Z＝μ+ε×σ

其中ε是从标准正态分布中采样得到；

S4-3、解码器接收步骤4-2中得到的隐变量Z，通过上采样模块和卷积模块将隐变量解码为输入图像，上采样采用线性插值的方式实现；

S4-4、训练过程中的损失函数定义如下：

其中xⁱ代表第i个输入样本，代表解码器对xⁱ重构的重构结果，作为重构损失使得生成图像与输入图像尽可能接近；中j表示d维隐变量Z的第j个分量，KL散度损失使得隐变量Z的分布尽可能接近高斯分布，从而使得隐变量具有良好的分布特性。

5.根据权利要求1所述的一种基于变分自编码器的脑功能网络分类方法，其特征在于，步骤五包括如下步骤：

步骤五包括如下步骤：

多层感知器的设计包含若干隐层和一个输出层，隐层的激活函数为线性整流函数Rectified Linear Unit,ReLU,其表达形式为：

σ(z)＝max(0，z)

输出层激活函数为Softmax函数,其表达形式为：

z为卷积层或者全连接层的输出；

多层感知器连接在VAE的编码器部分，直接对VAE得到的隐变量进行分类，训练时编码器部分预训练训练好的参数冻结，只更新多层感知器的参数，分类网络采用二元交叉熵损失函数其表达形式为：

其中，N代表mini-batch中训练样本的数量，y∈{0，1}表示样本的真实类别，a为多层感知器的输出。

6.根据权利要求1所述的一种基于变分自编码器的脑功能网络分类方法，其特征在于，步骤六包括以下步骤：

对测试样本进行测试，将测试样本经过步骤三得到的N个脑功能网络空间图谱分别送入步骤五中已经训练好的N个分类器中，每一个分类器都输出一个概率值表示在该分类器的判断下该测试样本脑功能网络正常的可能性；然后将多种功能网络分类器输出的概率值进行融合得出最终实现对两类不同群体脑功能网络的分类判断结果。