CN113040715A - 一种基于卷积神经网络的人脑功能网络分类方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的人脑功能网络分类方法，用于解决现有方法忽略脑网络的模块化特性，分类准确率低的问题，具体包括获取静息态fMRI数据并进行预处理，利用预处理后fMRI时间序列信号计算各个脑区间的功能连接强度，构建真实的人脑功能网络数据集；将真实数据集和仿真数据集分别划分为训练集、验证集和测试集；构建基于尺度模块化特征的卷积神经网络CNN‑MF，用于对人脑功能网络进行分类；模型训练；利用训练完成的模型进行分类，由此实现对脑疾病发现和诊断帮助。本发明所述方法可以有效地利用人脑功能网络数据中的模块化结构信息，从而更准确地进行脑疾病诊断。

Description

一种基于卷积神经网络的人脑功能网络分类方法

技术领域

本发明属于脑科学研究领域，具体地说，本发明涉及一种基于卷积神经网络的人脑功能网络分类方法。

背景技术

人脑是一个极其复杂的组织，由大量的神经元及其之间的相互连接构成。具体来说，平均每个神经元会与上千个其它神经元相连，使得人脑能够接收、传递、处理、融合信息，同时也促使研究者从脑网络的角度来深入理解人脑的工作机制。近年来，磁共振成像(Magnetic Resonance Imaging，MRI)、脑电图(Electroencephalography,EEG)、脑磁图(Magnetoencephalography,MEG)、计算机断层扫描(Computer Tomography,CT)等脑影像技术的快速发展使得研究者能够从功能或结构的角度构建脑网络并进行研究。进一步地，许多研究发现脑疾病患者的脑网络通常伴随着连接的中断或异常融合。因此，脑网络成为了一种有效的脑疾病诊断生物标记物，基于脑网络的脑疾病早期诊断方法成为一项研究热点。其中，静息态功能磁共振成像(resting state functional Magnetic ResonanceImaging，rs-fMRI)技术具有无创性、高时空分辨率等优点，基于rs-fMRI的脑功能网络也受到了广泛的关注。脑功能网络能够有效地表示在大脑进行活动时，各个脑区之间的相关性，使得研究者能够从脑功能的角度深入了解人脑的运行机理。脑功能网络由节点和边构成，每个节点对应一个脑区，且可以通过一个时间序列表示对应脑区中的脑功能活动强度随时间的变化。每条边表示一对节点之间的相似性，可以通过对应节点的时间序列以及某种度量方法计算得到，其中最常见的度量方法为皮尔逊相关系数(Pearson correlationcoefficient)。最后，脑功能连接可以根据上述得到的相似性构成邻接矩阵形式，用于进行各种分析任务。

近年来，许多机器学习方法已经被用于进行脑功能网络的分类任务中，这些方法主要可以分为传统机器学习方法和深度学习方法。传统机器学习方法主要包括支持向量机(Support Vector Machine，SVM)和最小绝对收缩和选择算子(Least absolute shrinkageand selection operator，LASSO)等，已经在精神分裂症(Schizophrenia)、轻度认知障碍(Mild Cognitive Impairment，MCI)等精神疾病研究中取得了成功的应用。然而，脑功能网络数据存在高维小样本特性，使得这些方法通常需要先进行特征选择及特征提取，限制了模型的应用前景。另外，传统机器学习方法通常使用浅层分类模型，无法有效提取脑功能网络数据的高级特征，降低了模型的分类性能。

近年来，深度学习由于能够自动地从数据中学习其高层特征表达，成为了图像识别、语音识别以及自然语言处理等领域的主流方法。特别地，许多深度学习模型也已经在脑功能网络分类任务中得到了很好的应用。目前，基于深度学习模型分类方法主要包括基于全连接神经网络(Fully connected neural network,FCNN)的方法和基于卷积神经网络(Convolutional neural network,CNN)的方法。基于全连接神经网络的方法通过构建深层结构对脑功能网络数据进行深层特征提取，使其具备强大的判别能力，从而提高了模型的分类性能。然而，这种方法参数非常多，因此容易产生过拟合的问题。另外，脑功能网络数据为邻接矩阵形式，矩阵中同一行的元素对应于连接一个节点的所有边，上述方法通常将脑网络转换为向量进行输入，得到的向量忽略了这种拓扑性质。基于卷积神经网络的方法采用权值共享机制，在一定程度上解决了过拟合的问题；同时，该方法通过设计特殊的卷积操作，在一定程度上考虑了人脑功能网络中的拓扑结构信息。但是，这些方法并没有考虑脑网络中的模块化结构，使得它们的性能受到了一定的限制。具体来说，脑网络是一种小世界网络，相对于其它网络，通常具有较高的聚类系数(Clustering coefficient)以及较短的平均最短路径(Average shortest path length)等特性。其中，高聚类系数表明脑网络中的节点更倾向于相互连接，形成模块结构。研究表明，脑疾病通常也伴随着模块化结构的异常，为研究脑疾病的病理机制提供了新的角度，也为提高脑功能网络分类准确率提供了新的可能。

发明内容

本发明针对上述现有方法忽略了脑网络的模块化特性的问题，提出一种基于多尺度模块化特征的卷积神经网络(Convolutional Neural Networks with Multi-levelModular Features,CNN-MF)，用于人脑网络的分类。本发明所述方法能够提取脑网络中节点级与全脑水平下的模块化特征，以更准确地进行神经精神疾病诊断。具体来说，首先利用脑功能网络计算每一个节点的局部连接模式，反映了节点周围的模块化结构，并用卷积神经网络模型从中提取各个节点的模块化特征。随后，通过最小化各个节点特征之间的Harmonic模块化度，学习全脑水平下的模块化特征。

为实现上述目的，本发明采用的技术方案为一种基于卷积神经网络的人脑功能网络分类方法。本发明的流程如图1所示，包含以下几个步骤。1)首先获取原始静息态fMRI数据，并进行预处理。然后利用预处理后的时间序列计算脑区之间相关性,构建脑功能网络数据集；2)根据被试的信息(标签、站点、性别)将数据集划分为训练集、验证集各测试集。3)构建基于多尺度模块化特征的卷积神经网络(CNN-MF)；4)训练CNN-MF；5)对脑网络进行分类。

步骤(1)获取数据并预处理：

步骤(1.1)本发明使用静息态fMRI数据构建脑功能网络。数据采集：采集多个被试(健康人或脑疾病患者)的脑影像数据与医疗诊断信息构建数据集。每一个被试的数据包含其脑影像数据与被试的标签y。其中，在脑影像数据采集过程中，fMRI技术通常将人脑划分成S₁×S₂×S₃个小立方体，每一个立方体称为一个体素，并按一定时间间隔(如2s或1s)对全脑进行T次采样，得到原始脑影像数据

y＝1表示经专业医生诊断该被试患有脑疾病，y＝0则是正常人；

步骤(1.2)数据预处理：包括层间时间校正(Slice Timing Correction)、头动校正(Motion Realignment)、空间标准化(Normalization)、空间平滑滤波(Smoothing)、干扰信号去除(Nuisance Signal Removal)、带通滤波(Band-pass Filtering)和配准(Registration)。

步骤(1.3)脑区划分：首先根据模版将所有体素划分至N个脑区中。常用的模版包括AAL(Anatomical Automatic Labeling)模板，Harvard-Oxford模版等。然后，将每个脑区内所有体素的时间序列取平均，得到所有脑区的时间序列X＝{x_ij}_N×T；

步骤(1.4)构建脑功能网络：一个被试的脑功能网络由其邻接矩阵A＝{a_ij}_N×N表示，称为脑功能连接。其中，N表示网络中节点(即脑区)的数量，元素a_ij的值为节点i,j之间边的强度，表示它们的时间序列之间的统计相似性。常见的相似性度量方法包括皮尔逊相关系数(Pearson Correlation Coefficient)、偏相关(Partial Correlation)以及小波变换(Wavelet Transform)等。

步骤(1.5)为了充分利用脑网络中的模块化特性，本发明提出一种节点级模块化结构提取方法。该过程利用每个被试的脑功能网络邻接矩阵A计算该被试每一个脑区的局部连接模式{G⁽¹⁾,G⁽²⁾,…,G^(N)}。其中，第k个局部连接模式

表示一个新的网络的邻接矩阵，该网络的节点数量与脑功能网络相同，边由包含第k个节点的三角形结构的边组成，表示该节点及其邻居所构成的模块，反映了节点周围的模块化结构。具体来说，为了计算G^(k)，找到节点k的每一组相互连接的邻居节点i与j，并根据下式重新计算它们之间的连接边的强度

至此，对于每一个被试，得到了其脑功能网络A以及每个脑区的局部连接模式矩阵G_LCP＝{G⁽¹⁾,G⁽²⁾,…,G^(N)}，用于脑功能网络的分类任务。

步骤(2)数据集划分：将所有被试划分为训练集、验证集和测试集。其中，训练集用于学习神经网络的参数；验证集用于确定网络结构和超参数；测试集用于验证神经网络分类效果。

步骤(3)构建基于多尺度模块化特征的卷积神经网络模型(Convolutionalneural network with multi-level modular features，CNN-MF)：该模型的输入为一个被试的脑功能连接矩阵A以及每个脑区的局部连接模式矩阵G_LCP，输出为模型判定该被试为健康以及患病的概率[p(y＝0)p(y＝1)]^T，当

时，模型判定该被试为正常人，若等于1则为患者。如图3所示，模型主要由节点级特征提取、全脑级模块化特征学习以及高层特征提取及分类3个部分组成。

①节点级特征提取(Node-level Feature Extraction)：包含节点级拓扑特征提取以及节点级模块化特征提取两个部分，最后将两个部分得到的特征进行合并。该模块的输入即为CNN-MF的输入，输出为所有节点的特征

其中，M¹与M³分别表示拓扑特征与模块化特征的维数。

1)节点级拓扑特征提取：该部分包含一个边到节点(Edge-to-node，E2N)层，输入为脑功能连接矩阵

输出为各个节点的拓扑特征

具体计算过程如下：

首先初始化卷积层参数

然后，初始化偏置项

以输入层中功能连接矩阵A作为所述E2N层的输入，根据式(1)完成卷积操作，计算该输出的拓扑特征中第r行第o列的值

σ(·)为激活函数，常见的激活函数有ReLu(Rectified Linear Unit)，Sigmoid等。

2)节点级模块特征提取：该部分由一个E2N层与一个节点到图(Node-to-graph，N2G)层组成。输入为所有局部连接模式矩阵{G⁽¹⁾,G⁽²⁾,…,G^(N)}，输出为所有节点的模块化特征

首先，初始化该部分中E2N层的参数

以及偏置项

分别以每个局部连接模式

作为该层的输入，得到

具体计算如下

然后，初始化N2G层参数

以及偏置项

分别以上一步中输出的第k个特征H^2,(k)作为输入，得到第k个节点的模块化特征

其第o个元素的计算方法如下

3)特征合并：在得到节点的拓扑特征

与模块化特征{H^3,(1),H^3,(1),…,H^3,(N)}后，对每一个节点的特征进行拼接，得到所有节点的特征

其中，

的第k行为H¹的第k行与H^3,(k)拼接得到。

②全脑级模块化特征学习(Network-level modular feature learning)：该部分的输入为所有节点的特征

输出为特征之间的Harmonic模块化度

尽管上述过程考虑了每个节点周围的模块化结构，但是脑功能网络的高聚类系数特性表明其节点趋向于聚集成团，但是该过程并没有考虑这一点。为此，本发明引入了Harmonic模块化度

来度量特征之间的关系与脑网络中模块化特性的匹配程度，当

的值越小则说明当前得到的节点特征之间的关系更符合脑网络中的模块化结构。

的计算方法公式(4)所示

其中，

表示对脑功能连接矩阵A中所有元素取绝对值得到的结果，

表示以

为邻接矩阵计算得到的度矩阵(Degree Matrix)

随后，将

作为CNN-MF的损失函数中正则项之一，使得模型能够学习到反映全脑水平下模块化特性的节点特征。

③高层特征提取及分类：该部分由N2G层，全连接(Fully connected，FC)层以及一个Softmax层组成。输入为节点特征

输出为模型判定该被试为健康以及患病的概率[p(y＝0)p(y＝1)]^T。

1)N2G层：初始化参数

以及偏置项

以节点特征

为输入得到图级别的特征

计算方法如下

2)全连接层：首先初始化权重参数

和偏置

然后，以H⁴作为所述全连接层的输入，通过式(5)对其进行线性组合，并通过激活函数σ(·)进行非线性特征变换，得到输出特征

一个神经网络模型可以拼接一个或多个全连接层用于进行高层特征提取，前一层的输出作为后一层的输入。最后一个全连接层的特征维数M^L为模型分类任务的类别数量C(如二分类问题则C＝2)，其中L表示模型中神经元层的数量。最后一个全连接层得到的特征为

3)Softmax层：所述多层神经网络的输出层是Softmax分类器，其输入为H^L。式(6)给出了Softmax层的定义：

其中，0<p(y＝c)<1表示模型将被试分类至第c类别的概率。

④模型代价函数：本发明所述的一种基于卷积神经网络的人脑功能网络分类方法的输入为一个被试的脑功能连接A及各个脑区的局部连接模式G_LCP，然后得到该被试属于各个类别的概率

若给出N_s个被试的数据集

分别表示每个被试的脑功能连接，局部连接模式以及标签，则模型在该数据集上的整体代价函数如式(7)所示：

其中，W＝{W¹,W²,…,W^L}为神经网络中所有权重参数，b＝{b¹,b²,…b^L}为所有偏置。

表示交叉熵

p(y⁽ⁿ⁾＝c)表示模型判定第n个样本属于第c类的概率。

表示模型中参数的正则项，用于避免过拟合现象

其中λ_l为正则化参数，

表示矩阵的

正则。。

由公式(4)得到，λ_Harmonic表示平衡该项与其它损失项之间比例的超参数。

步骤(4)针对步骤(2)中的训练集，利用Adam自适应优化算法最小化步骤(3)中所述代价函数，并根据模型在验证集上的分类准确率确定神经网络的结构和超参数。

步骤(5)在完成上述所有步骤后，可以将新的脑网络数据集输入至模型中，根据模型的结果对这些数据进行分类，由此实现对脑疾病发现和诊断帮助。

与现有方法相比，本发明具有以下明显的优势和有益效果：

本发明提出一种基于多尺度模块化特征的卷积神经网络(CNN-MF)，用于人脑功能网络的分类。相较于传统网络，所述模型具有以下特点：1)深入探究脑疾病所引起的小世界性异常带来的影响，并尝试利用其中模块化特征作为人脑功能网络分类任务的生物标记。

2)设计了一种新的基于卷积神经网络的框架，通过提取不同尺度下的模块化特征，对人脑功能网络进行分类，进行脑疾病的诊断分类任务。3)相对于传统机器学习算法和其它深度学习算法，本发明所述方法可以有效地利用人脑功能网络数据中的模块化结构信息，从而更准确地进行脑疾病诊断。

附图说明

图1：一种基于卷积神经网络的人脑功能网络分类方法流程图

图2：数据划分方法。

图3：局部连接模式提取过程示意图。

图4：一种基于多尺度化特征的卷积神经网络的结构图。

图5：基于卷积神经网络的拓扑特征提取过程示意图。

具体实施方式

本实施例中以自闭症患者为研究对象，但本方法不限于此，还可以以他精神疾病患者为研究对象，数据换为对应的静息态fMRI数据即可。下面以真实自闭症患者fMRI数据集为例，具体说明本方法的实施步骤：

步骤(1)获取静息态fMRI数据并预处理：

步骤(1.1)本发明使用静息态fMRI数据构建脑网络(脑功能网络)。静息态fMRI数据获取：从ABIDE(Autism Brain Imaging Data Exchange，http://fcon_1000.projects.nitrc.org/indi/abide/)获取自闭症(Autism spectrum disorder，ASD)静息态fMRI数据，该数据集共包含来自17个数据采集站点的N_s＝1112名被试的数据，每一个被试的数据包含其脑影像数据与被试的标签y。其中，在脑影像数据采集过程中，fMRI技术通常将大脑划分成S₁×S₂×S₃个小立方体，每一个立方体称为一个体素，并按一定时间间隔(如2s或1s)对全脑进行T次采样，得到原始脑影像数据

每个体素对应一个时间序列。y＝1表示经专业医生诊断该被试患有脑疾病，y＝0则是正常人；

步骤(1.2)数据预处理：为了便于对所述方法进行复现和扩展，所有预处理数据均从Preprocessed Connectomes Project(PCP，http://preprocessed-connectomes-project.org/abide/)获得。PCP项目公开发布和共享了由四个不同预处理流程对ABIDE中各个站点数据进行预处理后的数据。本发明所用数据由Data Processing Assistant forResting-State fMRI(DPARSF)软件执行预处理操作。在预处理过程中，为避免扫描开始时的匀场效应及受试者初入环境的不适应对结果造成影响，首先去除每个被试的前4个时间点对应的全脑影像。数据预处理流程主要包括：层间时间校正(slice timingcorrection)、头动校正(Motion realignment)、空间标准化(Normalization)、空间平滑滤波(Smoothing)、干扰信号去除(Nuisance Signal Removal)、带通滤波(Band-passFiltering)和配准(Registration)。

步骤(1.3)脑区划分：由于真实fMRI数据通常包含几十万个(S₁×S₂×S₃)体素，因此如果直接使用体素的时间序列构建脑功能网络，会使特征的维度非常高，机器学习模型难以直接从中学习到有用的特征。因此，常见的做法是使用某个脑区划分模版，如AAL(Anatomical Automatic Labeling)模板、Harvard-Oxford模版等，本发明采用最常用的AAL模版进行划分。该模版将人脑划分成116个脑区，其中90个区域为与脑疾病最为相关的大脑区域，我们选取这90个脑区构建脑功能连接构建。使用AAL进行脑区划分一方面能够极大地减少数据的维数，降低计算复杂度；另一方面，AAL模板各个分区与宏观的人脑结构相对应，增加了结果的可解释性。fMRI数据预处理后得到的各个体素的时间序列信号，在各个脑区内对时间序列信号取平均，即得到各个脑区的平均fMRI时间序列信号X＝{x_ij}_N×T。

步骤(1.4)构建脑功能网络：一个被试的脑功能网络由其邻接矩阵A＝{a_ij}_N×N表示，称为脑功能连接。其中，N表示网络中节点(即脑区)的数量，元素a_ij的值为节点i,j之间边的强度，表示它们的时间序列之间的统计相似性。常见的相似性度量方法包括皮尔逊相关系数(Pearson Correlation Coefficient)、偏相关(Partial Correlation)以及小波变换(Wavelet Transform)等；本发明采用最常用的Pearson相关系数计算功能连接强度

其中，

表示第i个脑区的时间序列的平均值；

步骤(1.2)获取的预处理数据中，有16个被试的时间序列为0被剔除，无法计算其脑功能连接，最终样本个数N_s＝1096，其中，对照组有569名，ASD组有527名受试者。

步骤(1.5)为了充分利用脑网络中的模块化特性，本发明提出一种节点级模块化结构提取方法。该过程利用每个被试的脑功能网络邻接矩阵A计算该被试每一个脑区的局部连接模式{G⁽¹⁾,G⁽²⁾,…,G^(N)}。其中，第k个局部连接模式

表示一个新的网络的邻接矩阵，该网络的节点数量与脑功能网络相同，边由包含第k个节点的三角形结构的边组成，表示该节点及其邻居所构成的模块，反映了节点周围的模块化结构。具体来说，为了计算G^(k)，找到节点k的每一组相互连接的邻居节点i与j，并根据下式重新计算它们之间的连接边的强度

图3表示在一个仅包含8个节点的网络中，对节点4进行局部连接模式提取的过程及结果。其中，上图表示原始的图及其邻接矩阵，下图中的蓝色边为通过上式第一个子公式计算得到，红色边为第二个子公式得到，而灰色的边则由于其在网络中不在节点4的周围而被忽略。

至此，对于每一个被试，得到了其脑功能网络A以及每个脑区的局部连接模式矩阵G_LCP＝{G⁽¹⁾,G⁽²⁾,…,G^(N)}，用于脑功能网络的分类任务。

对所有被试执行上述所有步骤，得到本实例所使用的数据集

分别表示每个被试的脑功能连接，局部连接模式以及标签，上标表示被试的索引。

步骤(2)数据集划分：

将ABIDE真实数据集划分为训练集、验证集和测试集。其中，训练集用于从数据中学习神经网络的参数；验证集用于确定网络结构和超参数；测试集用于验证神经网络分类效果。

ABIDE数据集中的数据来自17个独立站点，由于各站点之间没有事先协调，因此扫描设备、参数、诊断和评估标准等在不同站点之间有所不同。考虑到不同站点数据的差异性，并尽量保证训练集、验证集和测试集数据分布的一致性，如图2所示，我们按照以下步骤对ABIDE真实数据集进行双重分层交叉验证数据划分：首先，将来自17个独立站点的数据，按照样本标签划分为2个第一重分层子数据集，同时按照不同的站点分别划分为17个第二重分层子数据集。经过双重分层后的数据集记为数据集X。然后，从分层后的数据中按照传统五折交叉验证方法，每次取20％的数据作为验证集X_valid，用于确定所述方法的网络结构和超参数。其中，综合考虑站点信息和样本标签信息，X_valid中的每个数据均从X中双重分层采样得到。最后，将X剩余80％的数据，按照3：1划分训练集X_train和测试集X_test。其中,综合考虑站点信息和样本标签信息，X_train和X_test中的每个数据均从通过双重分层采样得到。具体数据划分方法如图2所示。

步骤(3)构建基于多尺度模块化特征的卷积神经网络模型(Convolutionalneural network with multi-level modular features，CNN-MF)：该模型的输入为一个被试的脑功能连接矩阵A以及每个脑区的局部连接模式矩阵G_LCP，输出为模型判定该被试为健康以及患病的概率[p(y＝0)p(y＝1)]^T，当

时，模型判定该被试为正常人，若等于1则为患者。如图3所示，模型主要由节点级特征提取、全脑级模块化特征学习以及高层特征提取及分类3个部分组成。

①节点级特征提取(Node-level Feature Extraction)：包含节点级拓扑特征提取以及节点级模块化特征提取两个部分，最后将两个部分得到的特征进行合并。该模块的输入即为CNN-MF的输入，输出为所有节点的特征

其中，M¹与M³分别表示拓扑特征与模块化特征的维数。

1)节点级拓扑特征提取：该部分包含一个边到节点(Edge-to-node，E2N)层，输入为脑功能连接矩阵

输出为各个节点的拓扑特征

具体计算过程如下：

首先初始化卷积层参数

然后，初始化偏置项

以输入层中功能连接矩阵A作为所述E2N层的输入，根据式(1)完成卷积操作，计算该输出的拓扑特征中第r行第o列的值

σ(·)为激活函数，常见的激活函数有ReLu(Rectified Linear Unit)，Sigmoid等，A_r,c为A中第r行c列的元素。

2)节点级模块特征提取：该部分由一个E2N层与一个节点到图(Node-to-graph，N2G)层组成。输入为所有局部连接模式矩阵{G⁽¹⁾,G⁽²⁾,…,G^(N)}，输出为所有节点的模块化特征

首先，初始化该部分中E2N层的参数

以及偏置项

分别以每个局部连接模式

作为该层的输入，得到

具体计算如下

为G^(k)第r行c列的元素，

为H^2,(k)第r行o列的元素；

然后，初始化N2G层参数

以及偏置项

分别以上一步中输出的第k个特征H^2,(k)作为输入，得到第k个节点的模块化特征

其第o个元素的计算方法如下

3)特征合并：在得到节点的拓扑特征

与模块化特征{H^3,(1),H^3,(1),…,H^3,(N)}后，对每一个节点的特征进行拼接，得到所有节点的特征

其中，

的第k行为H¹的第k行与H^3,(k)拼接得到。

②全脑级模块化特征学习(Network-level modular feature learning)：该部分的输入为所有节点的特征

输出为特征之间的Harmonic模块化度

尽管上述过程考虑了每个节点周围的模块化结构，但是脑功能网络的高聚类系数特性表明其节点趋向于聚集成团，但是该过程并没有考虑这一点。为此，本发明引入了Harmonic模块化度

来度量特征之间的关系与脑网络中模块化特性的匹配程度，当

的值越小则说明当前得到的节点特征之间的关系更符合脑网络中的模块化结构。

的计算方法公式(4)所示

其中，

表示对脑功能连接矩阵A中所有元素取绝对值得到的结果，

表示以

为邻接矩阵计算得到的度矩阵(Degree Matrix)

随后，将

作为CNN-MF的损失函数中正则项之一，使得模型能够学习到反映全脑水平下模块化特性的节点特征。

③高层特征提取及分类：该部分由N2G层，全连接(Fully connected，FC)层以及一个Softmax层组成。输入为节点特征

输出为模型判定该被试为健康以及患病的概率[p(y＝0)p(y＝1)]^T。

1)N2G层：初始化参数

以及偏置项

以节点特征

为输入得到图级别的特征

计算方法如下

为

中第r行i列的元素。

2)全连接层：首先初始化权重参数

和偏置

然后，以H⁴作为所述全连接层的输入，通过式(5)对其进行线性组合，并通过激活函数σ(·)进行非线性特征变换，得到输出特征

一个神经网络模型可以拼接一个或多个全连接层用于进行高层特征提取，前一层的输出作为后一层的输入。最后一个全连接层的特征维数M^L为模型分类任务的类别数量C(如二分类问题则C＝2)，其中L表示网络模型的层数。最后一个全连接层得到的特征为

3)Softmax层：所述多层神经网络的输出层是Softmax分类器，其输入为H^L。式(6)给出了Softmax层的定义：

其中，0<p(y＝c)<1表示模型将被试分类至第c类别的概率。

④模型代价函数：本发明所述的一种基于卷积神经网络的人脑功能网络分类方法的输入为一个被试的脑功能连接A及各个脑区的局部连接模式G_LCP，然后得到该被试属于各个类别的概率

若给出N_s个被试的数据集D，分别表示每个被试的脑功能连接，局部连接模式以及标签，则模型在该数据集上的整体代价函数如式(7)所示：

其中，W＝{W¹,W²,…,W^L}为神经网络中所有权重参数，b＝{b¹,b²,…b^L}为所有偏置。

表示交叉熵

p(y⁽ⁿ⁾＝c)表示模型判定第n个样本属于第c类的概率。

表示模型中参数的正则项，用于避免过拟合现象

其中λ_l为正则化参数，

表示矩阵的

正则。

由公式(4)得到，λ_Harmonic表示平衡该项与其它损失项之间比例的超参数。

步骤(4)针对步骤(2)中的训练集，利用Adam自适应优化算法最小化步骤(3)中所述代价函数，并根据模型在验证集上的分类准确率确定神经网络的结构和超参数,最终确定的模型超参数如表1中最后一行第3列所示(方括号内表示对应层的特征维数，即M^l的值)。

步骤(5)首先，将步骤(3.1)中的训练集X_train和测试集X_test输入到由步骤(4)确定的模型中；然后，利用10次五折交叉验证法，得到对ASD患者的分类准确率，由此实现对脑疾病发现和诊断帮助。

为了说明本发明所述方法的有益效果，在具体实施过程中，我们在多种不同算法上进行对比试验，算法说明如表1所示。

表1对比算法及相关说明

表1中，CNN-MF代表本发明所述的方法，CNN-EW代表基于传统卷积神经网络的人脑功能网络分类方法，CNN-MF和CNN-EW具有相同的神经网络结构。DNN作为全连接神经网络的代表，将其设计为除了输入层和输出层以外，还包含300和96个神经元的4层全连接神经网络。另外，具体实施过程中还选择了广泛使用的传统机器学习算法--支持向量机(SupportVector Machine，SVM)和最小绝对收缩和选择算子(Least Absolute Shrinkage andSelection Operator，LASSO)。

表2 5种算法在真实数据集上的分类准确率、灵敏度和特异度

本发明基于卷积神经网络，首先提取节点级模块结构，并使用卷积神经网络对其进行高层特征提取，得到节点级模块化特征。然后引入Harmonic模块化度对节点的特征进行约束，使得到的特征之间的关系符合全脑尺度下的模块化结构。本发明所述方法能够很好地利用人脑功能网络数据的拓扑结构信息进行特征表达，以更准确地对脑网络进行分类。如表2所示，本发明所述方法在真实fMRI数据集上取得了最好的结果。因此，本发明所述方法合理可靠，可为脑疾病诊断提供有力的帮助。

Claims (9)

1.一种基于卷积神经网络的人脑功能网络分类方法，其特征在于：

步骤(1)获取静息态fMRI数据并进行预处理，利用预处理后fMRI时间序列信号计算各个脑区间的功能连接强度，构建真实的人脑功能网络数据集；

步骤(2)将真实数据集和仿真数据集分别划分为训练集、验证集和测试集；

步骤(3)构建基于尺度模块化特征的卷积神经网络CNN-MF，用于对人脑功能网络进行分类；

步骤(4)针对步骤(2)中的训练集，利用Adam自适应优化算法训练CNN-MF，并根据模型在验证集上的分类准确率确定神经网络的结构和超参数；

步骤(5)在完成上述所有步骤后，将待识别的脑网络数据集输入至训练完成的CNN-MF模型中，根据模型的结果对这些数据进行分类，由此实现对脑疾病发现和诊断帮助。

2.根据权利要求1所述的一种基于卷积神经网络的人脑功能网络分类方法，其特征在于：

步骤(1)具体包括：

步骤(1.1)采集静息态fMRI数据构建数据集，每一个被试的数据包含其脑影像数据与被试的标签y；

步骤(1.2)数据预处理：包括层间时间校正Slice Timing Correction、头动校正Motion Realignment、空间标准化Normalization、空间平滑滤波Smoothing、干扰信号去除Nuisance Signal Removal、带通滤波Band-pass Filtering和配准Registration步骤；

步骤(1.3)脑区划分：首先根据模版将所有体素划分至N个脑区中；然后，将每个脑区内所有体素的时间序列取平均，得到所有脑区的时间序列X＝{x₁，...，x_N}^T，x_i表示第i脑区的时间序列，x_i＝{x_i1，...，x_iT}，x_ij表示第i脑区包含的所有体素、在第j时刻的采样信号的平均值；

步骤(1.4)获取用于表征被试脑功能网络的邻接矩阵A＝{a_ij}_N×N，其中，N表示网络中节点数量，即脑区的数量，元素a_ij的值为节点i，j之间边的强度，表示它们的时间序列之间的统计相似性；

步骤(1.5)提取节点级模块化结构，具体为：利用每个被试的脑功能网络邻接矩阵A计算该被试每一个脑区的局部连接模式{G⁽¹⁾，G⁽²⁾，…，G^(N)}，其中，第k个局部连接模式

表示一个新的网络的邻接矩阵，该网络的节点数量与脑功能网络相同，边由包含第k个节点的三角形结构的边组成，表示该节点及其邻居所构成的模块，具体来说，找到节点k的每一组相互连接的邻居节点i与j，并根据下式重新计算它们之间的连接边的强度

至此，对于每一个被试，得到了其脑功能网络A以及每个脑区的局部连接模式矩阵G_LCP＝{G⁽¹⁾，G⁽²⁾，…，G^(N)}，用于脑功能网络的分类任务。

3.根据权利要求1所述的一种基于卷积神经网络的人脑功能网络分类方法，其特征在于：

步骤(3)构建基于多尺度模块化特征的卷积神经网络模型CNN-MF：该模型的输入为一个被试的脑功能连接矩阵A以及每个脑区的局部连接模式矩阵G_LCP，输出为模型判定该被试为健康以及患病的概率；模型由节点级特征提取、全脑级模块化特征学习以及高层特征提取及分类3个部分组成。

4.根据权利要求3所述的一种基于卷积神经网络的人脑功能网络分类方法，其特征在于：

所述节点级特征提取Node-level Feature Extraction包含节点级拓扑特征提取以及节点级模块化特征提取两个部分，最后将两个部分得到的特征进行合并；该模块的输入即为CNN-MF的输入，输出为所有节点的特征

其中，M¹与M³分别表示拓扑特征与模块化特征的维数；

其中，所述的节点级拓扑特征提取：该部分包含一个边到节点E2N层，输入为脑功能连接矩阵

输出为各个节点的拓扑特征

具体计算过程如下：

首先初始化卷积层参数

然后，初始化偏置项

以输入层中功能连接矩阵A作为所述E2N层的输入，根据式(1)完成卷积操作，计算该输出的拓扑特征中第r行第o列的值

σ(·)为激活函数；

所述的节点级模块特征提取：该部分由一个E2N层与一个节点到图N2G层组成，输入为所有局部连接模式矩阵{G⁽¹⁾，G⁽²⁾，…，G^(N)}，输出为所有节点的模块化特征

具体如下：

首先，初始化该部分中E2N层的参数

以及偏置项

分别以每个局部连接模式

作为该层的输入，得到

其中第r行o列元素的具体计算如下

然后，初始化N2G层参数

以及偏置项

分别以上一步中输出的第k个特征H^2，(k)作为输入，得到第k个节点的模块化特征

其第o个元素的计算方法如下

所述的特征合并具体为：在得到节点的拓扑特征

与模块化特征{H^3，(1)，H^{3 ，(1)}，…，H^3，(N)}后，对每一个节点的特征进行拼接，得到所有节点的特征

其中，

的第k行为H¹的第k行与H^3，(k)拼接得到。

5.根据权利要求3所述的一种基于卷积神经网络的人脑功能网络分类方法，其特征在于：

所述的全脑级模块化特征学习具体为：该部分的输入为所有节点的特征

输出为特征之间的Harmonic模块化度

的计算方法公式(4)所示

其中，

表示对脑功能连接矩阵A中所有元素取绝对值得到的结果，

表示以

为邻接矩阵计算得到的度矩阵

6.根据权利要求3所述的一种基于卷积神经网络的人脑功能网络分类方法，其特征在于：

所述的高层特征提取及分类具体为：该部分由N2G层，全连接FC层以及一个Softmax层组成；输入为节点特征

输出为模型判定该被试为健康以及患病的概率[p(y＝0) p(y＝1)]^T；

其中，所述的N2G层：初始化参数

以及偏置项

以节点特征

为输入得到图级别的特征

其第o个元素的计算方法如下

所述的全连接层：首先初始化权重参数

和偏置

然后，以H⁴作为所述全连接层的输入，通过式(5)对其进行线性组合，并通过激活函数σ(·)进行非线性特征变换，得到输出特征

其中第j个元素的计算公式如下：

一个神经网络模型可以拼接一个或多个全连接层用于进行高层特征提取，前一层的输出作为后一层的输入，最后一个全连接层的特征维数M^L为模型分类任务的类别数量C，其中L表示模型中神经元层的数量，最后一个全连接层得到的特征为

所述的Softmax层：所述多层神经网络的输出层是Softmax分类器，其输入为H^L，式(6)给出了Softmax层的定义：

其中，0＜p(y＝c)＜1表示模型将被试分类至第c类别的概率，

表示H^L中的第c个元素。

7.根据权利要求2所述的一种基于卷积神经网络的人脑功能网络分类方法，其特征在于：

步骤(1.4)中所述相似性度量方法包括皮尔逊相关系数Pearson CorrelationCoefficient、偏相关Partial Correlation以及小波变换Wavelet Transform。

8.根据权利要求2所述的一种基于卷积神经网络的人脑功能网络分类方法，其特征在于：

步骤(1.3)中所述模版包括AAL模板，Harvard-Oxford模版。

9.根据权利要求1所述的一种基于卷积神经网络的人脑功能网络分类方法，其特征在于：

所述CNN-MF模型的整体代价函数如式(7)所示：

其中，W＝{W⁰，W¹，W²，…，W^L}为神经网络中所有权重参数，b＝{b⁰，b¹，b²，…b^L}为所有偏置，

表示交叉熵

p(y⁽ⁿ⁾＝c)表示模型判定第n个样本属于第c类的概率；

表示模型中参数的正则项，用于避免过拟合现象

其中λ_l为正则化参数，

表示矩阵的l₂正则。

Images