CN103093087A - 一种基于多任务学习的多模态脑网络特征融合方法 - Google Patents

Abstract

本发明公开了一种基于多任务学习的多模态脑网络特征融合方法，包括：对获取的fMRI图像、DTI图像进行预处理；将预处理后的fMRI图像配准到标准的AAL模板；将预处理后的DTI图像做纤维追踪，计算FA值，并通过AAL模板构造结构连接矩阵；分别计算功能连接矩阵和结构连接矩阵每个脑区的聚类系数，作为功能特征和结构特征；将功能特征和结构特征当作两个不同的任务，通过求解多任务学习最优化问题评定最优特征集。本发明的方法利用多个模态互为补充的信息进行同时学习并进行分类，提高了分类的准确率，客服了单任务特征选择方法时不考虑特征之间的关联性，以及只用一个模态的特征进行模式分类可能导致信息量不足的问题。

Description

一种基于多任务学习的多模态脑网络特征融合方法

技术领域

本发明属于生物信息技术领域，涉及多模态模式识别技术，具体涉及静息态功能磁共振成像（resting-state functional magnetic resonance imaging，rs-fMRI）和弥散张量成像（diffusion tensor imaging，DTI）的特征融合方法。

背景技术

为了给临床提供更多影像指标，目前许多研究采用分析磁共振图像差异，将显著差异指标作为支持向量机的特征集，通过支持向量机对样本进行分类。

磁共振成像不仅可以得到功能信息，还可以得到丰富的结构信息。然而当前的磁共振模式分类研究大多基于单一模态（如功能磁共振、结构磁共振、弥散张量成像），很少将功能信息与结构信息进行融合，以进一步提高模式分类的准确率；而且在特征选择环节大多基于单变量的t统计检验，这种特征选择法会忽略掉两组样本特征间细微的差异，并且没有考虑模态之间特征的相互关系。

发明内容

本发明的目的是为了解决现有的磁共振模式分类研究存在的上述问题，提出了一种基于多模态脑网络的多任务特征融合方法。

本发明技术方案为：一种基于多任务学习的多模态脑网络特征融合方法，具体包括如下步骤：

步骤1：对获取的fMRI图像、DTI图像进行预处理。

步骤2：将预处理后的fMRI图像配准到标准的AAL模板，并计算功能连接矩阵。

步骤3：将预处理后的DTI图像配准到AAL模板，计算FA值，构造结构连接矩阵；

步骤4：分别计算功能网络矩阵和结构网络矩阵每个脑区的聚类系数，得到功能特征和结构特征；

步骤5：将步骤4得到的功能特征和结构特征当作两个不同的任务，按多任务学习最优化问题评定最优特征集，即得到融合后的特征集。

进一步，上述方法还包括对融合后的特征集用支持向量机进行分类的步骤。

本发明的有益效果：本发明的方法将多任务特征选择方法和多模态模式分类进行有机的结合，客服了传统的单任务特征选择方法时不考虑特征之间的关联性，以及只用一个模态的特征进行模式分类从而导致信息量不足的问题；本发明的方法综合利用二者的特点，利用多个模态互为补充的信息进行同时学习并进行分类，有效的提高了分类的准确率。

附图说明

图1本发明的多任务特征融合方法流程示意图。

具体实施方式

下面结合附图和具体实例对本发明做进一步的说明。

本实施以重度抑郁症病人数据为例进行说明，具体数据在中南大学湘雅二医院采集，抑郁症诊断用DSM—IV量表诊断，病人为首发未用药，共18例，对照组同样为18例，图像用1.5TGE磁共振扫描器扫描，采集了静息态功能磁共振图像和弥散张量成像数据。

本发明的基于多任务学习的多模态脑网络特征融合方法的具体实施过程如图1所示，包括以下步骤：

A.对获取的fMRI图像进行预处理，具体步骤如下：

1、进行数据转换，把原始Dicom图像转换为NIfTI图像；

这里，NIfTI是一种典型的数据分析格式，包括一些重要的信息，如图像的方向，主要用于大脑图像分析。

2、时间校正；

3、头动校正；

4、校正后的图像与SPM软件的EPI（Echo-planar imaging，平面回波扫描成像）模版进行标准化，把每个体素重采样到3×3×3mm³大小；

5、进行信号的去除线性漂移和滤波；

6、回归掉脑脊液信号、白质信号以及头动对真实生理信号的影响。

B.对获取的DTI图像进行预处理，具体步骤如下：

1、进行数据转换，把原始Dicom图像转换为NIFTI图像；

1、涡流校正和头动校正；

2、把被试的结构相对齐到无弥散加权图像b0像；

3、把对齐后的结构相配准到SPM的T1模版，得到变换矩阵。T1模板是用于将图像进行空间校准化的本领域公认的大脑模板，T1模板的具体大小为：2*2*2mm³，可以根据实际情况进行选择。

4、将矩阵进行反变换，把标准空间的AAL模版拉到个体空间；

5、在个体空间进行DTI的纤维束追踪。

C.构建功能连接矩阵：将预处理后的fMRI图像按大脑分区模板（AAL模板）进行分区，提取每一个脑区的时间序列，并计算两两时间序列之间的皮尔逊相关系数：

$r_{X,Y}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(X_i-\stackrel{\‾}{X})(Y_i-\stackrel{\‾}{Y})}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(X_i-\stackrel{\‾}{X})}^2\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(Y_i-\stackrel{\‾}{Y})}^2}}$

其中，r_X,Y表示时间序列X和时间序列Y的相关系数，X_i表示指时间序列X的第i个时间点，n是时间点的个数；

将得到的皮尔逊相关系数作为功能网络的权值，这里，AAL模板将大脑分成116个脑区，因而得到大小为116*116的功能连接矩阵。

D．构建结构连接矩阵：根据步骤B得到的纤维追踪结果，统计个体空间AAL模版每两个脑区之间fiber上的Fiber Anisotropy（FA）值，作为结构网络的权值，构建大小为116*116的结构连接矩阵。

E.构建特征集：分别计算功能连接矩阵和结构连接矩阵的脑区聚类系数(clusteringcoefficient)，每一个脑区作为一个节点（Node）,并将计算得到的功能连接矩阵和结构连接矩阵的脑区聚类系数分别作为功能特征和结构特征。

$C_i^w=\frac{\underset{j,h\∈N}{\mathrm{\Σ}}{\left(w_{\mathrm{ij}}{w}_{\mathrm{ih}}{w}_{\mathrm{jh}}\right)}^{1/3}}{k_i(k_i-1)}$

其中，i≠j≠h，

是指结点i的聚类系数，N为与节点i相邻的节点集合，w_ij为节点i和j之间的权值，w_ih为节点i和h之间的权值，w_jh为节点j和h之间的权值，k_i为节点i的度。

聚类系数是衡量的是网络的集团化程度,是度量网络的一个重要参数。

F:多任务特征选择：利用步骤E得到的聚类系数C^w作为特征V，将功能特征和结构特征当作两个不同的任务，通过求解下面优化问题进行特征选择：

$\underset{W}{\min }\underset{j=1}{\overset{t}{\mathrm{\Σ}}}{\left|\right|w_j^T{V}_j-Y_j\left|\right|}_F^2+p_1{\left|\right|W\left|\right|}_1+p_2{\left|\right|W\left|\right|}_F^2$

其中，t为任务个数，T表示转置运算，w_j为第j个任务的权重向量，V_j为第j个任务中全体特征，Y_j∈{1,-1}为类别标签，p₁,p₂为正则化因子，W={w₁,w₂,…，w_t}， ${\left|\right|W\left|\right|}_1={\mathrm{\Σ}}_{j=1}^t{\mathrm{\Σ}}_{i=1}^d\left|w_{j,i}\right|,$ ${\left|\right|W\left|\right|}_F=\sqrt{{\mathrm{\Σ}}_{j=1}^t{\mathrm{\Σ}}_{i=1}^d{w}_{j,i}^2},$ d为每个任务的特征个数，w_j,i表示第j个任务的第i个特征的权值。

这里，正则化因子p₁,p₂可以通过grid-search的方法寻找最优值。

这里，w_j是一个列向量，为第j个任务的所有特征的权重，大小为116*1。

通过求解上述最优化问题，可以求得使目标函数达到最小时所对应的V_j，将每个任务中非零的权值所对应的特征选择出来，即最优特征集，该最优特征集作为融合后的特征集，即可根据该特征集进行后续分析处理。

为测试本发明的效果，在本实施例中具体采用留一法来进行测试。假设一共有n个样本，每一次用n-1个样本作为训练集，用剩下的一个作为测试集。让每一个样本都做且仅做一次测试集，最后把所有测试集的准确率进行平均。上述所述的特征选择仅仅基于训练集，并未用到测试集的信息。

将本发明的方法与单任务稀疏表示特征选择法、传统t检验特征选择法、单模态脑网络分类算法进行性能比较如表1所示。

表1

方法	准确率
		传统t检验特征选择法（功能网络）	61.11%
传统t检验特征选择法（结构网络）	86.11%
		传统t检验特征选择法（结构网络+功能网络）	86.11%
多任务特征选择法（结构网络+功能网络）	91.60%

可以看出，本发明的方法利用多个模态互为补充的信息进行同时学习并进行分类，可以有效的提高分类的准确率。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (5)

1.一种基于多任务学习的多模态脑网络特征融合方法，具体包括如下步骤：

步骤1：对获取的fMRI图像、DTI图像进行预处理。

步骤2：将预处理后的fMRI图像配准到标准的AAL模板，并计算功能连接矩阵。

步骤3：将预处理后的DTI图像配准到AAL模板，计算FA值，构造结构连接矩阵；

步骤4：分别计算功能连接矩阵和结构连接矩阵每个脑区的聚类系数，作为功能特征和结构特征；

步骤5：将步骤4得到的功能特征和结构特征当作两个不同的任务，通过求解多任务学习最优化问题评定最优特征集，即得到融合后的特征集。

2.根据权利要求1所述的多模态脑网络特征融合方法，其特征在于，还包括对融合后的特征集用支持向量机进行分类的步骤。

3.根据权利要求1或2所述的多模态脑网络特征融合方法，其特征在于，步骤2所述的计算功能连接矩阵的具体过程如下：

将预处理后的fMRI图像按大脑分区模板（AAL模板）进行分区，提取每一个脑区的时间序列，并计算两两时间序列之间的皮尔逊相关系数：

$r_{X,Y}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(X_i-\stackrel{\‾}{X})(Y_i-\stackrel{\‾}{Y})}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(X_i-\stackrel{\‾}{X})}^2\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(Y_i-\stackrel{\‾}{Y})}^2}}$

其中，r_X,Y表示时间序列X和时间序列Y的相关系数，X_i表示指时间序列X的第i个时间点，n是时间点的个数；

将得到的皮尔逊相关系数作为功能网络的权值，即得到功能连接矩阵。

4.根据权利要求1或2所述的多模态脑网络特征融合方法，其特征在于，步骤4所述的聚类系数具体计算过程如下：

$C_i^w=\frac{\underset{j,h\∈N}{\mathrm{\Σ}}{\left(w_{\mathrm{ij}}{w}_{\mathrm{ih}}{w}_{\mathrm{jh}}\right)}^{1/3}}{k_i(k_i-1)}$

其中，i≠j≠h，

是指结点i的聚类系数，N为与节点i相邻的节点集合，w_ij为节点i和j之间的权值，k_i为节点i的度。

5.根据权利要求4所述的多模态脑网络特征融合方法，其特征在于，步骤5的具体过程如下：

将功能特征和结构特征当作两个不同的任务，通过求解下面优化问题进行特征选择：

其中，其中，t为任务个数，T表示转置运算，w_j为第j个任务的权重向量，V_j为第j个任务中全体特征，Y_j∈{1,-1}为类别标签，p₁,p₂为正则化因子，W={w₁,w₂,…，w_t}，

d为每个任务的特征个数，w_j,i表示第j个任务的第i个特征的权值；

求得使目标函数达到最小时所对应的V_j，将每个任务中非零的权值所对应的特征选择出j来，即最优特征集，该最优特征集作为融合后的特征集。

Images