CN104715260A - 基于rls-elm的多模态融合图像分类方法 - Google Patents

Abstract

本发明公开了一种基于RLS-ELM的多模态融合图像分类方法，其特征在于，包括如下步骤：步骤1：获取多个被试对象的rs-fMRI、sMRI以及DTI数据，并进行预处理，剔除不符合规定的被试数据；步骤2：计算rs-fMRI数据中各体素的ReHo值；步骤3：计算sMRI数据中各体素的灰质密度值；步骤4：计算DTI数据中各体素的FA值；步骤5：将各体素的ReHo、灰质密度以及FA值连接成一个新特征矩阵A；步骤6：对新的特征矩阵A进行PCA降维处理；步骤7：对RLS-ELM分类器进行训练，获得已训练的RLS-ELM的分类器。本发明基于RLS-ELM的多模态融合图像分类方法使得分类准确度和分类速度得到显著提升，实现疾病的早发现早诊断早治疗，对于揭示疾病进展的临床医学研究过程中具有重要的意义。

Description

基于RLS-ELM的多模态融合图像分类方法

技术领域

本发明涉及一种多模态融合图像分类方法，特别涉及的是一种针对疾病的多模态融合图像分类方法。

背景技术

近二十年来，随着脑影像技术的进步，脑科学的研究进入了一个高速发展时期。功能磁共振成像(functional magnetic resonance imaging,fMRI)作为一种非侵入式脑功能检测技术，凭借其良好的时间和空间分辨率综合性能，成为脑科学研究中应用最广泛的脑成像技术。

静息态rs-fMRI(resting-state fMRI,rs-fMRI)是大脑BOLD信号发生的自发调节，反映静息状态下大脑的自发活动，体现大脑各脑区之间的关联和大脑的运行机制，因此在临床上rs-fMRI更适用于某些慢性疾病及精神性疾病的研究。

弥散张量成像(Diffusion tensor imaging,DTI)可以无创性的显示大脑白质纤维束的结构信息。DTI是核磁共振成像(MRI)的特殊形式，是在常规磁共振成像和弥散加权成像(DiffusionWeighted Imaging,DWI)的基础上发展起来的。弥散张量成像不仅可以揭示脑瘤如何影响神经细胞连接，而且可以揭示如精神分裂症、中风、阅读障碍、多发性硬化症等有关神经系统很小的异常变化。

结构磁共振成像(structural magnetic resonance imaging,sMRI)的使用最为广泛。sMRI图像能够客观记录下从疾病潜伏期到发作期整个过程中患者脑结构生物标记的变化，这些数据能够从根本上改变人们对特定疾病的认识，并且能够影响和引导疾病的后续诊断和治疗。

综合以上三类成像技术的优点，多模态图像融合技术近年来在揭示正常人与疾病患者的大脑结构差异中扮演了日益显著的角色。多模态图像融合技术提出了一个融合多类型与多层次分析结果的概念模型。相关技术在疾病进展机制的临床研究方面起到了重要的作用。多模态图像融合的目的不仅是结合各模态图像的优势，而是在联合分析中充分利用各模态图像的内在联系。

目前，有关运用计算机技术处理fMRI数据的研究进入一个高速发展的时期。至Friston和Bly等人提出运用广义线性模型来预测每个体素的回归值以来，研究者们陆续提出运用各类模式识别算法解析fMRI数据。如，SVM、隐马尔科夫模型、贝叶斯等。同时，各类模式识别算法也被运用到多模态图像融合领域。Honghui提出使用SVM分类器分别对各模态图像进行分类，采用近似投票的方法对分类结果进行融合。该方法结合了各模态图像的优势，并没有利用到各模态图像间的内在联系。其次，fMRI研究者热衷的SVM算法存在训练时间长，所需存储空间大等问题。

发明内容

本发明提供一种多模态融合图像的分类方法，该方法充分利用各模态图像间的内在关系，改进原有的ELM算法，可同时提高了分类速度与分类准确度。

为实现上述目的，本发明的技术方案如下：

一种基于RLS-ELM的多模态融合图像分类方法，包括如下步骤：

步骤1：获取多个被试对象的rs-fMRI、sMRI以及DTI数据，并进行预处理，剔除不符合规定的被试数据；

步骤2：计算rs-fMRI数据中各体素的ReHo值；

步骤3：计算sMRI数据中各体素的灰质密度值；

步骤4：计算DTI数据中各体素的FA值；

步骤5：将各体素的ReHo、灰质密度以及FA值连接成一个新特征矩阵A；

步骤6：对新的特征矩阵A进行PCA降维处理；

步骤7：对RLS-ELM分类器进行训练，获得已训练的RLS-ELM的分类器。

本发明的有益效果是：本发明首先提取并融合三种分别代表rs-fMRI、sMRI、DTI不同模态图像的特征值，即，ReHo、灰质密度值以及FA值，而后采用PCA降维技术对多个被试数据组合而成的特征矩阵降维计算，最后训练基于RLS-ELM算法的分类模型并进行分类。本发明创新性地融合三类模态图像的特征值，而从利用并揭示了各类模态图像间的内在关系，引进RLS-ELM算法对融合后的特征值进行分类，使得分类准确度和分类速度得到显著提升，实现疾病的早发现早诊断早治疗，对于揭示疾病进展的临床医学研究过程中具有重要的意义。

附图说明

图1为基于RLS-ELM的多模态融合图像分类方法的流程图。

图2为多模态图像融合的结构示意图。

图3为训练基于RLS-ELM分类器的流程示意图

具体实施方式

下面结合附图及实例，对本发明做进一步说明。

参见图1、图2、图3，基于RLS-ELM的多模态融合图像分类方法含有以下步骤：

步骤1：获取多个被试对象的rs-fMRI、sMRI以及DTI数据，并进行预处理，剔除不符合规定的被试数据。

步骤2：计算rs-fMRI数据中各体素的ReHo(Regional Homogeneity)值。

步骤3：计算sMRI数据中各体素的灰质密度(Gray Matter Density)值。

步骤4：计算DTI数据中各体素的FA(Fractional Anisotropy)值。

步骤5：将各体素的ReHo、灰质密度以及FA值连接成一个新特征矩阵A。

步骤6：对新的特征矩阵A进行PCA降维处理。

步骤7：对RLS-ELM分类器进行训练，获得已训练的RLS-ELM的分类模型。

步骤2中对于任意体素的ReHo值，计算公式为：

$\mathrm{ReHo}=\frac{\mathrm{\Σ}{\left(R_i\right)}^2-n{\left(R\right)}^2}{\frac{1}{12}{K}^2(n^3-n)}$

其中，R_i为第i个时间点的秩和，即，在第i个时间点的相邻N个体素点的体素值等级总数；为R_i平均值；n是时间点数；K是所测量计算单元(相邻体素构成计算ReHo的最小单元，K＝N+1)中时间序列数目。

步骤4中对于任意体素的FA值，计算公式为：

$\mathrm{FA}=\sqrt{\frac{3({({\mathrm{\λ}}_1-\mathrm{\λ})}^2+{({\mathrm{\λ}}_2-\mathrm{\λ})}^2+{({\mathrm{\λ}}_3-\mathrm{\λ})}^2)}{2({{\mathrm{\λ}}_1}^2+{{\mathrm{\λ}}_2}^2+{{\mathrm{\λ}}_3}^2)}}$

其中，λ₁为最大弥散系数，λ₂为中级弥散系数，λ₃为最低弥散系数(λ₁≥λ₂≥λ₃)。 $\stackrel{\‾}{\mathrm{\λ}}=({\mathrm{\λ}}_1+{\mathrm{\λ}}_2+{\mathrm{\λ}}_3)/3,$ 为弥散系数的平均值。

步骤5的处理流程如下：将已提取的ReHo、灰质密度、以及FA值分别组成向量P、Q、T。其中，P＝[p₁ p₂ p₃ … P_D]′为各体素ReHo值组成的特征向量；Q＝[q₁ q₂ q₃ … q_D]′为各体素灰质密度值组成的特征向量；T＝[t₁ t₂ t₃ … t_D]′为各体素FA值组成的特征向量；D为大脑中体素总值。由于向量P，Q以及T具有不同的分布和取值范围，为保证各特征向量具有可比性，采用Z-Score Normalization方法对P、Q以及T向量进行标准化。将已标准化的P、Q、T向量拼接成一个新特征向量A＝[p₁ q₁ t₁ p₂ q₂ t₂ … p_D q_D t_D]′，A∈R^3D。

步骤6对向量A进行PCA降维处理，计算公式为：

X＝U′(A-μ)

其中，μ为向量A的平均向量；U为向量A的协方差矩阵特征向量组成的正交矩阵；U′为U的转置矩阵；X为已降维的特征向量。

步骤7中RLS-ELM分类器的训练流程如下：给定的训练集S＝{(X_j,Y_j)|j＝1,...,n}，Y_j表示分类类别(+1为健康对照组，-1为疾病患者组)，f(·)，N个隐藏单元。

赋任意值给矩阵P，其中P∈R^CxN。

W_i为连接输入单元与第i个隐藏单元的权值，估计输入权重W和偏差b，计算公式如下：

$\hat{W}={(X^{T}X+\mathrm{\λI})}^{-1}{X}^T\mathrm{TP}$

其中：

$X={\left[\begin{array}{cccc}{x}_1& x_2& ...& x_n\\ 1& 1& ...& 1\end{array}\right]}^T$

$W=\left[\begin{array}{cccc}{w}_1& w_2& ...& w_n\\ b_2& b_2& ...& b_n\end{array}\right]$

H_i为连接第i个隐藏单元到输出单元的权值，计算隐层的输出矩阵H，计算公式如下：

计算输出权值矩阵O，计算公式如下：

其中为H的广义逆矩阵。

如果输入的特征值特别大的情况下，输入权重W和偏差b的计算公式可近似为：

$\hat{W}=\frac{1}{\mathrm{\λ}}{X}^T\mathrm{TP}-\frac{1}{\mathrm{\λ}}{X}^T{({\mathrm{XX}}^T+\mathrm{\λI})}^{-1}{\mathrm{XX}}^T\mathrm{TP}$

或者是：

$\hat{W}=X^{T}Y$

其中Y为：

Y＝[XX^T+λI)^-1TP

其中I是单位矩阵，λ是正常数。

RLS-ELM的分类模型已经训练好，其分类模型为：

$M={\mathrm{\Σ}}_{i=1}^N{O}_{i}f(W_i\·X+b_i)$

RLS-ELM分类器训练好后，就可以利用已训练的RLS-ELM分类器进行分类计算。将第i个被试的多模态图像融合以及PCA降维处理后的特征矩阵X_i输入到分类模型中进行计算：

$M={\mathrm{\Σ}}_{i=1}^N{O}_{i}f(W_i\·X_i+b_i)$

如果M等于+1则为健康对照组，反之，则为疾病患者。

基于RLS-ELM的多模态融合图像分类方法(RLS-ELM Regularized least-squares ExtremeLearning Machine)是一种融合各模态图像的分类方法。RLS-ELM分类算法改进了ELM算法存在的需要大量的隐藏单元以及不适合fMRI等高维数据的缺点。基于RLS-ELM的多模态融合图像分类方法充分利用了各模态图像的内在联系，而不是简单的结合各模态图像的分类结果。同时，RLS-ELM分类算法具备ELM算法中无需调整分类器训练过程中的输入权重和隐藏单元偏差的优点，对分类准确度和速度有了极大的提升，以实现对疾病患者的早发现早诊断早治疗。

Claims (6)

1.一种基于RLS-ELM的多模态融合图像分类方法，其特征在于，包括如下步骤：

步骤1：获取多个被试对象的rs-fMRI、sMRI以及DTI数据，并进行预处理，剔除不符合规定的被试数据；

步骤2：计算rs-fMRI数据中各体素的ReHo值；

步骤3：计算sMRI数据中各体素的灰质密度值；

步骤4：计算DTI数据中各体素的FA值；

步骤5：将各体素的ReHo、灰质密度以及FA值连接成一个新特征矩阵A；

步骤6：对新的特征矩阵r进行PCA降维处理；

步骤7：对RLS-ELM分类器进行训练，获得已训练的RLS-ELM的分类器。

2.根据权利要求1所述的基于RLS-ELM的多模态融合图像分类方法，其特征在于，步骤2中对于任意体素的ReHo值，计算公式为：

$\mathrm{ReHo}=\frac{\mathrm{\Σ}{\left(R_i\right)}^2-n{\left(\stackrel{\‾}{R}\right)}^2}{\frac{1}{12}{K}^2(n^3-n)}$

其中，R_i为第i个时间点的秩和，即，在第i个时间点的相邻N个体素点的体素值等级总数；为R_i平均值；n是时间点数；K是所测量计算单元(相邻体素构成计算ReHo的最小单元，K＝N+1)中时间序列数目。

3.根据权利要求1所述的基于RLS-ELM的多模态融合图像分类方法，其特征在于，步骤4中对于任意体素的FA值，计算公式为：

$\mathrm{FA}=\sqrt{\frac{3({({\mathrm{\λ}}_1-\stackrel{\‾}{\mathrm{\λ}})}^2+{({\mathrm{\λ}}_2-\stackrel{\‾}{\mathrm{\λ}})}^2+{({\mathrm{\λ}}_3-\stackrel{\‾}{\mathrm{\λ}})}^2)}{2({{\mathrm{\λ}}_1}^2+{{\mathrm{\λ}}_2}^2+{{\mathrm{\λ}}_3}^2)}}$

其中，λ₁为最大弥散系数，λ₂为中级弥散系数，λ₃为最低弥散系数，λ₁≥λ₂≥λ₃， $\stackrel{\‾}{\mathrm{\λ}}=({\mathrm{\λ}}_1+{\mathrm{\λ}}_2+{\mathrm{\λ}}_3)/3,$ 为弥散系数的平均值。

4.根据权利要求1所述的基于RLS-ELM的多模态融合图像分类方法，其特征在于，步骤5的处理流程如下：将已提取的ReHo、灰质密度、以及FA值分别组成向量P、Q、T，其中，P＝[p₁ p₂ p₃ … p_D]′为各体素ReHo值组成的特征向量；Q＝[q₁ q₂ q₃ … q_D]′为各体素灰质密度值组成的特征向量；T＝[t₁ t₂ t₃ … t_D]′为各体素FA值组成的特征向量；D为大脑中体素总值；采用Z-Score Normalization方法对P、Q以及T向量进行标准化，将已标准化的P、Q、T向量拼接成一个新特征向量A＝[p₁ q₁ t₁ p₂ q₂ t₂ … p_D q_D t_D]′，A∈R^3D。

5.根据权利要求1所述的基于RLS-ELM的多模态融合图像分类方法，其特征在于，步骤6对向量A进行PCA降维处理，计算公式为：

X＝U′(A-μ)

其中，μ为向量A的平均向量；U为向量A的协方差矩阵特征向量组成的正交矩阵；U′为U的转置矩阵；X为已降维的特征向量。

6.根据权利要求1所述的基于RLS-ELM的多模态融合图像分类方法，其特征在于，步骤7中RLS-ELM分类器的训练流程如下：给定的训练集S＝{(X_j，Y_j)|j＝1，...，n}，Y_j表示分类类别：+1为健康对照组，-1为疾病患者组，f(·)，N个隐藏单元；

赋任意值给矩阵P，其中P∈R^C×N；

W_i为连接输入单元与第i个隐藏单元的权值，估计输入权重W和偏差b，计算公式如下：

$\hat{W}={(X^{T}X+\mathrm{\λI})}^{-1}{X}^T\mathrm{TP}$

其中：

$X={\left[\begin{array}{cccc}{x}_1& x_2& ...& x_n\\ 1& 1& ...& 1\end{array}\right]}^T$

$W=\left[\begin{array}{cccc}{w}_1& w_2& ...& w_n\\ b_2& b_2& ...& b_n\end{array}\right]$

H_i为连接第i个隐藏单元到输出单元的权值，计算隐层的输出矩阵H，计算公式如下：

计算输出权值矩阵O，计算公式如下：

其中为H的广义逆矩阵；

如果输入的特征值特别大的情况下，输入权重W和偏差b的计算公式近似为：

$\hat{W}=\frac{1}{\mathrm{\λ}}{X}^T\mathrm{TP}-\frac{1}{\mathrm{\λ}}{X}^T{({\mathrm{XX}}^T+\mathrm{\λI})}^{-1}{\mathrm{XX}}^T\mathrm{TP}$

或者是：

$\hat{W}=X^{T}Y$

其中Y为：

Y＝(XX^T+λI)^-1TP

其中I是单位矩阵，λ是正常数，

至此，RLS-ELM的分类模型已经训练好，其分类模型为：

$M={\mathrm{\Σ}}_{i=1}^N{O}_{i}f(W_i\·X+b_i).$