CN107944490B - 一种基于半多模态融合特征约简框架的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于半多模态融合特征约简框架的图像分类方法，即通过保持来自脑功能和结构网络特征向量之间的关系，更好地捕捉多个模态数据的互补信息，使得疾病分类准确率进一步提升。本发明充分挖掘脑结构网络数据提供的参考信息，从脑功能网络特征向量矩阵中选择有效的特征数据，在已有K‑support范式的基础上增加新约束来保留不同模态特征数据的距离，分析与实验结果表明，本发明提出的基于半多模态融合特征约简框架框架优于已有的KSN和NF‑KSN方法。同时，本发明所选择出的一致性网络连接全面考虑了其在结构以及功能网络层面与疾病的相关性，而不只局限于功能网络层面，将选择出的一致性网络连接作为疾病生物标记的可信赖性更强。

Description

一种基于半多模态融合特征约简框架的图像分类方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于半多模态融合特征约简框架的图像分类方法。

背景技术

近年来，脑影像学技术，包括结构磁共振成像(sMRI)、弥散张量成像(DTI)和功能磁共振成像(fMRI)技术，已经证明了其对揭示疾病进展的临床医学研究过程中具有重要的意义。

其中，采用多元模式分类分析(MVPA)等机器学习算法对健康和患病脑的区分为当前脑影像学研究的热点之一。目前相关的研究工作大都围绕多模态多任务的方法进行展开，它充分利用了多种模态数据的互补信息，并取得了不错的分类效果。同时，多模态多任务的分析方法主要经历了三种发展历程：(1)抽取各模态数据的特征叠加成一个矢量；(2)组稀疏(例如，L2,1范数)，即假定同一类模态的数据特征同时为零或非零；以及(3)模态间的制约关系，即考虑了各模态数据内在联系。与前两种类型相比，后一种类型充分探讨了模态间的潜在关系，并又不像第二种类型那样严格，使得一个模态的所有特征数据被同时选择或排除。

大部分的神经精神疾病都属于异质性的疾病，其症状与负责情绪或认知功能的分布式神经网络失调有关，大规模分布式神经网络的失调可从脑功能网络和脑结构网络两个层面上表达。一般来讲，脑功能网络可采用组间统计比较和多元模式方法分析，但这些方法并不适用于检测与疾病相关的脑结构网络。本发明提出的半多模态融合的图像分类方法是建立在基于脑结构网络和脑功能网络连接特征融合的基础上。同时，与传统的多模态多任务方法不同的是，本发明中的脑结构网络仅用于提供特征选择的补充信息，但不参与后期分类过程。本发明通过保持来自脑功能和结构网络中特征向量之间的关系，更好地捕捉了多个模态数据的互补信息以实现疾病的早发现早诊断早治疗。同时，本发明对于揭示疾病进展的临床医学研究过程中具有重要的意义。

发明内容

本发明提供一种基于半多模态融合特征约简框架的图像分类方法，以充分利用来自多模态神经影像数据的互补信息来提升分类准确率；同时，本发明所选择出的一致性网络连接全面考虑了其在结构以及功能层面与疾病的相关性，而不只局限于功能连接层面，将选择出的一致性网络连接作为疾病生物标记的可信赖性更强。具体是将脑结构网络特征作为辅助信息，而不作为后续分类的主体因素，为从脑功能网络连接中选择特征数据提供参考信息，在原有K-support范式的基础上增加一项新约束来保留不同模态特征数据的距离，将综合功能和结构两个层面所选择出的网络连接进行后续的分类操作。具体方案如下：

一种基于半多模态融合特征约简框架的图像分类方法，包括以下步骤：

第一步、获取数据，具体是：获取多个被试对象的sMRI数据和rs-fMRI数据，并进行预处理，得到预处理后的sMRI数据和预处理后的rs-fMRI数据；计算预处理后的sMRI数据的灰度体积值；

第二步、构建脑结构网络特征向量矩阵和构建脑功能网络特征向量矩阵，构建脑结构网络特征向量矩阵是根据预处理后的sMRI数据的灰度体积值进行构建，具体是：采用自动解剖标签模板生成九十个皮质和皮下核团区域，并去除小脑部分；计算任意脑区对各被试脑区灰度体积的皮尔森相关系数；从而获取一个90×90的脑结构网络对称矩阵，在去除对称矩阵对角线上的90个对角元素后，提取对称矩阵中下三角区域的所有元素为脑结构网络特征向量矩阵；构建脑功能网络特征向量矩阵是根据预处理后的rs-fMRI数据进行构建，具体是：采用自动的解剖标签模板生成九十个皮质和皮下核团区域，并去除小脑部分；计算各被试中任意脑区对平均时间序列的皮尔森相关系数；从每一个被试中获取一个90×90的静息态脑功能网络对称矩阵，在去除对称矩阵对角线上的90个对角元素后，提取对称矩阵中下三角区域的所有元素作为脑功能网络特征向量矩阵；

第三步、特征过滤操作，具体是：由脑结构网络特征向量矩阵得到脑结构网络的差分特征向量矩阵；整合脑结构网络的差分特征向量矩阵和脑功能网络特征向量矩阵，并筛选出脑结构网络特征向量和脑功能网络特征向量；

第四步、特征选择操作，具体是：充分利用脑结构网络特征向量矩阵的补充信息，在K-support范数原有基础上添加一个不同模态数据间的距离约束来保证脑功能网络特征的稀疏性；

第五步、多元模式分类分析，具体是：利用支持向量机对所选择的脑功能网络特征向量进行分类标签预测，得到图像的预测分类结果值。

以上技术方案中优选的，第三步中的特征过滤操作具体包括以下步骤：

步骤3.1、将所述疾病患者组的脑结构网络特征向量矩阵中的特征，减去正常对照组的脑结构网络特征向量矩阵中相应的特征，建立脑结构网络的差分特征向量矩阵，并将所述差分特征向量矩阵中的所有数据按照绝对值降序排序，差分特征向量矩阵的计算公式为表达式1)：

其中：ΔM_s为脑结构网络的差分特征向量矩阵；

为疾病患者组的脑结构网络特征向量矩阵；

为正常对照组的脑结构网络特征向量矩阵；

步骤3.2、将疾病患者组和正常对照组的脑功能网络特征进行双样本T检验，并将所有的脑功能网络特征数据按照双样本T检验的p值进行排列，然后从不同模态数据特征空间中筛选出排序为前c位的脑功能网络特征，其中，c的选择标准为ΔM_s中第c个元素与ΔM_s平均值间的差值最小；

步骤3.3、整合脑结构网络的差分特征向量矩阵和脑功能网络特征向量矩阵，并运用“重叠”模式来筛选出脑结构网络特征向量和脑功能网络特征向量。

以上技术方案中优选的，所述第四步中特征选择操作具体包括以下步骤：

步骤4.1、进行基于正则化项的特征选择，需要用k-support范式来最小化目标函数，计算公式为表达式2)：

其中：X＝[x₁...x_i...x_n]^T指的是从所述特征过滤操作中提取出的脑功能网络特征向量，X∈R ^n×l，n和l分别指的是样本数量和筛选出特征向量的维数；w∈R^l×n代表回归系数向量；Y＝[y₁ ... y_i ... y_n]^T，n指的是需要预测的真实标签数据个数，Y中所有的元素都被标记为+1或者-1；F表示Frobenius范式；λ₁是控制模型稀疏程度的正则化参数；r是{0，...，k-1}中可满足表达式3)的条件的唯一整数；k满足k＜l；

是向量第i个最大的元素；表达式3)如下：

步骤4.2、所述脑结构网络特征向量矩阵与脑功能网络特征向量矩阵间维度不一致，即：

X∈R^n×l；

因此需要重新构建一个脑结构网络特征向量矩阵，将

和

分别复制n_MDD和n_HC次，其中，n_MDD和n_HC指的是疾病患者组和正常对照组的数量；设

为新构建的脑结构网络特征向量矩阵，M_S∈R^n×l；

步骤4.3、基于改进正则化项的特征选择，充分利用脑结构网络特征向量矩阵的补充信息，增加不同模态数据间的距离约束，距离约束的计算公式为表达式4)：

其中：D为距离约束；x_i指的是第i个被试的脑功能网络特征向量矩阵中的特征数据

；m_i指的是第i个被试的脑结构网络特征数据；F表示Frobenius范式；

步骤4.4、多模态特征选择模型的目标函数改写为表达式5)：

其中：λ₁＞0和λ₂＞0，λ₁控制着稀疏度，λ₂控制不同模态间特征数据关系的保留度。

以上技术方案中优选的，所述第五步中多元模式分类分析具体包括以下步骤：

步骤5.1、所述支持向量机需满足目标函数，见表达式6)：

其中：q表示超平面的法向量；b表示偏差；ξ_i表示衡量数据错误分类的非负松弛变量；C表示惩罚因子，用来权衡损失和分类间隔的权重；

表示核函数；

为输入的特征向量；

步骤5.2、将表达式6)进行拉格朗日对偶变换，其计算公式为表达式7)：

其中：a为拉格朗日乘子；y_i、y_p为训练样本x_i、x_p的类别标签；k(x_i,x_p)＝Φ(x_i)^TΦ(x_p)是训练样本x_i和x_p的核函数；

对于一个给定的测试样本v_i，可得到预测分类结果值，计算公式为8)：

其中：F(v)为分类预测结果；sign表示符号函数；k(x_i,v_i)是x_i和v_i的核函数；b为偏差。

本发明的有益效果是：(1)本发明克服了不同模态特征之间维数不一致问题；(2)与以往的将不同模态提取出的特征连接成一个长的特征向量进行后续分析的多模态融合方法相比，本发明考虑了不同模态数据间的关系并在特征约简中运用了这种潜在的联系；(3)本发明方法引入了一种半多模态融合模型，将脑结构网络特征向量矩阵作为特征选择的辅助信息而将脑功能网络特征向量矩阵作为整个模型的主要信息执行图像分类工作；(4)采用本发明从功能与结构连接两个层面上验证所选择的一致性网络连接的可信赖性更强，将这些网络连接作为疾病的生物标记更具有说服力。

附图说明

图1为本发明基于半多模态融合的图像分类工作流图；

图2(a)为本发明实施例1中方法与现有方法分类精度的比较图；

图2(b)为本发明实施例1中方法与现有方法特异度的比较图；

图2(c)为本发明实施例1中方法与现有方法灵敏度的比较图。

具体实施方式

下面结合附图对本发明的实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

本发明的原理是：将脑结构网络特征作为辅助信息，而不作为疾病诊断的主体因素，为从脑功能网络连接中选择特征数据提供参考信息。在原有K-support范式的基础上增加一项新约束来保留不同模态特征数据的距离。将综合功能和结构两个层面所选择出的网络连接进行后续的分类操作。

实施例1：

一种基于半多模态融合特征约简框架的图像分类方法，如图1所示，所述方法包括如下步骤：

第一步、获取数据，具体是：获取多个被试对象的sMRI数据和rs-fMRI数据，并进行预处理，得到预处理后的sMRI数据和预处理后的rs-fMRI数据；计算预处理后的sMRI数据的灰度体积值；

第二步、构建脑结构连接网络特征向量矩阵和构建脑功能连接网络特征向量矩阵，详情如下：

构建脑结构网络特征向量矩阵是根据预处理后的sMRI数据的灰度体积值进行构建，具体是：采用自动解剖标签模板(AAL)生成九十个皮质和皮下核团区域，并去除小脑部分；计算任意脑区对各被试脑区灰度体积的皮尔森相关系数；从而获取一个90×90的脑结构网络对称矩阵，在去除对称矩阵对角线上的90个对角元素后，提取对称矩阵中下三角区域的所有元素为脑结构网络特征向量矩阵；构建脑功能连接网络特征向量矩阵是根据预处理后的rs-fMRI数据进行构建，具体是：采用自动的解剖标签模板(AAL)生成九十个皮质和皮下核团区域，并去除小脑部分；计算各被试中任意脑区对平均时间序列的皮尔森相关系数；从每一个被试中获取一个90×90的静息态脑功能网络对称矩阵，在去除对称矩阵对角线上的90个对角元素后，提取对称矩阵中下三角区域的所有元素作为脑功能网络特征向量矩阵；

第三步、特征过滤操作，具体是：由脑结构网络特征向量矩阵得到脑结构网络的差分特征向量矩阵；整合脑结构网络的差分特征向量矩阵和脑功能网络特征向量矩阵，并运用“重叠”模式来筛选出脑结构网络特征向量和脑功能网络特征向量；

第四步、特征选择操作，具体是：充分利用脑结构网络特征向量的补充信息，在K-support范数原有基础上添加一个不同模态数据间的距离约束来保证脑功能网络特征的稀疏性；

第五步、多元模式分类分析，即采用支持向量机对选择后的剩余特征进行分类，具体是：利用支持向量机(SVM)对所选择的脑功能网络特征向量进行分类标签预测，得到图像的预测分类结果值。

本实施例中预处理过程详情如下：

sMRI数据采用SPM8(Statistical Parametric Mapping software)工具包进行预处理(http://www.fil.ion.ucl.ac.uk/spm/)，具体是：a、使用集成于SPM8中的标准统一分割模块计算每个被试图像到标准模板间的仿射变换矩阵，并利用该矩阵，生成大致对齐的图像；并将经过刚体配准的原始结构图像分割成不同组织类型的图像，包括灰质、白质、脑脊液；b、采用VBM DARTEL方法将整个被试刚体配准后的图像生成一个模板，然后把每个被试的图像配准到该模板上；c、将图像配准到标准MNI空间；d、用雅克比行列式对所有的灰质图像进行调制以确保体素值能代表局部的灰质体积。

rs-fMRI数据采用SPM8软件和CONN工具箱进行处理，简单的说，图像的预处理步骤包括头动校正、空间校正、配准、归一化到MNI空间、以及空间平滑处理，平滑核为FWHM＝8mm，剔除在任何方向上出现头动幅度大于2.5mm或者转动大于2.5度的被试，将白质、脑脊液、以及头动系数被视为混淆因子；并采用CompCor(component-based-noise-correction)方法来降低以上非神经活动因子对功能核磁共振信号的影响，接下来进行全脑信号回归以去除大量错误的负相关，剩余的时间序列进行带通滤波(频率为0.01-0.08HZ)以降低高低频生理噪声的影响；最后，计算种子区域与其他所有体素时间序列的皮尔逊相关系数，并采用费希尔z变换(Fisher z-transformation)将所得的相关系数转换为正太分布。

本实施例由某大学附属医院精神病学系于2012年3月到2014年12月通过社区广告招募的56名未服抗抑郁药的重症抑郁症患者和55名人口统计数据匹配的健康对照组。图像数据在西门子公司的3-T磁共振成像系统上采集完成，高分辨率T1加权像由磁化制备快速梯度回波序列记录，全脑静息态fMRI数据(即rs-fMRI数据)使用梯度回波平面成像获得脉冲序列，每个静息态序列得到240个像。

根据上面的数据，具体实施包括以下步骤：

一、构建脑结构网络特征向量矩阵和构建脑功能网络特征向量矩阵，具体是：

构建脑结构网络特征向量矩阵包括以下步骤：

1、采用自动的解剖标签模板(AAL)生成九十个皮质和皮下核团区域，并去除小脑部分，计算各被试中任意脑区对平均时间序列的皮尔森相关系数，生成一个90×90的脑结构网络对称矩阵；

2、去除对称矩阵对角线上的90个对角元素；

3、将所提取的元素串联成一个长度为4005的一维矩阵(提取对称矩阵中下三角区域的

所有元素)，即为脑结构网络特征向量矩阵。

构建脑功能网络特征向量矩阵包括以下步骤：

1、采用自动的解剖标签模板(AAL)生成九十个皮质和皮下核团区域，并去除小脑部分，计算各被试中任意脑区对平均时间序列的皮尔森相关系数，生成一个90×90的静息态脑功能网络对称矩阵；

2、去除对称矩阵对角线上的90个对角元素；

3、将所提取的元素串联成一个长度为4005的一维矩阵(提取对称矩阵中下三角区域的

所有元素)，即为脑功能网络特征向量矩阵。

二、特征过滤流程，具体包括以下步骤：

1、将所述疾病患者组的脑结构网络特征向量矩阵中的特征，减去正常对照组的脑结构网络特征向量矩阵中相应的特征，建立脑结构网络的差分特征向量矩阵，并将所述差分特征向量矩阵中的所有数据按照绝对值降序排序，差分特征向量矩阵的计算公式为表达式1)：

其中：ΔM_s为脑结构网络的差分特征向量矩阵，

为疾病患者组的脑结构网络特征向量矩阵，

为正常对照组的脑结构网络特征向量矩阵；

2、将所述疾病患者组和正常对照组的脑功能网络特征进行双样本T检验，并将所有的脑功能网络特征数据按照双样本T检验的p值进行排列，然后从不同模态数据特征空间中筛选出排序为前c位的脑功能网络特征，其中，c的选择标准为ΔM_s中第c个元素与ΔM_s平均值间的差值最小；

3、整合所述脑结构网络的差分特征向量矩阵和所述脑功能网络特征向量矩阵，并运用“重叠”模式来筛选出脑结构网络特征向量和脑功能网络特征向量。

三、特征选择流程，具体包括以下步骤：

1、进行基于正则化项的特征选择，需要用k-support范式来最小化目标函数，计算公式为表达式2)：

其中：X＝[x₁ ... x_i ... x_n]^T指的是从所述特征过滤操作中提取出的脑功能网络特征向量，X∈R^n×l，n和l分别指的是样本数量和筛选出特征向量的维数；w∈R^l×n代表回归系数向量；Y＝[y₁ ... y_i ... y_n]^T，n指的是需要预测的真实标签数据个数，Y中所有的元素都被标记为+1或者-1；F表示Frobenius范式；λ₁是控制模型稀疏程度的正则化参数；r是{0，...，k-1}中可满足表达式3)的唯一整数；k可由操作者进行设置，但需满足k＜l；

是向量第i个最大的元素；表达式3)如下：

2、所述脑结构网络特征矩阵向量矩阵与脑功能网络特征矩阵向量矩阵间维度不一致，即：

X∈R^n×l；

因此需要重新构建一个脑结构网络特征向量矩阵，将

和

分别复制n_MDD和n_HC次，其中，n_MDD和n_HC指的是疾病患者组和正常对照组的数量；设

为新构建的脑结构网络特征向量矩阵，M_S∈R^n×l；

3、基于改进正则化项的特征选择，充分利用脑结构网络特征向量矩阵的补充信息，增加不同模态数据间的距离约束，距离约束的计算公式为表达式4)：

其中：D为距离约束；x_i指的是第i个被试的脑功能网络特征向量矩阵中的特征数据；m_i指的是第i个被试的脑结构网络特征数据；F表示Frobenius范式；

4、多模态特征选择模型的目标函数改写为表达式5)：

其中：λ₁＞0和λ₂＞0，λ₁控制着稀疏度，λ₂控制不同模态间特征数据关系的保留度。

四、多元模式分类分析，具体包括以下步骤：

1、所述向量机需满足目标函数，见表达式6)：

其中：q表示超平面的法向量；b表示偏差；ξ_i表示衡量数据错误分类的非负松弛变量；C表示惩罚因子，用来权衡损失和分类间隔的权重；

表示核函数；

为输入的特征向量；

2、将公式6)进行拉格朗日对偶变换(Lagrange Duality)，其计算公式为7)：

其中：a为拉格朗日乘子；y_i、y_p为训练样本x_i、x_p的类别标签；k(x_i,x_p)＝Φ(x_i)^TΦ(x_p)是训练样本x_i和x_p的核函数；

对于一个给定的测试样本v_i，可得到预测分类结果值，计算公式为8)：

其中：F(v)为分类预测结果；sign表示符号函数；k(x_i,v_i)是x_i和v_i的核函数；b为偏差；

本发明的有效性验证：

本实施例1的方法可称之为Proposed。使用五折交叉验证评估分类器的总体性能。我们将整个样本随机分为五份，四份作为训练样本，剩下的一份被用作测试样本。其中回归系数被排在前10％的特征所对应的脑网络连接被定义为一致性网络连接。在不同的k值下，将本发明与其他方法，只采用基本k-support范式并省略了基于特征选择步骤的NF-KSN方法和采用基本k-support范式以及基于特征选择步骤的KSN方法，进行比较。执行完初始特征过滤步骤后，我们总共得到404个特征。因此，在后续基于k-support范式的特征选择过程中，k的取值范围被设置为200-404(其中：200-400以20为间距进行等间距取值，最后k取值为404)。如图2、表1、表2以及表3所示：

表1各类方法在k不同取值下的分类精度(*表示k取当前值时，分类精度最高)

k值	Proposed	KSN	NF-KSN
				200	83.27	79.18	66.54*
220	83.09	81.82	62.91
				240	83.90	81.27	65.27
260	87	84.36	64
				280	84.45	82.55	64.45
300	84.73	82.73	66.18
				320	84.73	82.82	64.18
340	85.09	83.64	65.82
				360	85.18	83	64.45
380	85.09	83.82	65.73
				400	86	84.73	64.45
404	87.17*	84.73*	66.09

表2各类方法在k不同取值下的特异度

k值	Proposed	KSN	NF-KSN
				200	81.84	79.03	66.23
220	80.81	79.70	62.52
				240	81.64	77.82	67.03
260	84.71	81.47	65.21
				280	82.29	80.50	65.93
300	82.47	80.44	67.32
				320	80.04	78.47	64.67
340	81.82	79.50	65.93
				360	82.12	80.07	64.77
380	85.85	84.72	65.46
				400	84.79	83.65	63.51
404	84.55	82.18	64.31

表3各类方法在k不同取值下的灵敏度

由图2以及表1-3可知：在k的取值区间内，本发明所提方法的整体性能包括在正确率、灵敏度以及特异度上都要优于其他两种方法。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于半多模态融合特征约简框架的图像分类方法，其特征在于，包括以下步骤：

第一步、获取数据，具体是：获取多个被试对象的sMRI数据和rs-fMRI数据，并进行预处理，得到预处理后的sMRI数据和预处理后的rs-fMRI数据；计算预处理后的sMRI数据的灰度体积值；

第二步、构建脑结构网络特征向量矩阵和构建脑功能网络特征向量矩阵，构建脑结构网络特征向量矩阵是根据预处理后的sMRI数据的灰度体积值进行构建，具体是：采用自动解剖标签模板生成九十个皮质和皮下核团区域，并去除小脑部分；计算任意脑区对各被试脑区灰度体积的皮尔森相关系数；从而获取一个90×90的脑结构网络对称矩阵，在去除对称矩阵对角线上的90个对角元素后，提取对称矩阵中下三角区域的所有元素为脑结构网络特征向量矩阵；构建脑功能网络特征向量矩阵是根据预处理后的rs-fMRI数据进行构建，具体是：采用自动的解剖标签模板生成九十个皮质和皮下核团区域，并去除小脑部分；计算各被试中任意脑区对平均时间序列的皮尔森相关系数；从每一个被试中获取一个90×90的静息态脑功能网络对称矩阵，在去除对称矩阵对角线上的90个对角元素后，提取对称矩阵中下三角区域的所有元素作为脑功能网络特征向量矩阵；

第三步、特征过滤操作，具体是：由脑结构网络特征向量矩阵得到脑结构网络的差分特征向量矩阵；整合脑结构网络的差分特征向量矩阵和脑功能网络特征向量矩阵，并筛选出脑结构网络特征向量和脑功能网络特征向量；

第四步、特征选择操作，具体是：充分利用脑结构网络特征向量矩阵的补充信息，在K-support范数原有基础上添加一个不同模态数据间的距离约束来保证脑功能网络特征的稀疏性；

第五步、多元模式分类分析，具体是：利用支持向量机对所选择的脑功能网络特征向量进行分类标签预测，得到图像的预测分类结果值。

2.根据权利要求1所述的基于半多模态融合特征约简框架的图像分类方法，其特征在于，第三步中的特征过滤操作具体包括以下步骤：

步骤3.1、将疾病患者组的脑结构网络特征向量矩阵中的特征，减去正常对照组的脑结构网络特征向量矩阵中相应的特征，建立脑结构网络的差分特征向量矩阵，并将所述差分特征向量矩阵中的所有数据按照绝对值降序排序，差分特征向量矩阵的计算公式为表达式1)：

其中：ΔM_s为脑结构网络的差分特征向量矩阵；

为疾病患者组的脑结构网络特征向量矩阵；

为正常对照组的脑结构网络特征向量矩阵；

步骤3.2、将疾病患者组和正常对照组的脑功能网络特征进行双样本T检验，并将所有的脑功能网络特征数据按照双样本T检验的p值进行排列，然后从不同模态数据特征空间中筛选出排序为前c位的脑功能网络特征，其中，c的选择标准为ΔM_s中第c个元素与ΔM_s平均值间的差值最小；

步骤3.3、整合脑结构网络的差分特征向量矩阵和脑功能网络特征向量矩阵，并运用“重叠”模式来筛选出脑结构网络特征向量和脑功能网络特征向量。

3.根据权利要求2所述的基于半多模态融合特征约简框架的图像分类方法，其特征在于，所述第四步中特征选择操作具体包括以下步骤：

步骤4.1、进行基于正则化项的特征选择，需要用k-support范式来最小化目标函数，计算公式为表达式2)：

其中：X＝[x₁ ... x_i ... x_n]^T指的是从所述特征过滤操作中提取出的脑功能网络特征向量，X∈R^n×l，n和l分别指的是样本数量和筛选出特征向量的维数；w∈R^l×n代表回归系数向量；Y＝[y₁ ... y_i ... y_n]^T，n指的是需要预测的真实标签数据个数，Y中所有的元素都被标记为+1或者-1；F表示Frobenius范式；λ₁是控制模型稀疏程度的正则化参数；r是{0，...，k-1}中可满足表达式3)的条件的唯一整数；k满足k＜l；

是向量第i个最大的元素；表达式3)如下：

步骤4.2、所述脑结构网络特征向量矩阵与脑功能网络特征向量矩阵间维度不一致，即：

X∈R^n×l；

因此需要重新构建一个脑结构网络特征向量矩阵，将

和

分别复制n_MDD和n_HC次，其中，n_MDD和n_HC指的是疾病患者组和正常对照组的数量；设

为新构建的脑结构网络特征向量矩阵，M_S∈R^n×l；

步骤4.3、基于改进正则化项的特征选择，充分利用脑结构网络特征向量矩阵的补充信息，增加不同模态数据间的距离约束，距离约束的计算公式为表达式4)：

其中：D为距离约束；x_i指的是第i个被试的脑功能网络特征向量矩阵中的特征数据；m_i指的是第i个被试的脑结构网络特征数据；F表示Frobenius范式；

步骤4.4、多模态特征选择模型的目标函数改写为表达式5)：

其中：λ₁＞0和λ₂＞0，λ₁控制着稀疏度，λ₂控制不同模态间特征数据关系的保留度。

4.根据权利要求3所述的基于半多模态融合特征约简框架的图像分类方法，其特征在于，所述第五步中多元模式分类分析具体包括以下步骤：

步骤5.1、所述支持向量机需满足目标函数，见表达式6)：

其中：q表示超平面的法向量；b表示偏差；ξ_i表示衡量数据错误分类的非负松弛变量；C表示惩罚因子，用来权衡损失和分类间隔的权重；

表示核函数；

为输入的特征向量；

步骤5.2、将表达式6)进行拉格朗日对偶变换，其计算公式为表达式7)：

其中：a为拉格朗日乘子；y_i、y_p为训练样本x_i、x_p的类别标签；k(x_i,x_p)＝Φ(x_i)^TΦ(x_p)是训练样本x_i和x_p的核函数；

对于一个给定的测试样本v_i，可得到预测分类结果值，计算公式为8)：

其中：F(v)为分类预测结果；sign表示符号函数；k(x_i,v_i)是x_i和v_i的核函数；b为偏差。

Images