CN109770932B - 多模态脑部神经影像特征的处理方法 - Google Patents
多模态脑部神经影像特征的处理方法 Download PDFInfo
- Publication number
- CN109770932B CN109770932B CN201910128235.1A CN201910128235A CN109770932B CN 109770932 B CN109770932 B CN 109770932B CN 201910128235 A CN201910128235 A CN 201910128235A CN 109770932 B CN109770932 B CN 109770932B
- Authority
- CN
- China
- Prior art keywords
- formula
- modal
- matrix
- brain
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 81
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 210000005036 nerve Anatomy 0.000 title description 5
- 238000000034 method Methods 0.000 claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims abstract description 45
- 238000002610 neuroimaging Methods 0.000 claims abstract description 33
- 239000000090 biomarker Substances 0.000 claims abstract description 19
- 238000010187 selection method Methods 0.000 claims abstract description 17
- 238000012706 support-vector machine Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 58
- 239000013598 vector Substances 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 29
- 230000001537 neural effect Effects 0.000 claims description 17
- 238000005457 optimization Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000002600 positron emission tomography Methods 0.000 claims description 10
- 238000000691 measurement method Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 239000011541 reaction mixture Substances 0.000 claims description 6
- 238000005065 mining Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 230000004153 glucose metabolism Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 241001492222 Epicoccum Species 0.000 claims 1
- 208000024827 Alzheimer disease Diseases 0.000 abstract description 29
- 210000000299 nuclear matrix Anatomy 0.000 abstract description 6
- 230000006378 damage Effects 0.000 abstract description 5
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 abstract description 4
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 230000007812 deficiency Effects 0.000 abstract 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000001638 cerebellum Anatomy 0.000 description 2
- 208000010877 cognitive disease Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 208000027061 mild cognitive impairment Diseases 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 206010051290 Central nervous system lesion Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 108010064539 amyloid beta-protein (1-42) Proteins 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000007310 pathophysiology Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明多模态脑部神经影像特征的处理方法，涉及用于识别图形的图像特征或特性的抽取的图像预处理，先采用样本权重和低秩约束的多模态神经影像特征选择方法对多模态的数据进行特征选择，得到低维特征矩阵，计算每个模态的核矩阵，得到低维特征矩阵，计算每个模态的核矩阵，然后将不同模态的核矩阵融合成一个核矩阵，由此选择出更具有判别性的生物标志物特征，并使用多核支持向量机对阿尔茨海默病新样本病例进行预测分类，克服了现有技术中，所存在的利用的生物标志物特征会对受试者造成伤害，只利用一种脑部影像特征数据或利用不充分的多模态脑部神经影像特征数据不能找出患者的患病脑区，并且所利用的脑部影像中的特征没有医学上的解释性的缺陷。
Description
技术领域
本发明的技术方案涉及用于识别图形的图像特征或特性的抽取的图像预处理，具体地说是多模态脑部神经影像特征的处理方法。
背景技术
阿尔茨海默病是一种很难治愈且不可逆转的脑疾病，现阶段治疗阿尔茨海默病的药物效果有限，所以在病变的早期及时对疾病进行干预非常重要。随着神经影像技术发展，现在已经通过不同技术手段，例如磁共振图像或正电子发射计算机断层扫描，来得到多种反映人类脑部状况的影像。医生借助学习得到的知识和实践经验，解读病人脑影像所反映的解剖结构和病理生理信息，但是这种人工解读病人脑影像的方式，是依赖医生的个人经验、知识和情绪，诊断的正确率和效率均较低。现今，利用计算机技术对脑影像进行分析和处理来辅助医生对脑部发生病变的区域进行定量分析，从而提高了诊断的正确率和效率。机器学习方法作为基于数据驱动的预测与分析工具，能够充分利用生物标志数据内在的结构信息构建模型来分析大脑结构或者功能的特性，从而更好地揭示脑认知行为和相关疾病的产生机制。
“模态”是指从某一个角度对事物进行描述，那么多模态数据是从不同角度对同一事物进行描述所得到的数据，如果将一种脑部神经影像当作一个模态，那么从不同角度对脑部影像进行描述所得到的就是多模态脑部神经影像。多模态学习技术就是通过探索不同模态之间的关系，来提高多模态的选择和分类的性能。因此，可以采用多模态脑部影像来判断检查者是否患有阿尔茨海默病，或者处于阿尔茨海默病的早期轻度认知障碍，或者处于阿尔茨海默病的晚期轻度认知障碍。
脑部影像的维度较高且包含的信息量较大，并不是脑部影像中所有特征都对检测分析阿尔茨海默病有帮助。因此从脑部影像所提供的大量特征中选择出与分类预测任务相关的特征，去掉冗余的或者与分类相关性低的特征是非常重要的研究工作。现有的从脑部影像所提供的大量特征中选择出与分类预测任务相关的特征的方法是基于最小绝对收缩和选择算子方法，该方法大致分为两类：一类是应用单模态数据或者简单级联多模态数据，此类方法不能充分利用多模态数据来挖掘不同模态之间的互补信息。另一类是通过脑脊液中的β-淀粉体(1-42)和t-tau蛋白生物标志物来检测阿尔茨海默病，此类方法需要侵入人体提取生物标志物，对受试者产生较大伤害。CN108198576A公开了基于语音特征非负矩阵分解的阿尔茨海默症初筛方法，该方法利用语音特征对受试者进行是否患病进行判断，其提取出的声学特征没有在临床上证明阿尔茨海默症和健康人存在差异，其提取的特征在医学上没有解释性。CN106062563A公开了用于阿尔茨海默病早期诊断的生物标志物及方法，该方法从脑脊液和血液中提取生物标志物，在对受试者进行这些生物标志物获取时会对受试者造成身体伤害，有侵入性，且特征提取和检验的成本较高。CN108154924A公开了基于支持向量机的阿尔茨海默症特征分类方法及系统，该方法只利用了一种数据，只能从结构上找出脑部变化，获取的特征少，不能充分说明受试者是否患病。CN108682009A公开了一种阿尔茨海默症预测方法、装置、设备及介质，该方法利用磁共振成像数据且使用3D卷积神经网络模型进行运算，该方法只能判断受试者是否患病，不能找出患者的患病脑区，其黑盒特性不能给出判断受试者是否患病的依据。CN106202916A公开了建立一种阿尔茨海默病的分层多流形分析模型，该方法只能对受试者进行分类，并不能找出受试者是否患病的病变脑区特征。CN108682009A公开了一种基于人工神经网络和多模态MRI的阿尔茨海默病智能判别分析方法，该方法只能判断受试者是否患病，不能找出患者的患病脑区，其黑盒特性不能给出判断受试者是否患病的依据。
总之，在现有的检测分析阿尔茨海默病技术中，存在利用的生物标志物特征时会对受试者造成伤害，只利用一种脑部影像特征数据或利用不充分的多模态脑部神经影像特征数据不能找出患者的患病脑区，并且所利用的脑部影像中的特征没有医学上的解释性的缺陷。
发明内容
本发明所要解决的技术问题是：提供多模态脑部神经影像特征的处理方法，是基于样本权重和低秩约束的多模态神经影像特征选择和多核支持向量机分类的方法，即先采用样本权重和低秩约束的多模态神经影像特征选择方法对多模态的数据进行特征选择，得到低维特征矩阵，计算每个模态的核矩阵，得到低维特征矩阵，计算每个模态的核矩阵，然后将不同模态的核矩阵融合成一个核矩阵，由此选择出更具有判别性的生物标志物特征，并使用多核支持向量机对阿尔茨海默病新样本病例进行预测分类。本发明方法克服了在现有的检测分析阿尔茨海默病技术中，所存在的利用的生物标志物特征会对受试者造成伤害，只利用一种脑部影像特征数据或利用不充分的多模态脑部神经影像特征数据不能找出患者的患病脑区，并且所利用的脑部影像中的特征没有医学上的解释性的缺陷。
上文中，“基于样本权重和低秩约束”的英文为“Sample Weight and Low RankConstraint”，以下简称“SWLRC”，“支持向量机”的英文为“Support Vector Machine”，以下简称“SVM”，“阿尔茨海默病”的英文为“Alzheimer's Disease”，以下简称“AD”，“基于最小绝对收缩和选择算子”的英文为“Least Absolute Shrinkage and Selection Operator”，以下简称“LASSO”。
本发明解决该技术问题所采用的技术方案是：多模态脑部神经影像特征的处理方法，是使用SWLRC的多模态神经影像特征选择方法进行生物标志物的挖掘，再使用多核SVM方法分类，具体步骤如下：
第一步，多模态神经影像输入：
对基于体素的形态测量法处理的磁共振脑影像和氟脱氧葡萄糖-正电子发射断层扫描脑影像这两种模态脑部影像数据提取感兴趣区模板特征，步骤是，首先使用统计参数映射软件包将基于体素的形态测量法处理的磁共振脑影像和氟脱氧葡萄糖-正电子发射断层扫描脑影像配准到标准空间中，然后采用116个感兴区的SPM软件的工具箱MarsBaR自动解剖标记模板分别将基于体素的形态测量法处理的磁共振脑影像的灰度密度数值和氟脱氧葡萄糖-正电子发射断层扫描脑影像的葡萄糖代谢水平的数值作为特征并进行提取，最后确定去除小脑后的90个感兴趣区的上述两种模态脑影像数据作为使用的特征，进一步对这些使用的特征进行标准化，由此完成多模态神经影像输入；
第二步，使用SWLRC的多模态特征选择方法进行特征分析：
将上述第一步中得到的每个模态的特征数据用
表示，其中上标v表示第v个模态，下标i表示第i个神经影像，将每个神经影像所属的类别用yi表示，此处下标i同样表示第i个神经影像，然后将每个神经影像的数值和所属的类别输入到以下公式(1)所示的目标函数中，
公式(1)中，m为神经影像个数，s为模态的个数，βv为第v个模态的特征选择向量，
为第i个神经影像的第v个模态所占的权重为多少，且
W＝[w1；w2；...；ws]∈Rm×s为训练样本的所有模态的权重矩阵，其中wv表示第v个模态的权重，
表示第i个样本每个模态的权重，λS为约束特征稀疏的正则化参数，λR为约束样本多模态关联的正则化参数，R(W)表示W的秩，T表示矩阵和向量的转置，s.t.表示约束条件，由此完成使用SWLRC的多模态特征选择方法进行特征分析；
第三步，优化目标函数：
优化上述第二步中的公式(1)中的目标函数的方法是采用快速收敛的方案，即重复多次搜索公式(1)中的目标函数的局部最优解来近似最优解，并采用交替方向乘子法对上述公式(1)中的W和βv进行优化，目标函数被改写为如下公式(2)所示，
s.t.-W+Λ＝0,J＝W,
公式(2)中，
为
和βv的乘积，Λ∈Rm×s为非负松弛变量，J∈Rm×s等于W，‖·‖*表示星范数，其目的是让目标函数符合交替方向乘子法形式并进行求解，
在线性规划中，将不等式约束条件变为等式约束条件，由此完成优化目标函数；
第四步，目标函数的求解：
为了表示简单，将上述第三步中的公式(2)的三项内容分别简记为f1(U)、f2(βv)、f3(J)，由此将公式(2)的增广拉格朗日形式定义为如下公式(3)，
公式(3)中，Pv∈Rm×90，Q∈Rm×s，E∈Rm×s均为拉格朗日乘子，μ、ρ、ξ均为增广拉格朗日项的三个参数，‖·‖F表示F范数，Uv为由变量
从1到m按行排列而构成的对应于不同模态的矩阵，wv为由
构成的列向量，所有模态的矩阵Uv按列排列拼接而构成的跨模态矩阵U，<X1,X2>为矩阵X1 TX2的迹，X1和X2表示为两个行数和列数相等的矩阵，因为Λ的解是解析解，即
其中Qiv为第i个样本的第v个模态的拉格朗日乘子，将其带入公式(3)，消去Λ，则得到如下公式(4)，
并且，将通用的交替方向乘子法框架写成如下公式(5)的形式：
且在交替方向乘子法框架中，每一步都是凸优化问题，通过计算得到每一步的最优解，由此完成目标函数的求解；
第五步，变量W、βv、U和J的求解：
将wvβvT-Uv简记为Γv，
简记为
根据上述第四步中的交替方向乘子法框架分别求解以下变量W、βv、U和J，
第5.1步，求解变量训练样本的所有模态的权重矩阵W：
由以下公式(6)和公式(7)求解变量训练样本的所有模态的权重矩阵W，
公式(6)中，Ev是E的列向量，Jv是W的列向量，将上述问题分解为s个关于wv的子问题，如下公式(7)所示，
公式(7)为s个关于wv的子问题，通过梯度下降的方法进行求解，然后将W的解按列进行归一化，即将W的每一列的数除以每一列的模长，由此完成求解变量训练样本的所有模态的权重矩阵W；
第5.2步，求解变量第v个模态的特征选择向量βv：
上述第二步中指明βv为第v个模态的特征选择向量，对于各个模态的βv的解通过以下公式(8)计算得到，
公式(8)中，d＝‖wv‖2,ε＝λs/(dρ)，Sε是软阈值收缩算子，即通过比较(ρUv-Pv)Twv/(dρ)与ε＝λS/(dρ)的大小并计算完成求解变量第v个模态的特征选择向量βv；
第5.3步，求解变量跨模态矩阵U：
用如下的公式(9)求解跨模态矩阵U，
公式(9)中，
是Pv的第i个行向量，由此分解为m个关于向量Ui的子问题表述如下公式(10)：
其中，
并且公式(10)中，关于U的解的优化是光滑且凸的；
第5.4步，更新交替方向乘子法中的J：
用以下公式(11)更新交替方向乘子法中的J，
公式(11)中，
H为共轭转置，计算结果为对角线元素的平方和，η＝λR/ξ，XZYT是W-E/ξ的奇异值分解结果，Z为对角矩阵，且对角线元素为W-E/ξ的特征值，Sη[Z]为取λR/ξ和Z中较大的数，
由此完成交替计算变量W、βv、U和J的求解，并求出目标函数的值，当前目标函数的值与前循环计算得到的目标函数值的差小于0.0001时，停止迭代；
第六步，特征选择：
对于上述第五步的第5.2步中计算得到的第v个模态的特征选择向量βv的值，去掉βv的特征的权重值小于0.001的特征，剩下的特征即为使用SWLRC选择出来的特征；
第七步，训练多核SVM：
将上述第六步得到的特征的权重大于0.001的特征和数据集中的脑部神经影像标签输入到多核SVM中，用φ(x)来表示映射后的特征向量，此时得到每个模态的核矩阵，且所用的核为线性核，第v个模态的核函数如下公式(12)所示，
公式(12)中，
表示第v个模态的核函数，将多个模态的核矩阵进行融合，得到公式(13)：
公式(13)中，κ(xi,xj)表示所有模态的核函数和，cv每个模态的权重，
由此得到多核SVM的对偶形式如下公式(14)所示，
αi≥0,i＝1,2,…,m (14)，
公式(14)中，α为拉格朗日乘子，αi表示第i个神经影像的拉格朗日乘子，
然后对公式(14)求解即可，由此完成训练多核SVM；
第八步，分类与预测：
将上述第七步训练得到的αi带入到下面的公式(15)中，给定一个新的测试样本x0，决定样本标签的决策函数定义如下公式(15)所示，
公式(15)中，核函数采用线性核，两个线性核函数的和还是线性核，sign()为取括号内数值的符号，b为偏置，由训练支持向量机得到，cv是通过网格搜索在训练集上交叉验证得到的，f(x0)的值即为新的测试样本的预测结果；
至此完成使用SWLRC的多模态神经影像特征选择方法进行生物标志物的挖掘，并使用多核SVM方法分类进行多模态脑部神经影像特征的处理。
上述多模态脑部神经影像特征的处理方法，所述SPM的全称为StatisticalParametric Mapping，中文意思为统计参数映射；MarsBaR的全称为
是SPM的工具箱。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)脑部影像的维度较高且包含的信息量较大，并不是脑部影像中所有特征都对检测分析阿尔茨海默病有帮助。因此从脑部影像所提供的大量特征中选择出与分类预测任务相关的特征，去掉冗余的或者与分类相关性低的特征是非常重要的研究工作。基于样本权重和低秩约束即SWLRC的多模态特征选择方法是基于最小绝对收缩和选择算子方法(简称LASSO)的改进，能够在进行特征选择时考虑样本存在个体差异甚至含有离群点，选择出判别性较强的特征，最终达到更好的分类预测效果。
(2)本发明采用SWLRC方法，相较于其他的特征选择方法，更适用于阿尔茨海默病这种小样本、存在噪声且患病样本存在各异性的数据。
(3)本发明方法充分利用的多种脑影像数据并且获取数据时不会对受试者造成伤害且特征在医学上是可以解释的。
(4)本发明方法有更好的鲁棒性，并且可以有效地刻画出正常人与阿尔茨海默病患者之间的生理表征差异，找出病变脑区特征。
(5)本发明方法辅助医生诊断阿尔茨海默病，缩短诊断时间。
(6)本发明方法与CN108198576A相比，CN108198576A利用语音特征对受试者进行判断，其提取出的声学特征没有在临床上证明阿尔茨海默症和健康人存在差异，其提取的特征在医学上没有解释性。本发明方法所具有的优点是从脑影像上获取特征，相较于音频特征，所提取选择的特征可以直观的看到并且已经在临床上证明提取的特征与阿尔茨海默症有关。
(7)本发明方法与CN106062563A相比，CN106062563A利用脑脊液、血液等中提取生物标志物，在对受试者进行这些生物标志物获取时会对受试者造成身体伤害，有侵入性，且特征提取和检验的成本较高。本发明方法是利用脑影像数据，在对受试者进行检查，获得脑影像数据时不会对患者造成伤害，是非侵入性的，且检查成本较低。
(8)本发明方法与CN108154924A相比，CN108154924A利用的是磁共振成像数据，只利用了一种数据，只能从结构上找出脑部变化，获取的特征少，不能充分说明受试者是否患病。本发明方法利用了多种脑影像数据，可以从多个方面找出脑部病变区域，例如：功能、结构。从多个方面表示出受试者是否患病，相较于单个模态的方法，可以获取更多与分类有关的信息。
(9)本发明方法与CN108682009A相比，CN108682009A利用磁共振成像数据且使用3D卷积神经网络模型进行运算，该方法只能判断受试者是否患病，不能找出患者的患病脑区，其黑盒特性不能给出判断受试者是否患病的依据。本发明方法选择出的特征可以直观的看到并且已经在临床上证明提取的特征与阿尔茨海默症有关。
(10)本发明方法与CN106202916A相比，CN106202916A方法只能对受试者进行分类，并不能找出受试者是否患病的病变脑区特征。本发明方法选择出的特征能够直观的看到并且已经在临床上证明提取的特征与阿尔茨海默症有关，并且选择出的特征能够对判别结果进行说明。
(11)本发明方法与CN103646183A相比，CN108682009A利用多模态磁共振成像数据且使用神经网络模型进行运算，该方法只能判断受试者是否患病，不能找出患者的患病脑区，其黑盒特性不能给出判断受试者是否患病的依据。本发明方法利用脑影像数据，选择出的特征能够直观的看到并且已经在临床上证明提取的特征与阿尔茨海默症有关，并且选择出的特征能够对判别结果进行说明。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明方法基于SWLRC方法和多核SVM进行多模态脑部神经影像特征的处理流程示意图。
具体实施方式
图1所示实施例表明，本发明方法基于SWLRC方法和多核SVM进行多模态脑部神经影像特征的处理流程是：多模态神经影像输入→使用SWLRC的多模态特征选择方法进行特征分析→优化目标函数→目标函数的求解→变量W、βv、U和J的求解→特征选择→训练多核SVM→分类与预测。
实施例1
本实施例的多模态脑部神经影像特征的处理方法，是使用SWLRC的多模态神经影像特征选择方法进行生物标志物的挖掘，再使用多核SVM方法分类，具体步骤如下：
第一步，多模态神经影像输入：
对基于体素的形态测量法处理的磁共振脑影像和氟脱氧葡萄糖-正电子发射断层扫描脑影像这两种模态脑部影像数据提取感兴趣区模板特征，步骤是，首先使用统计参数映射软件包将基于体素的形态测量法处理的磁共振脑影像和氟脱氧葡萄糖-正电子发射断层扫描脑影像配准到标准空间中，然后采用116个感兴区的SPM软件的工具箱MarsBaR自动解剖标记模板分别将基于体素的形态测量法处理的磁共振脑影像的灰度密度数值和氟脱氧葡萄糖-正电子发射断层扫描脑影像的葡萄糖代谢水平的数值作为特征并进行提取，最后确定去除小脑后的90个感兴趣区的上述两种模态脑影像数据作为使用的特征，进一步对这些使用的特征进行标准化，由此完成多模态神经影像输入；
第二步，使用SWLRC的多模态特征选择方法进行特征分析：
本步骤是为了获得与分类相关的特征，去掉冗余的或者与分类任务相关性低的特征，数据集设置为训练集与测试集，
将上述第一步中得到的每个模态的特征数据用
表示，其中上标v表示第v个模态，下标i表示第i个神经影像，将每个神经影像所属的类别用yi表示，此处下标i同样表示第i个神经影像，然后将每个神经影像的数值和所属的类别输入到以下公式(1)所示的目标函数中，
公式(1)中，m为神经影像个数，s为模态的个数，βv为第v个模态的特征选择向量，
为第i个神经影像的第v个模态所占的权重为多少，且
W＝[w1；w2；…；ws]∈Rm×s为训练样本的所有模态的权重矩阵，其中wv表示第v个模态的权重，
表示第i个样本每个模态的权重，λS为约束特征稀疏的正则化参数，λR为约束样本多模态关联的正则化参数，R(W)表示W的秩，T表示矩阵和向量的转置，s.t.表示约束条件，由此完成使用SWLRC的多模态特征选择方法进行特征分析，在本实例中，设置λS＝1，λR＝10，s＝2，m＝334，W初始化为一个大小2×334的随机矩阵；
第三步，优化目标函数：
优化上述第二步中的公式(1)中的目标函数的方法是采用快速收敛的方案，即重复多次搜索公式(1)中的目标函数的局部最优解来近似最优解，并采用交替方向乘子法对上述公式(1)中的W和βv进行优化，目标函数被改写为如下公式(2)所示，
s.t.-W+Λ＝0,J＝W,
公式(2)中，
为
和βv的乘积，Λ∈Rm×s为非负松弛变量，J∈Rm×s等于W，‖·‖*表示星范数，其目的是让目标函数符合交替方向乘子法形式并进行求解，
在线性规划中，将不等式约束条件变为等式约束条件，由此完成优化目标函数；
第四步，目标函数的求解：
为了表示简单，将上述第三步中的公式(2)的三项内容分别简记为f1(U)、f2(βv)、f3(J)，由此将公式(2)的增广拉格朗日形式定义为如下公式(3)，
公式(3)中，Pv∈Rm×90，Q∈Rm×s，E∈Rm×s均为拉格朗日乘子，μ、ρ、ξ均为增广拉格朗日项的三个参数，‖·‖F表示F范数，Uv为由变量
从1到m按行排列而构成的对应于不同模态的矩阵，wv为由
构成的列向量，所有模态的矩阵Uv按列排列拼接而构成的跨模态矩阵U，<X1,X2>为矩阵X1 TX2的迹，X1和X2表示为两个行数和列数相等的矩阵，因为Λ的解是解析解，即
其中Qiv为第i个样本的第v个模态的拉格朗日乘子，将其带入公式(3)，消去Λ，则得到如下公式(4)，
并且，将通用的交替方向乘子法框架写成如下公式(5)的形式：
且在交替方向乘子法框架中，每一步都是凸优化问题，通过计算得到每一步的最优解，由此完成目标函数的求解；
第五步，变量W、βv、U和J的求解：
将wvβvT-Uv简记为Γv，
简记为
根据上述第四步中的交替方向乘子法框架分别求解以下变量W、βv、U和J，
第5.1步，求解变量训练样本的所有模态的权重矩阵W：
由以下公式(6)和公式(7)求解变量训练样本的所有模态的权重矩阵W，
公式(6)中，Ev是E的列向量，Jv是W的列向量，将上述问题分解为s个关于wv的子问题，如下公式(7)所示，
公式(7)为s个关于wv的子问题，通过梯度下降的方法进行求解，然后将W的解按列进行归一化，即将W的每一列的数除以每一列的模长，由此完成求解变量训练样本的所有模态的权重矩阵W；
第5.2步，求解变量第v个模态的特征选择向量βv：
上述第二步中指明βv为第v个模态的特征选择向量，对于各个模态的βv的解通过以下公式(8)计算得到，
公式(8)中，d＝‖wv‖2,ε＝λS/(dρ)，Sε是软阈值收缩算子，即通过比较(ρUv-Pv)Twv/(dρ)与ε＝λS/(dρ)的大小并计算完成求解变量第v个模态的特征选择向量βv；
第5.3步，求解变量跨模态矩阵U：
用如下的公式(9)求解跨模态矩阵U，
公式(9)中，
是Pv的第i个行向量，由此分解为m个关于向量Ui的子问题表述如下公式(10)：
其中，
并且公式(10)中，关于U的解的优化是光滑且凸的；
第5.4步，更新交替方向乘子法中的J：
用以下公式(11)更新交替方向乘子法中的J，
公式(11)中，
H为共轭转置，计算结果为对角线元素的平方和，η＝λR/ξ，XZYT是W-E/ξ的奇异值分解结果，Z为对角矩阵，且对角线元素为W-E/ξ的特征值，Sη[Z]为取λR/ξ和Z中较大的数，
由此完成交替计算变量W、βv、U和J的求解，并求出目标函数的值，当前目标函数的值与前循环计算得到的目标函数值的差小于0.0001时，停止迭代；
第六步，特征选择：
对于上述第五步的第5.2步中计算得到的第v个模态的特征选择向量βv的值，去掉βv的特征的权重值小于0.001的特征，剩下的特征即为使用SWLRC选择出来的特征；
第七步，训练多核SVM：
将上述第六步得到的特征的权重大于0.001的特征和数据集中的脑部神经影像标签输入到多核SVM中，因为其可以融合多模态的数据，每个模态的特征可以映射到一个更高维的特征空间，用φ(x)来表示映射后的特征向量，此时得到每个模态的核矩阵，且所用的核为线性核，第v个模态的核函数如下公式(12)所示，
公式(12)中，
表示第v个模态的核函数，将多个模态的核矩阵进行融合，得到公式(13)：
公式(13)中，κ(xi,xj)表示所有模态的核函数和，cv每个模态的权重，
由此得到多核SVM的对偶形式如下公式(14)所示，
αi≥0,i＝1,2,…,m (14)，
公式(14)中，α为拉格朗日乘子，αi表示第i个神经影像的拉格朗日乘子，
然后对公式(14)求解即可，由此完成训练多核SVM；
第八步，分类与预测：
将上述第七步训练得到的αi带入到公式(15)中，给定一个新的测试样本x0，决定样本标签的决策函数定义如下公式(15)所示，
公式(15)中，核函数采用线性核，两个线性核函数的和还是线性核，sign()表示取括号内数值的符号，b为偏置，由训练支持向量机得到，cv是通过网格搜索在训练集上交叉验证得到的，f(x0)的值即为新的测试样本的预测结果；
至此完成使用SWLRC的多模态神经影像特征选择方法进行生物标志物的挖掘，并使用多核SVM方法分类进行多模态脑部神经影像特征的处理。
Claims (1)
1.多模态脑部神经影像特征的处理方法，其特征在于：是使用SWLRC的多模态神经影像特征选择方法进行生物标志物的挖掘，再使用多核SVM方法分类，具体步骤如下：
第一步，多模态神经影像输入：
对基于体素的形态测量法处理的磁共振脑影像和氟脱氧葡萄糖-正电子发射断层扫描脑影像这两种模态脑部影像数据提取感兴趣区模板特征，步骤是，首先使用统计参数映射软件包将基于体素的形态测量法处理的磁共振脑影像和氟脱氧葡萄糖-正电子发射断层扫描脑影像配准到标准空间中，然后采用SPM软件工具箱MarsBaR的自动解剖标记模板对基于体素的形态测量法处理的磁共振脑影像灰度密度和氟脱氧葡萄糖-正电子发射断层扫描脑影像葡萄糖代谢水平进行特征提取，然后从自动解剖标记模板的116个感兴趣区中去除小脑，最后将90个感兴趣区的上述两种模态脑影像数据作为使用的特征，由此完成多模态神经影像输入；
第二步，使用SWLRC的多模态特征选择方法进行特征分析：
将上述第一步中得到的每个模态的特征数据用
表示，其中上标v表示第v个模态，下标i表示第i个神经影像，将每个神经影像所属的类别用yi表示，此处下标i同样表示第i个神经影像，然后将每个神经影像的数值和所属的类别输入到以下公式(1)所示的目标函数中，
公式(1)中，m为神经影像个数，s为模态的个数，βv为第v个模态的特征选择向量，
为第i个神经影像的第v个模态所占的权重为多少，且
W＝[w1；w2；…；ws]∈Rm×s为训练样本的所有模态的权重矩阵，其中wv表示第v个模态的权重，
表示第i个样本每个模态的权重，λS为约束特征稀疏的正则化参数，λR为约束样本多模态关联的正则化参数，R(W)表示W的秩，T表示矩阵和向量的转置，s.t.表示约束条件，由此完成使用SWLRC的多模态特征选择方法进行特征分析；
第三步，优化目标函数：
优化上述第二步中的公式(1)中的目标函数的方法是采用快速收敛的方案，即重复多次搜索公式(1)中的目标函数的局部最优解来近似最优解，并采用交替方向乘子法对上述公式(1)中的W和βv进行优化，目标函数被改写为如下公式(2)所示，
s.t.-W+Λ＝0,J＝W,
公式(2)中，
为
和βv的乘积，Λ∈Rm×s为非负松弛变量，J∈Rm×s等于W，‖·‖*表示星范数，其目的是让目标函数符合交替方向乘子法形式并进行求解，
在线性规划中，将不等式约束条件变为等式约束条件，由此完成优化目标函数；
第四步，目标函数的求解：
为了表示简单，将上述第三步中的公式(2)的三项内容分别简记为f1(U)、f2(βv)、f3(J)，由此将公式(2)的增广拉格朗日形式定义为如下公式(3)，
公式(3)中，Pv∈Rm×90，Q∈Rm×s，E∈Rm×s均为拉格朗日乘子，μ、ρ、ξ均为增广拉格朗日项的三个参数，‖·‖F表示F范数，Uv为由变量
从1到m按行排列而构成的对应于不同模态的矩阵，wv为由
构成的列向量，所有模态的矩阵Uv按列排列拼接而构成跨模态矩阵U，<X1,X2>为矩阵X1 TX2的迹，X1和X2表示为两个行数和列数相等的矩阵，因为Λ的解是解析解，即
其中Qiv为第i个样本的第v个模态的拉格朗日乘子，将其带入公式(3)，消去Λ，则得到如下公式(4)，
并且，将通用的交替方向乘子法框架写成如下公式(5)的形式：
且在交替方向乘子法框架中，每一步都是凸优化问题，通过计算得到每一步的最优解，由此完成目标函数的求解；
第五步，变量W、βv、U和J的求解：
将
简记为Γv，
简记为
根据上述第四步中的交替方向乘子法框架分别求解以下变量W、βv、U和J，
第5.1步，求解变量训练样本的所有模态的权重矩阵W：
由以下公式(6)和公式(7)求解变量训练样本的所有模态的权重矩阵W，
公式(6)中，Ev是E的列向量，Jv是W的列向量，将上述问题分解为s个关于wv的子问题，如下公式(7)所示，
公式(7)为s个关于wv的子问题，通过梯度下降的方法进行求解，然后将W的解按列进行归一化，即将W的每一列的数除以每一列的模长，由此完成求解变量训练样本的所有模态的权重矩阵W；
第5.2步，求解变量第v个模态的特征选择向量βv：
上述第二步中指明βv为第v个模态的特征选择向量，对于各个模态的βv的解通过以下公式(8)计算得到，
公式(8)中，d＝‖wv‖2,ε＝λS/(dρ)，Sε是软阈值收缩算子，即通过比较(ρUv-Pv)Twv/(dρ)与ε＝λS/(dρ)的大小并计算完成求解变量第v个模态的特征选择向量βv；
第5.3步，求解变量跨模态矩阵U：
用如下的公式(9)求解跨模态矩阵U，
公式(9)中，
是Pv的第i个行向量，由此分解为m个关于向量Ui的子问题表述如下公式(10)：
其中，
并且公式(10)中，关于U的解的优化是光滑且凸的；
第5.4步，更新交替方向乘子法中的J：
用以下公式(11)更新交替方向乘子法中的J，
公式(11)中，
H为共轭转置，计算结果为对角线元素的平方和，η＝λR/ξ，XZYT是W-E/ξ的奇异值分解结果，Z为对角矩阵，且对角线元素为W-E/ξ的特征值，Sη[Z]为取λR/ξ和Z中较大的数，
由此完成交替计算变量W、βv、U和J的求解，并求出目标函数的值，当前目标函数的值与前循环计算得到的目标函数值的差小于0.0001时，停止迭代；
第六步，特征选择：
对于上述第五步的第5.2步中计算得到的第v个模态的特征选择向量βv的值，去掉βv的特征的权重值小于0.001的特征，剩下的特征即为使用SWLRC选择出来的特征；
第七步，训练多核SVM：
将上述第六步得到的特征的权重大于0.001的特征和数据集中的脑部神经影像标签输入到多核SVM中，用φ(x)来表示映射后的特征向量，此时得到每个模态的核矩阵，且所用的核为线性核，第v个模态的核函数如下公式(12)所示，
公式(12)中，
表示第v个模态的核函数，将多个模态的核矩阵进行融合，得到公式(13)：
公式(13)中，κ(xi,xj)表示所有模态的核函数和，cv为 每个模态的权重，
由此得到多核SVM的对偶形式如下公式(14)所示，
αi≥0,i＝1,2,…,m (14)，
公式(14)中，α为拉格朗日乘子，αi表示第i个神经影像的拉格朗日乘子，αj表示第j个神经影像的拉格朗日乘子，
然后对公式(14)求解即可，由此完成训练多核SVM；
第八步，分类与预测：
将上述第七步训练得到的αi带入到下面的公式(15)中，给定一个新的测试样本x0，决定样本标签的决策函数定义如下公式(15)所示，
公式(15)中，核函数采用线性核，两个线性核函数的和还是线性核，sign()为取括号内数值的符号，b为偏置，由训练支持向量机得到，cv是通过网格搜索在训练集上交叉验证得到的，f(x0)的值即为新的测试样本的预测结果；
至此完成使用SWLRC的多模态神经影像特征选择方法进行生物标志物的挖掘，并使用多核SVM方法分类进行多模态脑部神经影像特征的处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910128235.1A CN109770932B (zh) | 2019-02-21 | 2019-02-21 | 多模态脑部神经影像特征的处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910128235.1A CN109770932B (zh) | 2019-02-21 | 2019-02-21 | 多模态脑部神经影像特征的处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109770932A CN109770932A (zh) | 2019-05-21 |
| CN109770932B true CN109770932B (zh) | 2022-04-29 |
Family
ID=66504612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910128235.1A Expired - Fee Related CN109770932B (zh) | 2019-02-21 | 2019-02-21 | 多模态脑部神经影像特征的处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109770932B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263880B (zh) * | 2019-07-12 | 2021-08-03 | 深圳大学 | 脑疾病分类模型的构建方法、装置及智能终端 |
| CN110428012A (zh) * | 2019-08-06 | 2019-11-08 | 深圳大学 | 脑网络模型建立方法、脑图像分类方法、装置及电子设备 |
| CN110597878B (zh) * | 2019-09-16 | 2023-09-15 | 广东工业大学 | 一种多模态数据的跨模态检索方法、装置、设备及介质 |
| CN110781926B (zh) * | 2019-09-29 | 2023-09-19 | 武汉大学 | 基于鲁棒辅助信息重构的支持向量机多谱段图像分析方法 |
| CN111916162A (zh) * | 2020-07-31 | 2020-11-10 | 温州大学 | 一种基于样本权重和低秩约束的多模态神经影像特征选择方法 |
| CN112233805B (zh) * | 2020-10-14 | 2022-03-01 | 河北工业大学 | 基于多图谱神经影像学数据进行生物标志物的挖掘方法 |
| CN112288027B (zh) * | 2020-11-05 | 2022-05-03 | 河北工业大学 | 异构多模态影像遗传学数据特征分析方法 |
| CN112396584B (zh) * | 2020-11-19 | 2023-09-08 | 西安科技大学 | 基于特征模态与分层模块的脑功能模式特征提取方法 |
| CN112434739A (zh) * | 2020-11-25 | 2021-03-02 | 西安交通大学 | 一种基于多核学习的支持向量机的化工过程故障诊断方法 |
| CN112568872B (zh) * | 2020-12-30 | 2021-11-02 | 深圳大学 | 基于mri影像和血液生化指标的脑龄融合预测方法 |
| CN112837274B (zh) * | 2021-01-13 | 2023-07-07 | 南京工业大学 | 一种基于多模态多站点数据融合的分类识别方法 |
| CN112990266B (zh) * | 2021-02-07 | 2023-08-15 | 西安电子科技大学 | 多模态脑影像数据处理的方法、装置、设备及存储介质 |
| CN113130004B (zh) * | 2021-04-27 | 2024-05-14 | 上海海事大学 | 一种识别阿尔茨海默症相关生物标志物的相关性分析方法 |
| CN116051849B (zh) * | 2023-04-03 | 2023-07-07 | 之江实验室 | 一种脑网络数据特征提取方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507162A (zh) * | 2017-06-29 | 2017-12-22 | 南京航空航天大学 | 一种基于多模态脑影像的基因型分析方法 |
| CN107506797A (zh) * | 2017-08-25 | 2017-12-22 | 电子科技大学 | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 |
| CN108345903A (zh) * | 2018-01-25 | 2018-07-31 | 中南大学湘雅二医院 | 一种基于模态距离约束的多模态融合图像分类方法 |
| CN109241491A (zh) * | 2018-07-28 | 2019-01-18 | 天津大学 | 基于联合低秩和稀疏表示的张量结构性缺失填充方法 |
| CN109359685A (zh) * | 2018-10-17 | 2019-02-19 | 西安邮电大学 | 基于特征选择的多模态数据分类方法 |
-
2019
- 2019-02-21 CN CN201910128235.1A patent/CN109770932B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507162A (zh) * | 2017-06-29 | 2017-12-22 | 南京航空航天大学 | 一种基于多模态脑影像的基因型分析方法 |
| CN107506797A (zh) * | 2017-08-25 | 2017-12-22 | 电子科技大学 | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 |
| CN108345903A (zh) * | 2018-01-25 | 2018-07-31 | 中南大学湘雅二医院 | 一种基于模态距离约束的多模态融合图像分类方法 |
| CN109241491A (zh) * | 2018-07-28 | 2019-01-18 | 天津大学 | 基于联合低秩和稀疏表示的张量结构性缺失填充方法 |
| CN109359685A (zh) * | 2018-10-17 | 2019-02-19 | 西安邮电大学 | 基于特征选择的多模态数据分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109770932A (zh) | 2019-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109770932B (zh) | 多模态脑部神经影像特征的处理方法 | |
| Tagaris et al. | Machine learning for neurodegenerative disorder diagnosis—survey of practices and launch of benchmark dataset | |
| CN108288070B (zh) | 一种神经指纹提取分类方法及系统 | |
| Cao et al. | Sparse shared structure based multi-task learning for MRI based cognitive performance prediction of Alzheimer’s disease | |
| Yan et al. | Cortical surface biomarkers for predicting cognitive outcomes using group l2, 1 norm | |
| CN111063442B (zh) | 基于弱监督多任务矩阵补全的脑疾病进程预测方法及系统 | |
| Mamun et al. | Deep Learning Based Model for Alzheimer's Disease Detection Using Brain MRI Images | |
| CN114999629A (zh) | 一种基于多特征融合的ad早期预测方法、系统、装置 | |
| Collazos-Huertas et al. | Instance-based representation using multiple kernel learning for predicting conversion to Alzheimer disease | |
| Alkabawi et al. | Computer-aided classification of multi-types of dementia via convolutional neural networks | |
| Kumar et al. | RETRACTED ARTICLE: Analysis of regional atrophy and prolong adaptive exclusive atlas to detect the alzheimers neuro disorder using medical images | |
| Bordin et al. | Explainable AI points to white matter hyperintensities for Alzheimer's disease identification: A preliminary study | |
| Yang et al. | Diagnosis of Parkinson’s disease based on 3D ResNet: The frontal lobe is crucial | |
| Bhat et al. | Identification of intracranial hemorrhage using ResNeXt model | |
| Chen et al. | Contrastive learning for prediction of Alzheimer's disease using brain 18f-fdg pet | |
| Chen et al. | Diagnostic accuracy study of automated stratification of Alzheimer’s disease and mild cognitive impairment via deep learning based on MRI | |
| CN113935957A (zh) | 医疗图像对比方法、装置、电子设备及存储介质 | |
| Singh et al. | Automated detection of Alzheimer disease using MRI images and deep neural networks-A review | |
| Li et al. | Alzheimer's level classification by 3D PMNet using PET/MRI multi-modal images | |
| CN112233805A (zh) | 基于多图谱神经影像学数据进行生物标志物的挖掘方法 | |
| Pallawi et al. | Study of Alzheimer’s disease brain impairment and methods for its early diagnosis: a comprehensive survey | |
| Muthalagu et al. | Type of Skin Disease Identification by Machine Learning Using Python | |
| CN114241261A (zh) | 基于图像处理的皮肤病识别方法、装置、设备及存储介质 | |
| Sarabi Sarvarani et al. | An Ensemble Convolutional Neural Networks for Detection of Growth Anomalies in Children with X-ray Images | |
| Jin et al. | Feature level-based group lasso method for amnestic mild cognitive impairment diagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220429 |