CN110223275A - 一种task-fMRI引导的大脑白质纤维深度聚类方法 - Google Patents

一种task-fMRI引导的大脑白质纤维深度聚类方法 Download PDF

Info

Publication number
CN110223275A
CN110223275A CN201910448975.3A CN201910448975A CN110223275A CN 110223275 A CN110223275 A CN 110223275A CN 201910448975 A CN201910448975 A CN 201910448975A CN 110223275 A CN110223275 A CN 110223275A
Authority
CN
China
Prior art keywords
cluster
task
fiber
fmri
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910448975.3A
Other languages
English (en)
Other versions
CN110223275B (zh
Inventor
葛宝
王欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN201910448975.3A priority Critical patent/CN110223275B/zh
Publication of CN110223275A publication Critical patent/CN110223275A/zh
Application granted granted Critical
Publication of CN110223275B publication Critical patent/CN110223275B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G06T2207/10092—Diffusion tensor magnetic resonance imaging [DTI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明属于大脑白质纤维的聚类方法，特别涉及一种task‑fMRI引导的大脑白质纤维深度聚类方法，利用task‑fMRI数据得到白质纤维的功能信息，同时利用DTI数据得到白质纤维的结构信息，结合这两者来代表一条白质纤维，将其并作为嵌入聚类的卷积自动编码器的输入进行聚类。本发明提取了纤维轨迹上的平均task‑fMRI信号来表示纤维，并结合来自DTI数据的结构信息，进一步从结构上限制并优化聚类的结果。两种信息联合输入到嵌入聚类的卷积自动编码器(CAEEC)中生成聚类的纤维束，在CAEEC训练的过程中，面向重构的损失、面向聚类的损失和稀疏正则化项联合对训练过程进行优化；嵌入聚类的卷积自动编码器可以更好的提取纤维的层级结构，并在特征空间中保留数据的局部特征。

Description

一种task-fMRI引导的大脑白质纤维深度聚类方法
技术领域
本发明属于医学图像处理与深度学习领域，特别涉及一种task-fMRI引导的大脑白质纤维深度聚类方法。
背景技术
近年来，随着扩散张量成像(DTI)技术的发展，研究人员可以通过纤维追踪技术(Tractography)来推断大脑神经纤维轨迹。然而，推断得到的一个个纤维轨迹很难被利用起来。与单条纤维相比，纤维束(一组纤维)对提升人对纤维结构与功能的感知以及基于纤维束的诊疗等工作都具有重要的意义，例如我们可以比较老年痴呆和正常组在某一束纤维上的特性差异，来进行疾病诊断。因此，研究人员的目标是将全脑密集的纤维轨迹划分为有内部完整意义的纤维束，即纤维聚类。然而，大脑的神经纤维相互交错，并且具有复杂的结构和功能差异，使得纤维聚类变得非常困难。因此，如何设计出一种有效的纤维聚类方法一直是一个具有挑战性的问题。目前存在多种白质纤维的聚类方法，这些方法大多数包括两个步骤：计算所有纤维的相似性矩阵并通过聚类算法将它们分成纤维束，第一步中的相似性定义是指对纤维之间的相似性进行度量。目前大多数纤维聚类方法采用纤维的几何形状和解剖结构对相似性进行度量，因此它们在几何形状和解剖学意义上存在比较清晰的纤维束边界。但是这些纤维聚类得到的纤维束的功能含义尚不清楚。事实上，基于几何特征的纤维束边界不一定对应于解剖学边界，由解剖学信息产生的纤维束又不一定具有内在的功能一致性。第二步中传统的聚类算法包括normalized cut,affinity propagation等。最近，深度学习算法具有代表更复杂和抽象概念的显著能力，并可以从原始数据中提取更多有用的特征，已经被用于纤维聚类。然而，大多数方法都需要训练标签或人工干预，可以说是纤维分类而不是纤维聚类。
本发明涉及一种大脑白质纤维的聚类方法，利用同一大脑的task-fMRI数据和DTI数据来对大脑白质纤维进行功能和结构联合意义上的划分。通过将来自task-fMRI的功能信息和来自DTI的结构信息输入到嵌入聚类的卷积自动编码器(CAEEC)中进行聚类，从而得到聚类的纤维束，而且聚类得到的纤维束同时具有功能和结构意义，属于医学图像处理与深度学习领域。
发明内容
为了克服上述现有方法的不足之处，本发明提出了一种task-fMRI引导的大脑白质纤维深度聚类方法，利用task-fMRI数据提取白质纤维的功能信息，并将其与源自DTI数据的结构信息相结合，通过嵌入聚类的卷积自动编码器(CAEEC)自动聚类得到纤维束，从而使得聚类后的纤维束同时具有功能意义和结构意义。
本发明的基本思想是:利用task-fMRI数据得到白质纤维的功能信息，利用DTI数据得到白质纤维的结构信息，结合这两者来代表一条白质纤维，并作为嵌入聚类的卷积自动编码器的输入进行聚类。嵌入聚类的卷积自动编码器可以更好的提取纤维的层级结构，并在特征空间中保留数据的局部特征，从而取得了更好的聚类效果。
本发明提取了纤维轨迹上的平均task-fMRI信号来表示纤维，使得纤维聚类的结果具有明确的功能意义，并结合来自DTI数据的结构信息，进一步从结构上限制并优化聚类的结果。两种信息联合输入到嵌入聚类的卷积自动编码器(CAEEC)中生成聚类的纤维束，在CAEEC训练的过程中，面向重构的损失、面向聚类的损失和稀疏正则化项联合对训练过程进行优化。
本发明的技术方案如下，包括以下步骤：
步骤1.使用SPM软件对原始的task-fMRI数据进行预处理，所述预处理包括脑颅骨去除，运动校正，空间平滑，时间预白化，切片时间校正和全局漂移去除，得到预处理后的task-fMRI数据；
步骤2.使用FSL软件对原始的DTI数据进行预处理，所述预处理包括脑颅骨去除，运动校正，涡流校正，组织分割和表面重建，得到预处理后的DTI数据(包括预处理的B0图像)和皮质表面；
步骤3.将步骤1中预处理后的task-fMRI数据使用FSL软件的FLIRT工具配准到DTI空间，得到配准后的task-fMRI数据；
步骤4.使用MEDINRIA软件对步骤2中预处理后的DTI数据进行纤维追踪，得到大脑的纤维轨迹；
步骤5.提取步骤4得到的纤维轨迹的结构信息，包括长度、方向和位置三种信息，形成结构信息向量；
步骤6.将所述步骤3配准后的task-fMRI数据与所述步骤4中得到的纤维轨迹结合起来，提取纤维轨迹点上的平均task-fMRI信号，用此平均task-fMRI信号来表示一条纤维的功能信息，形成功能信息向量；
步骤7.将步骤5得到的结构信息向量与步骤6中得到的功能信息向量拼接为一个向量，输入到嵌入聚类的卷积自动编码器(CAEEC)中,生成聚类的纤维束；
所述步骤7的具体处理过程是：
步骤7.1将步骤5的结构信息向量与步骤6的功能信息向量归一化到[-1，1]，并拼接为一个向量，输入到嵌入聚类的卷积自动编码器(CAEEC)中，运用重构损失(Lr)进行预训练，同时提取纤维的面向重构的嵌入层特征；其中CAEEC包括编码器，嵌入层，解码器和聚类层。
步骤7.2对步骤7.1获得的嵌入层特征进行k-means聚类，得到初始的聚类中心作为可训练的聚类层权重，然后利用CAEEC的重构损失(Lr)、聚类损失(Lc)和稀疏正则化项所组成的联合损失函数来微调CAEEC，并得到聚类的纤维束。
优选的，所述步骤5的具体过程是：在步骤5中，对于纤维轨迹的每一点，将其映射到球坐标系下，球坐标用表示，任一点P到原点的距离为r，原点到点P的连线与正z-轴之间的天顶角为θ，原点到点P的连线在xy平面的投影线，与正x-轴之间的方位角为将距离r归一化到[0，1]，然后将距离、天顶角和方位角分别分为m，n，l等份，即将球体分为m*n*l＝Z份，统计落入每一份的轨迹点的数量百分比，即得到一个一维的直方图向量，即结构信息向量，大小为1×Z，用此直方图向量来表达纤维的结构信息，此结构信息向量包括了对纤维的长度、方向和位置的描述。
进一步的，步骤7.1中所使用到的卷积自动编码器包括编码器，嵌入层，解码器和聚类层，其中，编码器包括输入层，三个卷积层和一个展开(Flatten)层，展开层后面连接嵌入层，嵌入层用来压缩展开层提取到的特征，解码器再连接到嵌入层之后，解码器包含和编码器相同的层，但层的顺序是相反的，即先是展开层，然后是三个卷积层，最后是输出层，并以反卷积层来替代卷积层；同时聚类层也连接到嵌入层之后。
进一步的，所述步骤7.1使用到的卷积自动编码器的重构损失Lr定义如下：
其中，E和D分别是编码器和解码器，E表示从原始数据到特征空间的非线性映射zi＝E(xi)，D表示从特征空间到重建数据的映射xi′＝D(zi)，x′i是xi的重建样本。
进一步的，步骤7.2中，采用K-Means对嵌入层特征进行聚类，得到的聚类中心用作初始化的聚类层权重μj；聚类层将输入样本的特征转换为软标签qij，
qij表示原始空间经过非线性映射到潜在特征空间的嵌入点zi和聚类中心μj的相似性，即表示样本xi属于类族j的概率。
优选的，所述步骤7.2中用于微调的聚类损失Lc定义为软标签分布Q与目标分布P之间的Kullback-Leibler散度(KL散度)如下：
联合损失函数L如下：
L＝(1-λ)Lr+λLc+γ(||w1||1+||w2||1)
其中，0<λ<1,λ是控制面向重构和面向聚类的特征学习之间的折衷系数，γ(||w1||+||w2||)为L1正则化项，导致w1和w2的稀疏解，w1和w2分别为展开层与嵌入层之间的连接矩阵和与其对称的连接矩阵，γ越大，w1和w2越稀疏，稀疏特性符合大脑内在的连接机制。
与现有技术相比，本发明的有益效果是：
本发明的有益效果在于，将白质纤维分为同时具有功能意义和结构意义上的纤维束，从而为之后基于纤维束的定量分析做准备。相对于基于几何、结构和结构剖特征的聚类方法，本发明聚类得到的纤维束本身就具有功能上的明确含义，而根据几何特征聚类后得到的纤维束，不能从功能上得到更合理的解释；相对于基于解剖图谱的方法，不依赖于图谱的准确性，不需要复杂的配准。相对于以往基于深度学习的方法，不需要训练标签或人工干预，同时利用卷积自编码器的重构损失、聚类损失和稀疏正则化项结合微调网络模型，即考虑了学出的特征用于重构，也考虑了特征的聚类有效性和大脑内部神经活动的稀疏性；
利用task-fMRI数据提取白质纤维的功能信息，并将其与源自DTI数据的结构信息相结合，通过嵌入聚类的卷积自动编码器(CAEEC)自动聚类得到纤维束，从而使得聚类后的纤维束同时具有功能意义和结构意义。
附图说明
图1为本发明方法的整体流程图；
图2为本发明所述的嵌入聚类的卷积自动编码器(CAEEC)的模型示意图；
图3为本发明实例中使用的纤维轨迹上的平均task-fMRI信号，其中(a)为来自空间上相邻的两个纤维轨迹的平均信号；(b)为来自空间上不相邻的两个纤维轨迹的平均信号；蓝色和橙色曲线各代表两个平均task-fMRI信号。
图4为本发明实例中步骤7中提取的纤维功能特征，其中(a)-(f)示出的是每种任务设计曲线(红色)和学习到的对应特征(蓝色)；其中，(a)是视觉提示任务曲线，(b)是左手指任务曲线，(c)是左脚趾任务曲线，(d)右手指任务曲线，(e)右脚趾任务曲线，(f)舌动任务曲线；
图5为本发明聚类后形成的纤维束，不同的纤维束用不同的颜色表示；
图6为本发明实例中得到的纤维束和使用GLM方法得到的激活脑网络之间的比较；其中，(a)组图是GLM方法得到的原始的6个任务激活脑网络的一个切片，用作和(b)的比较；(b)组图是将GLM方法得到的三维激活图映射到脑表面上，然后和本发明实例得到的纤维束叠加显示，以便于更近一步的观察比较；
图7为本发明实例中选择的一些具有解剖学意义的纤维束；
图8为本发明实例中所使用的直角坐标系和球坐标系。
具体实施方式
本发明的基本思想是:利用task-fMRI数据得到白质纤维的功能信息，利用DTI数据得到白质纤维的结构信息，结合这两者来代表一条白质纤维，并作为嵌入聚类的卷积自动编码器的输入进行聚类。嵌入聚类的卷积自动编码器可以更好的提取纤维的层级结构，并在特征空间中保留数据的局部特征，从而取得了更好的聚类效果。
本发明提取了纤维轨迹上的平均task-fMRI信号来表示纤维，使得纤维聚类的结果具有明确的功能意义，并结合来自DTI数据的结构信息，进一步从结构上限制并优化聚类的结果；两种信息联合输入到嵌入聚类的卷积自动编码器(CAEEC)中生成聚类的纤维束，在CAEEC训练的过程中，面向重构的损失、面向聚类的损失和稀疏正则化项联合对训练过程进行优化。
现结合附图对本发明作进一步描述：我们用python语言实现了一个原型系统，算法开发及测试数据来自HCP Q1数据集的task-fMRI和DTI数据。动作类型包括向参与者呈现视觉提示，要求他们轻敲他们的左手指或右手指，挤压他们的左脚趾或右脚趾，或移动他们的舌头。每个运动类型持续12秒(10次运动)，并且前面有3秒的视觉提示。采用具有32个通道的头部线圈在3T Siemens Skyra上获得全脑的EPI采集，TR＝720ms，TE＝33.1ms，波长角＝52°,BW＝2290Hz/Px，FOV＝208×180mm，72个切片，每切片2.0mm厚，总任务时间为284TRs。DTI数据的参数为，扫描图像大小为144×168×110，空间分辨率为1.25mm×1.25mm×1.25mm，TR＝5520ms，TE＝89.5ms，90个DWI梯度方向和6个B0图像。
本发明整个流程可以参考附图1，图1中的CAEEC模型参考附图2，具体的实施步骤如下：
1.对原始的task-fMRI数据使用SPM软件进行预处理，包括脑颅骨去除，运动校正，空间平滑，时间预白化，切片时间校正和全局漂移去除。
2.对原始的DTI数据使用FSL软件进行预处理，包括脑颅骨去除，运动校正，涡流校正，组织分割和表面重建，得到重建的表面以及与处理后的B0图像。组织分割是把大脑分为灰质，白质和脑脊液，重建的表面为灰质和白质中间的表面。
3.将步骤1中预处理后的task-fMRI数据使用FSL软件的FLIRT工具配准到DTI空间。具体步骤为，先是将4维的task-fMRI数据在时间上进行平均，得到一个3维的task-fMRI数据，然后将3维task-fMRI数据用FLIRT配准到DTI的B0图上，同时得出6自由度的配准矩阵R；然后利用此配准矩阵R，将4维的task-fMRI数据配准到B0图上，即将预处理后的task-fMRI数据配准到了DTI空间。
4.使用MEDINRIA对步骤2中预处理后的DTI数据进行纤维追踪，得到大脑的纤维轨迹。每个大脑大约可以得到160000多条纤维轨迹。
5.提取步骤4得到的纤维轨迹的结构信息。具体来讲，对于步骤4得到的纤维轨迹的每一点，将其映射到球坐标系下，如图8所示，球坐标用 表示，任一点P到原点的距离为r，原点到点P的连线与正z-轴之间的天顶角为θ，原点到点P的连线在xy平面的投影线，与正x-轴之间的方位角为对距离r归一化到[0,1]，然后对距离、天顶角和方位角分别分为6，6，5等份，即将球体分为6*6*5＝180份，统计落入每一份的轨迹点的数量百分比，即得到一个一维的直方图向量，即结构信息向量VS，大小为180×1，我们用此直方图向量来表达纤维的结构信息，此结构信息包括了对纤维的长度、方向和位置的描述。
6.结合步骤3得到的配准到DTI空间的task-fMRI数据与步骤4中得到的纤维轨迹，利用纤维轨迹上每一点在DTI空间的坐标，来提取纤维轨迹点上的task-fMRI信号，对轨迹上的多点的task-fMRI信号进行平均来表示一条纤维的功能信息；这些信号是一维的时间序列，可表达为一维的功能信息向量VF，有284个时间点，如图3所示，我们可视化了来自两个空间上相邻纤维(a)和非相邻纤维(b)的平均功能信号。可看出，相邻纤维上的平均task-fMRI信号是相似的，而不相邻纤维上的平均task-fMRI信号是有区别的。
7.将步骤5得到的结构信息向量(VS)与步骤6得到的功能信息向量(VF)分别归一化到[-1，1]，并拼接为一个向量，输入到嵌入聚类的卷积自动编码器(CAEEC)中生成聚类的纤维束；
上述步骤7的具体处理是：7.1将步骤5得到的结构信息向量(VS)与步骤6得到的功能信息向量(VF)分别归一化到[-1，1]，并拼接为一个向量，因此可以得到一个组合输入，尺寸为464(284+180)，将其输入到嵌入聚类的卷积自动编码器(CAEEC)中,运用重构损失进行预训练，可提取出纤维的面向重构的特征。
嵌入聚类的卷积自动编码器(CAEEC)的基本构架如图2所示。卷积自动编码器主要由编码器和解码器组成，编码器的主要功能是提取纤维的特征，它由三个卷积层和一个展开(flatten)层组成。卷积层用于提取纤维数据的分层特征，flatten层将最后一层卷积层中的所有特征展平以形成一维向量。接着是嵌入层，用来压缩展开层提取到的特征，解码器再连接到嵌入层之后，解码器包含和编码器相同的层，但层的顺序是相反的，即先是展开层，然后是三个卷积层，最后是输出层，并以反卷积层来替代卷积层，解码器将潜在特征作为输入并重建出与原始数据尽可能相似的数据；同时聚类层也连接到嵌入层之后。嵌入层包含了用于之后聚类的潜在特征。这里我们使用一维(1D)卷积，是因为输入样本是来自纤维的1D fMRI信号。
重构损失Lr定义如下：
其中E和D分别是编码器和解码器。它们分别表示从原始数据到特征空间的非线性映射zi＝E(xi)和从特征空间到重建数据的映射(xi′＝D(zi))。三层卷积层的滤波器个数分别32，64，128,三个一维卷积层的卷积核的大小分别为5，5，3。并使用adam进行了100个epoch的预训练，batch-size为256，学习率为0.01，动量为0.9，收敛阈值为0.001。
为了验证这些最终学习到的特征是合理的，我们将功能信息向量单独拿出来用来进行测试，我们认为这些特征中会有一些与先验的知识(即任务设计曲线)类似，因此我们通过计算Pearson相关性挑选出了这些特征，如图4所示。蓝色曲线是我们学习到的第三个卷积层的特征，由于在CAEEC中没有pooling操作，因此这些特征可被上采样来达到与原始时间信号相同的长度，从而方便比较。橙色曲线是任务设计曲线，它是使用FSL工具箱与血液动力学响应函数(HRF)卷积的六个任务刺激曲线的结果，以补偿原始输入刺激和输出血液动力学响应之间的差异。我们可以看到学习的特征与任务设计曲线非常相似。作为定量测量，我们给出了学到的特征和原始任务设计曲线之间的Pearson的相关性，从(a)到(f)它们分别为0.6575,0.8774,0.8832,0.8892,0.9008和0.8891。这些结果表明，我们的CAEEC模型可以有效地提取纤维上功能信息的内在特征。
7.2采用K-Means对步骤7.1获得的特征向量进行聚类，得到的聚类中心用于初始化聚类层权重μj，然后利用CAEEC的重构损失、聚类损失和稀疏正则化项组成的联合损失函数来微调CAEEC，更新各种权重，并得到聚类的纤维束。
具体来说，聚类层先将输入样本的特征转换为软标签qij，
qij表示原始空间经过非线性映射到潜在特征空间的嵌入点zi和聚类中心μj的相似性，即表示样本属于类族j的概率。嵌入层的特征向量大小为30×1。
然后，利用由卷积自动编码器的重构损失、面向聚类的损失和稀疏正则化项组成的联合损失函数来微调CAEEC，同时生成聚类的纤维束。聚类损失Lc定义为软标签分布Q与目标分布P之间的Kullback-Leibler散度(KL散度)如下：
联合损失函数如下：
L＝(1-λ)Lr+λLc+γ(||w1||+||w2||)
其中0<λ<1,λ是控制面向重构和面向聚类的特征学习之间的折衷系数。γ(||w1||+||w2||)为L1正则化项，导致w1和w2的稀疏解，w1和w2分别为Flatten层与嵌入层之间的连接矩阵和与其对称的连接矩阵，γ越大，w1和w2越稀疏，稀疏正则化符合大脑神经活动的稀疏特性。实际中λ取0.1，γ取0.00001。聚类得到的纤维束见图5，为方便可视化，此处所显示的每组纤维束仅有100条纤维。
8.为了便于观察验证步骤7.2所得到的纤维束的功能意义，计算步骤7.2得到的每组纤维束中的每一个纤维上的功能信息向量和先验任务设计曲线的Pearson相关性，对组内的所有Pearson相关性值进行平均，挑出最大值所属的纤维束，即对应于任务设计的纤维束，并将它们叠加到任务激活相关的功能脑网络上，这些功能网络用GLM方法识别并映射到皮质表面，如图6(b)所示，表面的任务激活区域用橙色绘制，可以发现纤维束(蓝色)具有一致的形状，且穿透任务相关区域，这表明纤维束具有相应的功能意义。为了便于对比，将GLM得到的任务激活脑网络的一个切片也显示在图6(a)。
9.为了便于观察验证步骤7.2所得到的纤维束的结构解剖意义，从步骤7.2得到的纤维束中选择了一些具有解剖学意义的纤维束如图7所示。可以看出，这种方法不仅可以识别功能上有意义的纤维束，还可以识别结构解剖学意义上的纤维束。除了鉴别这些已知结构和功能意义上的纤维束，分别为6个，此方法还得到了其它的纤维束，并不能被目前的已知研究成果所验证，但仍具有一定的内部功能一致性，和外部的功能区别性，这是由本方法的原理保证的。
从上述具体的实施例中，可以看出，利用task-fMRI数据中的功能信息，并结合来自DTI数据的结构信息，可以得到同时具有功能和解剖结构意义上的纤维束。两种信息联合输入到嵌入聚类的卷积自动编码器(CAEEC)中生成聚类的纤维束，在CAEEC训练的过程中，通过面向重构的损失对CAEEC模型进行预训练，然后面向重构的损失、面向聚类的损失和稀疏正则化项联合对CAEEC模型进行近一步优化。其中卷积自动编码器通过面向重构的损失函数可以重构纤维的原始功能和结构信息，提取纤维的层级结构，并在特征空间中保留数据的局部特征；面向聚类的损失则更偏向于使聚类得到纤维束具有明显的差别；而稀疏正则化项符合大脑神经活动的稀疏特性，提高了模型的泛化表达能力。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种task-fMRI引导的大脑白质纤维深度聚类方法，其特征在于，包括如下步骤：
步骤1.使用SPM软件对原始的task-fMRI数据进行预处理，所述预处理包括脑颅骨去除，运动校正，空间平滑，时间预白化，切片时间校正和全局漂移去除，得到预处理后的task-fMRI数据；
步骤2.使用FSL软件对原始的DTI数据进行预处理，所述预处理包括脑颅骨去除，运动校正，涡流校正，组织分割和表面重建，得到预处理后的DTI数据(包括预处理的B0图像)和皮质表面；
步骤3.将步骤1中预处理后的task-fMRI数据使用FSL软件的FLIRT工具配准到DTI空间，得到配准后的task-fMRI数据；
步骤4.使用MEDINRIA软件对步骤2中预处理后的DTI数据进行纤维追踪，得到大脑的纤维轨迹；
步骤5.提取步骤4得到的纤维轨迹的结构信息，包括长度、方向和位置三种信息，形成结构信息向量；
步骤6.将所述步骤3配准后的task-fMRI数据与所述步骤4中得到的纤维轨迹结合起来，提取纤维轨迹点上的平均task-fMRI信号，用此平均task-fMRI信号来表示一条纤维的功能信息，形成功能信息向量；
步骤7.将步骤5得到的结构信息向量与步骤6中得到的功能信息向量拼接为一个向量，输入到嵌入聚类的卷积自动编码器(CAEEC)中,生成聚类的纤维束；
所述步骤7的具体处理过程是：
步骤7.1将步骤5的结构信息向量与步骤6的功能信息向量归一化到[-1，1]，并拼接为一个向量，输入到嵌入聚类的卷积自动编码器(CAEEC)中，运用重构损失(Lr)进行预训练，同时提取纤维的面向重构的嵌入层特征；其中CAEEC包括编码器，嵌入层，解码器和聚类层。
步骤7.2对步骤7.1获得的嵌入层特征进行k-means聚类，得到初始的聚类中心作为可训练的聚类层权重，然后利用CAEEC的重构损失(Lr)、聚类损失(Lc)和稀疏正则化项所组成的联合损失函数来微调CAEEC，并得到聚类的纤维束。
2.根据权利要求1所述的task-fMRI引导的大脑白质纤维深度聚类方法，其特征在于，所述步骤5的具体过程是：在步骤5中，对于纤维轨迹的每一点，将其映射到球坐标系下，球坐标用表示，任一点P到原点的距离为r，原点到点P的连线与正z-轴之间的天顶角为θ，原点到点P的连线在xy平面的投影线，与正x-轴之间的方位角为将距离r归一化到[0，1]，然后将距离、天顶角和方位角分别分为m，n，l等份，即将球体分为m*n*l＝Z份，统计落入每一份的轨迹点的数量百分比，即得到一个一维的直方图向量，即结构信息向量，大小为1×Z，用此直方图向量来表达纤维的结构信息，此结构信息向量包括了对纤维的长度、方向和位置的描述。
3.根据权利要求1所述的task-fMRI引导的大脑白质纤维深度聚类方法，其特征在于，步骤7.1中所使用到的卷积自动编码器包括编码器，嵌入层，解码器和聚类层，其中，编码器包括输入层，三个卷积层和一个展开(Flatten)层，展开层后面连接嵌入层，嵌入层用来压缩展开层提取到的特征，解码器再连接到嵌入层之后，解码器包含和编码器相同的层，但层的顺序是相反的，即先是展开层，然后是三个卷积层，最后是输出层，并以反卷积层来替代卷积层；同时聚类层也连接到嵌入层之后。
4.根据权利要求1所述的task-fMRI引导的大脑白质纤维深度聚类方法，其特征在于：所述步骤7.1使用到的卷积自动编码器的重构损失Lr定义如下：
其中，E和D分别是编码器和解码器，E表示从原始数据到特征空间的非线性映射zi＝E(xi)，D表示从特征空间到重建数据的映射xi′＝D(zi)，xi'是xi的重建样本。
5.根据权利要求1所述的task-fMRI引导的大脑白质纤维深度聚类方法，其特征在于，步骤7.2中，采用K-Means对嵌入层特征进行聚类，得到的聚类中心用作初始化的聚类层权重μj；聚类层将输入样本的特征转换为软标签qij，
qij表示原始空间经过非线性映射到潜在特征空间的嵌入点zi和聚类中心μj的相似性，即表示样本xi属于类族j的概率。
6.根据权利要求1所述的task-fMRI引导的大脑白质纤维深度聚类方法，其特征在于：步骤7.2中用于微调的聚类损失Lc定义为软标签分布Q与目标分布P之间的Kullback-Leibler散度(KL散度)如下：
联合损失函数L如下：
L＝(1-λ)Lr+λLc+γ(||w1||1+||w2||1)
其中，0<λ<1,λ是控制面向重构和面向聚类的特征学习之间的折衷系数，γ(||w1||+||w2||)为L1正则化项，导致w1和w2的稀疏解，w1和w2分别为展开层与嵌入层之间的连接矩阵和与其对称的连接矩阵，γ越大，w1和w2越稀疏，稀疏特性符合大脑内在的连接机制。
7.根据权利要求1所述的task-fMRI引导的大脑白质纤维深度聚类方法，其特征在于：所述步骤6使用task-fMRI数据来进行纤维的聚类，task-fMRI是人在进行某种特定任务时的大脑fMRI扫描数据，比结构数据(DTI等)和静息态数据(resting state fMRI)更具有明确的功能含义；通过结构数据只能得到结构意义上的纤维束划分，通过静息态数据虽然也能得到功能上的划分，但静息态下的功能角色目前尚不清楚，而且不具有任务态扫描数据的明确功能意义；另外，在步骤7中将功能和结构信息结合用来进行纤维聚类，用功能和结构信息来联合优化聚类结果。
CN201910448975.3A 2019-05-28 2019-05-28 一种task-fMRI引导的大脑白质纤维深度聚类方法 Expired - Fee Related CN110223275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910448975.3A CN110223275B (zh) 2019-05-28 2019-05-28 一种task-fMRI引导的大脑白质纤维深度聚类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910448975.3A CN110223275B (zh) 2019-05-28 2019-05-28 一种task-fMRI引导的大脑白质纤维深度聚类方法

Publications (2)

Publication Number Publication Date
CN110223275A true CN110223275A (zh) 2019-09-10
CN110223275B CN110223275B (zh) 2020-12-18

Family

ID=67818625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910448975.3A Expired - Fee Related CN110223275B (zh) 2019-05-28 2019-05-28 一种task-fMRI引导的大脑白质纤维深度聚类方法

Country Status (1)

Country Link
CN (1) CN110223275B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598830A (zh) * 2020-02-18 2020-08-28 天津大学 一种基于无监督学习的皮肤癌疾病检测方法
CN111612319A (zh) * 2020-05-11 2020-09-01 上海电力大学 基于一维卷积自编码器的负荷曲线深度嵌入聚类方法
CN111739580A (zh) * 2020-06-15 2020-10-02 西安电子科技大学 基于纤维中点与端点的大脑白质纤维束聚类方法
CN112990391A (zh) * 2021-05-20 2021-06-18 四川大学 基于特征融合的卷积神经网络的缺陷分类识别系统
CN113096142A (zh) * 2021-04-30 2021-07-09 北京理工大学 基于联合嵌入空间的白质神经束自动分割方法
CN113298197A (zh) * 2021-07-28 2021-08-24 腾讯科技（深圳）有限公司 数据聚类方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093455A (zh) * 2012-12-21 2013-05-08 西北工业大学 一种扩散张量成像大脑白质纤维聚类方法
CN103440513A (zh) * 2013-09-17 2013-12-11 西安电子科技大学 基于稀疏非负张量分解的大脑特定视觉认知状态判定方法
CN106204562A (zh) * 2016-07-04 2016-12-07 西安交通大学 一种基于fMRI与DTI融合的穹隆白质分割的方法
CN106971410A (zh) * 2017-03-27 2017-07-21 华南理工大学 一种基于深度学习的白质纤维束重建方法
CN109615014A (zh) * 2018-12-17 2019-04-12 清华大学 一种基于kl散度优化的数据分类系统与方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093455A (zh) * 2012-12-21 2013-05-08 西北工业大学 一种扩散张量成像大脑白质纤维聚类方法
CN103440513A (zh) * 2013-09-17 2013-12-11 西安电子科技大学 基于稀疏非负张量分解的大脑特定视觉认知状态判定方法
CN106204562A (zh) * 2016-07-04 2016-12-07 西安交通大学 一种基于fMRI与DTI融合的穹隆白质分割的方法
CN106971410A (zh) * 2017-03-27 2017-07-21 华南理工大学 一种基于深度学习的白质纤维束重建方法
CN109615014A (zh) * 2018-12-17 2019-04-12 清华大学 一种基于kl散度优化的数据分类系统与方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BAO GE等: "Discovering and characterizing dynamic functional brain networks in task FMRI", 《BRAIN IMAGING AND BEHAVIOR》 *
谢娟英: "深度卷积自编码图像聚类算法", 《计算机科学与探索》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598830A (zh) * 2020-02-18 2020-08-28 天津大学 一种基于无监督学习的皮肤癌疾病检测方法
CN111612319A (zh) * 2020-05-11 2020-09-01 上海电力大学 基于一维卷积自编码器的负荷曲线深度嵌入聚类方法
CN111739580A (zh) * 2020-06-15 2020-10-02 西安电子科技大学 基于纤维中点与端点的大脑白质纤维束聚类方法
CN113096142A (zh) * 2021-04-30 2021-07-09 北京理工大学 基于联合嵌入空间的白质神经束自动分割方法
CN113096142B (zh) * 2021-04-30 2022-12-30 北京理工大学 基于联合嵌入空间的白质神经束自动分割方法
CN112990391A (zh) * 2021-05-20 2021-06-18 四川大学 基于特征融合的卷积神经网络的缺陷分类识别系统
CN113298197A (zh) * 2021-07-28 2021-08-24 腾讯科技（深圳）有限公司 数据聚类方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN110223275B (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN110223275A (zh) 一种task-fMRI引导的大脑白质纤维深度聚类方法
CN107437092B (zh) 基于三维卷积神经网络的视网膜oct图像的分类方法
CN103258204B (zh) 一种基于Gabor和EOH特征的自动微表情识别方法
CN107403201A (zh) 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN111476292A (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN109035263A (zh) 基于卷积神经网络的脑肿瘤图像自动分割方法
Ozcelik et al. Reconstruction of perceived images from fmri patterns and semantic brain exploration using instance-conditioned gans
CN111047594A (zh) 肿瘤mri弱监督学习分析建模方法及其模型
CN106296699A (zh) 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
CN110276736A (zh) 一种基于权值预测网络的磁共振图像融合方法
CN108288070A (zh) 一种神经指纹提取分类方法及系统
CN110074813A (zh) 一种超声图像重建方法及系统
CN112488976B (zh) 一种基于darts网络的多模态医学图像融合方法
CN109544518A (zh) 一种应用于骨骼成熟度评估的方法及其系统
Pan et al. MAtt: A manifold attention network for EEG decoding
CN111597946A (zh) 图像生成器的处理方法、图像生成方法及装置
CN105184794B (zh) 一种基于张量图像的csm辅助分析系统及方法
CN109816630A (zh) 基于迁移学习的fMRI视觉编码模型构建方法
CN109410157A (zh) 基于低秩稀疏分解和pcnn的图像融合方法
CN106056141A (zh) 一种使用空间稀疏编码的目标识别与角度粗估计算法
CN112233199A (zh) 基于离散表征和条件自回归的fMRI视觉重构方法
Mamdouh et al. A New Model for Image Segmentation Based on Deep Learning.
CN102222231B (zh) 一种基于背侧通路引导的视觉注意信息计算装置及其处理方法
CN112489048B (zh) 一种基于深度网络的视神经自动分割方法
Xie et al. MRSCFusion: Joint Residual Swin Transformer and Multiscale CNN for Unsupervised Multimodal Medical Image Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201218

Termination date: 20210528