CN107330948B - 一种基于流行学习算法的fMRI数据二维可视化方法 - Google Patents
一种基于流行学习算法的fMRI数据二维可视化方法 Download PDFInfo
- Publication number
- CN107330948B CN107330948B CN201710506526.0A CN201710506526A CN107330948B CN 107330948 B CN107330948 B CN 107330948B CN 201710506526 A CN201710506526 A CN 201710506526A CN 107330948 B CN107330948 B CN 107330948B
- Authority
- CN
- China
- Prior art keywords
- data
- voxel
- dimensional
- point
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000002599 functional magnetic resonance imaging Methods 0.000 title claims abstract description 25
- 238000007794 visualization technique Methods 0.000 title claims abstract description 10
- 210000004556 brain Anatomy 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012800 visualization Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims description 2
- 230000001054 cortical effect Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 238000003909 pattern recognition Methods 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007177 brain activity Effects 0.000 description 2
- 230000003925 brain function Effects 0.000 description 2
- 210000003710 cerebral cortex Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 108090000723 Insulin-Like Growth Factor I Proteins 0.000 description 1
- 102000013275 Somatomedins Human genes 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
该发明公开了一种基于流行学习算法的fMRI数据二维可视化方法,该方法属于生物医学图像模式识别技术领域，具体涉及功能磁共振图像数据的降维可视化方法。本发明利用流行学习算法对fMRI数据进行降维处理并实现了大脑体素的二维可视化，具有高效性以及高稳定性。并且t‑SNE算法本身的降维机制也决定了二维可视化的结果可以保持数据原有的空间拓扑关系。本发明对于功能磁共振数据的二维可视化方面提出了新的有效的方法，首次将流行学习算法应用于大脑fMRI数据的二维可视化，可以作为传统皮层展开图、膨胀图的一种补充手段。
Description
技术领域
本方法属于生物医学图像模式识别技术领域，具体涉及功能磁共振图像数据的降维可视化方法。
背景技术
近年来，血氧水平依赖性磁共振脑功能成像(Blood oxygenation level-dependent functional magnetic resonance imaging,BOLD-fMRI)技术得到极快的发展。比起现有其他大脑功能成像技术，fMRI不仅时间分辨率更高，就连空间分辨率也可达到毫米水平。因此我们可以利用fMRI对特定的大脑活动的皮层区域进行准确、可靠的定位。而为了能直观地展现出这些大脑活动的皮层区域，fMRI数据的可视化工作显得尤为重要。
功能磁共振数据的二维可视化是指将处理分析后的fMRI数据在二维平面内以直观的形式表现出来，以方便结果观察和引用。目前比较常用的方法主要有皮层“充气”膨胀(inflatten)和皮层的切开、展平(cut and flatten)。这两种方法都是在图像分割的基础上进行的三维计算，在医学图像的三维结构测量和分析中应用较广。例如在视网膜拓扑映射图(Retinotopic map)技术中，我们通常把枕叶的皮层的沟回结构进行展开，从而在平面图像上对不同视觉刺激下激活的区域进行评价,如图2。
目前上述两种方法可以通过很多专业软件来实现，比较常用的有Caret、Freesurfer、BrainVoyager等，这两种方法都是以保持皮层的解剖拓扑结构为原则的。而在功能磁共振数据的二维可视化过程中，我们有时并不关注大脑体素所在皮层的解剖结构信息，而更多地关注这些体素的空间拓扑关系。现在并没有很好的方法可以在保持大脑体素的空间拓扑关系的基础上将fMRI数据降维，并且在二维平面内进行可视化展示。
发明内容
针对上述存在的问题，本发明提供了一种新的fMRI数据的二维可视化方法。在算法选取方面，为了比较不同流行学习算法的效果，我们用AAL模板中43-56脑区的体素数据构建了原始数据，并用不同流行学习算法对该数据进行了二维可视化(图3)，结果显示t-分布邻域嵌入(t-SNE)算法的效果最佳。
为了进一步验证t-SNE算法可以很好地保持原数据的空间拓扑属性，我们分别对全脑体素数据以及AAL模板43-56脑区的体素数据使用t-SNE算法进行三维映射(即用t-SNE算法将原数据转换为新的三维数据)并以三视图的形式进行可视化，结果如图4、图5所示。可以很明显地看到，在用上述算法进行处理后，结果依旧保持了原始数据的空间拓扑属性。
本发明所用方法基于t-SNE算法将fMRI数据降维为二维数据，然后展示出来；本发明方案为一种基于流行学习算法的fMRI数据二维可视化方法，该方法包括：
步骤1.获取脑部的功能性磁共振图像fMRI，并将其与脑功能区模板进行匹配，确定每个体素点所处的脑功能区，所述的脑功能区模板为已有的标准大脑功能分区模板；
步骤2.提取所有体素点的空间坐标及其所处脑功能区编号，将这些信息组成的四维向量组X＝{x1，x2，x3，…，xn}，xi(i＝1.2.3…n)表示功能性磁共振图像中的第i个体素点；其中xi＝(ri,p i,qi,ni),(ri,p i,qi)表示第i个体素点的三维空间坐标，ni表示第i个体素点所处脑区编号；
步骤3.确定降维结果与原始结果的损失函数C的复杂度Perp以及最优化参数，优化参数包括：迭代次数T，学习率η，冲量α(t)；其中复杂度选取的范围为5≤Perp≤50，迭代次数T，学习率η，冲量α(t)结合实际计算量与降维效果的需求来选取合适的参数；
步骤4.利用步骤3中确定的复杂度Perp采用如下公式(1)计算不同体素点间的条件相似性pj|i；
其中xj表示第j个体素点，xk表示第k个体素点，σi表示以第i个体素点为中心的正态分布的方差，pi表示第i个体素点与其他体素点的条件相似性分布，Perp(pi)表示pi的复杂度，H(pi)表示pi的香农熵，它随着σi的增加而增加；
通过步骤3中选取的Perp值确定体素点i处的方差σi；方法为计算出一个合适的σi值，使该σi值通过(1)、(3)式算出的H(pi)值满足(2)式；
令
并随机设定迭代初始值
使之服从均值为0，方差为10-4的正态分布，其中yi(i＝1.2.3…n)表示低维数据点，pij表示体素点i与体素点j在高维空间中的对间相似性；
步骤5.使用梯度下降法对初始值
进行迭代降维，以找出最优降维结果；
步骤6.通过以上迭代过程得到的低维数据结果
即为最终的最佳降维结果；
步骤7.将得到的低维数据在平面内显示出来，并将不同脑功能区的体素点以不同的形式显示来加以区分。
进一步的，所述步骤5的具体方法为：
yj，yk分别表示体素点j和体素点k在低维空间中的映射值，由公式(4)计算出第i个体素点和第j个体素点在低维空间映射值的对间相似性qij；
C表示降维结果与原始结果的损失函数，损失函数反映了原始数据降维前后的数据损失量；其中P代表数据在高维空间的联合概率分布，Q代表数据在低维空间的联合概率分布，KL(P||Q)代表P和Q的KL散度；采用梯度下降法使损失函数最小化，具体方法如下：
由公式(5)计算出
即损失函数对降维后数据点的偏导数，其中
令
并根据步骤3中确定的参数循环迭代T次。
本发明利用流行学习算法对fMRI数据进行降维处理并实现了大脑体素的二维可视化，具有高效性以及高稳定性。并且t-SNE算法本身的降维机制也决定了二维可视化的结果可以保持数据原有的空间拓扑关系。本发明对于功能磁共振数据的二维可视化方面提出了新的有效的方法，首次将流行学习算法应用于大脑fMRI数据的二维可视化，可以作为传统皮层展开图、膨胀图的一种补充手段。
附图说明
图1为二维可视化流程图
图2为枕叶皮层展开图
图3为不同流行学习算法效果对比图
图4为全脑t-SNE三维展示图
图5为AAL模板43-56脑区t-SNE三维展示图
图6为Broadmman17-19功能区二维可视化效果图
具体实施方式
下面结合附图和实施例对本发明的具体实施方式做进一步详细地描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
一种基于流行学习算法的fMRI数据二维可视化方法。具体实施步骤如下：
步骤A：原始数据构造
读取Broadman模板数据矩阵，将其中属于17-19功能区的体素点坐标提取出来(即查找出所读取的三维矩阵中所有值为17、18、19的体素点的空间位置)。将这些体素点的空间坐标以及脑区编号组成一个m*4的矩阵(m为所提取体素的个数)。将该矩阵作为我们所输入的原始数据集X＝{x1，x2，x3，…，xn}T，其中xi＝(ri,p i,qi,ni)T----ri,pi,qi表示体素点的空间坐标，ni表示体素点所处脑区编号；
步骤B：数据降维
①设定参数：包括复杂度perp，迭代次数T，学习率η，冲量α(t)。不同参数的选取会对算法的结果以及计算量的大小造成很大影响，所以在降维过程中我们可以通过多次调整参数值来得到最佳降维效果。
②计算原始数据pij，设定低维数据迭代初始值：根据步骤A中得到的数据集X＝{x1，x2，x3，…，xn}T，分别计算出两两体素点之间的对间相似性pij，该相似性主要由体素数据之间的欧氏距离决定。之后在生成服从均值为0，方差为10-4的正态分布的初始迭代值
③梯度下降法迭代：计算低维数据集的对间相似性qij，将之与原始高维数据的对间相似性pij比较得出降维后的损失函数C。这里引入损失函数的目的是为了衡量qij与pij之间的差异。为了使降维后的低维数据的对间相似性qij与原始数据的对间相似性pij间的差异达到最小，我们使用梯度下降法(算法参数已在①中设定)对低维数据集中的数据进行迭代计算，以便输出最优结果。
④输出降维结果：通过③中的迭代过程，我们可以得到降维后的数据集
其+每个数据点yi均为二维数据。
步骤C：二维数据可视化
将降维后的二维数据集
中的数据以平面散点图(scatter diagram)的方式展现出来(这里我们将图形窗口高宽比例设置为15：8)，给属于不同功能区的数据点标注不同的颜色(图6)。
综上所述，本发明提出的方法可以在对fMRI数据进行降维的同时很好地保持原始数据的空间拓扑关系，是一种新的fMRI数据的二维可视化方法，可以作为一种对传统皮层展开图和皮层膨胀图的补充手段。
Claims (2)
1.一种基于流行学习算法的fMRI数据二维可视化方法，该方法包括：
步骤1.获取脑部的功能性磁共振图像fMRI，并将其与脑功能区模板进行匹配，确定每个体素点所处的脑功能区，所述的脑功能区模板为已有的标准大脑功能分区模板；
步骤2.提取所有体素点的空间坐标及其所处脑功能区编号，将这些信息组成的四维向量组X＝{x1，x2，x3，…，xn}，xi表示功能性磁共振图像中的第i个体素点,其中i＝1.2.3…n；其中xi＝(ri,pi,qi,ni),(ri,pi,qi)表示第i个体素点的三维空间坐标，ni表示第i个体素点所处脑区编号；
步骤3.确定降维结果与原始结果的损失函数C的复杂度Perp以及最优化参数，优化参数包括：迭代次数T，学习率η，冲量α(t)；其中复杂度选取的范围为5≤Perp≤50，迭代次数T，学习率η，冲量α(t)结合实际计算量与降维效果的需求来选取合适的参数；
步骤4.利用步骤3中确定的复杂度Perp采用如下公式(1)计算不同体素点间的条件相似性pj|i；
H(pi)＝-∑jpj|ilog2pj|i (3)
其中xj表示第j个体素点，xk表示第k个体素点，σi表示以第i个体素点为中心的正态分布的方差，pi表示第i个体素点与其他体素点的条件相似性分布，Perp(pi)表示pi的复杂度，H(pi)表示pi的香农熵，它随着σi的增加而增加；
通过步骤3中选取的Perp值确定体素点i处的方差σi；方法为计算出一个合适的σi值，使该σi值通过(1)、(3)式算出的H(pi)值满足(2)式；
令
并随机设定迭代初始值
使之服从均值为0，方差为10-4的正态分布，其中yi表示低维数据点,其中i＝1.2.3…n，pij表示体素点i与体素点j在高维空间中的对间相似性；
步骤5.使用梯度下降法对初始值
进行迭代降维，以找出最优降维结果；
步骤6.通过以上迭代过程得到的低维数据结果
即为最终的最佳降维结果；
步骤7.将得到的低维数据在平面内显示出来，并将不同脑功能区的体素点以不同的形式显示来加以区分。
2.如权利要求1所述的一种基于流行学习算法的fMRI数据二维可视化方法,其特征在于所述步骤5的具体方法为：
yj，yk分别表示体素点j和体素点k在低维空间中的映射值，由公式(4)计算出第i个体素点和第j个体素点在低维空间映射值的对间相似性qij；
C表示降维结果与原始结果的损失函数，损失函数反映了原始数据降维前后的数据损失量；其中P代表数据在高维空间的联合概率分布，Q代表数据在低维空间的联合概率分布，KL(P||Q)代表P和Q的KL散度；采用梯度下降法使损失函数最小化，具体方法如下：
由公式(5)计算出
即损失函数对降维后数据点的偏导数，其中
令
并根据步骤3中确定的参数循环迭代T次。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710506526.0A CN107330948B (zh) | 2017-06-28 | 2017-06-28 | 一种基于流行学习算法的fMRI数据二维可视化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710506526.0A CN107330948B (zh) | 2017-06-28 | 2017-06-28 | 一种基于流行学习算法的fMRI数据二维可视化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107330948A CN107330948A (zh) | 2017-11-07 |
| CN107330948B true CN107330948B (zh) | 2020-05-12 |
Family
ID=60198033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710506526.0A Expired - Fee Related CN107330948B (zh) | 2017-06-28 | 2017-06-28 | 一种基于流行学习算法的fMRI数据二维可视化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107330948B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241996B (zh) * | 2018-08-02 | 2022-04-01 | 南京航空航天大学 | 一种基于梯度表征相似性和Searchlight的FMRI脑影像分析方法 |
| CN109830286B (zh) * | 2019-02-13 | 2022-09-30 | 四川大学 | 基于非参数统计的脑功能磁共振编码能量成像方法 |
| CN111081351B (zh) * | 2019-12-02 | 2024-02-20 | 北京优脑银河科技有限公司 | 脑功能图谱的绘制方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838788A (zh) * | 2012-11-27 | 2014-06-04 | 大连灵动科技发展有限公司 | 一种基于fMRI脑激活数据仓库的数据分析方法 |
| CN104715241A (zh) * | 2015-03-23 | 2015-06-17 | 南京工业大学 | 一种基于张量分解的fMRI特征提取与识别方法 |
| CN105809124A (zh) * | 2016-03-06 | 2016-07-27 | 北京工业大学 | 基于DWT和Parametric t-SNE的运动想象脑电信号的特征提取方法 |
-
2017
- 2017-06-28 CN CN201710506526.0A patent/CN107330948B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838788A (zh) * | 2012-11-27 | 2014-06-04 | 大连灵动科技发展有限公司 | 一种基于fMRI脑激活数据仓库的数据分析方法 |
| CN104715241A (zh) * | 2015-03-23 | 2015-06-17 | 南京工业大学 | 一种基于张量分解的fMRI特征提取与识别方法 |
| CN105809124A (zh) * | 2016-03-06 | 2016-07-27 | 北京工业大学 | 基于DWT和Parametric t-SNE的运动想象脑电信号的特征提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于t_SNE的脑网络状态观测矩阵降维方法研究;董迎朝 等;《CNKI网络优先出版: http://www.cnki.net/kcms/detail/11.2127.TP.20170216.1044.040.htm1》;20170216;正文第42-47页 * |
| 基于智能手机平台的人体运动行为分析关键技术研究;郭超娜;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150615;I138-673 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107330948A (zh) | 2017-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wyatt et al. | Anoddpm: Anomaly detection with denoising diffusion probabilistic models using simplex noise | |
| CN110084318B (zh) | 一种结合卷积神经网络和梯度提升树的图像识别方法 | |
| Zhang et al. | Detecting anatomical landmarks from limited medical imaging data using two-stage task-oriented deep neural networks | |
| US11170502B2 (en) | Method based on deep neural network to extract appearance and geometry features for pulmonary textures classification | |
| CN110599528B (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| CN113539435B (zh) | 一种基于图模型的脑功能配准方法 | |
| US8861815B2 (en) | Systems and methods for modeling and processing functional magnetic resonance image data using full-brain vector auto-regressive model | |
| EP2483863B1 (en) | Method and apparatus for processing medical images | |
| US20200090350A1 (en) | Medical image generation, localizaton, registration system | |
| Duan et al. | Craniofacial reconstruction based on multi-linear subspace analysis | |
| CN110910377B (zh) | 一种基于神经网络的脑梗死mri图像识别方法 | |
| CN104112292A (zh) | 医用图像处理装置、医用图像处理方法以及医用图像处理程序 | |
| CN107330948B (zh) | 一种基于流行学习算法的fMRI数据二维可视化方法 | |
| CN104361318A (zh) | 一种基于弥散张量成像技术的疾病诊断辅助系统及方法 | |
| CN111080658A (zh) | 基于可形变配准和dcnn的宫颈mri图像分割方法 | |
| CN112508902A (zh) | 白质高信号分级方法、电子设备及存储介质 | |
| Liu et al. | 3d deep attentive u-net with transformer for breast tumor segmentation from automated breast volume scanner | |
| Xing et al. | Less is more: unsupervised mask-guided annotated CT image synthesis with Minimum manual segmentations | |
| Villain et al. | Visual interpretation of CNN decision-making process using Simulated Brain MRI | |
| Hu et al. | Craniofacial reconstruction based on a hierarchical dense deformable model | |
| CN108596900B (zh) | 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备 | |
| CN116798605A (zh) | 一种基于核磁共振图像的阿尔兹海默症辅助诊断方法 | |
| US20180108132A1 (en) | System and Methods for Post-Cardiac MRI Images | |
| CN114565762A (zh) | 基于roi和分裂融合策略的弱监督肝脏肿瘤分割 | |
| Hajdu et al. | Measuring regularity of network patterns by grid approximations using the LLL algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200512 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |