CN111728590A - 基于动态功能连接的个体认知能力预测方法和系统 - Google Patents
基于动态功能连接的个体认知能力预测方法和系统 Download PDFInfo
- Publication number
- CN111728590A CN111728590A CN202010613084.1A CN202010613084A CN111728590A CN 111728590 A CN111728590 A CN 111728590A CN 202010613084 A CN202010613084 A CN 202010613084A CN 111728590 A CN111728590 A CN 111728590A
- Authority
- CN
- China
- Prior art keywords
- time
- dynamic
- brain
- data
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006870 function Effects 0.000 title claims abstract description 107
- 230000003930 cognitive ability Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 56
- 210000004556 brain Anatomy 0.000 claims abstract description 93
- 239000011159 matrix material Substances 0.000 claims abstract description 72
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims abstract description 45
- 230000015654 memory Effects 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 230000000284 resting effect Effects 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000006399 behavior Effects 0.000 claims abstract description 9
- 230000001149 cognitive effect Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 27
- 238000012795 verification Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000010354 integration Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000005192 partition Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000001054 cortical effect Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 229910052799 carbon Inorganic materials 0.000 claims description 3
- 125000004432 carbon atom Chemical group C* 0.000 claims description 3
- 230000019771 cognition Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 6
- 238000002595 magnetic resonance imaging Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 abstract description 5
- 230000003925 brain function Effects 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 55
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 4
- 210000003710 cerebral cortex Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000002610 neuroimaging Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000003727 cerebral blood flow Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000037149 energy metabolism Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 208000003906 hydrocephalus Diseases 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007087 memory ability Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Neurology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Physiology (AREA)
- Public Health (AREA)
- Psychology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Hospice & Palliative Care (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Developmental Disabilities (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Child & Adolescent Psychology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于动态功能连接的个体认知能力预测方法和系统，方法包括采集静息状态下的功能磁共振成像数据，将其预处理后通过脑模板提取各个脑区的平均时间序列信号，使用滑动时间窗口计算构建动态功能连接矩阵并作为输入的高维大脑动态描述原始数据，构建一个卷积和长短时记忆网络结合的模型，将动态功能矩阵和对应的认知行为数据送入模型进行训练和测试，实现对认知能力的预测。本发明充分利用了脑功能连接的动态信息，利用了深度学习方法在处理大数据上的优势，计算迅速，预测效果理想，可预测人群的多种行为数据，不依赖于成像信号的幅值绝对值、不同MRI机器间可迁移、预测性能优良。
Description
技术领域
本发明涉及于功能磁共振成像(functional magnetic resonance imaging，fMRI)数据的个体认知能力预测技术，具体涉及一种基于动态功能连接的个体认知能力预测方法和系统。
背景技术
功能磁共振成像的原理是通过磁振造影量测神经元活动引起的血液动力的改变。例如：刺激某些感官时，大脑皮层具体的某些脑功能区激活，这些激活的脑区发出神经信号，利用磁振造影获得神经信号，得到一系列图像。人们执行运动、感觉、高级认知等各种复杂的任务时，会激起脑内某些神经信号，这种生理性的大脑活动引起局部脑血流、脑血容、能量代谢的变化，从而导致组织磁性的变化。fMRI作为一种活体脑功能成像技术，因其具有非侵入性，时空分辨率优良等优点，因而迅速成为脑神经科学研究最常用的脑成像技术。
从静息态fMRI数据得到的大脑功能连接可以从网络角度帮助我们理解个体在认知和行为表现上的差异，研究发现，个体的连接模式可以充当大脑的可检测“指纹”，但是，目前的关于个体差异的大量研究都隐含地假设大脑区域之间的功能耦合是静态的，并且在整个扫描期间都没有变化。最近，人们对大脑功能连接的动态特性越来越感兴趣，一些研究发现动态连接模式与个体的感知和注意力能力有关。但众所周知，大脑内部的信息是高维度、错综复杂，不断变化的，怎么抓住脑内部的动态信息与认知能力的关系是目前的研究难点。
为了研究这一动态性，最早提出的方法之一称为动态功能连接(dynamicfunctional connectivity,dFC)，动态功能连接研究的是在空间区域上相互隔离的两个脑区之间，其神经活动序列在时间域上的相关性呈现出瞬时动态变化的特性。在之前的研究中，静态功能连接的方法被广泛使用，研究者使用扫描时间内所有信息，构建矩阵，用来获得大脑状态。最近，功能连接(functional connectivity,FC)已被证实随时间波动性变化，这意味着使用静息态扫描时间内的所有信息的静态的方法可能太过于简单，无法捕捉到静息态活动的全部状态。动态功能连接认为在一个扫描时间内，功能连接性在网络节点、连接方向和连接强度上随时间在变化，表现出功能连接的动态性。同时，关于静息态功能连接的波动性与行为之间潜在的相关性结果，表明功能连接的波动性在一定程度上来源于神经活动，并且可能和认知或警觉状态的转换有关，而一些疾病的功能连接动态特性的改变也表明了连接波动性的生理意义，同时也表明功能连接的时域动态特性在一定程度上可以作为疾病诊断的生物学标记。
同时，深度学习技术引起了社会各界广泛的关注，其在大数据的处理上有着很强的能力，其中应用最广的几个研究领域分别是自然语言处理、语音识别和图像处理。近年来，深度学习在fMRI数据上的应用越来越广泛，比如利用深度网络基于fMRI数据实现阿兹海默症的分类，基于静息态的fMRI的功能动态性估计等等，这都反映了深度网络在处理庞大fMRI数据上有着特殊的优势，其中的卷积神经网络可以用来提取动态功能连接中相关的特征深度网络中的循环神经网络又可以实现对时间序列的处理，这在动态脑功能连接中可以得到应用。
目前关于个体差异的大量研究都隐含地假设大脑区域之间的功能耦合是静态的，实际的大脑功能连接是不断变化的，动态功能连接数据是高维且复杂的，普通机器学习的方法难以直接处理高维数据，无法捕捉到个体差异与动态功能连接之间的关系。
因此，基于动态功能连接的理论，使用深度学习方法中卷积神经网络捕捉大脑的动态功能网络特征，结合循环神经网络例如长短时记忆网络在处理时序数据上的优势，设计一种数据驱动的方法来从fMRI数据中实现对人的不同认知能力的预测和评估，将有助于我们探索更好的研究动态功能连接的工具和方法。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于动态功能连接的个体认知能力预测方法和系统，本发明从动态功能连接来提取个体差异与连接之间的关系特征并用于实现个体的认知能力预测，从而能够实现大数据的特征提取与预测，计算速度快，预测效果好，不依赖于成像信号的幅值绝对值、不同MRI机器间可迁移，可方便的实现对人的认知能力的预测与评估。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于动态功能连接的个体认知能力预测方法，实施步骤包括：
1)获取被试静息状态下的功能磁共振成像数据；
2)针对所述功能磁共振成像数据进行预处理；
3)选择包含大脑皮层功能分区的脑模板；
4)将预处理后的功能磁共振成像数据在脑模板中的单个脑区看成网络中的节点，提取每个脑区的平均时间序列信号；
5)使用滑动窗口分析方法，对各个节点的平均时间序列信号计算连接相关性，得到高维动态功能连接矩阵；
6)将原始的高维动态功能连接矩阵直接输入预先训练好的深度网络模型，得到被试的认知能力数据的预测结果，所述深度网络模型为基于多尺度卷积和长短时间记忆网络结合的深度神经网络，且被预先训练建立了动态功能连接矩阵、认知能力数据的预测结果之间的映射关系。
可选地，步骤5)的详细步骤包括：
5.1)将被试的所有R个不同的脑区的时间序列信号矩阵作为输入数据，取被试的大脑信号矩阵，矩阵规模为R×M，其中M为时间序列的采样时间点总个数；
5.2)基于窗口长度W以及时间长度T的滑动步长，分别针对输入数据包含的滑动时间窗迭代计算目标脑区和各个感兴趣区域在时间序列上的连接相关性，直至最后窗口滑动到包含整个输入数据的末端部分，最终每个被试获得(M×2-W+1)/T个脑区连接性时间序列矩阵，每个脑区连接性时间序列矩阵的规模为R×R且为实对称矩阵；
5.3)取脑区连接性时间序列矩阵的上三角数据得每个时间窗口规模为R×(R-1)/2的功能连接性向量，将被试的动态脑区连接向量放入动态功能连接矩阵，最终获得行数为(M×2-W+1)/T、列数为R×(R-1)/2的动态功能连接矩阵。
可选地，步骤5.2)中计算目标脑区和各个感兴趣区域在时间序列上的连接相关性的详细步骤包括：首先计算目标脑区和各个感兴趣区域在时间序列上的Pearson相关系数，然后将Pearson相关系数通过fisher-z变换转变为z值作为最终的连接相关性的计算结果。
可选地，所述Pearson相关系数的计算函数表达式如下式所示：
上式中，s(t)为目标脑区的时间序列，
为目标脑区的时间序列的平均时间序列信号，r(t)为感兴趣区域的时间序列，
为感兴趣区域的时间序列的平均时间序列信号，t＝1,2,…,n，n为时间序列信号的数量；
所述将Pearson相关系数通过fisher-z变换转变为z值的计算函数表达式如下式所示：
上式中，r为Pearson相关系数。
可选地，所述深度网络模型包括依次相连的多尺度一维卷积层、整合层、最大池化层、长短时记忆网络层和输出层，所述多尺度一维卷积层包括r个时间尺度分别为n1,n2,…nr的一维卷积滤波器,r种时间尺度分别为n1,n2,…nr一维卷积滤波器的大小分别为C×n1×F，C×n2×F，…C×nr×F，其中n1,n2,…nr为滤波器时间窗口数量，C为连接数量，F为滤波器数量；所述长短时记忆网络层为两层长短时记忆网络堆叠构成；步骤6)中将原始的高维动态功能连接矩阵直接输入预先训练好的深度网络模型后，深度网络模型对输入的原始的高维动态功能连接矩阵的处理步骤包括：
6.1)通过多尺度一维卷积层的r个时间尺度分别为n1,n2,…nr的一维卷积滤波器分别对输入的原始的高维动态功能连接矩阵进行卷积操作以实现特征提取；
6.2)通过整合层将提取的特征沿着深度方向整合生成大小为Tp×D的整合特征，其中Tp为时间窗口数，D为特征维度；
6.3)通过最大池化层正对大小为Tp×D的整合特征沿着时间维度执行降采样操作，得到(Tp/Fs)×D的降采样特征，其中Fs为降采样滤波器大小，(Tp/Fs)为降采样后的时间窗口数；
6.4)将降采样特征作为长短时记忆网络层中两层长短时记忆网络的输入；
6.5)通过输出层将两层长短时记忆网络的输出取平均后得到认知能力数据的预测结果。
可选地，步骤6.1)中进行卷积操作时，卷积操作函数表达式如下式所示：
上式中，z(i,j)为卷积操作结果，x(i,j)表示大小为m×n的输入，w(i,j)表示大小为a×b的卷积核，x(i-s,j-t)表示坐标为(i-s,j-t)对应的输入的值，w(s,t)表示坐标为(s,t)对应卷积核的值，且卷积核w(i,j)的第一个维度与输入的第一维度相一致，z(i,j)＝z(i,0)＝z(i)，a＝m，m表示输入x(i,j)的第一个维度；且卷积操作后被送入激活函数层，得到的输出特征的函数表达式如下式所示：
上式中，
和
第l-th层i-th输出特征和(l-1)-th层的i-th输出特征，Relu为激活函数。
可选地，步骤6)之前还包括预先训练深度网络模型的步骤，详细步骤包括：
S1)选择多个正常人作为被试，针对每一个被试采用步骤1)～步骤5)获取对应的高维动态功能连接矩阵；
S2)根据被试的认知行为数据标签属性构建具有不同认知能力的人作为数据样本，将所有数据样本使用N折交叉验证法分为训练集、验证集和测试集；
S3)构建训练深度网络模型，并使用训练集、验证集和测试集完成对所述深度网络回归模型的训练与测试来实现参数优化，完成参数优化后即可得到训练好的深度网络模型。
此外，本发明还提供一种基于动态功能连接的个体认知能力预测系统，包括：
数据输入程序单元，用于获取被试静息状态下的功能磁共振成像数据；
预处理程序单元，用于针对所述功能磁共振成像数据进行预处理；
模板选择程序单元，用于选择包含大脑皮层功能分区的脑模板；
模板应用程序单元，用于将预处理后的功能磁共振成像数据在脑模板中的单个脑区看成网络中的节点，提取每个脑区的平均时间序列信号；
矩阵提取程序单元，用于使用滑动窗口分析方法，对各个节点的平均时间序列信号计算连接相关性，得到高维动态功能连接矩阵；
特征分类程序单元，用于将原始的高维动态功能连接矩阵直接输入预先训练好的深度网络模型，得到被试的认知能力数据的预测结果，所述深度网络模型为基于多尺度卷积和长短时间记忆网络结合的深度神经网络，且被预先训练建立了动态功能连接矩阵、认知能力数据的预测结果之间的映射关系。
此外，本发明还提供一种基于动态功能连接的个体认知能力预测系统，包括计算机设备，该计算机设备被编程或配置以执行所述基于动态功能连接的个体认知能力预测方法的步骤，或者该计算机设备上存储有被编程或配置以执行所述基于动态功能连接的个体认知能力预测方法的计算机程序。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行所述基于动态功能连接的个体认知能力预测方法的计算机程序。
和现有技术相比，本发明具有下述优点：
1、目前探索动态功能连接与个体之间的关系普遍是先利用降维的方法将高维动态连接矩阵降维到低维，然后再用传统机器学习的方法去探索低维矩阵与认知能力、疾病等之间的关系，这钟方式必然会损失很多信息。本发明将原始的高维动态功能连接矩阵直接输入预先训练好的深度网络模型，从动态功能连接的原始高维矩阵去研究个体认知差异与连接之间的关系，原始的高维动态功能连接矩阵保留了大量的动态信息，充分利用了脑功能连接的动态信息，能够实现从大数据的角度去探索个体认知差异与脑内部连接变化的关系，可用于探索个体差异与动态功能连接的关系，可进一步研究哪些部位的连接对个体差异有较大的影响。
2、本发明将原始的高维动态功能连接矩阵直接输入预先训练好的深度网络模型，深度网络模型具有处理大数据的优势，鲁棒性较好。而普遍使用的传统机器学习的方法只能处理较小的数据集，得出的结论也不具有普适性。
3、本发明将原始的高维动态功能连接矩阵直接输入预先训练好的深度网络模型，深度网络模型为基于多尺度卷积和长短时间记忆网络结合的深度神经网络，且被预先训练建立了动态功能连接矩阵、认知能力数据的预测结果之间的映射关系，由于卷积可以提取特征，长短时记忆网络是一种循环神经网络，对时间序列有优秀的记忆能力，并且可以解决长依赖问题，而同时动态功能连接是一种时序数据，将这一模型应用在动态功能连接上是一大创新，因此本发明充分利用了深度网络在处理大数据上的优势，同时利用了长短时记忆网络在处理时序数据上的优点，解决了处理动态功能连接高维信息的难题，实现了对原始的高维动态功能连接矩阵的处理。
4、本发明基于动态功能连接的个体认知能力预测方法计算迅速，与传统机器学习方法(如支持向量回归SVR)相比，认知能力预测效果理想，可实现对人的不同认知能力的多种行为数据的评估。
5、本发明基于动态功能连接的个体认知能力预测方法不依赖于成像信号的幅值绝对值，不同MRI机器间可迁移。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中使用功能连接方法后得到的动态功能连接结果示意图。
图3为本发明实施例中卷积和长短时记忆网络模型预测流程示意图。
图4为本发明实施例中得到的认知能力预测结果示意图。
具体实施方式
如图1所示，本实施例基于动态功能连接的个体认知能力预测方法的实施步骤包括：
1)获取被试静息状态下的功能磁共振成像数据；
2)针对功能磁共振成像数据进行预处理；
3)选择包含大脑皮层功能分区的脑模板；
4)将预处理后的功能磁共振成像数据在脑模板中的单个脑区看成网络中的节点，提取每个脑区的平均时间序列信号；
5)使用滑动窗口分析方法，对各个节点的平均时间序列信号计算连接相关性，得到高维动态功能连接矩阵；
6)将原始的高维动态功能连接矩阵直接输入预先训练好的深度网络模型，得到被试的认知能力数据的预测结果，深度网络模型为基于多尺度卷积和长短时间记忆网络结合的深度神经网络，且被预先训练建立了动态功能连接矩阵、认知能力数据的预测结果之间的映射关系。
本实施例中，步骤1)获取被试静息状态(resting state)下的功能磁共振成像(functional magnetic resonance imaging，简称fMRI)数据既可以现场采集，也可以根据需要输入预先采集好的功能磁共振成像数据。采集静息状态(resting state)下的功能磁共振成像(functional magnetic resonance imaging，简称fMRI)数据时，使用的设备为核磁共振扫描仪，且选择快速梯度回波方式，扫描前需要设定扫描周期、层厚、层数、扫描矩阵、扫描视野等扫描参数，扫描过程中要求被试保持头部不动，闭上眼睛放松，但保持清醒。
功能磁共振成像数据用于数据分析之前进行预处理为常规处理步骤。作为一种可选的实施方式，本实施例中，步骤2)进行预处理的详细步骤包括：
2.1)去除功能磁共振成像数据的前指定数量帧的图像；本实施例中，步骤2.1)中去除前5帧图像。
2.2)剔除功能磁共振成像数据中在头部位移幅度超过指定阈值的被试；
2.3)针对功能磁共振成像数据进行层间时间校正；
2.4)针对功能磁共振成像数据进行头动校正；
2.5)针对功能磁共振成像数据进行空间标准化处理；
2.6)利用指定大小半高宽的高斯核函数对功能磁共振成像数据进行空间平滑处理；本实施例中，步骤2.6)中指定大小半高宽具体十字6mm的半宽高。
2.7)利用指定频率区间对功能磁共振成像数据进行时域滤波；本实施例中，步骤2.7)中指定频率区间具体是指0.01～0.08Hz。
2.8)针对功能磁共振成像数据进行回归全脑平均信号、白质、脑积液平均信号和头动参数以降低硬件噪声。
本实施例中，步骤2.2)～2.8)具体为通过使用Human connectome preprocessingtoolkit软件HCPT实现，通过上述处理，能够提高功能磁共振成像数据的准确度。
脑模板是前人研究得到以及任务态激活区检测等方法确定的大脑皮层功能分区。本实施例中步骤3)选择的脑模板为首先研究功能连接与认知能力关系的Finn等人提供的模板，它一共包含268个脑区。毫无疑问，也可以根据需要选择其他公认较稳定的脑模板。
本实施例中，步骤5)的详细步骤包括：
5.1)将被试的所有R个不同的脑区的时间序列信号矩阵作为输入数据，取被试的大脑信号矩阵，矩阵规模为R×M，其中M为时间序列的采样时间点总个数；
5.2)基于窗口长度W以及时间长度T的滑动步长，分别针对输入数据包含的滑动时间窗迭代计算目标脑区和各个感兴趣区域在时间序列上的连接相关性，直至最后窗口滑动到包含整个输入数据的末端部分，最终每个被试获得(M×2-W+1)/T个脑区连接性时间序列矩阵，每个脑区连接性时间序列矩阵的规模为R×R且为实对称矩阵；
5.3)取脑区连接性时间序列矩阵的上三角数据得每个时间窗口规模为R×(R-1)/2的功能连接性向量，将被试的动态脑区连接向量放入动态功能连接矩阵，最终获得行数为(M×2-W+1)/T、列数为R×(R-1)/2的动态功能连接矩阵。
作为一种优选的实施方式，本实施例步骤5.2)中计算目标脑区和各个感兴趣区域在时间序列上的连接相关性的详细步骤包括：首先计算目标脑区和各个感兴趣区域在时间序列上的Pearson相关系数(皮尔逊系数)，然后将Pearson相关系数通过fisher-z变换转变为z值作为最终的连接相关性的计算结果。本实施例中，选择用参数化的时间窗的窗口长度W，在其包含的从时间t＝1到时间t＝W的时间窗口内计算Pearson相关系数；将时间窗口向后滑动一个时间长度T的滑动步长，并且在时间区间[1+T，W+T]上重复相同的计算新时间窗口内计算Pearson相关系数(皮尔逊系数)，迭代进行直至最后时间窗口滑动到包含整个时间序列的末端部分，最终得到每个被试获得(M×2-W+1)/T个脑区连接性时间序列矩阵，每个矩阵的规模为R×R，其中R为预设的区域常数；本实施例中，窗口长度W优选40s～60s范围的的较优参数，本实施例中具体使用W＝40s，滑动步长(时间长度T)优选1～5个采样周期的较优参数，本实施例中具体使用T＝2s。预设的区域常数R可取为116，160和268。计算过程得到的记录每个窗口的脑区连接性信息的矩阵为实对称矩阵，取矩阵的上三角数据，得每个时间窗口的功能连接性向量规模为R×(R-1)/2，将每个被试的动态脑区连接向量放入一个动态功能连接结果矩阵，最终每个被试获得规模为行数(M×2-W+1)/T、列数R×(R-1)/2的动态功能连接矩阵，其中R为预设的区域常数。动态功能连接矩阵被称为在检测的时间间隔期间，脑区域的连接性模式的描述矩阵，可以重现全脑功能连接性的时间变化过程。
本实施例中，Pearson相关系数的计算函数表达式如下式所示：
上式中，s(t)为目标脑区的时间序列，
为目标脑区的时间序列的平均时间序列信号，r(t)为感兴趣区域的时间序列，
为感兴趣区域的时间序列的平均时间序列信号，t＝1,2,…,n，n为时间序列信号的数量；从式(1)可以看出，Pearson相关系数是由两个变量的时间序列的协方差与标准差相除得到，衡量的是两个时间序列的密切程度。假设目标脑区的时间序列是s(t)，t＝1,2,…,n，某ROI的时间序列是r(t)，t＝1,2,…,n，则目标脑区与某ROI在时间序列上的Pearson相关系数可由式(1)计算得到。
将Pearson相关系数通过fisher-z变换转变为z值的计算函数表达式如下式所示：
上式中，r为Pearson相关系数。为了使功能连接值服从正态分布以便后续统计分析，本实施例通过式(2)fisher-z变换将r值转变为z值，从而能够便于后续统计分析。
参见图3，本实施例中，深度网络模型包括依次相连的多尺度一维卷积层Conv1D、整合层、最大池化层、长短时记忆网络层和输出层，多尺度一维卷积层Conv1D包括r个时间尺度分别为n1,n2,…nr的一维卷积滤波器,r种时间尺度分别为n1,n2,…nr一维卷积滤波器的大小分别为C×n1×F，C×n2×F，…C×nr×F，其中n1,n2,…nr为滤波器时间窗口数量，C为连接数量，F为滤波器数量；长短时记忆网络层为两层长短时记忆网络LSTM(Long ShortTerm Memory networks)堆叠构成。作为一种具体的实施方式，多尺度一维卷积层Conv1D包括3个时间窗口数量分别为4,8,16的一维卷积滤波器。3个时间窗口数量分别为4,8,16的一维卷积滤波器的大小为35778(连接数量)×4×32(滤波器数量)，35778×8×32，35778×16×32。
步骤6)中将原始的高维动态功能连接矩阵直接输入预先训练好的深度网络模型后，深度网络模型对输入的原始的高维动态功能连接矩阵的处理步骤包括：
6.1)通过多尺度一维卷积层的r个时间尺度分别为n1,n2,…nr的一维卷积滤波器分别对输入的原始的高维动态功能连接矩阵进行卷积操作以实现特征提取；
6.2)通过整合层将提取的特征沿着深度方向整合生成大小为Tp×D的整合特征，其中Tp为时间窗口数，D为特征维度；本实施例中，整合层将提取的特征沿着深度方向整合，生成大小为230(时间窗口数)×96(特征维度)；
6.3)通过最大池化层正对大小为Tp×D的整合特征沿着时间维度执行降采样操作，得到(Tp/Fs)×D的降采样特征，其中Fs为降采样滤波器大小，(Tp/Fs)为降采样后的时间窗口数；本实施例中，最大池化层将沿着时间维度执行降采样操作(滤波器大小为5)，得到46(时间窗口数)×96(特征维度)的特征；
6.4)将降采样特征作为长短时记忆网络层中两层长短时记忆网络的输入；本实施例中，长短时记忆网络层的隐藏状态大小设为32；
6.5)通过输出层将两层长短时记忆网络的输出取平均后得到认知能力数据的预测结果。在得到长短时记忆网络层的输出之后，采取平均所有长短时记忆网络输出作为最后的输出，可以利用扫描期间大脑的所有活动来获得更好的预测性能。
本实施例中，步骤6.1)中进行卷积操作时，卷积操作函数表达式如下式所示：
上式中，z(i,j)为卷积操作结果，x(i,j)表示大小为m×n的输入，w(i,j)表示大小为a×b的卷积核，x(i-s,j-t)表示坐标为(i-s,j-t)对应的输入的值，w(s,t)表示坐标为(s,t)对应卷积核的值，且卷积核w(i,j)的第一个维度与输入的第一维度相一致，z(i,j)＝z(i,0)＝z(i)，a＝m，m表示输入x(i,j)的第一个维度；且卷积操作后被送入激活函数层，得到的输出特征的函数表达式如下式所示：
上式中，
和
第l-th层i-th输出特征和(l-1)-th层的i-th输出特征，Relu为激活函数。
本实施例中，激活函数Relu的函数表达式如下式所示：
本实施例中，整合层和最大池化层具体描述如下，如果有k个不同维度的滤波器，整合层表达式如式(5)所示，本实施例中最大池化层用非线性降采样函数来减少特征分辨率，最大池化层的表达式如式(6)所示：
上式中，zl为整合层整合得到的大小为Tp×D的整合特征，
分别表示经过k个不同的滤波器卷积操作之后得到的输出特征。
上式中，Ωk代表标签为k的池化区域，
和
分别代表l-th最大池化层的标签为k和p输出和输入特征。
长短时记忆网络LSTM(Long Short Term Memory networks)是一种特殊的RNN网络，该网络是通过门限结构来解决长依赖问题。当包含t-1及之前所有时刻信息的单元状态c(t-1)到达此时刻后，由遗忘门决定需要丢弃哪些不重要的信息。遗忘门输出f(t)，得到输出f(t)后，由单元状态c(t-1)按元累乘得非遗忘信息f(t)×c(t-1)，从而实现遗忘门的选择遗忘功能。输入门决定当前时刻的输入由哪些要进入单元状态，在上一步的单元状态c(t-1)已经忘记一部分信息了，在这里需要选择把哪些信息添加到单元状态中去。输出门用来确定输出什么值，这个输出基于更新后的单元状态。
长短时记忆网络LSTM的模型可以用以下公式表示：
遗忘门：f(t)＝σ(Wf·[s(t-1),x(t)]+bf) (7)
上式中，f(t)为遗忘门输出，σ表示激活函数为sigmoid的神经网络层，Wf表示遗忘门的权重参数，s(t-1)为上一时刻隐藏层输出，x(t)为当前时刻的输入，bf表示遗忘门的偏置参数。
输入门：
上式中，c(t)为当前时刻单元状态，
为经过筛选的输入，f(t)×c(t-1)为经过遗忘门的信息，f(t)为遗忘门输出，c(t-1)为上一时刻单元状态。
输出门：s(t)＝o(t)×tanh(c(t)) (9)
上式中，o(t)为输出控制函数，s(t)为输出的信息，c(t)为当前时刻单元状态。
然后学习到的特征通过全连接层，全连接层表达式为：
sl＝bl+sl-1·wl (10)
上式中，sl为第l层全连接层的输出，bl表示第l层全连接层的偏置参数，sl-1表示第l层全连接层的输入，wl表示第l层全连接层的权重参数。
本实施例中，步骤6)之前还包括预先训练深度网络模型的步骤，详细步骤包括：
S1)选择多个正常人作为被试，针对每一个被试采用步骤1)～步骤5)获取对应的高维动态功能连接矩阵；
S2)根据被试的认知行为数据标签属性构建具有不同认知能力的人作为数据样本，将所有数据样本使用N折交叉验证法分为训练集、验证集和测试集；
S3)构建训练深度网络模型，并使用训练集、验证集和测试集完成对深度网络回归模型的训练与测试来实现参数优化，完成参数优化后即可得到训练好的深度网络模型。
本实施例的深度网络模型具体基于Pytorch实现。本实施例步骤S3)中构建训练深度网络模型时，模型的训练具体初始参数设置如下，训练批量大小设置为64，初始学习率为0.001，迭代轮数epoch＝1000，在每个训练epoch后衰减，衰减率为10-210-2，为了提高模型的泛化能力并克服过度拟合，还使用了dropout(dropout＝0.5)和L1，L2范数正则化(L1＝0.0005，L2＝0.0005)来调节模型参数。本实施例步骤S3)中使用训练集、验证集和测试集完成对深度网络回归模型的训练与测试来实现参数优化时，需要采用训练集反复迭代执行步骤6.1)～6.5)，当采用验证集的验证损失停止减少或迭代epochs得到最大时，训练过程将停止。保留在验证数据集上达到最高准确度的模型用于测试。利用测试集，可检测完成训练后的深度网络模型的预测精度。
为了评估基于动态功能连接的个体认知能力预测方法在提取大脑不同区域之间动态功能连接特征的应用功能，本实施例中采用了如下方法来验证：
I、参见图1，本实施例中使用滑动窗口方法框架来捕获大脑皮层中功能连接的状态动态变化，即动态功能连接特征。滑动窗口方法框架是近年来受到神经影像学界的热烈欢迎的动态连接研究方法，反复应用于功能连接的统计测量。该算法基于Pearson系数，通过使用一个滑动窗口来计算单个时间窗口内不同脑区之间时间序列信号的相关性，来得到多组脑区域间的动态相关性矩阵(如图2所示)，组成动态功能连接的特征描述。本实施例基于人类连接基因组计划(HCP)公开数据集，选取功能磁共振数据完整的1000人作为被试，应用了HCP协议中高等认知行为数据流智商作为认知能力的标签，每个被试得到一个35778*230的动态功能连接矩阵，作为对每个被试的动态功能连接的特征描述。
II、将得到的具有不同流智商的人的动态功能连接矩阵使用N折交叉验证法分为训练集、验证集与测试集。将训练集、验证集输入到构建的卷积与长短时记忆深度网络中循环训练，构建的模型如图3所示，当验证损失停止减少或迭代epochs得到最大时，训练过程将停止。保留在验证数据集上达到最高准确度的模型用于测试。测试的预测结果与实际流智商值作相关如图4所示。
综上所述，本发明使用人脑连接组预处理和分析软件构建大脑不同区域间的动态功能连接矩阵，并提出了一种新的卷积和长短时记忆网络结合的深度网络模型，可处理大量高维数据，预测性能优良。目前对于人的认知能力的差异的研究多基于静态功能连接进行分析，本实施例基于含有丰富动态信息的原始动态功能连接矩阵，充分利用了卷积神经网络提取特征的优势和长短时记忆网络在处理时序数据上的优势，解决了处理动态功能连接高维信息的难题，预测结果优于传统机器学习的方法如支持向量回归SVR等。本实施例基于动态功能连接的个体认知能力预测方法充分利用了脑功能连接的动态信息，利用了深度学习网络在处理大数据上的优势，计算速度快，预测效果好，可预测人群的多种行为数据，不依赖于成像信号的幅值绝对值、不同MRI机器间可迁移，可方便实现对人认知能力的预测且预测性能优良。
此外，本实施例还提供一种基于动态功能连接的个体认知能力预测系统，包括：
数据输入程序单元，用于获取被试静息状态下的功能磁共振成像数据；
预处理程序单元，用于针对所述功能磁共振成像数据进行预处理；
模板选择程序单元，用于选择包含大脑皮层功能分区的脑模板；
模板应用程序单元，用于将预处理后的功能磁共振成像数据在脑模板中的单个脑区看成网络中的节点，提取每个脑区的平均时间序列信号；
矩阵提取程序单元，用于使用滑动窗口分析方法，对各个节点的平均时间序列信号计算连接相关性，得到高维动态功能连接矩阵；
特征分类程序单元，用于将原始的高维动态功能连接矩阵直接输入预先训练好的深度网络模型，得到被试的认知能力数据的预测结果，所述深度网络模型为基于多尺度卷积和长短时间记忆网络结合的深度神经网络，且被预先训练建立了动态功能连接矩阵、认知能力数据的预测结果之间的映射关系。
此外，本实施例还提供一种基于动态功能连接的个体认知能力预测系统，包括计算机设备，该计算机设备被编程或配置以执行前述基于动态功能连接的个体认知能力预测方法的步骤。此外，本实施例还提供一种基于动态功能连接的个体认知能力预测系统，包括计算机设备，该计算机设备上存储有被编程或配置以执行前述基于动态功能连接的个体认知能力预测方法的计算机程序。此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行前述基于动态功能连接的个体认知能力预测方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于动态功能连接的个体认知能力预测方法，其特征在于实施步骤包括：
1)获取被试静息状态下的功能磁共振成像数据；
2)针对所述功能磁共振成像数据进行预处理；
3)选择包含大脑皮层功能分区的脑模板；
4)将预处理后的功能磁共振成像数据在脑模板中的单个脑区看成网络中的节点，提取每个脑区的平均时间序列信号；
5)使用滑动窗口分析方法，对各个节点的平均时间序列信号计算连接相关性，得到高维动态功能连接矩阵；
6)将原始的高维动态功能连接矩阵直接输入预先训练好的深度网络模型，得到被试的认知能力数据的预测结果，所述深度网络模型为基于多尺度卷积和长短时间记忆网络结合的深度神经网络，且被预先训练建立了动态功能连接矩阵、认知能力数据的预测结果之间的映射关系。
2.根据权利要求1所述的基于动态功能连接的个体认知能力预测方法，其特征在于，步骤5)的详细步骤包括：
5.1)将被试的所有R个不同的脑区的时间序列信号矩阵作为输入数据，取被试的大脑信号矩阵，矩阵规模为R×M，其中M为时间序列的采样时间点总个数；
5.2)基于窗口长度W以及时间长度T的滑动步长，分别针对输入数据包含的滑动时间窗迭代计算目标脑区和各个感兴趣区域在时间序列上的连接相关性，直至最后窗口滑动到包含整个输入数据的末端部分，最终每个被试获得(M×2-W+1)/T个脑区连接性时间序列矩阵，每个脑区连接性时间序列矩阵的规模为R×R且为实对称矩阵；
5.3)取脑区连接性时间序列矩阵的上三角数据得每个时间窗口规模为R×(R-1)/2的功能连接性向量，将被试的动态脑区连接向量放入动态功能连接矩阵，最终获得行数为(M×2-W+1)/T、列数为R×(R-1)/2的动态功能连接矩阵。
3.根据权利要求2所述的基于动态功能连接的个体认知能力预测方法，其特征在于，步骤5.2)中计算目标脑区和各个感兴趣区域在时间序列上的连接相关性的详细步骤包括：首先计算目标脑区和各个感兴趣区域在时间序列上的Pearson相关系数，然后将Pearson相关系数通过fisher-z变换转变为z值作为最终的连接相关性的计算结果。
4.根据权利要求3所述的基于动态功能连接的个体认知能力预测方法，其特征在于，所述Pearson相关系数的计算函数表达式如下式所示：
上式中，s(t)为目标脑区的时间序列，
为目标脑区的时间序列的平均时间序列信号，r(t)为感兴趣区域的时间序列，
为感兴趣区域的时间序列的平均时间序列信号，t＝1,2,…,n，n为时间序列信号的数量；
所述将Pearson相关系数通过fisher-z变换转变为z值的计算函数表达式如下式所示：
上式中，r为Pearson相关系数。
5.根据权利要求1～4中任意一项所述的基于动态功能连接的个体认知能力预测方法，其特征在于，所述深度网络模型包括依次相连的多尺度一维卷积层、整合层、最大池化层、长短时记忆网络层和输出层，所述多尺度一维卷积层包括r个时间尺度分别为n1,n2,…nr的一维卷积滤波器,r种时间尺度分别为n1,n2,…nr的一维卷积滤波器的大小分别为C×n1×F，C×n2×F，…C×nr×F，其中n1,n2,…nr为滤波器时间窗口数量，C为连接数量，F为滤波器数量；所述长短时记忆网络层为两层长短时记忆网络堆叠构成；步骤6)中将原始的高维动态功能连接矩阵直接输入预先训练好的深度网络模型后，深度网络模型对输入的原始的高维动态功能连接矩阵的处理步骤包括：
6.1)通过多尺度一维卷积层的r个时间尺度分别为n1,n2,…nr的一维卷积滤波器分别对输入的原始的高维动态功能连接矩阵进行卷积操作以实现特征提取；
6.2)通过整合层将提取的特征沿着深度方向整合生成大小为Tp×D的整合特征，其中Tp为时间窗口数，D为特征维度；
6.3)通过最大池化层正对大小为Tp×D的整合特征沿着时间维度执行降采样操作，得到(Tp/Fs)×D的降采样特征，其中Fs为降采样滤波器大小，(Tp/Fs)为降采样后的时间窗口数；
6.4)将降采样特征作为长短时记忆网络层中两层长短时记忆网络的输入；
6.5)通过输出层将两层长短时记忆网络的输出取平均后得到认知能力数据的预测结果。
6.根据权利要求5所述的基于动态功能连接的个体认知能力预测方法，其特征在于，步骤6.1)中进行卷积操作时，卷积操作函数表达式如下式所示：
上式中，z(i,j)为卷积操作结果，x(i,j)表示大小为m×n的输入，w(i,j)表示大小为a×b的卷积核，x(i-s,j-t)表示坐标为(i-s,j-t)对应的输入的值，w(s,t)表示坐标为(s,t)对应卷积核的值，且卷积核w(i,j)的第一个维度与输入的第一维度相一致，z(i,j)＝z(i,0)＝z(i)，a＝m，m表示输入x(i,j)的第一个维度；且卷积操作后被送入激活函数层，得到的输出特征的函数表达式如下式所示：
上式中，
和
第l-th层i-th输出特征和(l-1)-th层的i-th输出特征，Relu为激活函数。
7.根据权利要求5所述的基于动态功能连接的个体认知能力预测方法，其特征在于，步骤6)之前还包括预先训练深度网络模型的步骤，详细步骤包括：
S1)选择多个正常人作为被试，针对每一个被试采用步骤1)～步骤5)获取对应的高维动态功能连接矩阵；
S2)根据被试的认知行为数据标签属性构建具有不同认知能力的人作为数据样本，将所有数据样本使用N折交叉验证法分为训练集、验证集和测试集；
S3)构建训练深度网络模型，并使用训练集、验证集和测试集完成对所述深度网络回归模型的训练与测试来实现参数优化，完成参数优化后即可得到训练好的深度网络模型。
8.一种基于动态功能连接的个体认知能力预测系统，其特征在于包括：
数据输入程序单元，用于获取被试静息状态下的功能磁共振成像数据；
预处理程序单元，用于针对所述功能磁共振成像数据进行预处理；
模板选择程序单元，用于选择包含大脑皮层功能分区的脑模板；
模板应用程序单元，用于将预处理后的功能磁共振成像数据在脑模板中的单个脑区看成网络中的节点，提取每个脑区的平均时间序列信号；
矩阵提取程序单元，用于使用滑动窗口分析方法，对各个节点的平均时间序列信号计算连接相关性，得到高维动态功能连接矩阵；
特征分类程序单元，用于将原始的高维动态功能连接矩阵直接输入预先训练好的深度网络模型，得到被试的认知能力数据的预测结果，所述深度网络模型为基于多尺度卷积和长短时间记忆网络结合的深度神经网络，且被预先训练建立了动态功能连接矩阵、认知能力数据的预测结果之间的映射关系。
9.一种基于动态功能连接的个体认知能力预测系统，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行权利要求1～7中任意一项所述基于动态功能连接的个体认知能力预测方法的步骤，或者该计算机设备上存储有被编程或配置以执行权利要求1～7中任意一项所述基于动态功能连接的个体认知能力预测方法的计算机程序。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有被编程或配置以执行权利要求1～7中任意一项所述基于动态功能连接的个体认知能力预测方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010613084.1A CN111728590A (zh) | 2020-06-30 | 2020-06-30 | 基于动态功能连接的个体认知能力预测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010613084.1A CN111728590A (zh) | 2020-06-30 | 2020-06-30 | 基于动态功能连接的个体认知能力预测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111728590A true CN111728590A (zh) | 2020-10-02 |
Family
ID=72653766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010613084.1A Pending CN111728590A (zh) | 2020-06-30 | 2020-06-30 | 基于动态功能连接的个体认知能力预测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111728590A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991335A (zh) * | 2021-04-23 | 2021-06-18 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种想像能力评估方法、系统及可读存储介质 |
| CN112971778A (zh) * | 2021-02-09 | 2021-06-18 | 北京师范大学 | 脑功能成像信号获得方法、装置及电子设备 |
| CN113768519A (zh) * | 2021-09-16 | 2021-12-10 | 天津大学 | 基于深度学习和静息态脑电数据分析病人意识水平的方法 |
| CN113768465A (zh) * | 2021-09-15 | 2021-12-10 | 安徽师范大学 | 基于卷积网络和长短期记忆网络的脑网络特征提取方法 |
| CN114376558A (zh) * | 2022-03-24 | 2022-04-22 | 之江实验室 | 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统 |
| CN114820460A (zh) * | 2022-04-02 | 2022-07-29 | 南京航空航天大学 | 一种单基因位点与时序脑图像关联分析的方法及装置 |
| CN117408322A (zh) * | 2023-12-15 | 2024-01-16 | 北京邮电大学 | 脑功能与脑结构的映射模型训练方法、装置及映射方法 |
| CN117686937A (zh) * | 2024-02-02 | 2024-03-12 | 河南科技学院 | 一种用于电池系统内单体电池的健康状态估计方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063639A (zh) * | 2018-07-30 | 2018-12-21 | 浙江大学 | 一种实时预测大脑行为的方法 |
| CN109146005A (zh) * | 2018-10-18 | 2019-01-04 | 兰州大学 | 一种基于稀疏表示的脑认知能力分析方法 |
| CN109222972A (zh) * | 2018-09-11 | 2019-01-18 | 华南理工大学 | 一种基于深度学习的fMRI全脑数据分类方法 |
| CN109498037A (zh) * | 2018-12-21 | 2019-03-22 | 中国科学院自动化研究所 | 基于深度学习提取特征和多重降维算法的脑认知测量方法 |
| CN110097968A (zh) * | 2019-03-27 | 2019-08-06 | 中国科学院自动化研究所 | 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统 |
| CN110232332A (zh) * | 2019-05-23 | 2019-09-13 | 中国人民解放军国防科技大学 | 动态功能连接局部线性嵌入特征的提取及脑状态分类方法和系统 |
| CN110598793A (zh) * | 2019-09-12 | 2019-12-20 | 常州大学 | 一种大脑功能网络特征分类方法 |
| CN110693493A (zh) * | 2019-10-12 | 2020-01-17 | 北京工业大学 | 一种基于卷积与循环神经网络结合时间多尺度的癫痫脑电预测方法 |
| CN110801237A (zh) * | 2019-11-10 | 2020-02-18 | 中科搏锐（北京）科技有限公司 | 一种基于眼动和脑电特征的认知能力评估系统及其方法 |
-
2020
- 2020-06-30 CN CN202010613084.1A patent/CN111728590A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063639A (zh) * | 2018-07-30 | 2018-12-21 | 浙江大学 | 一种实时预测大脑行为的方法 |
| CN109222972A (zh) * | 2018-09-11 | 2019-01-18 | 华南理工大学 | 一种基于深度学习的fMRI全脑数据分类方法 |
| CN109146005A (zh) * | 2018-10-18 | 2019-01-04 | 兰州大学 | 一种基于稀疏表示的脑认知能力分析方法 |
| CN109498037A (zh) * | 2018-12-21 | 2019-03-22 | 中国科学院自动化研究所 | 基于深度学习提取特征和多重降维算法的脑认知测量方法 |
| CN110097968A (zh) * | 2019-03-27 | 2019-08-06 | 中国科学院自动化研究所 | 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统 |
| CN110232332A (zh) * | 2019-05-23 | 2019-09-13 | 中国人民解放军国防科技大学 | 动态功能连接局部线性嵌入特征的提取及脑状态分类方法和系统 |
| CN110598793A (zh) * | 2019-09-12 | 2019-12-20 | 常州大学 | 一种大脑功能网络特征分类方法 |
| CN110693493A (zh) * | 2019-10-12 | 2020-01-17 | 北京工业大学 | 一种基于卷积与循环神经网络结合时间多尺度的癫痫脑电预测方法 |
| CN110801237A (zh) * | 2019-11-10 | 2020-02-18 | 中科搏锐（北京）科技有限公司 | 一种基于眼动和脑电特征的认知能力评估系统及其方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112971778A (zh) * | 2021-02-09 | 2021-06-18 | 北京师范大学 | 脑功能成像信号获得方法、装置及电子设备 |
| CN112991335A (zh) * | 2021-04-23 | 2021-06-18 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种想像能力评估方法、系统及可读存储介质 |
| CN112991335B (zh) * | 2021-04-23 | 2024-04-26 | 合肥中聚源智能科技有限公司 | 一种想像能力评估方法、系统及可读存储介质 |
| CN113768465A (zh) * | 2021-09-15 | 2021-12-10 | 安徽师范大学 | 基于卷积网络和长短期记忆网络的脑网络特征提取方法 |
| CN113768519B (zh) * | 2021-09-16 | 2023-12-26 | 天津大学 | 基于深度学习和静息态脑电数据分析病人意识水平的方法 |
| CN113768519A (zh) * | 2021-09-16 | 2021-12-10 | 天津大学 | 基于深度学习和静息态脑电数据分析病人意识水平的方法 |
| CN114376558A (zh) * | 2022-03-24 | 2022-04-22 | 之江实验室 | 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统 |
| CN114376558B (zh) * | 2022-03-24 | 2022-07-19 | 之江实验室 | 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统 |
| CN114820460A (zh) * | 2022-04-02 | 2022-07-29 | 南京航空航天大学 | 一种单基因位点与时序脑图像关联分析的方法及装置 |
| CN114820460B (zh) * | 2022-04-02 | 2023-09-29 | 南京航空航天大学 | 一种单基因位点与时序脑图像关联分析的方法及装置 |
| CN117408322A (zh) * | 2023-12-15 | 2024-01-16 | 北京邮电大学 | 脑功能与脑结构的映射模型训练方法、装置及映射方法 |
| CN117408322B (zh) * | 2023-12-15 | 2024-04-16 | 北京邮电大学 | 脑功能与脑结构的映射模型训练方法、装置及映射方法 |
| CN117686937A (zh) * | 2024-02-02 | 2024-03-12 | 河南科技学院 | 一种用于电池系统内单体电池的健康状态估计方法 |
| CN117686937B (zh) * | 2024-02-02 | 2024-04-12 | 河南科技学院 | 一种用于电池系统内单体电池的健康状态估计方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111728590A (zh) | 基于动态功能连接的个体认知能力预测方法和系统 | |
| CN109376751B (zh) | 一种基于卷积神经网络的人脑功能网络分类方法 | |
| Wang et al. | Recognizing brain states using deep sparse recurrent neural network | |
| Pham et al. | Classification of short time series in early Parkinsonʼ s disease with deep learning of fuzzy recurrence plots | |
| van Gerven | A primer on encoding models in sensory neuroscience | |
| CN111863244B (zh) | 基于稀疏池化图卷积的功能连接精神疾病分类方法和系统 | |
| CN111461176A (zh) | 基于归一化互信息的多模态融合方法、装置、介质及设备 | |
| CN109979161B (zh) | 一种基于卷积循环神经网络的人体跌倒检测方法 | |
| CN110232332A (zh) | 动态功能连接局部线性嵌入特征的提取及脑状态分类方法和系统 | |
| Qiao et al. | Ternary-task convolutional bidirectional neural turing machine for assessment of EEG-based cognitive workload | |
| CN109034360A (zh) | 一种从fMRI和DTI数据中构建脑效应连接网络的蚁群方法 | |
| CN107967686B (zh) | 一种联合动态脑网络和长短时记忆网络的癫痫识别装置 | |
| Shu et al. | Sparse autoencoders for word decoding from magnetoencephalography | |
| CN115272295A (zh) | 基于时域-空域联合状态的动态脑功能网络分析方法及系统 | |
| Qiang et al. | Learning brain representation using recurrent Wasserstein generative adversarial net | |
| Cetin et al. | A comparative study on classification of magnetoencephalography signals using probabilistic neural network and multilayer neural network | |
| CN115496953A (zh) | 基于时空图卷积的脑网络分类方法 | |
| Wein et al. | Forecasting brain activity based on models of spatiotemporal brain dynamics: A comparison of graph neural network architectures | |
| CN113180695B (zh) | 脑机接口信号分类方法、系统、设备和存储介质 | |
| Dehzangi et al. | Driver distraction detection using MEL cepstrum representation of galvanic skin responses and convolutional neural networks | |
| CN114742116B (zh) | 一种模拟采集脑电信号的生成方法和系统 | |
| Zaki et al. | Smart medical chatbot with integrated contactless vital sign monitor | |
| CN110135357A (zh) | 一种基于远程遥感的幸福感实时检测方法 | |
| CN115813409A (zh) | 一种超低延迟的运动图像脑电图解码方法 | |
| CN115909438A (zh) | 基于深度时空域卷积神经网络的疼痛表情识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201002 |
|
| RJ01 | Rejection of invention patent application after publication |