CN111882045A - 基于可微神经结构搜索的大脑时-空网络分解方法及系统 - Google Patents
基于可微神经结构搜索的大脑时-空网络分解方法及系统 Download PDFInfo
- Publication number
- CN111882045A CN111882045A CN202010804794.2A CN202010804794A CN111882045A CN 111882045 A CN111882045 A CN 111882045A CN 202010804794 A CN202010804794 A CN 202010804794A CN 111882045 A CN111882045 A CN 111882045A
- Authority
- CN
- China
- Prior art keywords
- cell structure
- matrix
- brain
- search
- equal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 42
- 230000001537 neural effect Effects 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 111
- 230000007246 mechanism Effects 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000036992 cognitive tasks Effects 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 230000002441 reversible effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 208000014644 Brain disease Diseases 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 123
- 230000006870 function Effects 0.000 description 21
- 208000001613 Gambling Diseases 0.000 description 8
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000003925 brain function Effects 0.000 description 4
- 230000003936 working memory Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 240000007182 Ochroma pyramidale Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004036 social memory Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/002—Biomolecular computers, i.e. using biomolecules, proteins, cells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Organic Chemistry (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于可微神经结构搜索的大脑时‑空网络分解方法及系统，方法包括：根据所述大脑原始数据矩阵确定输入特征矩阵、输出层矩阵和目标输出矩阵；根据所述输入特征矩阵、所述输出层矩阵和所述目标输出矩阵，对细胞结构进行最优搜索，获得最优细胞结构；引入早停机制，根据所述最优细胞结构确定最终细胞结构；根据所述最终细胞结构对大脑时‑空网络进行分解，获得时间动态特征和空间网络特征。本发明先将RNN层细胞结构中的内部节点引入到可微的连续搜索空间中进行搜索更新，引入早停机制构建最终细胞结构，并根据所述最终细胞结构对大脑时‑空网络进行最优分解，从而有助于后续对脑疾病的精准医疗、风险智能预测、以及个性化教育提供依据。
Description
技术领域
本发明涉及人工智能大脑网络分解技术领域，特别是涉及一种基于可微神经结构搜索的大脑时-空网络分解方法及系统。
背景技术
大脑功能网络是研究大脑认知及思维过程的重要依据，能够为智慧教育、精准医疗等领域提供重要支持。循环神经网络(recurrent neural network,RNN)由于对时间维度的刻画具有天然的优势，因此已被广泛应用于脑网络的动态分析中。然而，受到当前算法模型本身结构的限制，目前针对大脑网络的分析研究非常依赖于具体独立任务的先验知识，无法对特定领域的所有场景进行泛化地刻画分析，如：不同的认知任务、不同的个体等。因此，引入更具有泛化能力的模型框架，摒弃完全依赖于人工设计的网络模型，能够为大脑网络的个性化综合分析提供更加全面的技术框架。神经网络结构搜索(neural architecturesearch，NAS)受大脑本身泛化能力的启发，能够为更加精准地实现基于时-空共变特性的脑网络分析提供技术支持。
目前，在搜索策略上，NAS模型主要基于强化学习(reinforce learning，RL)和进化算法(evolutional algorithms，EA)。对于基于强化学习的NAS模型，每次生成新的网络结构都会被看作是智能体(agent)与环境交互的动作(action)，并从环境中获得回馈，强化学习的目标就是让回馈最大化。对于基于进化算法的NAS模型，受到生物种群进化的启发，通过选择、重组和变异这三种操作实现优化问题求解。然而，以上算法主要集中于对模型整体结构的离散域空间搜索，如整体模型的深度、宽度等，其模型更容易受到扩展性的限制。因此，为了破除扩展性限制，基于连续域空间对模型内部的细胞结构进行搜索更具优势。可微体系结构搜索框架(Differentiable ARchiTecture Search，DARTS)作为一种能够在连续空间域进行优化搜索的方法，可以发现具有复杂图形拓扑的高性能结构，能够为大脑网络的刻画提供帮助。
而对于大脑功能网络，不仅在时间维度存在着动态变化特性，且在空间维度上存在脑区协同特性，同时还存在着时-空共变特性。因此，受大脑功能网络时-空综合特征的启发，从时-空共变角度来探究大脑网络，将能够更加完善地为大脑信息的挖掘提供帮助，进而为脑计划的推进提供依据。随着神经影像技术的发展，功能磁共振成像(functionalMagnetic Resonance Imaging,fMRI)由于同时具备较好的时间分辨率和空间分辨率，已经被广泛应用于大脑功能的刻画中，能够作为大脑时-空网络分解的重要数据支持。然而，以上可微的神经网络结构搜索框架具有两个缺陷：1、仅考虑了时间维度上的数据分析，忽略了空间维度和时-空交互信息的挖掘，因此无法达到自适应地对针对时-空网络分解的RNN细胞结构进行最优搜索；2、上述搜索框架具有崩溃问题(collapse issue)，将会导致细胞结构过浅，从而造成表现力差的问题。
发明内容
基于此，本发明的目的是提供一种基于可微神经结构搜索的大脑时-空网络分解方法及系统，以实现对大脑四维时-空网络的最优分解。
为实现上述目的，本发明提供了一种基于可微神经结构搜索的大脑时-空网络分解方法，所述方法包括：
步骤S1：基于HCP数据集的七个认知任务构建大脑原始数据矩阵；
步骤S2：根据所述大脑原始数据矩阵确定输入特征矩阵、输出层矩阵和目标输出矩阵；
步骤S3：根据所述输入特征矩阵、所述输出层矩阵和所述目标输出矩阵，对细胞结构进行最优搜索，获得最优细胞结构；
步骤S4：引入早停机制，根据所述最优细胞结构确定最终细胞结构；
步骤S5：根据所述最终细胞结构对大脑时-空网络进行分解，获得时间动态特征和空间网络特征。
可选地，所述根据所述输入特征矩阵、所述输出层矩阵和所述目标输出矩阵，对细胞结构进行最优搜索，获得最优细胞结构，具体包括：
步骤S31：将所述输入特征矩阵输入嵌入层进行压缩，获得循环神经网络RNN层的维度；
步骤S32：将离散操作转变到可微的连续搜索空间中，对RNN层细胞结构中的内部节点间的操作进行更新搜索；
步骤S33：将连续空间搜索后的节点间操作进行离散化，获得离散域内的节点间操作，并根据离散域内的节点间操作确定细胞结构；
步骤S34：利用损失函数公式，根据所述输出层矩阵和所述目标输出矩阵确定损失函数值；
步骤S35：基于损失函数值进行迭代更新，获得最优细胞结构。
可选地，所述引入早停机制，根据所述最优细胞结构确定最终细胞结构，具体包括：
步骤S41：判断当前的所述最优细胞结构中是否存在小于或等于3个“等于”操作；
步骤S42：如果当前的所述最优细胞结构中存在小于或等于3个“等于”操作，则将当前的所述最优细胞结构作为最终细胞结构；
步骤S43：如果当前的所述最优细胞结构中存在大于3个“等于”操作，则采用反推法回溯历史搜索细胞结构，对“等于”操作进行删减；
步骤S44：依次判断反推过程中的细胞结构中是否存在小于或等于2个“等于”操作，如果所述细胞结构中存在小于或等于2个“等于”操作，则将所述细胞结构作为最终细胞结构；否则将拥有最少“等于”操作的所述细胞结构作为最终细胞结构。
可选地，所述根据所述最终细胞结构对大脑时-空网络进行分解，获得时间动态特征和空间网络特征，具体包括：
步骤S51：根据所述最终细胞结构确定大脑网络的时间动态特征；
步骤S52：根据弹性网络回归，利用所述时间动态特征对大脑网络的空间特征进行估计，获得空间网络特征。
本发明还提供一种基于可微神经结构搜索的大脑时-空网络分解系统，所述系统包括：
大脑原始数据矩阵构建模块，用于根据HCP数据集的七个认知任务构建大脑原始数据矩阵；
矩阵参数确定模块，用于根据所述大脑原始数据矩阵确定输入特征矩阵、输出层矩阵和目标输出矩阵；
最优搜索模块，用于根据所述输入特征矩阵、所述输出层矩阵和所述目标输出矩阵，对细胞结构进行最优搜索，获得最优细胞结构；
早停机制引入模块，用于引入早停机制，根据所述最优细胞结构确定最终细胞结构；
分解模块，用于根据所述最终细胞结构对大脑时-空网络进行分解，获得时间动态特征和空间网络特征。
可选地，所述最优搜索模块，具体包括：
压缩单元，用于将所述输入特征矩阵输入嵌入层(embedding layer)进行压缩，获得循环神经网络RNN层的维度；
更新搜索单元，用于将离散操作转变到可微的连续搜索空间中，对RNN层细胞结构中的内部节点间的操作进行更新搜索；
离散化处理单元，用于将连续空间搜索后的节点间操作进行离散化，获得离散域内的节点间操作，并根据离散域内的节点间操作确定细胞结构；
损失函数值确定单元，用于利用损失函数公式，根据所述输出层矩阵和所述目标输出矩阵确定损失函数值；
迭代更新单元，用于根据损失函数值进行迭代更新，获得最优细胞结构。
可选地，所述早停机制引入模块，具体包括：
第一判断单元，用于判断当前的所述最优细胞结构中是否存在小于或等于3个“等于”操作；如果当前的所述最优细胞结构中存在小于或等于3个“等于”操作，则将当前的所述最优细胞结构作为最终细胞结构；如果当前的所述最优细胞结构中存在大于3个“等于”操作，则采用反推法回溯历史搜索细胞结构，对“等于”操作进行删减；
第二判断单元，用于依次判断反推过程中的细胞结构中是否存在小于或等于2个“等于”操作，如果所述细胞结构中存在小于或等于2个“等于”操作，则将所述细胞结构作为最终细胞结构；否则将拥有最少“等于”操作的所述细胞结构作为最终细胞结构。
可选地，所述分解模块，具体包括：
时间动态特征确定单元，用于根据所述最终细胞结构确定大脑网络的时间动态特征；
空间网络特征确定单元，用于根据弹性网络回归，利用所述时间动态特征对大脑网络的空间特征进行估计，获得空间网络特征。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开一种基于可微神经结构搜索的大脑时-空网络分解方法及系统，方法包括：根据所述大脑原始数据矩阵确定输入特征矩阵、输出层矩阵和目标输出矩阵；根据所述输入特征矩阵、所述输出层矩阵和所述目标输出矩阵，对细胞结构进行最优搜索，获得最优细胞结构；引入早停机制，根据所述最优细胞结构确定最终细胞结构；根据所述最终细胞结构对大脑时-空网络进行分解，获得时间动态特征和空间网络特征。本发明先将RNN层细胞结构中的内部节点引入到可微的连续搜索空间中进行搜索更新，引入早停机制构建最终细胞结构，并根据所述最终细胞结构对大脑时-空网络进行最优分解，从而有助于后续对脑疾病的精准医疗、风险智能预测、以及个性化教育提供依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例早停机制下的基于可微神经结构搜索的时-空网络分解方法流程示意图；
图2为本发明实施例基于细胞结构的搜索依据示意图；
图3为本发明实施例在赌博任务数据集上的细胞结构搜索结果；
图4为本发明实施例在赌博任务数据集上大脑时间维度网络动态分解结果
图5为本发明实施例在赌博任务数据集上大脑空间维度网络分解结果；
图6为本发明实施例在七个任务数据集上大脑时间维度网络动态分解对比图；
图7为本发明实施例在七个任务数据集上大脑空间维度网络分解对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于可微神经结构搜索的大脑时-空网络分解方法及系统，以实现对大脑四维时-空网络的最优分解。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明公开一种基于可微神经结构搜索的大脑时-空网络分解方法，所述方法包括：
步骤S1：基于HCP数据集的七个认知任务构建大脑原始数据矩阵；
步骤S2：根据所述大脑原始数据矩阵确定输入特征矩阵、输出层矩阵和目标输出矩阵；
步骤S3：根据所述输入特征矩阵、所述输出层矩阵和所述目标输出矩阵，对细胞结构进行最优搜索，获得最优细胞结构；
步骤S4：引入早停机制，根据所述最优细胞结构确定最终细胞结构；
步骤S5：根据所述最终细胞结构对大脑时-空网络进行分解，获得时间动态特征和空间网络特征。
下面对各个步骤进行详细论述：
步骤S1：基于HCP数据集的七个认知任务构建大脑原始数据矩阵，具体包括：
步骤S11：基于所述HCP数据集的七个认知任务获取四维功能磁共振成像fMRI数据；四维fMRI数据包括三维空间维度和一维时间维度。
本发明选取HCP(human connectome project)数据集中的全部七个认知任务数据集进行说明，HCP数据集是目前对人类大脑进行分析研究的最大、最常用的公开数据集之一。在本实施例中，共有750名执行了全部七个认知任务，且数据质量符合标准的被试数据被使用。七个认知任务包括：情绪任务(emotion task)、赌博任务(gambling task)、语言任务(language task)、运动任务(motor task)、关系任务(relational task)、社会任务(social task)和工作记忆任务(working memory task)。数据集的详细信息如下表所示：
表格1数据集信息
步骤S12：对所述四维fMRI数据进行归一化处理，获得大脑原始数据矩阵，具体公式为：
X＝[x1,x2,…,xi,…xt],X∈Rs×t，
其中，X表示大脑原始数据矩阵，xi表示第i个时间点下的大脑空间数据，s表示空间维度包含的体素数量，t代表时间维度，时间维度为m个被试数量与每个被试的时间序列长度n的乘积。
在各个认知任务中s为固定数量，为59,421；在各个认知任务中m保持一致；时间序列长度n则根据不同认知任务的要求进行变化，如：在情绪任务中，n＝176；在工作记忆任务中，n＝405。因此，t随之将根据任务不同而变化。
步骤S2：根据所述大脑原始数据矩阵确定输入特征矩阵、输出层矩阵和目标输出矩阵，具体包括：
步骤S21：基于大脑空间感兴趣脑区(regionofinterest，ROI)模板，将所述大脑原始数据矩阵转换为输入特征矩阵，所述输入特征矩阵公式为：
X′＝[x′1,x′2,…,x′i,…x′t-1],X′∈Rr×(t-1)；
其中，X′表示输入特征矩阵；r表示空间维度包含的脑区数量，即为HCP数据集中公开的大脑空间感兴趣脑区模板生成的360个脑区，每个脑区值为所在脑区所有体素值的平均值；x′i表示输入层第i个输入数据，即第i个特征数据，且有i∈(0,t)，t为时间维度，长度与X中t相同。
本发明中的大脑空间感兴趣脑区(regionofinterest，ROI)模板为现有模板。此网址https://balsa.wustl.edu/WN56为360个脑区的呈现图。
步骤S22：设Y＝[y1,y2,…,yj,…yt-1],Y∈Rr×(t-1)为输出层矩阵，yj为输出层第j个输出数据，即对第i-1个输入数据的预测结果，且有j∈(0,t)，t为时间维度；
步骤S23：设Y′＝[y′1,y′2,…,y′j,…y′t-1]＝[x′2,x′3,…,x′i+1,…x′t],Y′∈Rr ×(t-1)为目标输出矩阵，其中，y′j＝x′i+1，y′j为x′i的下一时间点脑数据。
步骤S3：根据所述输入特征矩阵、所述输出层矩阵和所述目标输出矩阵，对细胞结构进行最优搜索，获得最优细胞结构，具体包括：
步骤S31：将所述输入特征矩阵输入嵌入层(embedding layer)进行压缩，获得循环神经网络RNN层的维度，也就是说，将所述输入特征矩阵的360维压缩为32维作为RNN的输入维度和输出维度。
细胞结构的内部节点N限定为8个，对每一个内部节点的操作包括identity、zero、tanh、relu和sigmoid五种操作；identity为“等于”操作，即内部节点n(i)和n(j)间有连接的操作，但没有激活函数、zero操作为内部节点n(i)和n(j)间没有连接的操作，其中，n(i)为第i个内部节点，n(j)为第j个内部节点。
步骤S32：将离散操作转变到可微的连续搜索空间中，对RNN层细胞结构中的内部节点间的操作进行更新搜索，具体公式为：
其中，
为(n(i),n(j))边上的松弛化到连续空间搜索后的节点间操作，o为离散空间中细胞结构内部节点n(i)和n(j)之间边上的操作，
为节点间的结构权重向量，Θ为所有操作的集合。
步骤S33：将连续空间搜索后的节点间操作
进行离散化，获得离散域内的节点间操作，并根据离散域内的节点间操作确定细胞结构，具体公式为：
其中，A为细胞结构，o(i,j)为离散空间中细胞结构内部节点n(i)和n(j)之间边上的操作，Θ为所有操作的集合，
为节点间的结构权重向量。
步骤S34：利用损失函数公式，根据所述输出层矩阵和所述目标输出矩阵确定损失函数值，所述损失函数公式具体公式为：
fk＝-Σj p(y′j)·log(q(y′j))；
其中，fk为第k次迭代的损失函数值，p(y′j)为第j个目标输出样本y′j的真实分布，q(y′j)为基于输出层矩阵Y，对第j个目标输出样本y′j的预测分布。
步骤S35：基于损失函数值进行迭代更新，获得最优细胞结构，具体为：判断相邻两次的损失函数值是否小于或等于零(即fk-fk-1≤0)；如果相邻两次的损失函数值小于或等于零时，则将细胞结构A作为最优细胞结构；如果相邻两次的损失函数值大于零时，则令迭代次数k加1，继续执行“步骤S132”，直到达到最大迭代次数，将最大迭代次数搜索到的细胞结构A作为最优细胞结构。如图2所示，针对不同认知任务，当损失函数值为最小时，输出细胞结构为当前认知任务的最优细胞结构。
步骤S4：引入早停机制，根据所述最优细胞结构确定最终细胞结构，具体步骤包括：
步骤S41：判断当前的所述最优细胞结构中是否存在小于或等于3个“等于”操作。
步骤S42：如果当前的所述最优细胞结构中存在小于或等于3个“等于”操作，则将当前的所述最优细胞结构作为最终细胞结构，表示当前细胞结构并未受到崩溃问题影响。
步骤S43：如果当前的所述最优细胞结构中存在大于3个“等于”操作，表示当前细胞结构已受到崩溃问题影响，导致细胞结构过浅，则采用反推法回溯历史搜索细胞结构，对“等于”操作进行删减。
步骤S44：依次判断反推过程中的细胞结构中是否存在小于或等于2个“等于”操作，如果所述细胞结构中存在小于或等于2个“等于”操作，则将所述细胞结构作为最终细胞结构；否则将拥有最少“等于”操作的所述细胞结构作为最终细胞结构。图3(a)为未引入早停机制的细胞结构图，图3(b)为引入早停机制的细胞结构图，可见图3(b)中的细胞结构相比于3(a)中的细胞结构减少了“等于”操作，从而解决了原始算法带来的崩溃问题。
早停机制的英文为early-stopping mechanism，是在机器学习领域防止过拟合的一种正则机制。
步骤S5：根据所述最终细胞结构对大脑时-空网络进行分解，获得时间动态特征和空间网络特征，具体包括：
步骤S51：根据所述最终细胞结构确定大脑网络的时间动态特征，具体公式为：T∈Rh×t；其中，h为分解后的脑网络特征维度，h＝32，t为时间维度。如图4所示，基于赌博认知任务，分解后的大脑网络时间维度动态特征与任务设计具有非常高的相关性；同时，如图5所示，在所有七个认知任务下，本申请所提出的基于早停机制的分解方法，在时间动态特征分解中与未引入早停机制的分解方法进行比较，任务设计具有更高的相关性，在情绪、赌博、运动、关系任务上具有显著提高的差异(*代表双样本t检验中，p值<0.1，**代表p值<0.05，***代表p值<0.01)，体现了本申请所提方法的有效性。
步骤S52：根据弹性网络回归(ElasticNet)，利用所述时间动态特征对大脑网络的空间特征进行估计，获得空间网络特征，具体公式为：
其中，
为待估计的空间网络特征，S为大脑网络的空间特征，S∈Rs×h，h为分解后的脑网络特征维度，h＝32，s为空间脑区维度s＝360，T为大脑网络的时间动态特征，X表示大脑原始数据矩阵，||·||1为L1范数，
为L2范数，λ1为L1范数的权重系数，λ2为L2范数的权重系数。如图6所示，基于赌博任务，分解后的大脑空间网络图6(b)与基准网络图6(a)具有一致性，刺激相关的关键脑区激活均具有相似性。如图7所示，在所有认知任务下，引入早停机制的时-空网络分解方法与未引入早停机制的时-空网络分解方法，在空间维度脑网络分解结果中具有可比性，除社会和工作记忆任务具有显著下降外，在其他任务上未见明显差异。这表明时间维度分解精度的提高可能牺牲了一部分空间维度的分解精度，但基于本申请所提方法的空间网络分解精度已足以刻画出关键的激活脑区，体现了本申请所提算法的稳定性和鲁棒性。
本发明所涉及的技术试验均在python 2.7.13环境下，基于Pytorch 0.3.1，在Intel(R)E5-1620 CPU 3.50GHz的PC上和一个Nvidia GTX 1080Ti GPU下完成。另外，mini-batch设置为128，在结构搜索阶段设置迭代次数阈值为20轮，在大脑时-空网络分解阶段设置迭代次数阈值为200轮。
本发明还提供一种基于可微神经结构搜索的大脑时-空网络分解系统，所述系统包括：
大脑原始数据矩阵构建模块，用于根据HCP数据集的七个认知任务构建大脑原始数据矩阵。
矩阵参数确定模块，用于根据所述大脑原始数据矩阵确定输入特征矩阵、输出层矩阵和目标输出矩阵。
最优搜索模块，用于根据所述输入特征矩阵、所述输出层矩阵和所述目标输出矩阵，对细胞结构进行最优搜索，获得最优细胞结构。
早停机制引入模块，用于引入早停机制，根据所述最优细胞结构确定最终细胞结构。
分解模块，用于根据所述最终细胞结构对大脑时-空网络进行分解，获得时间动态特征和空间网络特征。
作为一种实施方式，本发明所述最优搜索模块，具体包括：
压缩单元，用于将所述输入特征矩阵输入嵌入层(embedding layer)进行压缩，获得循环神经网络RNN层的维度。
更新搜索单元，用于将离散操作转变到可微的连续搜索空间中，对RNN层细胞结构中的内部节点间的操作进行更新搜索。
离散化处理单元，用于将连续空间搜索后的节点间操作进行离散化，获得离散域内的节点间操作，并根据离散域内的节点间操作确定细胞结构。
损失函数值确定单元，用于利用损失函数公式，根据所述输出层矩阵和所述目标输出矩阵确定损失函数值。
迭代更新单元，用于根据损失函数值进行迭代更新，获得最优细胞结构。
作为一种实施方式，本发明所述早停机制引入模块，具体包括：
第一判断单元，用于判断当前的所述最优细胞结构中是否存在小于或等于3个“等于”操作；如果当前的所述最优细胞结构中存在小于或等于3个“等于”操作，则将当前的所述最优细胞结构作为最终细胞结构；如果当前的所述最优细胞结构中存在大于3个“等于”操作，则采用反推法回溯历史搜索细胞结构，对“等于”操作进行删减。
第二判断单元，用于依次判断反推过程中的细胞结构中是否存在小于或等于2个“等于”操作，如果所述细胞结构中存在小于或等于2个“等于”操作，则将所述细胞结构作为最终细胞结构；否则将拥有最少“等于”操作的所述细胞结构作为最终细胞结构。
作为一种实施方式，本发明所述分解模块，具体包括：
时间动态特征确定单元，用于根据所述最终细胞结构确定大脑网络的时间动态特征。
空间网络特征确定单元，用于根据弹性网络回归，利用所述时间动态特征对大脑网络的空间特征进行估计，获得空间网络特征。。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于可微神经结构搜索的大脑时-空网络分解方法，其特征在于，所述方法包括：
步骤S1：基于HCP数据集的七个认知任务构建大脑原始数据矩阵；
步骤S2：根据所述大脑原始数据矩阵确定输入特征矩阵、输出层矩阵和目标输出矩阵；
步骤S3：根据所述输入特征矩阵、所述输出层矩阵和所述目标输出矩阵，对细胞结构进行最优搜索，获得最优细胞结构；
步骤S4：引入早停机制，根据所述最优细胞结构确定最终细胞结构；
步骤S5：根据所述最终细胞结构对大脑时-空网络进行分解，获得时间动态特征和空间网络特征。
2.根据权利要求1所述的基于可微神经结构搜索的大脑时-空网络分解方法，其特征在于，所述根据所述输入特征矩阵、所述输出层矩阵和所述目标输出矩阵，对细胞结构进行最优搜索，获得最优细胞结构，具体包括：
步骤S31：将所述输入特征矩阵输入嵌入层进行压缩，获得循环神经网络RNN层的维度；
步骤S32：将离散操作转变到可微的连续搜索空间中，对RNN层细胞结构中的内部节点间的操作进行更新搜索；
步骤S33：将连续空间搜索后的节点间操作进行离散化，获得离散域内的节点间操作，并根据离散域内的节点间操作确定细胞结构；
步骤S34：利用损失函数公式，根据所述输出层矩阵和所述目标输出矩阵确定损失函数值；
步骤S35：基于损失函数值进行迭代更新，获得最优细胞结构。
3.根据权利要求1所述的基于可微神经结构搜索的大脑时-空网络分解方法，其特征在于，所述引入早停机制，根据所述最优细胞结构确定最终细胞结构，具体包括：
步骤S41：判断当前的所述最优细胞结构中是否存在小于或等于3个“等于”操作；
步骤S42：如果当前的所述最优细胞结构中存在小于或等于3个“等于”操作，则将当前的所述最优细胞结构作为最终细胞结构；
步骤S43：如果当前的所述最优细胞结构中存在大于3个“等于”操作，则采用反推法回溯历史搜索细胞结构，对“等于”操作进行删减；
步骤S44：依次判断反推过程中的细胞结构中是否存在小于或等于2个“等于”操作，如果所述细胞结构中存在小于或等于2个“等于”操作，则将所述细胞结构作为最终细胞结构；否则将拥有最少“等于”操作的所述细胞结构作为最终细胞结构。
4.根据权利要求1所述的基于可微神经结构搜索的大脑时-空网络分解方法，其特征在于，所述根据所述最终细胞结构对大脑时-空网络进行分解，获得时间动态特征和空间网络特征，具体包括：
步骤S51：根据所述最终细胞结构确定大脑网络的时间动态特征；
步骤S52：根据弹性网络回归，利用所述时间动态特征对大脑网络的空间特征进行估计，获得空间网络特征。
5.一种基于可微神经结构搜索的大脑时-空网络分解系统，其特征在于，所述系统包括：
大脑原始数据矩阵构建模块，用于根据HCP数据集的七个认知任务构建大脑原始数据矩阵；
矩阵参数确定模块，用于根据所述大脑原始数据矩阵确定输入特征矩阵、输出层矩阵和目标输出矩阵；
最优搜索模块，用于根据所述输入特征矩阵、所述输出层矩阵和所述目标输出矩阵，对细胞结构进行最优搜索，获得最优细胞结构；
早停机制引入模块，用于引入早停机制，根据所述最优细胞结构确定最终细胞结构；
分解模块，用于根据所述最终细胞结构对大脑时-空网络进行分解，获得时间动态特征和空间网络特征。
6.根据权利要求5所述的基于可微神经结构搜索的大脑时-空网络分解系统，其特征在于，所述最优搜索模块，具体包括：
压缩单元，用于将所述输入特征矩阵输入嵌入层(embedding layer)进行压缩，获得循环神经网络RNN层的维度；
更新搜索单元，用于将离散操作转变到可微的连续搜索空间中，对RNN层细胞结构中的内部节点间的操作进行更新搜索；
离散化处理单元，用于将连续空间搜索后的节点间操作进行离散化，获得离散域内的节点间操作，并根据离散域内的节点间操作确定细胞结构；
损失函数值确定单元，用于利用损失函数公式，根据所述输出层矩阵和所述目标输出矩阵确定损失函数值；
迭代更新单元，用于根据损失函数值进行迭代更新，获得最优细胞结构。
7.根据权利要求5所述的基于可微神经结构搜索的大脑时-空网络分解系统，其特征在于，所述早停机制引入模块，具体包括：
第一判断单元，用于判断当前的所述最优细胞结构中是否存在小于或等于3个“等于”操作；如果当前的所述最优细胞结构中存在小于或等于3个“等于”操作，则将当前的所述最优细胞结构作为最终细胞结构；如果当前的所述最优细胞结构中存在大于3个“等于”操作，则采用反推法回溯历史搜索细胞结构，对“等于”操作进行删减；
第二判断单元，用于依次判断反推过程中的细胞结构中是否存在小于或等于2个“等于”操作，如果所述细胞结构中存在小于或等于2个“等于”操作，则将所述细胞结构作为最终细胞结构；否则将拥有最少“等于”操作的所述细胞结构作为最终细胞结构。
8.根据权利要求5所述的基于可微神经结构搜索的大脑时-空网络分解系统，其特征在于，所述分解模块，具体包括：
时间动态特征确定单元，用于根据所述最终细胞结构确定大脑网络的时间动态特征；
空间网络特征确定单元，用于根据弹性网络回归，利用所述时间动态特征对大脑网络的空间特征进行估计，获得空间网络特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010804794.2A CN111882045B (zh) | 2020-08-12 | 2020-08-12 | 基于可微神经结构搜索的大脑时-空网络分解方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010804794.2A CN111882045B (zh) | 2020-08-12 | 2020-08-12 | 基于可微神经结构搜索的大脑时-空网络分解方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111882045A true CN111882045A (zh) | 2020-11-03 |
| CN111882045B CN111882045B (zh) | 2023-10-17 |
Family
ID=73202917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010804794.2A Active CN111882045B (zh) | 2020-08-12 | 2020-08-12 | 基于可微神经结构搜索的大脑时-空网络分解方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882045B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116092646A (zh) * | 2023-04-10 | 2023-05-09 | 北京师范大学 | 一种对孕期酒精暴露女性大脑功能进行分析的方法和装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004107963A2 (en) * | 2003-06-03 | 2004-12-16 | Allez Physionix Limited | Non-invasive determination of intracranial pressure via acoustic transducers |
| CN104050394A (zh) * | 2014-07-04 | 2014-09-17 | 北京师范大学 | 群体脑网络的建模方法及其拓扑属性分析方法 |
| US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
| KR20180126353A (ko) * | 2017-05-17 | 2018-11-27 | 삼성전자주식회사 | 센서 변환 집중 네트워크 모델 |
| CN109034360A (zh) * | 2018-07-13 | 2018-12-18 | 北京工业大学 | 一种从fMRI和DTI数据中构建脑效应连接网络的蚁群方法 |
| CN109257204A (zh) * | 2018-08-06 | 2019-01-22 | 浙江工商大学 | 一种软件定义网络中基于深度学习的网络节能装置及方法 |
| US20190378311A1 (en) * | 2018-06-12 | 2019-12-12 | Siemens Healthcare Gmbh | Machine-Learned Network for Fourier Transform in Reconstruction for Medical Imaging |
| CN110569882A (zh) * | 2019-08-15 | 2019-12-13 | 杨春立 | 一种图像信息分类方法及装置 |
| CN110584684A (zh) * | 2019-09-11 | 2019-12-20 | 五邑大学 | 一种驾驶疲劳相关的eeg功能连接动态特性的分析方法 |
| CN110610030A (zh) * | 2019-08-19 | 2019-12-24 | 南京航空航天大学 | 一种基于WaveNet神经网络结构的功率放大器行为建模方法 |
| US20200143227A1 (en) * | 2018-11-06 | 2020-05-07 | Google Llc | Neural Architecture Search with Factorized Hierarchical Search Space |
| CN111191785A (zh) * | 2019-12-20 | 2020-05-22 | 沈阳雅译网络技术有限公司 | 一种基于拓展搜索空间的结构搜索方法 |
| CN111428854A (zh) * | 2020-01-17 | 2020-07-17 | 华为技术有限公司 | 一种结构搜索方法及结构搜索装置 |
-
2020
- 2020-08-12 CN CN202010804794.2A patent/CN111882045B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004107963A2 (en) * | 2003-06-03 | 2004-12-16 | Allez Physionix Limited | Non-invasive determination of intracranial pressure via acoustic transducers |
| US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
| CN104050394A (zh) * | 2014-07-04 | 2014-09-17 | 北京师范大学 | 群体脑网络的建模方法及其拓扑属性分析方法 |
| KR20180126353A (ko) * | 2017-05-17 | 2018-11-27 | 삼성전자주식회사 | 센서 변환 집중 네트워크 모델 |
| US20190378311A1 (en) * | 2018-06-12 | 2019-12-12 | Siemens Healthcare Gmbh | Machine-Learned Network for Fourier Transform in Reconstruction for Medical Imaging |
| CN109034360A (zh) * | 2018-07-13 | 2018-12-18 | 北京工业大学 | 一种从fMRI和DTI数据中构建脑效应连接网络的蚁群方法 |
| CN109257204A (zh) * | 2018-08-06 | 2019-01-22 | 浙江工商大学 | 一种软件定义网络中基于深度学习的网络节能装置及方法 |
| US20200143227A1 (en) * | 2018-11-06 | 2020-05-07 | Google Llc | Neural Architecture Search with Factorized Hierarchical Search Space |
| CN110569882A (zh) * | 2019-08-15 | 2019-12-13 | 杨春立 | 一种图像信息分类方法及装置 |
| CN110610030A (zh) * | 2019-08-19 | 2019-12-24 | 南京航空航天大学 | 一种基于WaveNet神经网络结构的功率放大器行为建模方法 |
| CN110584684A (zh) * | 2019-09-11 | 2019-12-20 | 五邑大学 | 一种驾驶疲劳相关的eeg功能连接动态特性的分析方法 |
| CN111191785A (zh) * | 2019-12-20 | 2020-05-22 | 沈阳雅译网络技术有限公司 | 一种基于拓展搜索空间的结构搜索方法 |
| CN111428854A (zh) * | 2020-01-17 | 2020-07-17 | 华为技术有限公司 | 一种结构搜索方法及结构搜索装置 |
Non-Patent Citations (4)
| Title |
|---|
| QING LI 等: "Differentiable neural architecture search for optimal spatial/temporal brain function network decomposition", 《MEDICAL IMAGE ANALYSIS》, vol. 69, no. 101974, pages 1 - 14 * |
| XIANGNING CHEN 等: "Stablizing differential architecture search via perturbation-based regularization", 《ARXIV平台: ARXIV.ORG/ABS/2002.05283V1》, pages 1 - 15 * |
| 李晴 等: "面向认知表现预测的时-空共变混合深度学习模型", 《自动化学报》, vol. 48, no. 12, pages 2931 - 2940 * |
| 陈雪地: "基于自动设计神经网络的医学图像分类方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 07, pages 138 - 1265 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116092646A (zh) * | 2023-04-10 | 2023-05-09 | 北京师范大学 | 一种对孕期酒精暴露女性大脑功能进行分析的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111882045B (zh) | 2023-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kanjo et al. | Deep learning analysis of mobile physiological, environmental and location sensor data for emotion detection | |
| Ghosh et al. | Steer: Simple temporal regularization for neural ode | |
| CN110399857A (zh) | 一种基于图卷积神经网络的脑电情感识别方法 | |
| CN109447183A (zh) | 模型训练方法、装置、设备以及介质 | |
| CN113421652A (zh) | 对医疗数据进行分析的方法、训练模型的方法及分析仪 | |
| CN112699960A (zh) | 基于深度学习的半监督分类方法、设备及存储介质 | |
| Zheng et al. | Unraveling neural coding of dynamic natural visual scenes via convolutional recurrent neural networks | |
| Rahman et al. | Predicting human design decisions with deep recurrent neural network combining static and dynamic data | |
| Islam et al. | A data-driven dimensionality-reduction algorithm for the exploration of patterns in biomedical data | |
| CN114391826A (zh) | 一种基于边缘驱动图神经网络的人类表征预测方法及装置 | |
| Manduchi et al. | DPSOM: Deep probabilistic clustering with self-organizing maps | |
| Zhao et al. | Deep spatio-temporal sparse decomposition for trend prediction and anomaly detection in cardiac electrical conduction | |
| Taori et al. | Cross-task cognitive load classification with identity mapping-based distributed CNN and attention-based RNN using gabor decomposed data images | |
| Hu et al. | An efficient Long Short-Term Memory model based on Laplacian Eigenmap in artificial neural networks | |
| CN114155952A (zh) | 一种老年人群老年痴呆病患病辅助分析系统 | |
| CN114550907A (zh) | 癫痫检测系统 | |
| CN111882045A (zh) | 基于可微神经结构搜索的大脑时-空网络分解方法及系统 | |
| CN113408721A (zh) | 神经网络结构搜索方法、装置、计算机设备和存储介质 | |
| CN116597230A (zh) | 多任务图像分类方法、装置、设备和介质 | |
| Gürel et al. | Functional identification of biological neural networks using reservoir adaptation for point processes | |
| Ahmadieh et al. | Visual image reconstruction based on EEG signals using a generative adversarial and deep fuzzy neural network | |
| Chien et al. | Continuous-time self-attention in neural differential equation | |
| Hu et al. | Predicting electrical evoked potential in optic nerve visual prostheses by using support vector regression and case-based prediction | |
| Gong et al. | Time-sequential graph adversarial learning for brain modularity community detection | |
| Lu et al. | Brain Effective Connectivity Learning with Deep Reinforcement Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |