CN112735570B - 影像驱动的脑图谱构建方法、装置、设备及存储介质 - Google Patents
影像驱动的脑图谱构建方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112735570B CN112735570B CN202110026756.3A CN202110026756A CN112735570B CN 112735570 B CN112735570 B CN 112735570B CN 202110026756 A CN202110026756 A CN 202110026756A CN 112735570 B CN112735570 B CN 112735570B
- Authority
- CN
- China
- Prior art keywords
- data
- brain
- feature
- matrix
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 114
- 238000010276 construction Methods 0.000 title claims abstract description 13
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 109
- 239000011159 matrix material Substances 0.000 claims abstract description 109
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 30
- 201000010099 disease Diseases 0.000 claims abstract description 29
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims description 43
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013508 migration Methods 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 abstract description 5
- 238000002059 diagnostic imaging Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 29
- 238000002598 diffusion tensor imaging Methods 0.000 description 20
- 238000003745 diagnosis Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 208000024827 Alzheimer disease Diseases 0.000 description 8
- 239000000835 fiber Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 208000010877 cognitive disease Diseases 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 208000027061 mild cognitive impairment Diseases 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请适用于医疗影像技术领域，提供了影像驱动的脑图谱构建方法、装置、设备及存储介质。该方法包括：获取待预测的脑部的多模态数据，多模态数据是根据脑部在至少三种不同模态下采集到的影像数据得到的；将多模态数据输入预设的融合网络中处理，输出得到脑部的特征参数；融合网络对多模态数据的处理包括提取多模态数据的非欧式空间特征和欧式空间特征，并对非欧式空间特征和欧式空间特征进行超图融合得到特征参数，特征参数用于表征脑部的脑连接矩阵和/或疾病类别。将不同空间的特征映射为超图数据结构进行超图融合，避免了不同空间的特征之间可能存在的异构性，从而获得多模态数据之间互补性的融合特征。
Description
技术领域
本申请属于医疗影像技术领域，尤其涉及一种影像驱动的脑图谱构建方法、装置、设备及存储介质。
背景技术
随着医疗影像技术发展，不同模态的数据能够描述脑部内部某种疾病的信息，可以用来辅助疾病诊断和治疗。然而单一模态的数据所能够提供的信息往往有限，因此，通过融合不同模态的数据，获得融合特征成为目前较为热门的研究方向。
目前，常用的模态融合方法是通过加权求和的方式直接融合不同模态的数据。然而不同模态的数据之间可能具有异构性，这就导致无法准确提取不同模态数据融合特征，因此无法构建准确的脑图谱，造成疾病诊断的误判。
发明内容
本申请提供一种影像驱动的脑图谱构建方法、装置、设备及存储介质，解决由于不同模态的数据之间可能具有异构性，导致无法准确提取不同模态数据的融合特征，从而无法构建准确的脑图谱，造成疾病诊断的误判的问题。
第一方面，本申请提供一种影像驱动的脑图谱构建方法，包括：获取待预测的脑部的多模态数据，多模态数据是根据脑部在至少三种不同模态下采集到的影像数据得到的；将多模态数据输入预设的融合网络中处理，输出得到脑部的特征参数；融合网络对多模态数据的处理包括提取多模态数据的非欧式空间特征和欧式空间特征，并对非欧式空间特征和欧式空间特征进行超图融合得到特征参数，特征参数用于表征脑部的脑连接矩阵和/或疾病类别。
可选的，对非欧式空间特征和欧式空间特征进行超图融合得到特征参数，包括：对非欧式空间特征和欧式空间特征分别进行超图数据转换，得到第一超图矩阵和第二超图矩阵；对第一超图矩阵和第二超图矩阵分别进行顶点卷积计算，得到第一超边特征和第二超边特征；对第一超边特征和第二超边进行超边卷积计算，得到融合特征；根据融合特征得到特征参数。
可选的，对第一超边特征和第二超边进行超边卷积计算，得到融合特征，包括；将第一超边特征和第二超边特征进行合并，得到合并矩阵；对合并矩阵进行超边卷积计算，得到融合特征。
可选的，影像数据包括脑部的sMRI数据、DTI数据和fMRI数据；多模态数据包括根据DTI数据获取的节点连接矩阵，根据fMRI数据获取的节点特征矩阵和sMRI数据。
可选的，提取多模态数据的非欧式空间特征，包括：将节点连接矩阵和节点特征矩阵进行图卷积处理，得到非欧式空间特征。
可选的，提取多模态数据的欧式空间特征，包括：将sMRI数据进行卷积处理，得到语义表征向量；将语义表征向量进行编码处理，得到欧式空间特征。
可选的，该方法还包括：获取数据样本，数据样本包括样本脑部的sMRI数据、DTI数据、fMRI数据和样本脑部的疾病类别标签；根据样本脑部的fMRI数据和DTI数据，获取样本脑部的节点特征矩阵、节点连接矩阵和先验概率分布；从先验概率分布中抽样获得隐层空间的节点特征；利用样本脑部的隐层空间的节点特征、节点特征矩阵、节点连接矩阵以及sMRI数据对预设的对抗生成超图融合网络进行对抗训练；当对抗生成超图融合网络收敛时，对对抗生成超图融合网络进行迁移处理，获取融合网络。
第二方面，本申请提供一种影像驱动的脑图谱构建装置，包括：
获取单元，用于获取待预测的脑部的多模态数据，多模态数据是根据脑部在至少三种不同模态下采集到的影像数据得到的。
预测单元，用于将多模态数据输入预设的融合网络中处理，输出得到脑部的特征参数；融合网络对多模态数据的处理包括提取多模态数据的非欧式空间特征和欧式空间特征，并对非欧式空间特征和欧式空间特征进行超图融合得到特征参数，特征参数用于表征脑部的脑连接矩阵和/或疾病类别。
第三方面，本申请提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面或第一方面的任一可选方式所述的方法。
第四方面，一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面或第一方面的任一可选方式所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如第一方面或第一方面的任一可选方式所述的方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：
基于本申请提供的方法，首先从多模态数据中提取非欧式空间特征和欧式空间特征，然后将不同空间的特征映射为超图数据结构进行超图融合，避免了不同空间的特征之间可能存在的异构性，从而获得多模态数据之间互补性的融合特征。因而，该融合特征确定的特征参数能够更准确更丰富的描述脑部内部相关的信息，使得特征参数所表示的脑图谱也更加准确，从而降低疾病诊断的误判率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种影像驱动的脑图谱构建方法的一个实施例的流程图；
图2是本申请一实施例提供的一种融合网络的网络结构示意图；
图3是本申请一实施例提供的一种超图融合网络的网络结构示意图；
图4是本申请一实施例提供的一种双通道生成式对抗网络(BidirectionalGenerative Adversarial Networks，BiGAN)的网络结构示意图；
图5是本申请一实施例提供的一种Densnet分类网络的网络结构示意图；
图6是本申请一实施例提供的一种编码-解码(encoder-decoder)模型的网络结构示意图；
图7是本申请一实施例提供的一种初始超图融合网络的网络结构示意图；
图8是本申请实施例提供的一种影像驱动的脑图谱构建装置的结构示意图；
图9是本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
针对目前因不同模态的数据之间可能具有异构性，导致无法准确提取不同模态数据的融合特征，从而造成疾病诊断的误判问题。本申请提供一种基于多模态数据预测特征参数的方法，通过从多模态数据中提取非欧式空间特征和欧式空间特征，然后将不同空间的特征映射到超图数据结构进行超图融合，避免了不同空间的特征之间可能存在的异构性，因此能够获得多模态数据之间互补性的融合特征。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
参见图1，为本申请提供的一种影像驱动的脑图谱构建方法的一个实施例的流程图。该方法的执行主体可以是影像数据采集设备，例如正电子发射型计算机断层显像(Positron Emission Computed Tomography，PET)设备、电子计算机断层扫描(ComputedTomography，CT)设备、磁共振成像(Magnetic Resonance Imaging，MRI)设备等。还可以是影像数据采集设备的控制设备、计算机、机器人、移动终端等。如图1所示，该方法包括：
S101，获取脑部的多模态数据，多模态数据是根据脑部在至少三种不同模态下采集到的影像数据得到的。
其中，影像数据可以是PET影像数据、CT影像数据或者是MRI影像数据等。
在本申请实施例中，至少三种不同模态下采集影像数据可以分别是基于欧式空间和非欧式空间采集。
示例性的，以由MRI设备采集的MRI影像数据为例，至少三种不同模态的MRI影像数据可以包括基于欧式空间采集的结构磁共振成像(Structural Magnetic ResonanceImaging，sMRI)数据和功能性磁共振成像(FunctionalMagnetic Resonance Imaging，fMRI)，以及基于非欧式空间采集的弥散张量成像(Diffusion Tensor Imaging，DTI)数据。
其中，sMRI数据能够反应脑部的组织结构，从而定位脑部发生病变或者异常的局部组织。fMRI数据是MRI设备在被测者在执行某一任务或者没有执行任务时，采集的脑部的不同位置的功能脉冲随着时间变化的特征数据。DTI是MRI设备采集的水分子在脑部中的弥散程度数据，通过水分子在脑部中的弥散程度可以反应水分子所处机构特点。通过DTI能够有效观察和追踪纤维束(例如，心肌纤维束、脑蛋白纤维束等)，反应脑部的拓扑结构。
相应的，基于sMRI数据、DTI数据和fMRI数据获取的多模态数据包括根据所述DTI数据获取节点连接矩阵，根据所述fMRI数据获取的节点特征矩阵和所述sMRI数据。
其中，节点连接矩阵可以为一个m×m的矩阵A，用于表征脑部中的m(m＞1，m为整数)个功能节点之间的纤维束密度。节点连接矩阵一般也称为结构性连接特征或者脑区结构连接图谱。示例性的，针对脑部，在获得脑部的DTI数据后，可以将DTI数据输入PANDA软件进行预处理，得到脑白质的纤维束数据。然后基于自动解剖标签(Anatomical AutomaticLabeling，AAL)模板，构建多个脑区之间的纤维束网络，从而得到各个脑区之间纤维束密度。其中，一个脑区即为脑部的一个功能节点。
节点特征矩阵可以为一个m×d的矩阵X，用于表征每个功能节点的节点特征，其中，d(d＞1，d为整数)表示每个功能节点的节点特征的长度。节点特征包括功能节点的功能脉冲在d个连续的采样点采集到的特征数据，也可以称为功能节点的时间序列。节点特征矩阵一般也称为功能性连接特征或者脑区功能连接图谱。示例性的，针对脑部，在获得脑部的fMRI数据后，可以将fMRI数据输入到GRETNA软件中进行预处理，然后将预处理后的fMRI数据映射到AAL模板中，得到每个脑区的时间序列。
m和d可以根据实际需要进行设置。例如，针对脑部，AAL模板进行脑区划分后，可以选择大脑皮层的90个脑区对应的纤维束密度，作为节点连接矩阵A，该90个脑区对应的时间序列，作为节点特征矩阵X。
S102，将多模态数据输入预设的融合网络中处理，输出得到脑部的特征参数；融合网络对多模态数据的处理包括提取多模态数据的非欧式空间特征和欧式空间特征，并对非欧式空间特征和欧式空间特征进行超图融合得到特征参数，特征参数用于表征脑部的脑连接矩阵和/或疾病类别。
示例性的，特征参数可以包括第一特征参数和/或第二特征参数，其中，第一特征参数用于表征脑部的脑连接矩阵。第一特征参数可以是一个m×m的矩阵。基于脑连接矩阵所呈现的脑图谱可以用于分析患者的异常脑连接特征，从而辅助医生更准确的给出诊断建议和医疗措施。
第二特征参数用于表征脑部的病变类型。例如，针对脑部阿尔茨海默症的疾病类别可以被划分为阿尔茨海默症(AD)、晚期轻度认知障碍(LMCI)、早期轻度认知障碍(EMCI)以及正常老年人(Normal)这四个疾病类别。第二特征参数可以是一个1×4的向量，该向量中的每一个参数分别表示四个疾病类别中的一个疾病类别的概率。病变的概率也是脑图谱的一种呈现方式。
如图2所示，本申请提供的融合网络包括非欧式空间特征提取模块、欧式空间特征提取模块以及基于异构空间的超图融合模块。该融合网络可以称为多模态异构空间的超图融合网络(Multimodal heterogeneous-Based Hypergraph Fusion,MHBHF)。
其中，非欧式空间特征提取模块用于从多模态数据中提取非欧式空间特征Z，表示不同模态数据之间的关联特征。
在一个示例中，非欧式空间特征提取模块可以包括图卷积神经网络(GraphConvolutional Network,GCN模型)。通过将多模态数据中的节点连接矩阵A和节点特征矩阵X输入GCN模型中，对节点连接矩阵A和节点特征矩阵X进行编码，获取隐层空间的节点特征表示(即Z′)。其中，基于GCN模型对节点连接矩阵A和节点特征矩阵X的编码编码过程，即为利用节点连接矩阵A对节点特征矩阵X进行加权聚合，然后进行降维处理，得到大小为m×q隐层空间的节点特征表示Z′，其中q为隐层空间的节点特征长度，d＞q≥1。
可以理解的是，非欧式空间特征Z′是通过GCN模型将结构性连接特征和功能性连接特征进行相互映射，提取到的潜在连接特征，表示节点连接矩阵A和节点特征矩阵X之间的关联特征。
欧式空间特征提取模块用于从多模态数据中提取欧式空间特征R。在一个示例中，欧式空间特征提取模块可以包括已训练的卷积神经网络(Convolutional NeuralNetwork,CNN模型)和编码器(encoder)。通过将sMRI数据输入CNN模型处理，得到特征向量v；然后将特征向v量输入到编码器中处理，得到欧式空间特征R。其中，欧式空间特征R是与非欧式空间特征Z′对应的基于欧式空间提取的隐层空间的特征表示，R的大小为m×q。编码器可以是编码器-解码器(encoder-decoder)模型中编码器部分。
可以看出，基于非欧式空间特征提取模块能够从DTI数据和fMRI数据提取关联特征，基于欧式空间特征提取模块能够从sMRI数据提取各个功能节点的隐层空间的节点特征，增大了特征提取的丰富度，能够有效提升后续特征参数预测的准确率。
异构空间的超图融合模块用于融合非欧式空间特征Z′和欧式空间特征R，得到特征参数。在一个示例中，基于异构空间的超图融合模块可以包括已训练的超图融合网络。超图融合网络的网络结构可以如图3所示，将非欧式空间特征提取模块输出的Z′和欧式空间特征提取模块输出的R输入至超图融合网络的结构转换层后，由结构转换层对Z′和R分别进行超图结构转换，将Z′转换为大小为m×m的第一超图矩阵Gz，将R转换为大小为m×m的第二超图矩阵GR。示例性的，可以基于k近邻分类(k-nearest neighbor classification，KNN)算法实现超图结构转换。
然后将得到的Gz和GR分别输入顶点卷积层进行顶点卷积计算，按照m个功能节点的超图结构聚合得到超边特征。即对Gz进行顶点卷积计算得到第一超边特征Hz，对GR进行顶点卷积计算得到第二超边特征HR。示例性的，顶点卷积计算可以按照如下公式实现：
H＝De -1/2GTDe -1/2YW
其中，当H表示Hz时，G表示Gz，Y表示Z′，且De表示Gz的超边自由度；当H表示HR时，G表示GR，Y表示R，且De表示GR的超边自由度；W为训练得到顶点卷积参数，W的大小为d×d，De的大小为m×m。
得到Hz和HR后，即可将Hz和HR输入超边卷积层，按照如下公式对得到的Hz和HR进行超边卷积计算，得到Z′和R的融合特征F(大小为m×d)。
F＝Dv -1/2GTDv -1/2H′
其中，H′为Hz和HR合并后得到的大小为2m×d的合并矩阵，Dv表示GR和Gz的节点自由度叠加得到的大小为m×2m的矩阵。
得到融合特征F后，将F输入至超图融合网络的输出层，经过输出层的处理得到特征参数。
示例性的，该输出层可以包括分类器，输出层将F输入到分类器后，由分类器对F进行特征融合，得到第一特征参数。例如，针对脑部阿尔茨海默症，该分类器可以为一个4分类器。将F输入到分类器后，分类器对F进行特征融合，输出一个1×4向量，用来描述该融合网络预测到的脑部阿尔茨海默症中每一种疾病类别的概率。
或者，该输出层可以对F进行矩阵变换，得到一个大小为m×m的矩阵σ(FFT)，即第二特征参数(脑连接矩阵)。其中，σ()为映射函数，用于将矩阵FFT中的每个数值映射到0到1之间。
或者，该输出层在接收到融合特征F后，可以将F输入到分类器中进行特征融合输出第一特征参数，并且对F进行矩阵变换，输出第二特征参数。
基于该超图融合网络，通过将不同空间的特征映射到超图数据中，利用超图卷积策略将不同空间的特征进行融合，避免了不同空间的特征之间可能存在的异构性，从而获得不同模态的数据之间互补性的融合特征。
可见，基于本身提供的融合网络，能够实现对不同模态数据之间的关联特征的提取以及互补性特征的提取，并基于提取的融合特征来获得特征参数(包括第一特征参数和/第二特征参数)。基于第一特征参数得到的脑连接矩阵具备更丰富的连接特征信息，例如，除了单一的结构性连接特征与功能性连接特征外，还具备结构性连接特征与功能性连接特征之间的互补性连接信息和关联性连接信息。从而使得脑连接矩阵可以提供更多有效的疾病信息，以提高基于该脑连接矩阵进行疾病诊断的正确率。相应的，由于第二特征参数的更加准确，因此能够更准确的反应脑部的病变类型。
针对本申请提供的融合网络，本申请提供还一种对抗协同训练方式，来实现对各个模块涉及到的网络参数进行训练。下面以由脑部sMRI数据、DTI数据、fMRI数据以及对应的脑部阿尔茨海默症的疾病类别标签构成数据集为例，对融合网络的训练过程进行示例性的说明。
其中，数据集包括多组数据样本，每一组数据样本包括从一位受试者的脑部采集的sMRI数据、DTI数据和fMRI数据，以及该受试者的疾病类别标签。例如，可以选择多个位阿尔茨海默症(AD)患者、多个位晚期轻度认知障碍(LMCI)患者、多个位早期轻度认知障碍(EMCI)患者以及多个位正常老年人(Normal)作为受试者。分别采集每位受试者的脑部影像数据(包括sMRI数据、DTI数据和fMRI数据)，并对每位受试者的影像数据标记疾病类别标签。其中，疾病类别标签是由专业医生通过对受试者进行临床观察和诊断后得到的诊断信息。可以从数据集中选择一部分(例如，选择90％)作为训练集。利用训练集中的多组数据样本完成融合网络的训练。剩余的部分作为测试集，用于测试训练好的融合网络进行性能测试和优化。
首先搭建对抗生成超图融合网络。对抗生成超图融合网络包括非欧式空间特征提取网络、sMRI特征提取网络、欧式空间特征提取网络、初始超图融合网络。
其中，非欧式空间特征提取网络用于训练得到融合网络中GCN模型。sMRI特征提取网络用于训练得到融合网络中CNN模型。欧式空间特征提取网络用于训练得到融合网络中编码器。初始超图融合网络用于训练得到融合网络中超图融合网络。
示例性的，非欧式空间特征提取网络可以为如图4所示的双通道生成式对抗网络(Bidirectional Generative Adversarial Networks，BiGAN)进行网络参数训练。如图4所示，BiGAN网络包括GCN模型、生成器G1、生成器G2和判别器Dxz。其中，GCN模型为BiGAN网络中的编码器。
sMRI特征提取网络可以是任一CNN模型。下面为了充分利用欧式空间的特征信息，降低模型的运算复杂度，提高训练效率，下面以Densnet分类网络(一种网络结构简单的CNN模型)为例进行示例性的说明。如图5所示，该Densenet分类网络包括卷积池化层、Densnet模块、全连接层FC1、全连接层FC2以及Softmax函数。
欧式空间特征提取网络可以如图6所示，包括编码-解码(encoder-decoder)模型。
初始超图融合网络可以如图7所示，包括结构转换层、顶点卷积层、判别器DH、超边卷积层、分类器C。
下面以对抗生成超图融合网络基于训练集中的一组数据样本进行训练的流程为例，对本申请提供的对抗协同训练方式进行示例性的说明。该流程包括：
S11，数据预处理。
从训练集中获取一组数据样本1，对该数据样本1中DTI数据和fMRI数据进行预处理，得到图数据，即节点连接矩阵A和节点特征矩阵X。
根据节点连接矩阵A和节点特征矩阵X确定图数据的先验概率分布Pz。从先验概率分布Pz中抽样获得隐层空间的节点特征Z。
例如，可以基于行列式点过程(Determinantal Point process，DPP)从节点连接矩阵A中抽取子阵(大小为s×s，s＜m)。然后从节点特征矩阵X中提取于s个功能节点分别对应的特征向量构成特征矩阵，并利用主成分分析算法(Principal Component Analysis，PCA)对特征矩阵进行降维处理。最后通过核密度估计算法对降维后的特征矩阵进行计算，得到图数据的先验概率分布Pz。
S12，将A、X、Z输入到非欧式空间特征提取网络中进行训练。
其中，将A和X输入到编码器GCN模型中，提取隐层空间的节点特征表示(即非欧式空间特征Z′)。其中，A的大小为m×m，X的大小为m×d，Z′的大小为m×q，m为数据样本所对应的脑部的功能节点的个数，d为功能节点的节点特征长度，q为隐层空间的节点特征长度。
将Z输入到生成器G1中进行数据重构，得到重构的节点特征矩阵X′。
可以理解的是，Z′为基于GCN模型估算得到的非欧式空间特征，Z是基于先验概率分布Pz估算得到的非欧式空间特征。X是实际的获取的节点特征矩阵，X′是基于生成器G1基于Z重构得到的。也就是说，可以得到两组来自不同映射空间的数据，第一组为来自编码空间的(X，Z′)，第二组为来自重构空间的(Z，X′)。
S13，将两组数据输入判别器Dxz进行判别。
S14，将Z′输入到生成器G2中进行数据重构，得到重构的节点特征矩阵X″和节点连接矩阵A″。
基于上述S11-16，首先保持G1、G2和GCN模型的网络参数不变，此时，第一组数据(X，Z′)和第二组数据(Z，X′)也不变。通过调整判别器Dxz的网络参数，使得第一组数据(X，Z′)和第二组数据(Z，X′)输入判别器Dxz后，输出结果之间的差异达到最大。
当第一组数据(X，Z′)和第二组数据(Z，X′)输入判别器Dxz，输出结果之间的差异达到最大时，保持判别器Dxz的网络参数不变，调整G1、G2和GCN模型的网络参数。第一组数据(X，Z′)和第二组数据(Z，X′)随着随着G1、G2和GCN模型的网络参数的变化而变化。
继续将第一组数据(X，Z′)和第二组数据(Z，X′)输入判别器Dxz，当判别器Dxz的输出Dxz(X，Z′)、Dxz(X′，Z)能够使得判别器Dxz的损失值
满足预设条件(例如，达到最小或者保持不变)，且判别器Dxz的输出Dxz(X，Z′)、Dxz(X′，Z)和GCN模型的输出GCN(X)能够使得G1的损失值LεG(Px，Pz)和G2的损失值LRe(X)之和小于预设的生成器损失阈值。即可确定BiGAN模型收敛，BiGAN模型基于样本数据1训练完成一次对抗训练。
在本申请实施例中，判别器Dxz的损失值
可以通过以下公式计算所得：满足预设条件
其中，
表示GCN(X)和Pz之间的交叉分布的插值。
表示G(Z)和Px之间的交叉分布的插值，α和β分别为加权系数。
G1的损失值LεG(Px，Pz)可以基于如下公式计算所得：
G2的损失值LRe(X)可以基于如下公式计算所得：
其中，X″＝G(GCN(X))，A″＝sigmoid(GCN(X)·GCN(X)T)，s(X,X″)＝XlogX″+(1-X)log(1-X″)。
值得说明的是，在对BiGAN模型进行对抗训练时，通过图数据估算脑连接特征和脑节点特征之间的分布曲线，得到先验概率分布Pz。然后通过先验概率分布Pz进行模型训练，能够加快模型训练的效率，并有效提高BiGAN模型的泛化。
BiGAN模型基于样本数据1训练后，即可将GCN模型最后输出的非欧式空间特征Z′发送给初始超图融合网络，以供初始超图融合网络进行对抗训练。
在执行上述S12-S14之前，在执行上述S12-S14之后，或者在执行上述S12-S14同时，可以执行如下对sMRI特征提取网络的训练过程。包括如下步骤S15-18：
S15，将sMRI数据输入卷积池化层进行处理。
示例性的，假设，sMRI数据为三维数据，输入尺寸为91×109×91，卷积池化层包括一个卷积层和一个池化层。其中，卷积层的卷积核大小为7×7×7，步长(stride)＝2，通道数(filters)为56。将sMRI数据输入卷积层处理，提取sMRI数据的56个特征图，即卷积层的输出尺寸为46×55×46×56。然后利用池化层对卷积层输出的特征图进行降维处理，得到尺寸为23×28×23×56的初级特征信息。其中，池化层的步长为2。
S16，将初级特征信息输入到Densnet模块中进行高级特征信息提取。
示例性的，假设，Densnet模块包括4个block层和3个translation层。每个block先采用1×1×1卷积核对输入特征进行降维，在利用3×3×3卷积核提取特征，其中3×3×3卷积核采用密集连接方式融合前面多个3×3×3卷积层输出的特征。每个block后面跟设置有一个translation层，用于将上一block层中所有卷积层的输出进行叠加和降维。示例性的，BlockA包括4层，输入初级特征信息后，BlockA的输出尺寸为23×28×23×168(56+28*4)。TransitionA的输入尺寸为23×28×23×168，输出尺寸为为11×14×11×84。BlockB，包括4层，输入尺寸11×14×11×84，输出尺寸12×14×12×252(84+6*28)。Transition2的输入尺寸为11×14×11×252，输出尺寸为5×7×5×126。BlockC包括8层，BlockC的输入尺寸为5×7×5×126，输出尺寸为5×7×5×350(126+8*28)。TransitionC的输入尺寸为5×7×5×350，输出尺寸：2×3×2×175。BlockD包括6层，BlockD的输入尺寸为2×3×2×175，输出尺寸为2×3×2×343(175+6*28)。BlockD的输出的即为高级特征信息。
S17，根据高级特征信息得到语义表征向量v。将高级特征信息输入全连接层FC1，由FC1基于2×3×2池化核，对高级特征信息进行自适应全局池化操作，得到1×343的特征向量。然后将特征向量输入全连接层FC2，进行各个维度的加权，得到1×128的语义表征向量。
S18，将语义表征向量v进行特征加权融合后，输入Softmax函数进行运算，输出一个1×4的向量，该向量中每个数值分别表示预测到的四个疾病类别的概率。
如果Softmax函数输出的向量与数据样本1所对应的疾病类别标签不同，则调整Densnet分类网络的网络参数，并返回S15重新开始训练。直至Densnet分类网络的Softmax函数输出的向量与数据样本1所对应的疾病类别标签相同，即可确定Densnet分类网络基于数据样本1训练完成。
Densnet分类网络基于数据样本1训练完成后，FC2即可将最后一次输出的语义表征向量发送给欧式空间特征提取网络，以供编码-解码模型进行训练。编码-解码模型的训练过程可以包括如下步骤S19：
S19，将v输入到编码器中进行编码处理，得到欧式空间特征R。然后将R输入解码器中重建，得到重建的语义表征向量v′。
多次调节编码-解码模型的网络参数，(v′随着网络参数的改变而改变)。直至v与v′能够使得编码器和解码器的重建损失LDe(X)满足预设条件(例如，小于预设阈值)，也就是v与v′之间的差异区域平稳。
示例性的，编码器和解码器的重建损失LDe(X)可以基于如下公式计算：
其中，v′＝Decoder(Encoder(v))，s(v,v′)＝vlogv′+(1-v)log(1-v′)。
当编码器和解码器的重建损失LDe(X)满足预设条件时。编码-解码模型基于样本数据1完成训练后，编码器即可将数据最后输出的R发送给初始超图融合网络，以供初始超图融合网络进行对抗训练。初始超图融合网络进行对抗训练过程包括S20-24：
S20，图结构转换层接收来自GCN模型的非欧式空间特征Z′和来自编码器的欧式空间特征R。图结构转换层通过KNN算法将Z′转换为大小为m×m的第一超图矩阵Gz，将R转换为大小为m×m的第二超图矩阵GR。
S21，将Gz和GR分别输入顶点卷积层，按照如下公式分别计算Gz的第一超边特征Hz，和GR的第二超边特征HR。
H＝De -1/2GTDe -1/2YW
S22，将Hz和HR输入判别器DH，由DH学习不同超边的数据分布，对Hz和HR进行对抗训练，识别来自GCN模型的非欧式空间特征Z′和来自编码器的欧式空间特征R是否处于同一特征分布。
基于上述S21-22，首先保持W不变，此时，Hz和HR也不变。通过调整判别器DH的网络参数，使得Hz和HR输入判别器DH后，输出结果之间的差异达到最大。
当Hz和HR输入判别器DH后，输出结果之间的差异达到最大时，保持判别器DH的网络参数不变，调整W并执行一下步骤S35-36。Hz和HR随着W的变化而变化。
其中，DH为对抗判别器，通过对Hz和HR进行对抗训练，解决了非欧式空间特征Z′和欧式空间特征R的数据空间分布不一致的问题，从而可以提高融合特征F的准确性。
S23，将Hz和HR超边卷积层，对得到的Hz和HR进行超边卷积计算，得到Z′和R的融合特征F(大小为m×d)。
F＝Dv -1/2GTDv -1/2H′
S24，将F输入分类器C中，由分类器C对F进行特征融合，输出四分类向量。
继续将Hz和HR输入判别器DH，当判别器Dxz的输出DH(x)、DH(z)能够使得判别器DH的损失值
满足预设条件(例如，达到最小或者保持不变)，且判别器DH的输出DH(Z)能够使得顶点卷积层的损失值
维持不变，以及F能够使得分类器的损失值LC(F,Q)达到最小或者保持不变，则确定初级超图融合网络基于样本数据1训练完成一次对抗训练。
示例性的，分类器C的损失值可以通过以下公式计算：
其中，判别器DH的损失值可以通过以下公式计算：
顶点卷积层的损失值
值可以通过以下公式计算
利用样本数据1完成训练后，即可抽选训练集中的其他样本数据继续进行训练，直至对抗生成超图融合网络收敛，完成训练。
对抗生成超图融合网络训练完成后，即可对对抗生成超图融合网络中的部分网络结构进行迁移，得到融合网络。例如，将非欧式空间特征提取网络中的生成器G1、生成器G2和判别器Dxz迁移，将sMRI特征提取网络中的Softmax函数迁移，将编码-解码模型中解码器迁移，将初始超图融合网络中的判别器DH迁移。迁移后，对抗生成超图融合网络中剩余的网络结构即构成了本申请提供的融合网络。
值得说明的是，上述训练过程的执行主体可以与运行融合网络的终端设备是同一个设备，可以是其他计算机设备，对此，本申请不做限制。
基于该融合网络，通过将不同空间的特征映射到超图数据结构中，利用超图卷积策略将不同空间的特征进行融合，避免了不同空间的特征之间可能存在的异构性，从而可以获得多模态数据之间互补性的融合特征。
基于同一发明构思，作为对上述方法的实现，本申请实施例提供了一种影像驱动的脑图谱构建装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
如图8所示，本申请提供一种影像驱动的脑图谱构建装置，包括：
获取单元801，用于获取待预测的脑部的多模态数据，所述多模态数据是根据所述脑部在至少三种不同模态下采集到的影像数据得到的。
预测单元802，用于将所述多模态数据输入预设的融合网络中处理，输出得到所述脑部的特征参数；所述融合网络对所述多模态数据的处理包括提取所述多模态数据的非欧式空间特征和欧式空间特征，并对所述非欧式空间特征和欧式空间特征进行超图融合得到所述特征参数，所述特征参数用于表征所述脑部的脑连接矩阵和/或疾病类别。
可选的，所述预测单元802对所述非欧式空间特征和欧式空间特征进行超图融合得到所述特征参数，包括：对所述非欧式空间特征和欧式空间特征分别进行超图数据转换，得到第一超图矩阵和第二超图矩阵；对所述第一超图矩阵和所述第二超图矩阵分别进行顶点卷积计算，得到第一超边特征和第二超边特征；对所述第一超边特征和所述第二超边进行超边卷积计算，得到融合特征；根据所述融合特征得到所述特征参数。
可选的，所述预测单元802对所述第一超边特征和所述第二超边进行超边卷积计算，得到融合特征，包括；将所述第一超边特征和所述第二超边特征进行合并，得到合并矩阵；对所述合并矩阵进行超边卷积计算，得到所述融合特征。
可选的，所述影像数据包括所述脑部的sMRI数据、DTI数据和fMRI数据；所述多模态数据包括根据所述DTI数据获取的节点连接矩阵，根据所述fMRI数据获取的节点特征矩阵和所述sMRI数据。
可选的，所述预测单元802提取所述多模态数据的非欧式空间特征，包括：将所述节点连接矩阵和所述节点特征矩阵进行图卷积处理，得到所述非欧式空间特征。
可选的，所示预测单元802提取所述多模态数据的欧式空间特征，包括：将所述sMRI数据进行卷积处理，得到语义表征向量；将所述语义表征向量进行编码处理，得到所述欧式空间特征。
可选的，所述特征参数预测装置还包括：
训练装置803，用于获取数据样本，所述数据样本包括样本脑部的sMRI数据、DTI数据、fMRI数据和所述样本脑部的疾病类别标签；根据所述样本脑部的fMRI数据和DTI数据，获取所述样本脑部的节点特征矩阵、节点连接矩阵和先验概率分布；从所述先验概率分布中抽样获得隐层空间的节点特征；利用所述样本脑部的隐层空间的节点特征、节点特征矩阵、节点连接矩阵以及sMRI数据对预设的对抗生成超图融合网络进行对抗训练；当所述对抗生成超图融合网络收敛时，对所述对抗生成超图融合网络进行迁移处理，获取所述融合网络。
本实施例提供的特征参数预测装置可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于同一发明构思，本申请实施例还提供了一种终端设备。图9为本申请实施例提供的终端设备的结构示意图，如图9所示，本实施例提供的终端设备包括：存储器901和处理器902，存储器901用于存储计算机程序；处理器902用于在调用计算机程序时执行上述方法实施例所述的方法。
本实施例提供的终端设备可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所述的方法。
本申请实施例还提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述方法实施例所述的方法。
本申请实施例还提供一种芯片系统，包括处理器，所述处理器与存储器耦合，所述处理器执行存储器中存储的计算机程序，以实现上述方法实施例所述的方法。其中，所述芯片系统可以为单个芯片，或者多个芯片组成的芯片模组。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (9)
1.一种影像驱动的脑图谱构建方法，其特征在于，包括：
获取待预测脑部的多模态数据，所述多模态数据包括sMRI数据、根据DTI数据获取的节点连接矩阵，以及根据fMRI数据获取的节点特征矩阵；
将所述多模态数据输入预设的融合网络中处理，输出得到所述脑部的特征参数；所述融合网络对所述多模态数据的处理包括提取所述多模态数据的非欧式空间特征和欧式空间特征，并对所述非欧式空间特征和欧式空间特征进行超图融合得到所述特征参数，所述特征参数用于表征所述脑部的脑连接矩阵和/或疾病类别；所述非欧式空间特征是通过对节点连接矩阵和所述节点特征矩阵进行相互映射得到的，用于表示所述节点连接矩阵和所述节点特征矩阵之间的关联特征；所述欧式空间特征为基于欧式空间从所述sMRI数据中提取的隐层空间的节点特征。
2.如权利要求1所述的方法，其特征在于，所述对所述非欧式空间特征和欧式空间特征进行超图融合得到所述特征参数，包括：
对所述非欧式空间特征和欧式空间特征分别进行超图数据转换，得到第一超图矩阵和第二超图矩阵；
对所述第一超图矩阵和所述第二超图矩阵分别进行顶点卷积计算，得到第一超边特征和第二超边特征；
对所述第一超边特征和所述第二超边特征进行超边卷积计算，得到融合特征；
根据所述融合特征得到所述特征参数。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一超边特征和所述第二超边特征进行超边卷积计算，得到融合特征，包括；
将所述第一超边特征和所述第二超边特征进行合并，得到合并矩阵；
对所述合并矩阵进行超边卷积计算，得到所述融合特征。
4.如权利要求3所述的方法，其特征在于，所述提取所述多模态数据的非欧式空间特征，包括：
将所述节点连接矩阵和所述节点特征矩阵进行图卷积处理，得到所述非欧式空间特征。
5.如权利要求3所述的方法，其特征在于，提取所述多模态数据的欧式空间特征，包括：
将所述sMRI数据进行卷积处理，得到语义表征向量；
将所述语义表征向量进行编码处理，得到所述欧式空间特征。
6.根据权利要求4-5任一项所述的方法，其特征在于，所述方法还包括：
获取数据样本，所述数据样本包括样本脑部的sMRI数据、DTI数据、fMRI数据和所述样本脑部的疾病类别标签；
根据所述样本脑部的fMRI数据和DTI数据，获取所述样本脑部的节点特征矩阵、节点连接矩阵和先验概率分布；
从所述先验概率分布中抽样获得隐层空间的节点特征；
利用所述样本脑部的隐层空间的节点特征、节点特征矩阵、节点连接矩阵以及sMRI数据对预设的对抗生成超图融合网络进行对抗训练；
当所述对抗生成超图融合网络收敛时，对所述对抗生成超图融合网络进行迁移处理，获取所述融合网络。
7.一种影像驱动的脑图谱构建装置，其特征在于，包括：
获取单元，用于获取待预测的脑部的多模态数据，所述多模态数据包括sMRI数据、根据DTI数据获取的节点连接矩阵，以及根据fMRI数据获取的节点特征矩阵；
预测单元，用于将所述多模态数据输入预设的融合网络中处理，输出得到所述脑部的特征参数；所述融合网络对所述多模态数据的处理包括提取所述多模态数据的非欧式空间特征和欧式空间特征，并对所述非欧式空间特征和欧式空间特征进行超图融合得到所述特征参数，所述特征参数用于表征所述脑部的脑连接矩阵和/或疾病类别；所述非欧式空间特征是通过对节点连接矩阵和所述节点特征矩阵进行相互映射得到的，用于表示所述节点连接矩阵和所述节点特征矩阵之间的关联特征；所述欧式空间特征为基于欧式空间从所述sMRI数据中提取的隐层空间的节点特征。
8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110026756.3A CN112735570B (zh) | 2021-01-09 | 2021-01-09 | 影像驱动的脑图谱构建方法、装置、设备及存储介质 |
| PCT/CN2021/075096 WO2022147871A1 (zh) | 2021-01-09 | 2021-02-03 | 影像驱动的脑图谱构建方法、装置、设备及存储介质 |
| US17/764,446 US20230342918A1 (en) | 2021-01-09 | 2021-02-03 | Image-driven brain atlas construction method, apparatus, device and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110026756.3A CN112735570B (zh) | 2021-01-09 | 2021-01-09 | 影像驱动的脑图谱构建方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112735570A CN112735570A (zh) | 2021-04-30 |
| CN112735570B true CN112735570B (zh) | 2022-02-22 |
Family
ID=75589983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110026756.3A Active CN112735570B (zh) | 2021-01-09 | 2021-01-09 | 影像驱动的脑图谱构建方法、装置、设备及存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230342918A1 (zh) |
| CN (1) | CN112735570B (zh) |
| WO (1) | WO2022147871A1 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408703B (zh) * | 2021-06-29 | 2022-01-28 | 中国科学院自动化研究所 | 基于神经与符号的多模态大数据机器自动学习系统 |
| CN113723485B (zh) * | 2021-08-23 | 2023-06-06 | 天津大学 | 一种轻微肝性脑病脑影像超图处理方法 |
| CN113724880A (zh) * | 2021-11-03 | 2021-11-30 | 深圳先进技术研究院 | 一种异常脑连接预测系统、方法、装置及可读存储介质 |
| CN114145744B (zh) * | 2021-11-22 | 2024-03-29 | 华南理工大学 | 基于跨设备前额脑电情绪识别的方法和系统 |
| WO2023108418A1 (zh) * | 2021-12-14 | 2023-06-22 | 深圳先进技术研究院 | 脑图谱构建及神经环路检测的方法和相关产品 |
| CN115359045B (zh) * | 2022-10-19 | 2023-03-17 | 之江实验室 | 基于多模态磁共振成像的图卷积神经网络疾病预测系统 |
| WO2024113140A1 (zh) * | 2022-11-29 | 2024-06-06 | 深圳先进技术研究院 | 多模态脑网络计算方法、装置、设备及存储介质 |
| CN116130089B (zh) * | 2023-02-02 | 2024-01-02 | 湖南工商大学 | 基于超图神经网络的多模态抑郁症检测系统、装置及介质 |
| CN117481672B (zh) * | 2023-10-25 | 2024-06-25 | 深圳医和家智慧医疗科技有限公司 | 一种乳腺组织硬化初期快速筛查智能方法 |
| CN117710227B (zh) * | 2023-12-14 | 2024-06-11 | 北京长木谷医疗科技股份有限公司 | 一种基于多模态医学图像的模态融合方法及装置 |
| CN118038231B (zh) * | 2024-04-12 | 2024-06-18 | 山东工商学院 | 小样本场景下融合多维信息的脑网络构建及特征提取方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203470A (zh) * | 2016-06-22 | 2016-12-07 | 南京航空航天大学 | 一种基于超图的多模态特征选择及分类方法 |
| CN107731283A (zh) * | 2017-10-23 | 2018-02-23 | 清华大学 | 一种基于多子空间建模的图像预选系统 |
| CN109492691A (zh) * | 2018-11-07 | 2019-03-19 | 南京信息工程大学 | 一种超图卷积网络模型及其半监督分类方法 |
| CN111881350A (zh) * | 2020-07-23 | 2020-11-03 | 清华大学 | 一种基于混合图结构化建模的推荐方法与系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860951B (zh) * | 2020-06-12 | 2023-09-26 | 北京工业大学 | 一种基于动态超图卷积网络的轨道交通客流预测方法 |
-
2021
- 2021-01-09 CN CN202110026756.3A patent/CN112735570B/zh active Active
- 2021-02-03 WO PCT/CN2021/075096 patent/WO2022147871A1/zh active Application Filing
- 2021-02-03 US US17/764,446 patent/US20230342918A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203470A (zh) * | 2016-06-22 | 2016-12-07 | 南京航空航天大学 | 一种基于超图的多模态特征选择及分类方法 |
| CN107731283A (zh) * | 2017-10-23 | 2018-02-23 | 清华大学 | 一种基于多子空间建模的图像预选系统 |
| CN109492691A (zh) * | 2018-11-07 | 2019-03-19 | 南京信息工程大学 | 一种超图卷积网络模型及其半监督分类方法 |
| CN111881350A (zh) * | 2020-07-23 | 2020-11-03 | 清华大学 | 一种基于混合图结构化建模的推荐方法与系统 |
Non-Patent Citations (1)
| Title |
|---|
| Multi-view Brain HyperConnectome AutoEncoder for Brain State Classification;Alin Banka 等;《Predictive Intelligence in Medicine.PRIME 2020.Lecture Notes in Computer Science》;20201001;第12329卷;第101-110页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022147871A1 (zh) | 2022-07-14 |
| US20230342918A1 (en) | 2023-10-26 |
| CN112735570A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112735570B (zh) | 影像驱动的脑图谱构建方法、装置、设备及存储介质 | |
| WO2023077603A1 (zh) | 一种异常脑连接预测系统、方法、装置及可读存储介质 | |
| CN110580695B (zh) | 一种多模态三维医学影像融合方法、系统及电子设备 | |
| CN113040715B (zh) | 一种基于卷积神经网络的人脑功能网络分类方法 | |
| CN109978850B (zh) | 一种多模态医学影像半监督深度学习分割系统 | |
| Zuo et al. | Multimodal representations learning and adversarial hypergraph fusion for early Alzheimer’s disease prediction | |
| CN113496495B (zh) | 可缺失输入的医学图像分割模型建立方法及分割方法 | |
| WO2023108712A1 (zh) | 结构-功能脑网络双向映射模型构建方法及脑网络双向映射模型 | |
| CN112951386B (zh) | 影像驱动的脑图谱构建方法、装置、设备及存储介质 | |
| CN114119515B (zh) | 一种基于注意力机制和mri多模态融合的脑肿瘤检测方法 | |
| CN117218453B (zh) | 一种不完备多模态医学影像学习方法 | |
| CN111260705A (zh) | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 | |
| Tajbakhsh et al. | Guest editorial annotation-efficient deep learning: the holy grail of medical imaging | |
| Chen et al. | Generative adversarial U-Net for domain-free medical image augmentation | |
| Han et al. | Multi-scale 3D convolution feature-based broad learning system for Alzheimer’s disease diagnosis via MRI images | |
| CN115272295A (zh) | 基于时域-空域联合状态的动态脑功能网络分析方法及系统 | |
| CN115330669A (zh) | 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质 | |
| WO2021184195A1 (zh) | 医学图像重建方法、医学图像重建网络训练方法和装置 | |
| Xu et al. | A predictive visual analytics system for studying neurodegenerative disease based on DTI fiber tracts | |
| Li et al. | A review of deep learning-based information fusion techniques for multimodal medical image classification | |
| Duan et al. | Deep learning based multimodal biomedical data fusion: An overview and comparative review | |
| Emmamuel et al. | 3D-CNN method over shifted patch tokenization for MRI-based diagnosis of Alzheimer’s disease using segmented hippocampus | |
| WO2024113140A1 (zh) | 多模态脑网络计算方法、装置、设备及存储介质 | |
| CN115813367A (zh) | 结构功能关联的多模态脑网络计算方法、装置、设备及介质 | |
| CN113283465B (zh) | 一种弥散张量成像数据分析方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |