CN113724880A - 一种异常脑连接预测系统、方法、装置及可读存储介质 - Google Patents

一种异常脑连接预测系统、方法、装置及可读存储介质 Download PDF

Info

Publication number
CN113724880A
CN113724880A CN202111295888.2A CN202111295888A CN113724880A CN 113724880 A CN113724880 A CN 113724880A CN 202111295888 A CN202111295888 A CN 202111295888A CN 113724880 A CN113724880 A CN 113724880A
Authority
CN
China
Prior art keywords
brain
modal
network
connection
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111295888.2A
Other languages
English (en)
Inventor
王书强
左乾坤
申妍燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Shenzhen Technology University
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Shenzhen Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS, Shenzhen Technology University filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202111295888.2A priority Critical patent/CN113724880A/zh
Publication of CN113724880A publication Critical patent/CN113724880A/zh
Priority to PCT/CN2021/135844 priority patent/WO2023077603A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Neurology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Fuzzy Systems (AREA)
  • Neurosurgery (AREA)
  • Psychology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种异常脑连接预测系统、方法、装置及可读存储介质，通过深度学习方法自动提取不同模态内的高阶相关特征和不同模态间的高阶互补特征，并通过对抗训练的方法实现多模态脑网络异常连接的分析和不同认知疾病的预测。本发明解决了现有方法无法精准评估脑结构形态与功能连接变化规律的问题。本发明利用先验知识引导模型学习可解释性的表征，并通过成对协同判别器约束不同模态表征分布的一致性，再通过逆向生成器和解码器对特征编码进行重构脑部图数据，最后通过超图感知融合模块提取模态间和模态内的高阶相关特征，并设置对抗损失、重构损失和分类损失函数指导模型学习，以此达到挖掘阿尔兹海默症异常脑连接的目的。

Description

一种异常脑连接预测系统、方法、装置及可读存储介质
技术领域
本发明属于脑科学及图像建模技术领域，涉及对抗学习和超图感知融合技术，具体是一种异常脑连接预测系统、方法、装置及可读存储介质。
背景技术
现有的阿尔兹海默症辅助诊疗模型仅实现了样本分类、预测任务，无法精准地评估脑结构、形态和功能连接变化规律，难以为异常脑连接特征表达提供有效的信息，也无法为疾病诊疗提供关键的生物标志物。脑科学的临床研究表明，早期阿尔兹海默症患者会表现出脑部结构或功能连接的变化特征。
目前使用基于图的方法进行AD(Alzheimer's disease)诊断的研究可分为两类：基于图卷积(GCN,Graph convolutional network)的方法和基于超图(Hypergraph)的方法。第一种方法通过建立两个节点之间的连接来构建图数据。例如，Parisot等在每个受试者的MRI上应用卷积神经网络(CNN)提取节点特征，并利用非图像数据(如性别、年龄)建立节点连接，然后利用构建的图通过半监督学习细化节点特征用于AD诊断。为了利用多模态图像的互补信息，Yu等人提出了一种结合fMRI(functional magnetic resonanceimaging)、DTI(Diffusion Tensor Imaging)和非图像数据的多尺度增强GCN，用于AD研究。第二种方法利用多个节点的关系构建超图。Jie等人利用fMRI生成超连接特征，显著提高了MCI的诊断性能，并进一步发现了有价值的生物标志物。通过应用稀疏约束和超边缘加权，改进了fMRI超图的构造，为认知研究提供了潜在生物标志物的额外信息。为了克服模态不完全性的问题，Liu等人提出了一种基于超图的方法来连接来自MRI、PET(PositronEmission Tomography)和脑脊液(CSF)的受试者之间的关系，从而实现脑疾病的自动诊断。
上述现有技术存在以下缺陷：
(1)现有的数据驱动方法已经完成了样本分类和预测的任务，可能忽略了对大脑结构或功能连接的不同特征的准确评价，缺乏生物学解释。
(2)现有的基于超图方法可以对脑网络的异常连接特征进行分析，但是无法建立多模态数据内部和模态间的高阶相关性，从而不能完全挖掘数据中潜在的互补信息。
发明内容
本发明的目的在于解决现有技术中的问题，提供一种异常脑连接预测系统、方法、装置及可读存储介质，本发明利用先验引导对抗学习和超图感知融合网络利用有限的多模态数据集，通过深度学习方法自动提取不同模态内的高阶相关特征和不同模态间的高阶互补特征，并通过对抗训练的方法实现多模态脑网络异常连接的分析和不同认知疾病的预测。
为达到上述目的，本发明采用以下技术方案予以实现：
基于对抗学习和超图感知融合的异常脑连接预测方法，包括以下步骤：
对原始多模态图像数据进行处理，并从处理后的多模态图像数据中提取多模态潜在表征，通过核密度方法估计出多模态潜在表征的先验分布；
利用先验分布引导双通道对抗网络结构提取原始多模态图像数据的特征、多模态潜在表征及其联合分布信息；利用超图感知融合网络建立模态间的高阶相关性，进而构建异常脑连接预测模型；
基于先验引导的对抗学习损失函数、重构损失函数、分类损失函数和稀疏正则化损失函数对异常脑连接预测模型进行训练。
一种基于对抗学习和超图感知融合的异常脑连接预测系统，包括：
多模态数据处理模块，所述多模态数据处理模块用于对原始多模态图像数据进行处理，并从处理后的多模态图像数据中提取多模态潜在表征，通过核密度方法估计出多模态潜在表征的先验分布；
模型构建模块，所述模型构建模块利用先验分布引导双通道对抗网络结构提取原始多模态图像数据的特征、多模态潜在表征及其联合分布信息；利用超图感知融合网络建立模态间的高阶相关性，进而构建异常脑连接预测模型；
模型训练模块，所述模型训练模块基于先验引导的对抗学习损失函数、重构损失函数、分类损失函数和稀疏正则化损失函数对异常脑连接预测模型进行训练。
一种基于对抗学习和超图感知融合的异常脑连接预测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
与现有技术相比，本发明具有以下有益效果：
对于现有技术中：现有的数据驱动方法已经完成了样本分类和预测的任务，可能忽略了对大脑结构或功能连接的不同特征的准确评价，缺乏生物学解释的问题，本发明采用先验引导的生成对抗网络模型，利用先验分布引导模型学习具有可解释性的表征。
对于现有技术中：现有的基于超图方法可以对脑网络的异常连接特征进行分析，但是无法建立多模态数据内部和模态间的高阶相关性，从而不能完全挖掘数据中潜在的互补信息的问题，本发明提出超图感知融合网络，利用顶点卷积建立模态内的高阶相关特征，通过融合不同模态的超边特征，学习建立结构和功能的多层级映射，提取脑区之间的异常连接特征。
本发明直接将图像数据转为为脑连接特征，省去了繁琐的图像数据预处理步骤，提高了临床诊断的效率。本发明考虑了fMRI-DTI-MRI三种模态的联合分布，模型可以提取到多模态数据之间更丰富的关联特征信息，提升脑区特征表示的能力和认知疾病类别预测的准确度。通过大量病例的累积训练和迁移学习，可以逐步提高预测模型的准确率和鲁棒性。本发明设置了超图感知融合网络，其目的是挖掘模态内和模态间脑区的高阶相关性，与现有方法相比，充分提取了不同模态数据之间互补特征和高阶相关特征，提高了脑网路连接模型的预测准确度。本发明将多种模态数据作为模型的输入，通过优化策略学习到一个最优模型，在疾病辅助诊断时提高了诊断效率，并通过分析异常脑连接特征，有利于脑疾病患者的早期干预和治疗。本发明的模型框架的输入是多种模态数据，通过修改模型的输出参数，以及增加更多模态数据，应用于其他脑疾病的诊断治疗。
综上所述，本发明针对多种模态医学数据在临床诊断中认知疾病异常脑连接的早期诊断，设计了一种新的先验引导对抗学习和超图感知融合网络，解决了现有方法无法精准评估脑结构形态与功能连接变化规律的问题。该模型在传统的生成对抗网络中增加了先验分布信息，利用先验知识引导模型学习可解释性的表征，并通过成对协同判别器约束不同模态表征分布的一致性，再通过逆向生成器和解码器对特征编码进行重构脑部图数据，最后通过超图感知融合模块提取模态间和模态内的高阶相关特征，并设置对抗损失、重构损失和分类损失函数指导模型学习，以此达到挖掘阿尔兹海默症异常脑连接的目的。
附图说明
为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1构建脑网络连接模型示意图。
图2基于生成对抗网络的初始脑网络连接模型构建。
图3成对协同判别器的结构示意图。
图4超图感知融合的网络结构示意图。
图5训练完成后模型的应用流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图对本发明做进一步详细描述：
参见图1，本发明实施例公开了一种基于对抗学习和超图感知融合的异常脑连接预测方法，包括以下步骤：
(1)先验引导对抗表示学习模块被设计用于从多模态图像中学习潜在脑区表征。它可以利用估计的脑区先验分布来引导对抗网络达到最优状态。
(2)提出基于双通道结构的判别器网络，提取原始脑区特征的分布、潜在脑区表征的分布及其联合分布的信息，不仅提高了模型的优化效率，而且提升了生成器和表示学习的能力。
(3)超图感知网络用于建立多模态之间和模态内部的高阶关系，提高结构-形态-功能信息的融合效果，增强基于连通性特征的识别。
(4)模型训练完成后，在疾病辅助诊断的应用流程为：对患者采集多模态数据，由超图融合网络构建多模态脑网络模型，通过分析脑网络模型的异常连接特征，为认知疾病的预测提供检测标志物，并实现对该疾病的辅助治疗。
为了说明本发明的具体实施方案，以fMRI(functional magnetic resonance)、DTI(Diffusion Tensor Imaging)和MRI(Magnetic Resonance Imaging)为对应的三种模态图像数据为例阐述认知疾病的脑网络连接预测模型，但本发明的应用范围不限于阿尔茨海默症和fMRI-DTI-SMRI图像。本发明的总体框架如图1所示。
步骤1，多模态数据的采集和处理
步骤1-1，选择阿尔茨海默症(AD)患者、晚期轻度认知障碍(LMCI)患者、早期轻度认知障碍(EMCI)患者和正常老年人(NC)各M位作为受试者，采集其脑部的fMRI、DTI和MRI图像作为原始数据集。在每位受试者的临床观察和诊断中，由专业医师给出诊断类别和评分。
步骤1-2，构建脑网络连接模型的输入数据。
采用PANDA软件对采集的脑部DTI进行一系列的预处理，得到脑白质的纤维束，并基于AAL模板将大脑皮层及皮下组织划分为N个脑区，完成脑区之间纤维束网络的构建，脑区之间的纤维束的密度即为结构性连接特征，将该连接特征作为真实图结构数据Areal，另外构建一个生成器G，将图像数据DTI直接映射为图结构数据Afake，判别器D约束生成的Afake接近真实的Areal。采用GRETNA软件对采集的脑部fMRI进行一系列的预处理，然后将fMRI图像映射到AAL模板得到90个脑区的时间序列，其输出即为脑区特征矩阵X。利用FSL脑图像处理工具对MRI进行预处理，输出的三维图像大小为91×109×91，经过一个DenseNet40层网络，输出1×q大小的特征向量V。
步骤1-3，基于解剖学知识估算认知疾病的先验分布特征。
以DTI数据构建连接矩阵A(大小为m×m)，fMRI数据构建脑区特征矩阵X(大小为m×d)，其中m为节点(脑区)的数量，d为脑区特征的长度。基于行列式点过程从A中抽取一个子方阵(大小为s×s，其中s包含四个脑区，即左右侧的海马体、左右侧的海马旁回)，并在X中提取对应s个脑区的特征向量，再使用PCA降维，得到特征矩阵Z(大小为m×q)，最后通过核密度方法估计出脑区特征的先验分布P Z (Z｜X,A)。
步骤2，网络模型的构建
本发明基于先验引导对抗学习和超图感知融合网络的异常脑连接预测模型主要由双向对抗学习网络和超图感知融合网络两个模块组成。在两个子网络模块中，分别设计了成对判别器、超边感知卷积等计算方法实现对多模态数据的高阶特征和互补特征进行提取。各个子网络模块具体如下：
1.双向对抗学习网络
本发明中所涉及的生成器采用双通道GAN网络结构，该网络基于双映射脑区特征空间的真伪进行对抗学习，提取有意义的认知疾病脑区特征表示。其主要思想是，在原始的GAN网络基础上加入了一个将数据空间的脑区特征映射到隐层表征空间的Encoder，同时将判别器D关联脑区特征映射前后的分布，学习联合空间的概率分布，使其具备有意义的隐层脑区特征的学习表示能力。由DTI数据构建的脑区特征通过编码器映射到隐层空间，同时由脑区先验分布的隐层空间特征映射回数据空间，映射前后这两个数据空间具有不同的概率分布，因此BiGAN(Bidirectional Ganerative Adversarial Network)模型很适合利用将先验分布学习两个映射空间的脑区特征。
(1)对抗阶段的流程。
生成器G 1接受脑部结构连接特征A和功能特征X作为输入，输出大小为N×q的潜在的脑区表征
Figure 85411DEST_PATH_IMAGE001
；编码器S接受脑部结构连接特征A和脑部形态特征V为输入和输出大小为N×q的潜在的脑区表征
Figure 901051DEST_PATH_IMAGE002
；从脑部多模态的先验分布P Z (Z｜X,A)中采样潜在脑区特征Z，将其送给生成器G 2，得到大小为N×d的脑区表征
Figure 158857DEST_PATH_IMAGE003
；然后，将(
Figure 182177DEST_PATH_IMAGE003
,Z)、(X,
Figure 627065DEST_PATH_IMAGE004
)和(X,
Figure 10510DEST_PATH_IMAGE002
)三对数据输入到判别器D XZ 中进行对抗性训练；其中，脑部功能特征X和脑部形态特征Z是正样本；潜在脑区表征
Figure 122823DEST_PATH_IMAGE005
、
Figure 192410DEST_PATH_IMAGE004
和
Figure 514807DEST_PATH_IMAGE002
为负样本；其中，两层GCN分别作为生成器G 1、生成器G 2和编码器S。
其中设计的成对协同判别器的结构如图3所示。该判别器由两个独立的子网络(上、下)和一个协同子网络(中)组成。所有的子网都有三层。从第一层到第三层，上层子网络的滤波器大小为187×1,1×90,16×16；下子网络的滤波器大小为32×1,1×90,16×16；中间子网络的滤波器大小为32×1,1×90,16×16。滤波器的数量分别是16,16,1。在每个子网的最后一层，使用tanh激活函数将输出真假预测值限制在-1~1范围内。协同子网络可以监督生成器学习具有鲁棒性的特征表示，同时协同子网络显著提高了模型的优化效率。
(2)重构阶段的流程。
生成器G对隐层脑区特征
Figure 328042DEST_PATH_IMAGE004
进行重建，恢复原始输入的脑部结构A’和功能特征X’，目的是使得学习的隐层脑区特征具有稳定性。重建阶段通过矩阵内积运算σ(
Figure 170227DEST_PATH_IMAGE006
)，将隐层脑区特征
Figure 410716DEST_PATH_IMAGE004
送入生成器G 2，重新构造大小为N×D的脑区功能X’，并重新构造大小为N×N的脑区结构连接特征A’；将隐层脑区特征
Figure 95775DEST_PATH_IMAGE002
输入解码器S’，以构造大小为1×q的脑区形态特征V’；生成器G 2和解码器S’都是两层GCN，在隐层中分别设置不同的参数。
(3)分类阶段的流程。
为了区分不同认知疾病的脑区特征，设计了一个分类器C 1来约束潜在脑区表征
Figure 837335DEST_PATH_IMAGE004
和
Figure 924240DEST_PATH_IMAGE002
。其结构为：特征表示(即
Figure 601209DEST_PATH_IMAGE004
和
Figure 773564DEST_PATH_IMAGE002
)首先沿着维度方向取平均(输出N×1的向量特征)，然后送到一个两层多层感知(MLP)进行认知疾病类别的预测。
2. 超图感知融合网络
多模态数据的模态间高阶相关性融合是具有挑战性的。为了解决这一问题，引入了基于超图卷积的网络结构， 利用无度超边来建立多个脑区之间的高阶相关性，将其扩展成为多模态数据的表示形式，即先对每个模态的隐层特征构建超图，然后利用MLP将脑区的超边特征进行融合，有效增强模态之间的相关性和互补性。 具体来说，设计了一个超边感知卷积网络，通过超边建立模态内的高阶相关性，利用超边卷积建立模态间的高阶相关性。该部分分为五个阶段：
(1)构建脑区间的超图连接模型。
将输入的隐层脑区表征按照KNN方法表示成K个脑区相连接的模式，得到脑区特征的超图表示H 1和H 2，大小都为N×N，N为脑区的数量。
(2)顶点卷积计算脑区的超边特征。
将隐层脑区特征按照超图结构聚合成脑区的超边特征
Figure 39854DEST_PATH_IMAGE007
和
Figure 246844DEST_PATH_IMAGE008
。计算公式为：
Figure 688190DEST_PATH_IMAGE009
Figure 347841DEST_PATH_IMAGE010
其中，D 1e 为H 1的超边自由度，大小都是N×N。
(3)超边感知和卷积。
设计了一个新的网络，它结合了多层感知(MLP)和超边卷积来捕获多模态图像脑区之间和内部的高阶关系。利用MLP网络融合多模态数据脑区之间的高阶特征，并用超边卷积网络将融合后的超边缘转化为脑区特征。所使用的MLP是一层网络，其公式为：
Figure 306570DEST_PATH_IMAGE011
其中，H=(H 1+H 2)/2，D v 是v的自由度，||表示串接两个脑区特征矩阵，W是学习参数(大小为2N×N)。
(4)生成多模态脑网络连接矩阵。
M =σ(F F T )
(5)分类器学习不同认知疾病的特征表示。
经过分类器C 2，得到认知疾病类别的预测结果。
步骤3，模型训练
对于每个被试，将采集的三种模态(fMRI,DTI,SMRI)数据输入到模型中，经过生成器G 1和编码器S，提取多模态的隐层脑区特征，最后对两个隐层脑区表征进行超图感知融合，经过分类器输出认知疾病预测的类别和多模态脑网络连接模型。该训练包含三种损失函数以及一个训练策略。
1. 先验引导的对抗学习损失函数。
对抗性损失用于保持输入脑区特征和潜在脑区表征之间的分布一致性。给定脑区功能特征X~P fMRI (X)、脑区结构连接矩阵A~P DTI (A)、脑区形态特征V~P MRI (V)和脑区特征的先验分布Z~P Z (Z｜X,A)，损失函数可表示为：
Figure 977854DEST_PATH_IMAGE012
Figure 996626DEST_PATH_IMAGE013
Figure 143573DEST_PATH_IMAGE014
其中，G 1和G 2分别是生成器，D XZ 是判别器。
2. 重构损失函数。
Figure 499468DEST_PATH_IMAGE015
这里，X’表示是重构的脑区功能，A’表示结构，V’表示形态特征，f表示交叉熵函数，其表达式为：
f(x,y)=xlogy+(1-x)log(1-y)
3. 分类损失函数和稀疏正则化损失函数。
Figure 415471DEST_PATH_IMAGE016
Figure 339565DEST_PATH_IMAGE017
这里，C 1和C 2对应两个分类器，M是模型输出的多模态脑网络连接矩阵。
4.将M个被试划分为10份，其中90%用于训练模型，其余10%用于测试模型的性能。模型的训练过程为：在多模态数据驱动下，随着生成器C 1、编码器S的网络结构优化，判别器D XZ 持续更新参数以识别生成器C 1和编码器S产生的伪数据分布，同时重构器C 2和解码器S’对生成不同模态的隐层脑区特征进行保留。分类器C优化使其预测的结果在不同认知疾病类别之间具有很好的区分度，继而作用于生成器C 1、生成器C 2、编码器S和解码器S’的训练，最后稀疏正则损失将模型输出的多模态脑连接矩阵进行约束，从而获得较好的认知疾病预测结果和具有区分度的多模态脑网络连接模型。
步骤4，模型训练完成后的应用
通过模型的迭代训练，生成器C 1和编码器S在对抗训练中达到最优，此时生成器C 1学习到了由fMRI和DTI映射到隐层脑区的特征，同时编码器
Figure 347710DEST_PATH_IMAGE019
学习到了MRI映射到隐层脑区特征；分类器C学习到了超图融合的最优参数，可以相对准确地由输入的三种模态数据预测出相应的认知疾病类别(1×4特征向量)以及对应的多模态脑网络连接模型(M，大小为N×N)。通过分析该模型输出的多模态脑网络连接特征并计算脑连接特征指标，为脑认知疾病预测提供检测标志物。 同时，将训练好的生成器和分类器进行提取和迁移，构成端到端的多模态脑疾病诊断系统，如图5所示。
训练完成后模型应用流程如下：
步骤5-1，认知疾病患者需要采集多种模态数据，例如MRI、fMRI和DTI。
步骤5-2，将多模态数据输入到训练好的网络模型中，实现对患者认知疾病的类别预测。
步骤5-3，根据模型输出的多模态脑网络连接模型，分析认知障碍疾病患者相对于正常人的异常脑连接特征，为脑认知疾病预测提供检测标志物，从而给出临床诊断的建议和措施。
本发明至少具有以下优点：
(1)在本发明中我们提出了一种构建脑网络连接模型的方法，即通过生成对抗策略将图像数据直接转化为脑连接特征，该方法自动化程度高，有助于多模态图像数据在疾病诊断上的应用。
(2)本发明设计了成对协同判别器网络，其作用是识别多种模态数据和隐层脑区特征之间联合分布的真伪，提高了模态间脑部特征表示的互补性和相关性。
(3)本发明构建了一种新的超图感知融合策略，通过对不同模态的脑区特征表示进行超边构建，学习不同模态超边特征之间的高阶相关性特征，提高融合效果。
(4)本发明可实现多种模态医学数据的特征提取和超图感知融合模型的一步式协同训练。训练好的生成模型可以学习到多模态脑区特征与潜在脑区特征之间的关联性，并通过超图感知融合网络提取关键的异常脑连接特征，为临床诊断和治疗提供一定的辅助措施。
(5)本发明不仅局限于脑部阿尔茨海默症辅助诊断，也可以应用于其他疾病的的医学诊疗场景。可以增加更多种的模态数据，为疾病诊断提供丰富的信息。
本发明一实施例提供的基于对抗学习和超图感知融合的异常脑连接预测装置。该实施例的基于对抗学习和超图感知融合的异常脑连接预测装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
所述基于对抗学习和超图感知融合的异常脑连接预测装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于对抗学习和超图感知融合的异常脑连接预测装置可包括，但不仅限于，处理器、存储器。
所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于对抗学习和超图感知融合的异常脑连接预测装置的各种功能。
所述基于对抗学习和超图感知融合的异常脑连接预测装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种异常脑连接预测方法，其特征在于，包括以下步骤：
对原始多模态图像数据进行处理，并从处理后的多模态图像数据中提取多模态潜在表征，通过核密度方法估计出多模态潜在表征的先验分布；
利用先验分布引导双通道对抗网络结构提取原始多模态图像数据的特征、多模态潜在表征及其联合分布信息；利用超图感知融合网络建立模态间的高阶相关性，进而构建异常脑连接预测模型；
基于先验引导的对抗学习损失函数、重构损失函数、分类损失函数和稀疏正则化损失函数对异常脑连接预测模型进行训练。
2.根据权利要求1所述的异常脑连接预测方法，其特征在于，所述对原始多模态图像数据进行处理，并从处理后的多模态图像数据中提取多模态潜在表征，通过核密度方法估计出多模态潜在表征的先验分布，包括：
步骤1，将阿尔茨海默症患者、晚期轻度认知障碍患者、早期轻度认知障碍患者和正常老年人各M位的脑部的fMRI、DTI和MRI图像作为原始数据集；
步骤2，对脑部DTI图像进行预处理，得到脑白质的纤维束，并基于AAL模板将大脑皮层及皮下组织划分为N个脑区，完成脑区之间纤维束网络的构建，脑区之间的纤维束的密度即为结构性连接特征，将该连接特征作为真实图结构数据Areal，另外构建一个生成器G，将脑部DTI图像数据直接映射为图结构数据Afake，判别器D约束生成的Afake接近真实的Areal；
对脑部fMRI图像进行预处理，然后将fMRI图像映射到AAL模板得到90个脑区的时间序列，其输出即为脑区特征矩阵X；
对脑部MRI图像进行预处理，输出的三维图像大小为91×109×91，经过DenseNet40层网络，输出1×q大小的特征向量V；
步骤3，以脑部DTI图像数据构建大小为m×m的连接矩阵A；以脑部fMRI图像数据构建大小为m×d的脑区特征矩阵X，其中m为节点的数量，d为脑区特征的长度；基于行列式点过程从A中抽取大小为s×s的子方阵，其中s包含左右侧的海马体以及左右侧的海马旁回，并在脑区特征矩阵X中提取对应s个脑区的特征向量，再使用PCA降维，得到大小为m×q的特征矩阵Z，最后通过核密度方法估计出脑区特征的先验分布P Z (z｜X,A)。
3.根据权利要求2所述的异常脑连接预测方法，其特征在于，所述异常脑连接预测模型包括双向对抗学习网络和超图感知融合网络，所述双向对抗学习网络和超图感知融合网络中均设置有判别器、超边感知卷积模块，用于对多模态数据的高阶特征和互补特征进行提取。
4.根据权利要求3所述的异常脑连接预测方法，其特征在于，所述双向对抗学习网络采用双通道对抗网络结构，所述双通道对抗网络结构基于双映射脑区特征空间的真伪进行对抗学习，提取有意义的认知疾病脑区特征表示，具体方法如下：
(1)对抗阶段的流程
生成器G 1接受脑部结构连接特征A和功能特征X作为输入，输出大小为N×q的潜在的脑区表征
Figure 173228DEST_PATH_IMAGE001
；编码器S接受脑部结构连接特征A和脑部形态特征V为输入和输出大小为N×q的潜在的脑区表征
Figure 750971DEST_PATH_IMAGE002
；从脑部多模态的先验分布P Z (Z｜X,A)中采样潜在脑区特征Z，将其送给生成器G 2，得到大小为N×d的脑区表征
Figure 315945DEST_PATH_IMAGE003
；然后，将(
Figure 761970DEST_PATH_IMAGE003
,Z)、(X,
Figure 486212DEST_PATH_IMAGE004
)和(X,
Figure 93911DEST_PATH_IMAGE002
)三对数据输入到判别器D XZ 中进行对抗性训练；其中，脑部功能特征X和脑部形态特征Z是正样本；潜在脑区表征
Figure 411760DEST_PATH_IMAGE005
、
Figure 504219DEST_PATH_IMAGE004
和
Figure 223913DEST_PATH_IMAGE002
为负样本；其中，两层GCN分别作为生成器G 1、生成器G 2和编码器S；
(2)重构阶段的流程；
生成器G对隐层脑区特征
Figure 268092DEST_PATH_IMAGE004
进行重建，恢复原始输入的脑部结构A’和功能特征X’；重建阶段通过矩阵内积运算σ(
Figure 197871DEST_PATH_IMAGE006
)，将隐层脑区特征
Figure 720119DEST_PATH_IMAGE004
送入生成器G 2，重新构造大小为N×d的脑区功能X’，并重新构造大小为N×N的脑区结构连接特征A’；将隐层脑区特征
Figure 294320DEST_PATH_IMAGE002
输入解码器S’，以构造大小为1×q的脑区形态特征V’；生成器G 2和解码器S’都是两层GCN，在隐层中分别设置不同的参数；
(3)分类阶段的流程；
通过分类器C 1来约束潜在脑区表征
Figure 384767DEST_PATH_IMAGE004
和
Figure 146050DEST_PATH_IMAGE002
，其结构为：特征表示首先沿着维度方向取平均，然后送到一个两层多层感知进行认知疾病类别的预测。
5.根据权利要求4所述的异常脑连接预测方法，其特征在于，所述判别器由两个独立的子网络和一个协同子网络组成；所有的子网都有三层；上层子网络的滤波器大小为187×1、1×90和16×16；下子网络的滤波器大小为32×1、1×90和16×16；中间子网络的滤波器大小为32×1、1×90和16×16；滤波器的数量分别是16、16和1；在每个子网的最后一层，使用tanh激活函数将输出真假预测值限制在-1~1范围内；协同子网络用于监督生成器学习具有鲁棒性的特征表示，同时协同子网络提高模型的优化效率。
6.根据权利要求3所述的异常脑连接预测方法，其特征在于，所述超图感知融合网络通过超边建立模态内的高阶相关性，利用超边卷积建立模态间的高阶相关性，具体方法如下：
(1)构建脑区间的超图连接模型；
将输入的隐层脑区表征按照KNN方法表示成K个脑区相连接的模式，得到脑区特征的超图表示H 1和H 2，大小都为N×N，N为脑区的数量；
(2)顶点卷积计算脑区的超边特征；
将隐层脑区特征按照超图结构聚合成脑区的超边特征
Figure 737568DEST_PATH_IMAGE007
和
Figure 25330DEST_PATH_IMAGE008
：
Figure 145733DEST_PATH_IMAGE009
Figure 302301DEST_PATH_IMAGE010
其中，D 1e 为H 1的超边自由度，大小都是N×N；
(3)超边感知和卷积；
结合多层感知和超边卷积来捕获多模态图像脑区之间和内部的高阶关系，利用MLP网络融合多模态数据脑区之间的高阶特征，并用超边卷积网络将融合后的超边缘转化为脑区特征；所述MLP网络如下：
Figure 431931DEST_PATH_IMAGE011
其中，H=(H 1+H 2)/2，D v 是H的自由度，||表示串接两个脑区特征矩阵，W是大小为2N×N的学习参数；
(4)生成多模态脑网络连接矩阵；
M =σ(F F T )
(5)分类器学习不同认知疾病的特征表示；
经过分类器C 2，得到认知疾病类别的预测结果。
7.根据权利要求3所述的异常脑连接预测方法，其特征在于，所述对抗学习损失函数具体如下：
Figure 715145DEST_PATH_IMAGE012
Figure 396662DEST_PATH_IMAGE013
Figure 398116DEST_PATH_IMAGE014
其中，G 1和G 2均为生成器，D XZ 是判别器，X~P fMRI (X)为脑区功能特征， A~P DTI (A)为脑区结构连接矩阵、V~P MRI (V)为脑区形态特征，Z~P Z (Z｜X,A)为脑区特征的先验分布；
所述重构损失函数如下：
Figure 331437DEST_PATH_IMAGE015
其中，X’表示是重构的脑区功能，A’表示结构，V’表示形态特征，f表示交叉熵函数，其表达式如下：
f(x,y)=X log y+(1-x) log (1-y)
所述分类损失函数和稀疏正则化损失函数如下：
Figure 78944DEST_PATH_IMAGE016
Figure 72308DEST_PATH_IMAGE017
其中，C 1和C 2对应两个分类器，M是模型输出的多模态脑网络连接矩阵。
8.根据权利要求7所述的异常脑连接预测方法，其特征在于，所述对异常脑连接预测模型进行训练，包括：
在多模态数据驱动下，随着生成器C 1、编码器S的网络结构优化，判别器D XZ 持续更新参数以识别生成器C 1和编码器S产生的伪数据分布，同时重构器C 2和解码器S’对生成不同模态的隐层脑区特征进行保留；分类器C优化使其预测的结果，并将预测的结果作用于生成器C 1、生成器C 2、编码器S和解码器S’的训练，最后通过稀疏正则损失将输出的多模态脑连接矩阵进行约束，从而获得认知疾病预测结果和具有区分度的多模态脑网络连接模型。
9.一种异常脑连接预测系统，其特征在于，包括：
多模态数据处理模块，所述多模态数据处理模块用于对原始多模态图像数据进行处理，并从处理后的多模态图像数据中提取多模态潜在表征，通过核密度方法估计出多模态潜在表征的先验分布；
模型构建模块，所述模型构建模块利用先验分布引导双通道对抗网络结构提取原始多模态图像数据的特征、多模态潜在表征及其联合分布信息；利用超图感知融合网络建立模态间的高阶相关性，进而构建异常脑连接预测模型；
模型训练模块，所述模型训练模块基于先验引导的对抗学习损失函数、重构损失函数、分类损失函数和稀疏正则化损失函数对异常脑连接预测模型进行训练。
10.一种异常脑连接预测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8任一项所述方法的步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述方法的步骤。
CN202111295888.2A 2021-11-03 2021-11-03 一种异常脑连接预测系统、方法、装置及可读存储介质 Pending CN113724880A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111295888.2A CN113724880A (zh) 2021-11-03 2021-11-03 一种异常脑连接预测系统、方法、装置及可读存储介质
PCT/CN2021/135844 WO2023077603A1 (zh) 2021-11-03 2021-12-06 一种异常脑连接预测系统、方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111295888.2A CN113724880A (zh) 2021-11-03 2021-11-03 一种异常脑连接预测系统、方法、装置及可读存储介质

Publications (1)

Publication Number Publication Date
CN113724880A true CN113724880A (zh) 2021-11-30

Family

ID=78686608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111295888.2A Pending CN113724880A (zh) 2021-11-03 2021-11-03 一种异常脑连接预测系统、方法、装置及可读存储介质

Country Status (2)

Country Link
CN (1) CN113724880A (zh)
WO (1) WO2023077603A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511737A (zh) * 2022-01-24 2022-05-17 北京建筑大学 图像识别域泛化模型的训练方法
CN115211868A (zh) * 2022-07-28 2022-10-21 浙大宁波理工学院 融合Topomap图像识别与fMRI结合的高精度EEG识别系统
WO2023077603A1 (zh) * 2021-11-03 2023-05-11 深圳先进技术研究院 一种异常脑连接预测系统、方法、装置及可读存储介质
CN116206752A (zh) * 2023-02-22 2023-06-02 南通大学 基于结构-功能脑网络的精神疾病识别方法
WO2023108712A1 (zh) * 2021-12-18 2023-06-22 深圳先进技术研究院 结构-功能脑网络双向映射模型构建方法及脑网络双向映射模型
CN116344042A (zh) * 2023-05-31 2023-06-27 北京智精灵科技有限公司 基于多模态分析的认知储备干预提升方法及系统
CN116434968A (zh) * 2023-06-14 2023-07-14 之江实验室 一种层级聚类约束的多标签细粒度术后并发症预测装置
US20240065609A1 (en) * 2022-08-24 2024-02-29 Taipei Medical University Methods and devices of generating predicted brain images
WO2024113135A1 (zh) * 2022-11-29 2024-06-06 深圳先进技术研究院 结构功能关联的多模态脑网络计算方法、装置、设备及介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503680B (zh) * 2023-06-30 2023-08-29 之江实验室 基于脑图谱的脑影像结构化分析和脑疾病分类系统
CN117011657B (zh) * 2023-07-05 2024-09-03 深圳市龙岗中心医院 基于自注意力机制融合的脑ct图像处理方法及相关设备
CN116912576B (zh) * 2023-07-14 2024-10-15 太原理工大学 基于脑网络高阶结构的自适应图卷积脑疾病分类方法
CN116935203B (zh) * 2023-09-18 2023-11-21 吉林大学 一种基于声光融合的潜水员智能监控方法和系统
CN117036869B (zh) * 2023-10-08 2024-01-09 之江实验室 一种基于多样性和随机策略的模型训练方法及装置
CN117036727B (zh) * 2023-10-09 2024-01-05 之江实验室 脑网络数据多层嵌入向量特征提取方法及装置
CN117095824B (zh) * 2023-10-19 2024-04-16 之江实验室 基于孪生脑仿真模型的多巴胺动态耦合方法、装置和设备
CN117218453B (zh) * 2023-11-06 2024-01-16 中国科学院大学 一种不完备多模态医学影像学习方法
CN117349714B (zh) * 2023-12-06 2024-02-13 中南大学 阿尔茨海默症医学图像的分类方法、系统、设备及介质
CN117372440B (zh) * 2023-12-08 2024-03-19 北京邮电大学 阿尔茨海默病风险预警模型训练方法、预警方法及设备
CN118070127B (zh) * 2024-03-21 2024-08-13 太原理工大学 基于高阶功能网络的双相情感障碍特征提取及分类方法
CN117952195B (zh) * 2024-03-26 2024-06-21 博睿康医疗科技(上海)有限公司 基于任务相关脑电激活度的脑网络构建方法、显示设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112353381A (zh) * 2020-11-24 2021-02-12 杭州冉曼智能科技有限公司 基于多模态大脑影像的阿尔茨海默症综合诊断系统
CN112863664A (zh) * 2020-12-30 2021-05-28 无锡太湖学院 基于多模态超图卷积神经网络的阿尔茨海默病分类方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580695B (zh) * 2019-08-07 2022-06-21 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
AU2020102977A4 (en) * 2020-10-23 2020-12-24 Bhima, Ravi Teja DR A Deep learning technique to recognise brain activity by fMRI and DTI image fusion
CN112735570B (zh) * 2021-01-09 2022-02-22 深圳先进技术研究院 影像驱动的脑图谱构建方法、装置、设备及存储介质
CN113094566A (zh) * 2021-04-16 2021-07-09 大连理工大学 一种深度对抗多模态数据聚类方法
CN113724880A (zh) * 2021-11-03 2021-11-30 深圳先进技术研究院 一种异常脑连接预测系统、方法、装置及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112353381A (zh) * 2020-11-24 2021-02-12 杭州冉曼智能科技有限公司 基于多模态大脑影像的阿尔茨海默症综合诊断系统
CN112863664A (zh) * 2020-12-30 2021-05-28 无锡太湖学院 基于多模态超图卷积神经网络的阿尔茨海默病分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QIANKUN ZUO 等: "A Prior Guided Adversarial Representation Learning and Hypergraph Perceptual Network for Predicting Abnormal Connections of Alzheimer’s Disease", 《HTTPS://ARXIV.ORG/PDF/2110.09302V1》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023077603A1 (zh) * 2021-11-03 2023-05-11 深圳先进技术研究院 一种异常脑连接预测系统、方法、装置及可读存储介质
WO2023108712A1 (zh) * 2021-12-18 2023-06-22 深圳先进技术研究院 结构-功能脑网络双向映射模型构建方法及脑网络双向映射模型
CN114511737A (zh) * 2022-01-24 2022-05-17 北京建筑大学 图像识别域泛化模型的训练方法
CN114511737B (zh) * 2022-01-24 2022-09-09 北京建筑大学 图像识别域泛化模型的训练方法
CN115211868A (zh) * 2022-07-28 2022-10-21 浙大宁波理工学院 融合Topomap图像识别与fMRI结合的高精度EEG识别系统
US20240065609A1 (en) * 2022-08-24 2024-02-29 Taipei Medical University Methods and devices of generating predicted brain images
WO2024113135A1 (zh) * 2022-11-29 2024-06-06 深圳先进技术研究院 结构功能关联的多模态脑网络计算方法、装置、设备及介质
CN116206752A (zh) * 2023-02-22 2023-06-02 南通大学 基于结构-功能脑网络的精神疾病识别方法
CN116344042A (zh) * 2023-05-31 2023-06-27 北京智精灵科技有限公司 基于多模态分析的认知储备干预提升方法及系统
CN116344042B (zh) * 2023-05-31 2023-12-01 北京智精灵科技有限公司 基于多模态分析的认知储备干预提升方法及系统
CN116434968A (zh) * 2023-06-14 2023-07-14 之江实验室 一种层级聚类约束的多标签细粒度术后并发症预测装置
CN116434968B (zh) * 2023-06-14 2023-08-25 之江实验室 一种层级聚类约束的多标签细粒度术后并发症预测装置

Also Published As

Publication number Publication date
WO2023077603A1 (zh) 2023-05-11

Similar Documents

Publication Publication Date Title
CN113724880A (zh) 一种异常脑连接预测系统、方法、装置及可读存储介质
US11693071B2 (en) Systems and methods for mapping neuronal circuitry and clinical applications thereof
CN112674720B (zh) 基于3d卷积神经网络的阿尔茨海默症的预判断方法
Zhao et al. Diagnose like a radiologist: Hybrid neuro-probabilistic reasoning for attribute-based medical image diagnosis
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
Chagas et al. A new approach for the detection of pneumonia in children using CXR images based on an real-time IoT system
Abeyagunasekera et al. LISA: Enhance the explainability of medical images unifying current XAI techniques
Goenka et al. Volumetric convolutional neural network for Alzheimer detection
US20110022355A1 (en) Network Characterization, Feature Extraction and Application to Classification
Devnath et al. Performance comparison of deep learning models for black lung detection on chest X-ray radiographs
Elayaraja et al. An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach
CN116864140A (zh) 一种心内科术后护理监测数据处理方法及其系统
An et al. COVID-19 screening in chest X-ray images using lung region priors
Chatchaiwatkul et al. Lung disease detection and classification with deep learning approach
Venkatesh et al. An overview of interpretability techniques for explainable artificial intelligence (xai) in deep learning-based medical image analysis
Pallawi et al. Study of Alzheimer’s disease brain impairment and methods for its early diagnosis: a comprehensive survey
Tobias et al. Android Application for Chest X-ray Health Classification From a CNN Deep Learning TensorFlow Model
de Vente et al. Automated COVID-19 grading with convolutional neural networks in computed tomography scans: A systematic comparison
Zhao et al. Machine learning approaches in comparative studies for Alzheimer’s diagnosis using 2D MRI slices
KR102400568B1 (ko) 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
Mruthyunjaya et al. A brain tumor identification using convolution neural network and fully convolution neural network
Liu et al. Context-endcoding for neural network based skull stripping in magnetic resonance imaging
CN112086174A (zh) 一种三维知识诊断模型构建方法和系统
CN118570570B (zh) 一种基于图像识别技术的中医舌象辨识系统及方法
El Mohamadi et al. Enhanced Deep Learning Explainability for COVID-19 Diagnosis from Chest X-ray Images by Fusing Texture and Shape Features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: 1068 Xueyuan Avenue Xili University City Shenzhen Guangdong Province

Applicant after: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY

Applicant after: Shenzhen University of Technology (preparatory)

Address before: No.1068 Xueyuan Avenue, Xili University Town, Shenzhen, Guangdong 518055

Applicant before: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY

Country or region before: China

Applicant before: Shenzhen University of technology Chinese Academy of Sciences (Preparatory)

CB02 Change of applicant information

Country or region after: China

Address after: No.1068 Xueyuan Avenue, Xili University Town, Shenzhen, Guangdong 518055

Applicant after: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY

Applicant after: Shenzhen University of Technology

Address before: No.1068 Xueyuan Avenue, Xili University Town, Shenzhen, Guangdong 518055

Applicant before: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY

Country or region before: China

Applicant before: Shenzhen University of Technology (preparatory)