CN114359657A - 脑图谱构建及神经环路检测的方法和相关产品 - Google Patents

Abstract

本申请实施例提供了一种脑图谱构建及神经环路检测的方法和相关产品，该方法通过根据第一图像获取第一目标数据以及根据第二图像获取第二目标数据；根据所述第一目标数据和所述第二目标数据确定第一脑图谱，所述第一脑图谱用于表征所述第一目标数据和所述第二目标数据之间的关系；将所述第一脑图谱输入第一神经网络，输出第一特征，所述第一特征用于表示所述第一脑图谱的高阶拓扑特征；将所述第一特征输入第二神经网络，输出第一神经环路，所述第二神经网络用于对所述第一脑图谱中的区域进行解耦，所述第一神经环路用于表示第一脑图谱的区域之间的连接关系，可以达到检测神经环路的目的。

Description

脑图谱构建及神经环路检测的方法和相关产品

技术领域

本申请涉及人工智能，尤其涉及一种脑图谱构建及神经环路检测的方法和相关产品。

背景技术

随着科学技术的发展，人工智能在多个领域获得广泛应用，取得优异成果。

在医学领域，人工智能通常采用医学图像来分析和挖掘病人的医疗数据，提高医疗诊断的准确性。在人类脑疾病的研究中，通常根据传统的医学影像获取脑部的功能或结构信息，再结合医生的经验，对其脑部出现的异常进行判断。

然而，传统的医学研究方法主要应用于对脑部的功能或结构进行研究，不适用于研究由脑部神经环路或脑连接异常所导致的疾病。

发明内容

本申请实施例公开了一种脑图谱构建及神经环路检测的方法和相关产品，能够对脑部神经环路或脑连接进行检测，适用于研究由脑部神经环路或脑连接异常所导致的疾病。

第一方面，本申请实施例提供了一种脑图谱构建及神经环路检测的方法，包括：

根据第一图像获取第一目标数据以及根据第二图像获取第二目标数据，所述第一目标数据表示所述第一图像中每个区域的时间序列特征，所述第二目标数据表示所述第二图像中各区域之间神经元的连接强度，所述第一图像为待处理的脑部静息态功能磁共振成像(resting-state functional magnetic resonance imaging，rs-fMRI)，所述第二图像为磁共振弥散张量成像(diffusion tensor imaging，DTI)，所述第一图像中的区域和所述第二图像中的区域根据模板确定；

根据所述第一目标数据和所述第二目标数据确定第一脑图谱，所述第一脑图谱用于表征所述第一目标数据和所述第二目标数据的关系；所述第一图像的区域和/或所述第二图像的区域与所述第一脑图谱的图节点对应；所述第一脑图谱的图节点的标号为所述区域对应的所述模板的解剖标记序号；所述图节点的节点特征为所述第一目标数据中所包括的对应区域的时间序列特征；

将所述第一脑图谱输入第一神经网络，输出第一特征，所述第一特征用于表示所述第一脑图谱的高阶拓扑特征；

将所述第一特征输入第二神经网络，输出第一神经环路，所述第二神经网络用于对所述第一脑图谱中的区域进行解耦，所述第一神经环路用于表示第一脑图谱的区域之间的连接关系。

在本申请实施例中，将rs-fMRI以及DTI两种数据作为多模态数据，结合解剖学脑区分割模板先验知识编码为可以进行高阶拓扑特征分析的第一脑图谱，有利于同时保留三维脑部内部组织的脑区功能信息和物理神经元连接信息，更好的挖掘不同模态之间的互补信息，使检测更加准确，将所述第一脑图谱输入所述第一网络层进行特征提取，获得相关的第一特征，将所述第一特征输入第二网络层，利用第二网络层对所述第一脑图谱进行分析和解耦，获得目标神经环路，可以通过对图像的处理达到检测到目标神经环路或脑连接的目的。

在第一方面的一种可能的实现方式中，所述将所述第一脑图谱输入第一神经网络，输出第一特征包括：

根据所述第一脑图谱以及所述第一神经网络的参数，获得所述第一特征；

所述第一脑图谱与所述第一神经网络的参数之间满足如下关系：

所述σ表示非线性激活函数，所述l表示所述第一神经网络的层数，所述W表示待学习的权重矩阵，所述b表示待学习的偏差，所述X_G表示所述第一目标数据，所述A_G表示所述第二目标数据，所述D_G表示所述第三目标数据。

在第一方面的一种可能的实现方式中，所述将所述第一特征输入第二神经网络，输出第一神经环路包括：

根据所述第一特征以及所述第二神经网络的参数，获得第一数值；

在所述第一数值满足预设条件的情况下，对所述第一脑图谱中的区域进行解耦，获得所述第一神经环路；

所述第一特征以及所述第二神经网络的参数满足如下关系：

所述

表示所述第一特征

中所述区域v_i的特征，所述d表示待学习的向量，所述b表示待学习的偏差，所述Dec(v_i)表示第一数值，所述σ表示非线性激活函数，所述W表示待学习的权重矩阵；

所述预设条件包括：

Dec(v_i)≥γ||d||₂；

所述v_i表示所述区域，所述γ表示预先设置的超参数，所述d表示待学习的向量。

在第一方面的一种可能的实现方式中，所述获取第一图像和第二图像之前，所述方法还包括：

根据第一样本图像获取第一样本数据以及根据第二样本图像获取第二样本数据，所述第一样本数据表示所述第一样本图像中每个区域的时间序列，所述第二样本数据表示所述第二样本图像中各区域之间神经元的连接强度，所述第一样本图像为rs-fMRI样本图像，所述第二样本图像为DTI样本图像；

根据所述第一样本数据、所述第二样本数据确定第二脑图谱；

将所述第二脑图谱输入所述第一神经网络，输出第二特征，所述第二特征为高阶拓扑特征；

将所述第二特征输入第二神经网络，输出第二神经环路，所述第二神经网络还用于对第二脑图谱中的区域进行解耦；

根据所述第二神经环路训练所述第一神经网络和所述第二神经网络。

在本申请实施例中，对多模态样本数据rs-fMRI和DTI数据进行处理，编码为更适合进行高阶拓扑特征分析的第二脑图谱，对所述第二脑图谱进行解耦，获得第二神经环路，根据所述第二神经环路训练第一神经网络和第二神经网络，可以提高检测的准确性。

在第一方面的一种可能的实现方式中，所述根据所述第二神经环路训练所述第一神经网络和所述第二神经网络包括：

将所述第二神经环路输入第三神经网络，输出影响所述第二神经环路的相关特征；

将所述相关特征输入第四神经网络，输出第一概率，所述第一概率表示影响所述第二神经环路的程度；

根据目标标签信息和所述第一概率，获得第一损失；

根据所述第一损失训练所述第一神经网络、所述第二神经网络、所述第三神经网络和所述第四神经网络。

在本申请实施例中，根据第二神经环路计算出指导解耦模块检测出最相关的神经环路的第一损失，根据所述第一损失，训练解耦模块，实现神经环路自动检测的目的。

在第一方面的一种可能的实现方式中，所述将所述第二神经环路输入第三神经网络，输出影响所述第二神经环路的相关特征包括：

根据所述第二神经环路构建第一超图，所述第一超图的节点为所述第二脑图谱中的区域，所述第一超图的超边为所述第二神经环路，所述第一超图包括第三特征和第一矩阵，所述第三特征为所述第一超图的节点特征，所述第一矩阵为所述节点与所述超边关联的矩阵；

将所述第三特征和所述第一矩阵输入第三神经网络，获得所述第四特征，所述第四特征为神经环路对疾病产生影响的特征。

在本申请实施例中，通过将所述第二神经环路进行超图嵌入变化，表示神经环路之间复杂的连接关系，使本申请实施例可以从整体特征分布对神经环路进行分析，提高神经环路检测的准确性。

在第一方面的一种可能的实现方式中，所述将所述第三特征和所述第一矩阵输入第三神经网络，获得所述第四特征包括：

根据所述第三特征、所述第一矩阵以及所述第三神经网络的参数，获得第四特征；

所述第三特征、所述第一矩阵与所述第三神经网络的参数满足如下关系：

所述l表示第三神经网络的层数，所

所述

所述

和所述

表示待学习的权重矩阵和偏差，所述H表示第一矩阵，所述表示

超图区域特征，所述

表示节点特征，所述σ表示非线性激活函数。

在第一方面的一种可能的实现方式中，所述根据所述第二神经环路训练所述第一神经网络和所述第二神经网络包括：

将随机向量和所述第二神经环路输入生成网络，获得第三脑图谱；

将所述第三脑图谱和所述第二脑图谱输入判别网络，获得第二损失；

将所述第三脑图谱输入所述第二神经网络，输出第三神经环路；

根据所述第三神经环路和所述第二神经环路，获得第三损失；

根据所述第二损失训练所述生成网络和所述判别网络以及根据所述第三损失训练所述第一神经环路和所述第二神经环路。

在本申请实施例中，通过采用生成对抗网络对第一神经网络和第二神经网络进行训练，克服数据样本总量小的问题，并通过计算第二损失和第三损失对训练参数进行更新，保证本申请实施例具有高鲁棒性和稳定性，达到检测神经环路的目的。

在第一方面的一种可能的实现方式中，所述将随机向量和所述第二神经环路输入生成网络，获得第三脑图谱包括：

将所述随机向量输入第五神经网络，获得第五特征，所述第五特征为所述随机向量的拓扑特征；

将所述第二神经环路嵌入稀疏脑网络，获得第六特征，所述第六特征为所述第二神经环路的稀疏拓扑特征；

将所述第五特征和所述第六特征输入第六神经网络，获得所述第三脑图谱。

在本申请实施例中，通过脑神经环路的稀疏脑网络表征生成所述第三脑图谱，提高第三脑图谱的真实性，利用第三脑图谱进行循环解耦，将样本量很少的多模态神经影像数据反复利用，解决了医学图像小样本高维数据过拟合的问题，使本发明具有模型参数少，鲁棒性高，泛化能力强的优点，并将神经环路的稀疏脑网络和潜空间中的随机向量的重构脑网络结合，使得在检测到的神经环路目标分布体现“最大化类间间隔，最小化类内散布”的优点。

在第一方面的一种可能的实现方式中，所述根据所述第三神经环路和所述第二神经环路，获得第三损失包括：

根据所述第二神经环路构建第二超图，以及根据所述第三神经环路构建第三超图；

根据所述第二超图和所述第三超图，获得所述第三损失。

在本申请实施例中，通过设计第三损失用以定量刻画脑神经环路之间的高阶拓扑差异，有效解决训练过程中过拟合的问题，增强训练过程中模型的泛化能力，使本申请实施例达到检测神经环路的目的。

在第一方面的一种可能的实现方式中，所述根据所述第二超图和所述第三超图，获得第三损失包括：

根据所述第二超图的参数以及所述第三超图的参数，获得所述第三损失；

所述第二超图的参数和所述第三超图的参数满足如下关系：

L_cap＝Sim_spatial(H,H^′)+Sim_spectral(H,H^′)；

所述

是所述第二超图的拉普拉斯矩阵Δ_H的特征值，所述

是所述第三超图的拉普拉斯矩阵Δ_H’的特征值，所述H表示所述第二超图，所述H^′表示所述第三超图，所述N_p表示所述第二神经环路，所述N_p′表示所述第三神经环路。

在第一方面的一种可能的实现方式中，所述第三目标数据根据所述第二目标数据获得。

第二方面，本申请实施例提供了一种脑图谱构建及神经环路检测的装置，包括：

获取单元，用于根据第一图像获取第一目标数据以及根据第二图像获取第二目标数据，所述第一目标数据表示所述第一图像中每个区域的时间序列特征，所述第二目标数据表示所述第二图像中各区域之间神经元的连接强度，所述第一图像为待处理的脑部静息态功能磁共振成像rs-fMRI，所述第二图像为待处理的磁共振弥散张量成像DTI；所述第一图像中的区域和所述第二图像中的区域根据模板确定；

确定单元，用于根据所述第一目标数据和所述第二目标数据确定第一脑图谱，所述第一脑图谱用于表征所述第一目标数据和所述第二目标数据的关系；所述第一图像的区域和/或所述第二图像的区域与所述第一脑图谱的图节点对应；所述第一脑图谱的图节点的标号为所述区域对应的所述模板的解剖标记序号；所述图节点的节点特征为所述第一目标数据中所包括的对应区域的时间序列特征；

第一输出单元，用于将所述第一脑图谱输入第一神经网络，输出第一特征，所述第一特征用于表示所述第一脑图谱的高阶拓扑特征；

第二输出单元，用于将所述第一特征输入第二神经网络，输出第一神经环路，所述第二神经网络用于对所述第一脑图谱中的区域进行解耦，所述第一神经环路用于表示第一脑图谱的区域之间的连接关系。

在第二方面的一种可能的实现方式中，所述第一输出单元，具体用于根据所述第一脑图谱以及所述第一神经网络的参数，获得所述第一特征；

所述第一脑图谱与所述第一神经网络的参数之间满足如下关系：

所述σ表示非线性激活函数，所述l表示所述第一神经网络的层数，所述W表示待学习的权重矩阵，所述b表示待学习的偏差，所述X_G表示所述第一目标数据，所述A_G表示所述第二目标数据，所述D_G表示第三目标数据，所述第三目标数据为所述第一脑图谱的色散矩阵，所述色散矩阵表示所述第一脑图谱中每个图节点的拓扑发散性。

在第二方面的一种可能的实现方式中，所述第二输出单元，具体用于根据所述第一特征以及所述第二神经网络的参数，获得第一数值；

所述第二输出单元，具体用于在所述第一数值满足预设条件的情况下，对所述第一脑图谱中的区域进行解耦，获得所述第一神经环路；

所述第一特征以及所述第二神经网络的参数满足如下关系：

所述

表示所述第一特征

中所述区域v_i的特征，所述d表示待学习的向量，所述b表示待学习的偏差，所述Dec(v_i)表示第一数值，所述σ表示非线性激活函数，所述W表示待学习的权重矩阵；

所述预设条件包括：

Dec(v_i)≥γ||d||₂；

所述v_i表示所述区域，所述γ表示预先设置的超参数，所述d表示待学习的向量。

在第二方面的一种可能的实现方式中，所述获取单元，还用于根据第一样本图像获取第一样本数据以及根据第二样本图像获取第二样本数据，所述第一样本数据表示所述第一样本图像中每个区域的时间序列，所述第二样本数据表示所述第二样本图像中各区域之间神经元的连接强度，所述第一样本图像为rs-fMRI样本图像，所述第二样本图像为DTI样本图像；

所述确定单元，还用于根据所述第一样本数据、所述第二样本数据确定第二脑图谱；

所述第一输出单元，还用于将所述第二脑图谱输入所述第一神经网络，输出第二特征，所述第二特征为高阶拓扑特征；

所述第二输出单元，还用于将所述第二特征输入第二神经网络，输出第二神经环路，所述第二神经网络还用于对第二脑图谱中的区域进行解耦；

训练单元，用于根据所述第二神经环路训练所述第一神经网络和所述第二神经网络。

在第二方面的一种可能的实现方式中，所述训练单元，具体用于将所述第二神经环路输入第三神经网络，输出影响所述第二神经环路的相关特征；

所述训练单元，具体用于将所述相关特征输入第四神经网络，输出第一概率，所述第一概率表示影响所述第二神经环路的程度；

所述训练单元，具体用于根据目标标签信息和所述第一概率，获得第一损失；

所述训练单元，具体用于根据所述第一损失训练所述第一神经网络、所述第二神经网络、所述第三神经网络和所述第四神经网络。

在第二方面的一种可能的实现方式中，所述训练单元，具体用于根据所述第二神经环路构建第一超图，所述第一超图的节点为所述第二脑图谱中的区域，所述第一超图的超边为所述第二神经环路，所述第一超图包括第三特征和第一矩阵，所述第三特征为所述第一超图的节点特征，所述第一矩阵为所述节点与所述超边关联的矩阵；

所述训练单元，具体用于将所述第三特征和所述第一矩阵输入第三神经网络，获得所述第四特征，所述第四特征为神经环路对疾病产生影响的特征。

在第二方面的一种可能的实现方式中，所述训练单元，具体用于根据所述第三特征、所述第一矩阵以及所述第三神经网络的参数，获得第四特征。

在第二方面的一种可能的实现方式中，所述训练单元，具体用于将随机向量和所述第二神经环路输入生成网络，获得第三脑图谱；

所述训练单元，具体用于将所述第三脑图谱和所述第二脑图谱输入判别网络，获得第二损失；

所述训练单元，具体用于将所述第三脑图谱输入所述第二神经网络，输出第三神经环路；

所述训练单元，具体用于根据所述第三神经环路和所述第二神经环路，获得第三损失；

所述训练单元，具体用于根据所述第二损失训练所述生成网络和所述判别网络以及根据所述第三损失训练所述第一神经环路和所述第二神经环路。

在第二方面的一种可能的实现方式中，所述训练单元，具体用于将所述随机向量输入第五神经网络，获得第五特征，所述第五特征为所述随机向量的拓扑特征；

所述训练单元，具体用于将所述第二神经环路嵌入稀疏脑网络，获得第六特征，所述第六特征为所述第二神经环路的稀疏拓扑特征；

所述训练单元，具体用于将所述第五特征和所述第六特征输入第六神经网络，获得所述第三脑图谱。

在第二方面的一种可能的实现方式中，所述训练单元，具体用于根据所述第二神经环路构建第二超图，以及根据所述第三神经环路构建第三超图；

所述训练单元，具体用于根据所述第二超图和所述第三超图，获得所述第三损失。

在第二方面的一种可能的实现方式中，所述训练单元，具体用于根据所述第二超图的参数以及所述第三超图的参数，获得所述第三损失。

第三方面，本申请实施例提供一种电子设备，包括：存储器，用于存储指令；处理器，用于执行上述存储器存储的上述指令，上述指令被执行时如第一方面或者第一方面的任意一种可能的实施方式中的方法被实现。

第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机存储介质存储有计算机程序，上述计算机程序被执行时，如第一方面或者第一方面的任意一种可能的实施方式中的方法被实现。

第五方面，本申请实施例提供了一种计算机程序，当上述计算机程序在计算机上运行时，使得该计算机执行如第一方面或者第一方面的任意一种可能的实施方式中的方法。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图作简单的介绍。

图1为本申请实施例提供的一种疾病诊断的方法示意图；

图2为本申请实施例提供的一种脑图谱构建及神经环路检测的方法的流程图；

图3为本申请实施例提供的一种数据处理的方法的流程图；

图4为本申请实施例提供的一种训练方法的流程图；

图5为本申请实施例提供的一种训练方法的流程图；

图6为本申请实施例提供的一种脑图谱构建及神经环路检测的方法的应用场景图；

图7a为本申请实施例提供的一种脑图谱构建及神经环路检测的装置的结构示意图；

图7b为本申请实施例提供的一种脑图谱构建及神经环路检测的装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地描述。

本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等仅用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备等，没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元等，或可选地还包括对于这些过程、方法、产品或设备等固有的其它步骤或单元。

在本文中提及的“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员可以显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”。

下面结合本申请实施例中的附图对本申请实施例进行描述。

随着科学技术的发展，人工智能在各个领域取得了广泛的应用。人工智能在医学领域上通常采用医学图像分析和挖掘病人的医疗数据。

首先请参阅图1，如图1所示，在人类脑疾病的研究中，通常根据传统的医学影像获取脑部的功能或结构信息，再结合医生的经验，对其脑部出现的异常进行判断，但传统医学影像无法提供脑区连接信息，不适用于由脑神经环路或脑连接异常所导致的疾病。

针对上述问题，本申请实施例提出一种脑图谱构建及神经环路检测的方法，上述方法包括：

201、根据第一图像获取第一目标数据以及根据第二图像获取第二目标数据。

可理解，上述第一目标数据表示上述第一图像中每个区域的时间序列特征，上述第二目标数据表示上述第二图像中各区域之间神经元的连接强度，上述第一图像为待处理的脑部静息态功能磁共振成像rs-fMRI，上述第二图像为待处理的磁共振弥散张量成像DTI；上述第一图像中的区域和上述第二图像中的区域根据模板确定，上述第一图像和上述第二图像对应同一目标。上述模板可以为自动解剖标记(Anatomical AutomaticLabeling，AAL)模板，本方案对此不作限定。

具体的，上述根据第一图像获取第一目标数据，可以通过深度学习框架搭建脑活动时间序列提取框架4D动态特征感知模块，再通过上述脑活动时间序列提取框架四维动态特征感知模块学习rs-fMRI数据中每个体素的时间序列特征，结合上述模板，综合计算每个脑区中包含的所有体素的时间序列平均值，作为每个脑区的时间序列特征，由于上述rs-fMRI数据所测得的时间序列信号为大脑中每个体素的血氧水平的时间序列信号，上述体素对应三维坐标，上述体素所对应的时间序列信号对应时间坐标，因此上述时间序列特征可以反映大脑的时间信息和空间信息。

上述根据第二图像获取第二目标数据，可以通过深度学习框架搭建纤维束目标检测模块，基于panda数据库自动提取和分析大脑中主要的白质纤维束，计算脑部神经元连接强度，结合上述模板，统计不同脑区之间所包含的神经元的总体连接强度(即上述第二目标数据)，表征各个脑区之间的拓扑信息，并利用矩阵的形式数据存储。

202、根据上述第一目标数据和上述第二目标数据确定第一脑图谱。

具体的，上述第一脑图谱的图节点为上述第一图像的区域和/或上述第二图像的区域；上述第一脑图谱的图节点的标号为上述区域对应的上述模板的解剖标记序号；上述图节点的节点特征为上述第一目标数据中对应区域的时间序列特征；上述第一脑图谱的色散矩阵为第三目标数据，上述第三目标数据表示上述第一脑图谱中每个图节点的拓扑发散性。

上述第三目标数据可以根据对第二目标数据进行计算获得，上述第二目标数据和第三目标数据之间满足如下关系：

上述D_G表示上述第三目标数据，上述A_G表示上述第二目标数据。

203、将上述第一脑图谱输入第一神经网络，输出第一特征。

可理解，上述第一特征用于表示上述第一脑图谱的高阶拓扑特征，上述第一神经网络包括两层或两层以上神经网络，上述第一神经网络用于提取上述第一脑图谱的拓扑特征，将上述第一脑图谱输入第一神经网络，获得上述第一特征。

在本申请实施例的一种实现方式中，上述将上述第一脑图谱输入第一神经网络，输出第一特征包括：根据上述第一脑图谱以及上述第一神经网络的参数，获得上述第一特征，上述第一特征。

具体的，上述第一脑图谱与上述第一神经网络的参数之间满足如下关系：

上述σ表示非线性激活函数，上述l表示上述第一神经网络的层数，上述W表示待学习的权重矩阵，上述b表示待学习的偏差，上述X_G表示上述第一目标数据，上述A_G表示上述第二目标数据，上述D_G表示上述第三目标数据，上述待学习的权重矩阵和上述待学习的偏差可以通过训练获得。

204、将上述第一特征输入第二神经网络，输出第一神经环路。

可理解，上述第二神经网络用于对上述第一脑图谱中的区域进行解耦，上述第一神经环路用于表示第一脑图谱的区域之间的连接关系，上述第一神经环路包括至少一个神经环路。将上述第一特征输入第二神经网络，对上述第一图谱的脑区进行解耦，获得具有第一特征的第一神经环路，示例性的，上述第一神经环路可以为第一脑图谱中至少一条导致疾病的神经环路其他具有第一特征的神经环路，本方案对此不作限定。

在上述实施例的一种可选方案中，上述将上述第一特征输入第二神经网络，输出第一神经环路包括：

根据上述第一特征以及上述第二神经网络的参数，获得第一数值；在上述第一数值满足预设条件的情况下，对上述第一脑图谱中的区域进行解耦，获得上述第一神经环路。上述第一特征以及上述第二神经网络的参数满足如下关系：

上述

表示上述第一特征

中上述区域v_i的特征，上述d表示待学习的向量，上述b表示待学习的偏差，上述Dec(v_i)表示第一数值，上述待学习的向量和待学习的偏差可以通过训练获得，上述σ表示非线性激活函数，上述W表示待学习的权重矩阵；

上述预设条件包括：

Dec(v_i)≥γ||d||₂；

上述v_i表示上述区域，上述γ表示预先设置的超参数，上述d表示待学习的向量，上述待学习的向量可以通过训练获得。

本申请实施例通过对第一脑图谱进行编码，深入挖掘不同模态之间的互补信息，保留神经环路之间高阶拓扑特征、有效排除冗余干扰信息。通过第一网络进行脑图谱高阶特征提取，再利用第二神经网络对脑图谱中的脑神经环路进行分析和解耦，获得神经环路，达到深入分析脑图谱物理-频域空间下高阶拓扑特征的目的，最终实现神经环路的精准检测。

图2描述了对多模态图像进行处理并识别目标神经环路的过程，可应用于电子设备，上述电子设备可以为计算机，本方案对此不作限定。其中，上述第一神经网络和上述第二神经网络可以是接收的来自其他装置的神经网络，也可以是该脑图谱构建及神经环路检测装置自己训练的，因此，以该脑图谱构建及神经环路检测装置自己训练的神经网络为例，本申请实施例提供一种训练的方法。

图3为本申请实施例提供的一种训练的方法的流程图，如图3所示，上述方法包括：

301、根据第一样本图像获取第一样本数据以及根据第二样本图像获取第二样本数据。

可理解，上述第一样本数据表示上述第一样本图像中每个区域的时间序列，上述第二样本数据表示上述第二样本图像中各区域之间神经元的连接强度，上述第一样本图像为rs-fMRI样本图像，上述第二样本图像为DTI样本图像，上述第一样本图像中的区域和上述第二样本图像中的区域根据模板确定，上述第一样本图像和上述第二样本图像对应同一目标。

示例性的，上述第一样本图像和上述第二样本图像可以通过阿尔兹海默病神经影像(alzheimer’s disease neuroimaging initiative，ADNI)数据库或其他数据库中的rs-fMRI和DTI获得，上述第一样本图像和上述第二样本图像的类别可以包括正常老年人对照组、早期轻度认知障碍、晚期轻度认知障碍和阿尔茨海默症，年龄覆盖范围在57岁到93岁之间，但本方案对此不作限定。

关于步骤301的具体说明可以参考上述步骤201所示的相关方法，这里不再赘述。

302、根据上述第一样本数据和上述第二样本数据确定第二脑图谱。

可选的，上述第二脑图谱的图节点为上述第一样本图像的区域和/或上述第二样本图像的区域；上述第二脑图谱的图节点的标号为上述区域对应的上述模板的解剖标记序号；上述图节点的节点特征为上述第二样本数据中对应区域的时间序列特征；上述第二脑图谱的色散矩阵为第三样本数据，上述第三样本数据表示上述第二脑图谱中每个图节点的拓扑发散性。

具体的，上述第三目标数据可以根据对第二目标数据进行计算获得。

关于步骤302的具体说明可以参考上述步骤202所示的相关方法，这里不再赘述。

303、将上述第二脑图谱输入第一神经网络，输出第二特征。

可理解，上述第二特征为第二脑图谱的高阶拓扑特征。

关于步骤303的具体说明可以参考上述步骤203所示的相关方法，这里不再赘述。

304、将上述第二特征输入第二神经网络，输出第二神经环路。

可理解，上述第二神经网络还用于对第二脑图谱中的区域进行解耦，上述第二神经环路包括至少一个神经环路。

关于步骤304的具体说明可以参考上述步骤204所示的相关方法，这里不再赘述。

305、根据上述第二神经环路训练上述第一神经网络和上述第二神经网络。

可理解，上述根据上述第二神经环路训练上述第一神经网络和上述第二神经网络可以通过比对上述第二神经环路与上述第一样本图像和/或第二样本图像的标签信息，获得损失函数，上述损失函数用于表示上述第二神经环路与第一样本图像和/或第二样本图像中的标签信息的差别，通过上述损失函数与反向传播算法，更新上述第一神经网络和上述第二神经网络中的参数。

本申请实施例将神经环路的检测问题转化为了脑图谱物理-频域空间下高阶拓扑特征分析问题，避免了对目标脑区特征空间检索来实现神经环路检测所带来的非凸优化和奇点构陷问题。

基于图3所示的步骤305中根据上述第二神经环路训练上述第一神经网络和上述第二神经网络，本申请实施例提出了一种训练方法，如图4所示，该方法包括：

401、将第二神经环路输入第三神经网络，输出影响上述第二神经环路的相关特征。

利用第三神经网络对上述第二神经环路中每个第二神经环路进行特征提取，得到每个第二神经环路的特征数据。

其中，该第三神经网络可采用深度学习网络，如可通过ResNet网络来获取每个第二图像的特征数据。进一步的，该ResNet网络可包括i个卷积层，该第二图像可依次通过i个卷积层的卷积处理，得到该第二图像的特征数据。

在上述实施例的一种可选方案中，上述将上述第二神经环路输入第三神经网络，输出影响上述第二神经环路的相关特征包括：

根据上述第二神经环路构建第一超图；

将上述第一超图中的第三特征和上述第一超图中的第一矩阵输入第三神经网络，获得上述第四特征。

可理解，上述第一超图的节点为上述第二脑图谱中的区域，上述第一超图的超边为上述第二神经环路，上述第一超图包括第三特征和第一矩阵，上述第三特征为上述第一超图的节点特征，上述第一矩阵为上述节点与上述超边关联的矩阵，上述第四特征为神经环路对疾病产生影响的特征。

具体的，上述节点特征定义为：

上述X_H表示节点特征，上述

表示包含各节点的超边的特征。

上述第一超图对应维数|V|×|ε|的矩阵，上述V表示上述第一超图的节点构成的集合(即上述第二脑图谱中所有区域构成的集合)，上述ε表示上述第一超图的超边构成的集合(即上述第二脑图谱中所有第二神经环路构成的集合)超图H对应维数为|V|×|E|的关联矩阵H，上述矩阵元素：

在本申请实施例的一种可选方案中，根据上述第三特征、上述第一矩阵以及上述第三神经网络的参数，获取第一概率；上述相关特征与上述第三神经网络的参数满足如下关系：

上述l表示第三神经网络的层数，所

和上述

示待学习的权重矩阵，上述

和上述

表示待学习的偏差，上述σ表示非线性激活函数，上述H表示上述第一矩阵，上述表示

超图区域特征，上述

表示节点特征，上述初始特征

上述待学习的权重矩阵和上述待学习的偏差可以根据训练后得到。根据上述第三特征、第一矩阵以及上述第三神经网络的参数，可以获得相关特征。

402、将上述相关特征输入第四神经网络，输出第一概率。

可理解，上述第一概率表示影响上述第二神经环路的程度，上述第四神经网络可采用全连接网络，上述全连接网络可以通过卷积操作实现，将一个特征空间线性变换到另一个特征空间，将上述相关特征整合，输出第一概率。

403、根据目标标签信息和上述第一概率，获得第一损失。

可理解，上述目标标签信息为第一样本图像和/或第二样本图像的标签信息，根据上述目标标签信息和第一概率，获得第一损失，示例性的，上述目标标签信息包括上述第一样本图像和/或第二样本图像真实疾病标签，或其他由上述第一样本图像和/或第二样本图像中第二神经环路的影响，本方案在此不作限定。

404、根据上述第一损失训练上述第一神经网络、上述第二神经网络、上述第三神经网络和上述第四神经网络。

可理解，通过上述第一损失和反向传播算法，更新上述第一神经网络的参数、上述第二神经网络中的参数、上述第三神经网络的参数和上述第四神经网络的参数，上述第一神经网络的参数包括待学习的权重矩阵和待学习的偏差，上述第二神经网络的参数包括待学习的向量和待学习的偏差、上述第三神经网络的参数待学习的偏差和待学习的权重矩阵。

本申请实施例将异常神经环路进行超图嵌入变换，可以从整体特征分布的层面对神经环路进行分析。设计了神经环路超边神经元算法，达到深入分析脑图谱物理-频域空间下高阶拓扑特征的目的，最终实现神经环路的精准检测。

基于图3所示的步骤305中根据上述第二神经环路训练上述第一神经网络和上述第二神经网络，本申请实施例提出一种训练的方法，如图5所示，该方法包括：

501、将随机向量和上述第二神经环路输入生成网络，获得第三脑图谱。

可理解，上述随机向量为潜空间中随机采样的向量，上述第三脑图谱为生成网络输出的重构脑图谱，上述潜空间包括至少两个随机向量。

在本申请实施例的一种可选方案中,上述将随机向量和上述第二神经环路输入生成网络，获得第三脑图谱包括：将上述随机向量输入第五神经网络，获得第五特征；将上述第二神经环路嵌入稀疏脑网络，获得第六特征；将上述第五特征和上述第六特征输入第六神经网络，获得上述第三脑图谱。

可理解，上述第五特征为上述随机向量的拓扑特征，上述第六特征为上述第二神经环路的稀疏拓扑特征，上述第五神经网络包括两层或两层以上反卷积层，上述第六神经网络用于将上述第五特征与第六特征进行融合，上述稀疏脑网络为具有稀疏性的脑功能网络。

具体的，将上述随机变量输入第五神经网络，获得第五特征，上述第五特征为特征矩阵。将上述第二神经环路嵌入稀疏脑网络后获得第六特征，上述第二特征为特征矩阵，上述第二特征可以定义为：

可理解，

上述表示上述第二特征，上述v_i和上述v_j表示上述第二脑图谱的区域，上述N_p表示第二神经环路。

502、将上述第三脑图谱和第二脑图谱输入判别网络，获得第二损失。

可理解，上述判别网络包括两层及两层以上感知机和全连接网络，通过感知机对上述第二脑图谱和上述第三脑图谱获得上述第二脑图谱的特征和上述第三脑图谱的特征，将上述第二脑图谱的特征和上述第三脑图谱的特征输入全连接层，获得上述第二脑图谱和第三脑图谱由生成网络生成的概率，根据上述第二脑图谱和第三脑图谱由生成网络生成的概率和标签信息，获得上述第二损失，上述标签信息包括上述脑图谱为原始编码的脑图谱或者由生成网络输出的脑图谱。

具体的，上述概率和第二损失的关系如下所示：

上述

表示判别网络对抗损失，即判别网络对上述重构脑图谱的区分能力，上述

表示生成网络对抗损失，即上述判别网络对上述原始编码的脑图谱的区分能力，上述G(z,N₁,N₂,…,N_k)表示上述第三脑图谱，上述A表示上述第二脑图谱。

503、将上述第三脑图谱输入上述第二神经网络，输出第三神经环路。

可理解，上述第二神经网络还用于对第三脑图谱进行解耦，上述第三神经环路表示上述第三脑图谱中各区域之间的连接关系。

关于步骤503的具体说明可以参考上述图2所示的相关方法，这里不再赘述。

504、根据上述第三神经环路和上述第二神经环路，获得第三损失。

可理解，上述第三损失表示上述第三神经环路和第二神经环路之间的差异，用于约束第一神经网络和第二神经网络。

在本申请实施例的一种可选方案中，上述根据上述第三神经环路和上述第二神经环路，获得第三损失包括：根据上述第二神经环路构建第二超图，以及根据上述第三神经环路构建第三超图；根据上述第二超图和上述第三超图，获得上述第三损失。

可理解，上述第二超图的节点为上述第二脑图谱中的区域，上述第二超图的超边为上述第二神经环路。上述第三超图的节点为上述第三脑图谱中的区域，上述第三超图的超边为上述第三神经环路。

在本申请实施例的一种可选方案中，根据上述第二超图的参数以及上述第三超图的参数，获得上述第三损失；上述第二超图的参数和上述第三超图的参数满足如下关系：

L_cap＝Sim_spatial(H,H^′)+Sim_spectral(H,H^′)；

上述

是上述第二超图的拉普拉斯矩阵Δ_H的特征值，上述

是上述第三超图的拉普拉斯矩阵Δ_H’的特征值，上述H表示上述第二超图，上述H^′表示上述第三超图，上述N_p表示上述第二神经环路，上述N_p′表示上述第三神经环路，上述拉普拉斯矩阵

上述D_V和D_ε分别是上述第二超图关联矩阵H的脑区及上述第二神经环路的度矩阵。

505、根据上述第二损失训练上述生成网络和上述判别网络以及根据上述第三损失训练上述第一神经环路和上述第二神经环路。

可理解，通过上述第二损失和反向传播算法，更新上述生成网络和判别网络中的参数，上述参数包括上述待学习的偏差和上述待学习的权重矩阵，上述第二损失中的判别网络对抗损失用于更新判别网络中的参数，上述第二损失中的生成网络对抗损失用于更新生成网络中的参数。根据上述第三损失和反向传播算法更新上述第一神经网络的参数和上述第二神经网络中的参数上述第一神经网络的参数包括待学习的权重矩阵和待学习的偏差，上述第二神经网络的参数包括待学习的向量和待学习的偏差。

本申请实施例利用对抗生成网络将样本量较少的多模态神经影像数据反复多次高效利用，并设计第三损失用以定量刻画脑神经环路之间的高阶拓扑差异，同时利用循环解耦机制减少不必要的参数，有效解决了医学图像小样本学习中鲁棒性弱、泛化能力差以及过拟合的问题，使得模型的泛化能力显著增强，达到神经环路检测的目的，提高检测的准确性。

应当说明的是，图4所示的训练的方法和图5所示的方法在具体使用中可以无先后顺序。

基于上述方法，本申请实施例以阿尔兹海默症为例，提出一种阿尔兹海默症异常神经环路检测的方法，如图6所示，上述方法可以应用于一种脑图谱构建及神经环路检测装置，上述装置包括解耦模块，解析模块、多尺度脑图谱生成模块(即上述图5所示的训练方法中的生成网络)和判别模块(即上述图5所示的训练方法中的判别网络)。

上述解耦模块的输入为rs-fMRI和DTI的脑图谱编码(即上述图5所示的训练方法中的第二脑图谱)，输出为若干条影响阿尔茨海默症的神经环路(即上述图5所示的训练方法中的第二神经环路)。解耦模块包含阿尔茨海默症拓扑特征提取层(即上述图5所示的训练方法中的第一神经网络)和异常神经环路解耦层(即上述图5所示的训练方法中的第二神经网络)。

上述解析模块的输入为解耦模块检测到的阿尔茨海默症相关的异常神经环路，输出为神经环路影响阿尔茨海默症疾病发展的概率分布。解析模块包含神经环路超边神经元层(即上述图5所示的训练方法中的第三神经环路)和全连接层(即上述图5所示的训练方法中的第四神经环路)。

上述多尺度脑图谱生成器的输入为上述解耦模块检测到的阿尔茨海默症相关的异常神经环路以及由随机向量构成的潜空间，输出为重构后的脑图谱(即上述图5所示的训练方法中的上述第三脑图谱)。多尺度脑图谱生成器包含反卷积层(即上述图5所示的训练方法中的第五神经环路)和多尺度脑图谱特征融合层(即上述图5所示的训练方法中的第六神经环路)。

上述判别模块的输入为脑图谱，上述脑图谱包括初始编码的脑图谱(即上述图5所示的训练方法中的上述第二脑图谱)和多尺度脑图谱生成模块输出的重构后的脑图谱，输出为对脑图谱是否由多尺度脑图谱生成模块所生成的判别概率。判别模块包含多层感知机和一个全连接层。

基于本申请实施例提供的如图4或图5所示的训练方法，将根据rs-fMRI和DTI处理得到的脑图谱G输入解耦模块，获得影响阿尔兹海默症的所有异常神经环路N₁,N₂,…,N_k。上述异常神经环路的获得可以参考上述图2中步骤204所示的相关方法，这里不再赘述。上述解耦模块包括上述第一神经网络和上述第二神经网络，将上述异常神经环路输入解析模块，得到该神经环路影响阿尔茨海默症疾病发展的概率分布(即上述图5所示的训练方法中的第一概率)p(y|N₁,N₂,…,N_k)，上述解析模块包括上述第三神经网络和上述第四神经网络，上述y表示阿尔茨海默症发展阶段的不同状态(即正常对照NC、早期轻度认知障碍、晚期轻度认知障碍以及阿尔茨海默症)。利用标签信息和上述概率分布获得环路解析损失(即上述图5所示的训练方法中的上述第一损失)，上述获得解析损失的方法包括：

上述N₁,N₂,…,N_k和上述N₁′,N₂′,…,N_k′用于表示通过解耦模块获得的异常神经环路，将上述环路解析损失反向传播，指导解耦模块与解析模块的参数更新。

将上述N₁,N₂,…,N_k和潜空间中采样的随机向量z输入多尺度脑图谱生成模块，得到90×90大小的目标脑网络拓扑特征矩阵

对异常神经环路N₁,N₂,…,N_k进行稀疏脑网络嵌入：每条神经环路N_p嵌入到一个稀疏脑网络

中，获得上述稀疏脑网络的拓扑特征矩阵。利用多尺度脑图谱特征融合层对目标脑网络拓扑特征矩阵

和稀疏脑网络

进行脑图谱重构，得到重构后的脑图谱G′(即上述图5所示的训练方法中的第三脑图谱)，上述脑图谱的脑网络拓扑特征矩阵为A′，上述多尺度脑图谱生成模块包括第五神经网络和第六神经网络，将重构后的脑图谱和初始脑图谱输入判别模块，通过多层感知机对脑图谱拓扑矩阵进行特征提取，把提取后的特征送入全连接层，由全连接层输出对脑图谱是否由生成器所生成的判别概率。根据上述判别概率得到对抗损失，上述对抗损失包括判别模块对抗损失

和生成模块对抗损失

(即上述图5所示的训练方法中的上述第二损失。将上述对抗损失反向传播，指导多尺度脑图谱生成模块和判别模块参数更新。

将上述多尺度脑图谱生成模块生成的上述重构脑图谱重新输入到解耦模块，获得循环解耦后的异常脑神经环路N₁′,N₂′,…,N_k′。通过判别(即上述图5所示的训练方法中的上述第三损失)对解耦模块进行约束，指导解耦模块的参数更新，上述稀疏容量损失的计算可以参考上述图5中步骤504所示的相关方法，这里不再赘述。

重复上述步骤，直至上述生成网络和上述判别网络向纳什均衡点收敛。

在通过上述训练方法训练完毕后，对待辅助诊疗的患者的rs-fMRI和DTI进行处理，得到每个体素的时间序列信号以及神经元连接强度，结合AAL模板将其编码为脑图谱，将上述脑图谱输入已训练完毕的解耦模块，解耦模块输出的若干条神经环路即为该名患者的影响阿尔茨海默症的异常脑神经环路。

本申请实施例将一种通过物理空间-谱空间联合深度特征解耦方法应用于阿尔茨海默症的异常神经环路检测。能够在高效处理不同模态神经影像数据的同时确保异常神经环路检测的准确性。本申请实施例将脑部rs-fMRI图像以三维感兴趣区域的体素特征的时间序列和DTI图像的结构连接矩阵整体编码为脑图谱数据，有利于同时保留三维脑部内部组织的脑区功能信息和物理神经元连接信息。通过空间-谱拉普拉斯算法、解耦分析、稀疏脑网络-超图嵌入变换、高阶拓扑特征相似度算法、多尺度脑图谱重构生成、循环迭代解耦对抗判别达到精准检测疾病相关异常神经环路的目的。在模型训练过程中，解耦模块、解析模块、生成模块、判别模块交替训练，使模型最终向纳什均衡点收敛。该方法克服了传统向量或张量算法处理医学图像小样本高维数据出现的过拟合问题，并且通过脑图谱编码、稀疏脑网络表征、超图嵌入方法极大的提升了模型的计算速度，保证了高效处理多模态神经影像的能力，凸显其卓越的异常脑神经环路检测能力，实现具有高精度，高鲁棒性的智能辅助诊断模型。

基于上述方法，本申请实施例提供了一种脑图谱构建及神经环路检测的装置，如图7a所示，该装置包括：

获取单元701，用于根据第一图像获取第一目标数据以及根据第二图像获取第二目标数据，上述第一目标数据表示上述第一图像中每个区域的时间序列特征，上述第二目标数据表示上述第二图像中各区域之间神经元的连接强度，上述第一图像为待处理的脑部静息态功能磁共振成像rs-fMRI，上述第二图像为待处理的磁共振弥散张量成像DTI；上述第一图像中的区域和上述第二图像中的区域根据模板确定；

确定单元702，用于根据上述第一目标数据和上述第二目标数据确定第一脑图谱，上述第一脑图谱用于表征上述第一目标数据和上述第二目标数据的关系；上述第一图像的区域和/或上述第二图像的区域与上述第一脑图谱的图节点对应；上述第一脑图谱的图节点的标号为上述区域对应的上述模板的解剖标记序号；上述图节点的节点特征为上述第一目标数据中所包括的对应区域的时间序列特征；

第一输出单元703，用于将上述第一脑图谱输入第一神经网络，输出第一特征，上述第一特征用于表示上述第一脑图谱的高阶拓扑特征；

第二输出单元704，用于将上述第一特征输入第二神经网络，输出第一神经环路，上述第二神经网络用于对上述第一脑图谱中的区域进行解耦，上述第一神经环路用于表示第一脑图谱的区域之间的连接关系。

在本申请实施例中，通过获取单元701对多模态神经影像第一图像和第二图像进行处理，根据确定单元获得第一脑图谱，达到高效利用不同模态影像数据互补信息的目的，再通过第一输出单元703和第二输出单元704，获得第一神经环路，达到检测到神经环路的目的，可以通过上述检测到的神经环路，辅助疾病病理学分析和溯源。

如图7b所示，本申请实施例提供的装置还可以包括：

在一个可选的实现方式中，上述第一输出单元703，具体用根据上述第一脑图谱以及上述第一神经网络的参数，获得上述第一特征；

上述第一脑图谱与上述第一神经网络的参数之间满足如下关系：

上述σ表示非线性激活函数，上述l表示上述第一神经网络的层数，上述W表示待学习的权重矩阵，上述b表示待学习的偏差，上述X_G表示上述第一目标数据，上述A_G表示上述第二目标数据，上述D_G表示第三目标数据，上述第三目标数据为上述第一脑图谱的色散矩阵，上述色散矩阵表示上述第一脑图谱中每个图节点的拓扑发散性。

在一个可选的实现方式中，上述第二输出单元704，具体用于根据上述第一特征以及上述第二神经网络的参数，获得第一数值；

上述第二输出单元704，具体用于在上述第一数值满足预设条件的情况下，对上述第一脑图谱中的区域进行解耦，获得上述第一神经环路；

上述第一特征以及上述第二神经网络的参数满足如下关系：

上述

表示上述第一特征

中上述区域v_i的特征，上述d表示待学习的向量，上述b表示待学习的偏差，上述Dec(v_i)表示第一数值，上述σ表示非线性激活函数，上述W表示待学习的权重矩阵；

上述预设条件包括：

Dec(v_i)≥γ||d||₂；

上述v_i表示上述区域，上述γ表示预先设置的超参数，上述d表示待学习的向量。

在一个可选的实现方式中，上述获取单元701，还用于根据第一样本图像获取第一样本数据以及根据第二样本图像获取第二样本数据，上述第一样本数据表示上述第一样本图像中每个区域的时间序列，上述第二样本数据表示上述第二样本图像中各区域之间神经元的连接强度，上述第一样本图像为rs-fMRI样本图像，上述第二样本图像为DTI样本图像；

上述确定单元702，还用于根据上述第一样本数据、上述第二样本数据确定第二脑图谱；

上述第一输出单元703，还用于将上述第二脑图谱输入上述第一神经网络，输出第二特征，上述第二特征为高阶拓扑特征；

上述第二输出单元704，还用于将上述第二特征输入第二神经网络，输出第二神经环路，上述第二神经网络还用于对第二脑图谱中的区域进行解耦；

训练单元705，用于根据上述第二神经环路训练上述第一神经网络和上述第二神经网络。

在一个可选的实现方式中，上述训练单元705，具体用于将上述第二神经环路输入第三神经网络，输出影响上述第二神经环路的相关特征；

上述训练单元705，具体用于将上述相关特征输入第四神经网络，输出第一概率，上述第一概率表示影响上述第二神经环路的程度；

上述训练单元，具体用于根据目标标签信息和上述第一概率，获得第一损失；

上述训练单元705，具体用于根据上述第一损失训练上述第一神经网络、上述第二神经网络、上述第三神经网络和上述第四神经网络。

在一个可选的实现方式中，上述训练单元705，具体用于根据上述第二神经环路构建第一超图，上述第一超图的节点为上述第二脑图谱中的区域，上述第一超图的超边为上述第二神经环路，上述第一超图包括第三特征和第一矩阵，上述第三特征为上述第一超图的节点特征，上述第一矩阵为上述节点与上述超边关联的矩阵；

上述训练单元705，具体用于将上述第三特征和上述第一矩阵输入第三神经网络，获得上述第四特征，上述第四特征为神经环路对疾病产生影响的特征。

在一个可选的实现方式中，上述训练单元705，具体用于根据上述第三特征、上述第一矩阵以及上述第三神经网络的参数，获得第四特征。

在一个可选的实现方式中，上述训练单元705，具体用于将随机向量和上述第二神经环路输入生成网络，获得第三脑图谱；

上述训练单元705，具体用于将上述第三脑图谱和上述第二脑图谱输入判别网络，获得第二损失；

上述训练单元705，具体用于将上述第三脑图谱输入上述第二神经网络，输出第三神经环路；

上述训练单元705，具体用于根据上述第三神经环路和上述第二神经环路，获得第三损失；

上述训练单元705，具体用于根据上述第二损失训练上述生成网络和上述判别网络以及根据上述第三损失训练上述第一神经环路和上述第二神经环路。

在一个可选的实现方式中，上述训练单元705，具体用于将上述随机向量输入第五神经网络，获得第五特征，上述第五特征为上述随机向量的拓扑特征；

上述训练单元705，具体用于将上述第二神经环路嵌入稀疏脑网络，获得第六特征，上述第六特征为上述第二神经环路的稀疏拓扑特征；

上述训练单元705，具体用于将上述第五特征和上述第六特征输入第六神经网络，获得上述第三脑图谱。

在一个可选的实现方式中，上述训练单元705，具体用于根据上述第二神经环路构建第二超图，以及根据上述第三神经环路构建第三超图；

上述训练单元705，具体用于根据上述第二超图和上述第三超图，获得上述第三损失。

在一个可选的实现方式中，上述训练单元705，具体用于根据上述第二超图的参数以及上述第三超图的参数，获得上述第三损失。

可理解，以上所示的各个单元的说明仅为示例，对于各个单元所执行的具体步骤或实现的功能还可以参考如图2至图6所示的实施例，这里不再一一详述。

图8为本申请实施例提供的一种电子设备的结构示意图。如图8所示，该电子设备80包括处理器801、存储器802和通信接口803；该处理器801、存储器802和通信接口803通过总线相互连接。图8中的电子设备用于执行前述实施例中的脑图谱构建及神经环路检测的方法。

存储器802包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmablereadonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CDROM)，该存储器802用于相关指令及数据。通信接口803用于接收和发送数据。

处理器801可以是一个或多个CPU，在处理器801是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

示例性的，处理器801可实现图7a所示的第一确定单元所执行的功能或步骤。

可理解，关于处理器的具体说明可以参考如图7a和/或图7b所示的装置，或者，也可以参考如图2至图6所示的实施例，这里不再一一详述。

在本申请的实施例中提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被执行时实现前述实施例所提供的脑图谱构建及神经环路检测的方法。

本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得该计算机执行前述实施例所提供的脑图谱构建及神经环路检测的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

可理解，本申请所提供的方法和装置可以应用于具有其他行业背景的同种分类问题，例如其他医学图像分类任务等。只需要在训练阶段替换为相应的医学图像作为训练样本利用本系统进行学习与检测。

在实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。

Claims (14)

1.一种脑图谱构建及神经环路检测的方法，其特征在于，包括：

根据第一图像获取第一目标数据以及根据第二图像获取第二目标数据，所述第一目标数据表示所述第一图像中每个区域的时间序列特征，所述第二目标数据表示所述第二图像中各区域之间神经元的连接强度，所述第一图像为待处理的脑部静息态功能磁共振成像rs-fMRI，所述第二图像为待处理的磁共振弥散张量成像DTI，所述第一图像中的区域和所述第二图像中的区域根据模板确定；

根据所述第一目标数据和所述第二目标数据确定第一脑图谱，所述第一脑图谱用于表征所述第一目标数据和所述第二目标数据的关系，所述第一图像的区域和/或所述第二图像的区域与所述第一脑图谱的图节点对应，所述第一脑图谱的图节点的标号为所述区域对应的所述模板的解剖标记序号，所述图节点的节点特征为所述第一目标数据中所包括的对应区域的时间序列特征；

将所述第一脑图谱输入第一神经网络，输出第一特征，所述第一特征用于表示所述第一脑图谱的高阶拓扑特征；

将所述第一特征输入第二神经网络，输出第一神经环路，所述第二神经网络用于对所述第一脑图谱中的区域进行解耦，所述第一神经环路用于表示第一脑图谱的区域之间的连接关系。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一脑图谱输入第一神经网络，输出第一特征包括：

根据所述第一脑图谱以及所述第一神经网络的参数，获得所述第一特征；

所述第一脑图谱与所述第一神经网络的参数之间满足如下关系：

所述σ表示非线性激活函数，所述l表示所述第一神经网络的层数，所述W表示待学习的权重矩阵，所述b表示待学习的偏差，所述X_G表示所述第一目标数据，所述A_G表示所述第二目标数据，所述D_G表示第三目标数据，所述第三目标数据为所述第一脑图谱的色散矩阵，所述色散矩阵表示所述第一脑图谱中每个图节点的拓扑发散性。

3.根据权利要求1或2所述的方法，其特征在于，所述将所述第一特征输入第二神经网络，输出第一神经环路包括：

根据所述第一特征以及所述第二神经网络的参数，获得第一数值；

在所述第一数值满足预设条件的情况下，对所述第一脑图谱中的区域进行解耦，获得所述第一神经环路；

所述第一特征以及所述第二神经网络的参数满足如下关系：

所述

表示所述第一特征

中所述区域v_i的特征，所述d表示待学习的向量，所述b表示待学习的偏差，所述Dec(v_i)表示第一数值，所述σ表示非线性激活函数，所述W表示待学习的权重矩阵；

所述预设条件包括：

Dec(v_i)≥γ||d||₂；

所述v_i表示所述区域，所述γ表示预先设置的超参数，所述d表示待学习的向量。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述获取第一图像和第二图像之前，所述方法还包括：

根据第一样本图像获取第一样本数据以及根据第二样本图像获取第二样本数据，所述第一样本数据表示所述第一样本图像中每个区域的时间序列，所述第二样本数据表示所述第二样本图像中各区域之间神经元的连接强度，所述第一样本图像为rs-fMRI样本图像，所述第二样本图像为DTI样本图像；

根据所述第一样本数据和所述第二样本数据确定第二脑图谱；

将所述第二脑图谱输入所述第一神经网络，输出第二特征，所述第二特征为高阶拓扑特征；

将所述第二特征输入第二神经网络，输出第二神经环路，所述第二神经网络还用于对第二脑图谱中的区域进行解耦；

根据所述第二神经环路训练所述第一神经网络和所述第二神经网络。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第二神经环路训练所述第一神经网络和所述第二神经网络包括：

将所述第二神经环路输入第三神经网络，输出影响所述第二神经环路的相关特征；

将所述相关特征输入第四神经网络，输出第一概率，所述第一概率表示影响所述第二神经环路的程度；

根据目标标签信息和所述第一概率，获得第一损失；

根据所述第一损失训练所述第一神经网络、所述第二神经网络、所述第三神经网络和所述第四神经网络。

6.根据权利要求5所述的方法，其特征在于，所述将所述第二神经环路输入第三神经网络，输出影响所述第二神经环路的相关特征包括：

根据所述第二神经环路构建第一超图，所述第一超图的节点为所述第二脑图谱中的区域，所述第一超图的超边为所述第二神经环路，所述第一超图包括第三特征和第一矩阵，所述第三特征为所述第一超图的节点特征，所述第一矩阵为所述节点与所述超边关联的矩阵；

将所述第三特征和所述第一矩阵输入第三神经网络，获得所述第四特征，所述第四特征为神经环路对疾病产生影响的特征。

7.根据权利要求6所述的方法，其特征在于，所述将所述第三特征和所述第一矩阵输入第三神经网络，获得所述第四特征包括：

根据所述第三特征、所述第一矩阵以及所述第三神经网络的参数，获得第四特征；

所述第三特征、所述第一矩阵与所述第三神经网络的参数满足如下关系：

所述l表示第三神经网络的层数，所

所述

所述

和所述

表示待学习的权重矩阵和偏差，所述H表示第一矩阵，所述表示

超图区域特征，所述

表示节点特征，所述σ表示非线性激活函数。

8.根据权利要求4-7任一项所述的方法，其特征在于，所述根据所述第二神经环路训练所述第一神经网络和所述第二神经网络包括：

将随机向量和所述第二神经环路输入生成网络，获得第三脑图谱；

将所述第三脑图谱和所述第二脑图谱输入判别网络，获得第二损失；

将所述第三脑图谱输入所述第二神经网络，输出第三神经环路；

根据所述第三神经环路和所述第二神经环路，获得第三损失；

根据所述第二损失训练所述生成网络和所述判别网络以及根据所述第三损失训练所述第一神经环路和所述第二神经环路。

9.根据权利要求8所述的方法，其特征在于，所述将随机向量和所述第二神经环路输入生成网络，获得第三脑图谱包括：

将所述随机向量输入第五神经网络，获得第五特征，所述第五特征为所述随机向量的拓扑特征；

将所述第二神经环路嵌入稀疏脑网络，获得第六特征，所述第六特征为所述第二神经环路的稀疏拓扑特征；

将所述第五特征和所述第六特征输入第六神经网络，获得所述第三脑图谱。

10.根据权利要求8或9所述的方法，其特征在于，所述根据所述第三神经环路和所述第二神经环路，获得第三损失包括：

根据所述第二神经环路构建第二超图，以及根据所述第三神经环路构建第三超图；

根据所述第二超图和所述第三超图，获得所述第三损失。

11.根据权利要求10所述的方法，其特征在于，所述根据所述第二超图和所述第三超图，获得第三损失包括：

根据所述第二超图的参数以及所述第三超图的参数，获得所述第三损失；

所述第二超图的参数和所述第三超图的参数满足如下关系：

L_cap＝Sim_spatial(H,H′)+Sim_spectral(H,H′)；

所述

是所述第二超图的拉普拉斯矩阵Δ_H的特征值，所述

是所述第三超图的拉普拉斯矩阵Δ_H’的特征值，所述H表示所述第二超图，所述H′表示所述第三超图，所述N_p表示所述第二神经环路，所述N_p′表示所述第三神经环路。

12.一种脑图谱构建及神经环路检测装置，其特征在于，包括：

获取单元，用于根据第一图像获取第一目标数据以及根据第二图像获取第二目标数据，所述第一目标数据表示所述第一图像中每个区域的时间序列特征，所述第二目标数据表示所述第二图像中各区域之间神经元的连接强度，所述第一图像为待处理的脑部静息态功能磁共振成像rs-fMRI，所述第二图像为待处理的磁共振弥散张量成像DTI，所述第一图像中的区域和所述第二图像中的区域根据模板确定；

确定单元，用于根据所述第一目标数据和所述第二目标数据确定第一脑图谱，所述第一脑图谱用于表征所述第一目标数据和所述第二目标数据之间的关系；

第一输出单元，用于将所述第一脑图谱输入第一神经网络，输出第一特征，所述第一特征用于表示所述第一脑图谱的高阶拓扑特征；

第二输出单元，用于将所述第一特征输入第二神经网络，输出第一神经环路，所述第二神经网络用于对所述第一脑图谱中的区域进行解耦，所述第一神经环路用于表示第一脑图谱的区域之间的连接关系。

13.一种电子设备，其特征在于，包括：

存储器，用于存储指令；

处理器，用于执行所述存储器存储的所述指令，在所述指令被执行时，如权利要求1至11中任意一项所述的方法被实现。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，在所述计算机程序被执行时，如权利要求1至11中任意一项所述的方法被实现。

Images