CN110111325A - 神经影像分类方法、计算机终端及计算机可读存储介质 - Google Patents

神经影像分类方法、计算机终端及计算机可读存储介质 Download PDF

Info

Publication number
CN110111325A
CN110111325A CN201910396680.6A CN201910396680A CN110111325A CN 110111325 A CN110111325 A CN 110111325A CN 201910396680 A CN201910396680 A CN 201910396680A CN 110111325 A CN110111325 A CN 110111325A
Authority
CN
China
Prior art keywords
neuroimaging
node
matrix
feature vector
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910396680.6A
Other languages
English (en)
Inventor
雷柏英
赵鑫
汪天富
倪东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910396680.6A priority Critical patent/CN110111325A/zh
Publication of CN110111325A publication Critical patent/CN110111325A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种神经影像分类方法、计算机终端及计算机可读存储介质，该方法包括：根据神经影像中各脑区之间的连接关系生成该神经影像对应的连接矩阵；根据预定提取规则在连接矩阵中提取预定数量的元素值并形成被试特征向量；将多个被试特征向量作为节点，根据各节点对应的非图像信息之间的相似特性构建特征图；根据特征图对预先建立的分类模型进行初始化，根据被试特征向量对初始化后的分类模型进行训练；根据训练好的分类模型对神经影像进行分类。本发明的技术方案通过各被试特征向量非图像信息之间的相似度构建特征图，并根据该特征图对建立的分类模型进行初始化，有效解决了被试对象个体差异及采集设备对分类结果产生的影响，提高分类性能。

Description

神经影像分类方法、计算机终端及计算机可读存储介质
技术领域
本发明涉及医学图像处理技术领域，具体而言，涉及一种神经影像分类方法、计算机终端及计算机可读存储介质。
背景技术
随着医学图像处理技术的飞速发展，针对神经影像进行分类(比如通过神经影响识别阿尔兹海默症AD、轻度认知障碍症MCI等)的需求越来越广泛。
现有一种的对神经影像进行分类的方法为人工分类法，医生通常基于个人行医经验结合神经影像进行人工诊断，不但对医生的技术水平要求比较高，而且耗时费力、效率低下；现有的另一种对神经影像进行分类的方法为基于深度学习(比如卷积神经网络)的分类方法，深度学习为图形分析提供了一种新思路，然而传统的深度学习方法主要对具有规则结构和欧几里得空间的图像进行处理，对于非规则结构及非欧几里得空间的图像并不适用。
发明内容
鉴于上述问题，本发明实施例的目的在于提供一种神经影像分类方法、计算机终端及计算机可读存储介质，以解决现有技术的不足。
根据本发明的一个实施方式，提供一种神经影像分类方法，该方法包括：
根据神经影像中各脑区之间的连接关系生成该神经影像对应的连接矩阵；
根据预定提取规则在所述连接矩阵中提取预定数量的元素值并形成被试特征向量；
将多个被试特征向量作为节点，根据各节点对应的非图像信息之间的相似性构建特征图；
根据所述特征图对预先建立的分类模型进行初始化，并根据所述被试特征向量对初始化后的分类模型进行训练；
根据训练好的分类模型对所述神经影像进行分类。
在上述的神经影像分类方法中，所述连接矩阵包括功能连接矩阵，所述分类模型包括M个依次连接的特征提取模块及全连接层，其中，所述特征提取模块包括依次连接的图卷积层及激活层，M为大于或等于1的整数；
所述“根据训练好的分类模型对所述神经影像进行分类”包括：
将所述神经影像对应的所述功能连接矩阵送入M个依次连接的特征提取模块进行卷积及非线性激活处理后得到该神经影像对应的特征信息；
将所述特征信息送入所述全连接层进行分类处理后得到该神经影像对应的分类。
在上述的神经影像分类方法中，所述连接矩阵还包括结构连接矩阵；
所述“根据预定提取规则在所述连接矩阵中提取预定数量的元素值并形成被试特征向量”包括：
根据所述预定提取规则在所述功能连接矩阵中提取第一预定数量的元素值，并将该第一预定数量的元素值形成功能被试特征向量，及在所述结构连接矩阵中提取第二预定数量的元素值，并将第二预定数量的元素值形成结构被试特征向量。
在上述的神经影像分类方法中，所述“将多个被试特征向量作为节点，根据各节点对应的非图像信息之间的相似性构建特征图”包括：
分别将每一功能被试特征向量作为节点，通过具有连接关系的两节点对应的非图像信息之间的相似性对该两节点之间的边进行编码，根据编码后的边以及相应节点构建功能特征图；
分别将每一结构被试特征向量作为节点，通过具有连接关系的两节点对应的非图像信息之间的相似性对该两节点之间的边进行编码，根据编码后的边及相应节点构建结构特征图。
在上述的神经影像分类方法中，所述分类模型包括第一提取模型、第二提取模型、融合层及全连接层；
所述“根据所述特征图对分类模型进行初始化，并根据所述被试特征向量对初始化后的分类模型进行训练”包括：
根据所述功能特征图对所述第一提取模型进行初始化，并通过所述功能被试特征向量对所述融合层、所述全连接层及初始化后的第一提取模型进行训练；
根据所述结构特征图对所述第二提取模型进行初始化，并通过所述结构被试特征向量对所述融合层、所述全连接层及初始化后的第二提取模型进行训练。
在上述的神经影像分类方法中，所述第一提取模型包括Y个依次连接的特征提取模块，所述第二提取模型包括Z个依次连接的所述特征提取模块，其中，Y、Z均为大于或等于1的整数；
所述“根据训练好的分类模型对所述神经影像进行分类”包括：
将所述功能连接矩阵送入所述Y个依次连接的特征提取模块进行卷积及非线性激活处理后得到该神经影像对应的功能特征信息；
将所述结构连接矩阵送入所述Z个依次连接的特征提取模块进行卷积及非线性激活处理后得到该神经影像对应的结构特征信息；
将所述功能特征信息及所述结构特征信息送入所述融合层进行进行信息融合后得到该神经影像对应的融合特征信息；
将所述融合特征信息送入所述全连接层进行分类处理后得到该神经影像对应的分类。
在上述的神经影像分类方法中，各个特征提取模块还包括池化层，所述池化层用于对经过非线性激活处理后的信息进行压缩处理得到所述神经影像对应的特征信息。
在上述的神经影像分类方法中，所述“根据预定提取规则在所述连接矩阵中提取预定数量的元素值并形成被试特征向量”包括：
以所述连接矩阵的对角线为分隔线，在所述连接矩阵中提取所述分隔线以上的所有元素值，并将所述分隔线以上的所有元素值按照元素下标拼接为一个行向量，并将所述行向量作为所述被试特征向量。
根据本发明的另一个实施方式，提供一种神经影像分类装置，该装置包括：
生成模块，用于根据神经影像中各脑区之间的连接关系生成该神经影像对应的连接矩阵；
提取形成模块，用于根据预定提取规则在所述连接矩阵中提取预定数量的元素值并形成被试特征向量；
构建模块，用于将多个被试特征向量作为节点，根据各节点对应的非图像信息之间的相似性构建特征图；
训练模块，用于根据所述特征图对预先建立的分类模型进行初始化，并根据所述被试特征向量对初始化后的分类模型进行训练；
分类模块，用于根据训练好的分类模型对所述神经影像进行分类。
根据本发明的又一个实施方式，提供一种计算机终端，所述计算机终端包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机终端执行上述的神经影像分类方法。
根据本发明的再一个实施方式，提供一种计算机可读存储介质，其存储有上述的计算机终端中所使用的所述计算机程序。
本公开的实施例提供的技术方案可以包括如下有益效果：
本发明中一种神经影像分类方法、计算机终端及计算机可读存储介质，通过各被试特征向量的非图像信息之间的相似度构建特征图，并根据该特征图对建立的分类模型进行初始化，有效解决了被试对象个体差异及采集设备对分类结果产生的影响，提高分类性能。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明第一实施例提供的一种神经影像分类方法的流程示意图；
图2示出了本发明第一实施例提供的一种被试特征向量形成过程的示意图；
图3示出了本发明第一实施例提供的一种单一模态神经影像分类的框架示意图；
图4示出了本发明第一实施例提供的一种分类模型的框架示意图；
图5示出了本发明第一实施例提供的一种多模态神经影像分类的框架示意图；
图6示出了本发明第一实施例提供的另一种分类模型的框架示意图；
图7示出了本发明第二实施例提供的一种神经影像分类装置的结构示意图。
主要元件符号说明：
400-神经影像分类装置；410-生成模块；420-提取形成模块；430-构建模块；440-训练模块；450-分类模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
图1示出了本发明第一实施例提供的一种神经影像分类方法的流程示意图。
该神经影像分类方法包括如下步骤：
在步骤S110中，根据神经影像中各脑区之间的连接关系生成该神经影像对应的连接矩阵。
本实施例中，所述神经影像为脑部的功能磁共振(functional MagneticResonance Imaging，fMRI)神经影像。在一些其他的实施例中，所述神经影像还可以为脑电图(Electroencephalography，EGC)、脑磁图(Magnetoencephalography，MEG)等神经影像。
具体地，可通过磁共振采集设备采集所述神经影像，本实施例中，所述采集设备的品牌可以为通用电器(GE)、西门子(SIEMENS)或飞利浦(PHILIPS)等。在一些其他的实施例中，所述采集设备的品牌还可以为日立等其他品牌的磁共振采集设备。
进一步地，在单一模态的情况下，该神经影像的分类主要依赖于脑功能网络，那么，所述连接矩阵为功能连接矩阵。
具体地，大脑是由多个脑区在不同的时间-空间尺度上相互连接形成的复杂网络，它的复杂性不仅体现在大量神经元记忆这些神经元之间的复杂连接，还体现在他们所形成的行为和认知功能。通过对大脑连通性的分析，可以得到大脑的连接关系图谱。该连接关系图谱可以在宏观尺度上描述大脑不同分区(也可称为不同脑区)之间的结构以及它们之间的功能连接模式，该不同脑区之间的结构及各脑区之间的功能连接模式构成了脑功能网络，脑功能网络体现了各脑区之间的功能关联，大脑通过该脑功能网络中不同脑区之间的相互连接和集群工作来实现信息交互。
脑功能网络可定义为不同脑区中神经元活化的时间序列的先后依赖性模式。因此，该脑功能网络的构建主要包括两个方面：脑功能网络中节点的定义和节点之间边的连接强度(也可称为边的度量方法)。
对于脑功能网络中节点的定义，本实施例中将大脑中各脑区均作为所述节点，具体过程如下：
在构建脑功能网络之前，首先需要对脑部神经影像的各脑区进行划分。脑区划分是一个根据脑部细胞结构将大脑皮层划分为一系列解剖区域的系统，所述细胞结构是指在染色的脑组织中观察到的神经元的组织方式。
本实施例中，如图2所示，可通过90脑区自动化解剖标记(Automated AnatomicalLabeling，AAL)模板将人脑的神经影像划分为90个脑区。其中，AAL模板一共有116个区域，但只有90个区域属于大脑，剩余26个区域属于小脑结构，研究的比较少。该90个脑区包括中央前回、背外侧额上回、眶部额上回、额中回等等。
以划分的各脑区分别作为节点，比如，上述的AAL模板将人脑划分为90个脑区，那么该脑功能网络具有90个节点。
对于节点之间边的连接强度，本实施例中根据各脑区时间序列之间的皮尔森相关系数(Pearson Correlation Coefficient,PCC)进行表示。
功能连接矩阵为脑功能网络的数值体现形式，比如，用矩阵X＝{x1,x2,x3,…xN}表示功能连接矩阵，N表示节点个数。任意两个节点之间的边的皮尔森相关系数表示如下：
PCCij＝corr{x(i),x(j)}
其中，PCCij为第i个节点和第j个节点之间的皮尔森相关系数，corr()为皮尔森相关系数计算函数，x(i)为第i个节点的时间序列，x(j)为第j个节点的时间序列。
进一步地，为了提升神经影像的分类性能，在单一模态的基础上增加了多模态的情况，在多模态的情况下，该神经影像的分类除了依赖于脑功能网络之外，还依赖于脑结构网络，那么，所述连接矩阵包括功能连接矩阵及结构连接矩阵。
具体地，结构连接矩阵是脑结构网络的矩阵体现方式。脑结构网络主要体现的是各脑区之间的物理连接方式。虽然全局脑区分析显示了脑结构网络和脑功能网络之间存在显著的总体一致性，但是在感兴趣区域之间的连接性打破了这样的一致性，说明脑结构网络和脑功能网络之间存在一致性，也存在互补性。因此，本方案中，为了进一步的提高分类的精度，通过脑结构网络和脑功能网络之间互补性的关系，在单一模态的基础上提出多模态模型。
如图5所示，该脑结构网络同样以大脑各脑区作为节点，在空间上相近的脑区之间有较大的可能性存在物理连接，然而相距很远的脑区之间的物理连接可能性较低。因此，在构建脑结构网络时，可通过弥散张量成像(DTI)并利用纤维追踪的方式构建脑结构网络。
值得注意的是，该功能连接矩阵和结构连接矩阵均为对阵矩阵。
在步骤S120中，根据预定提取规则在所述连接矩阵中提取预定数量的元素值并形成被试特征向量。
进一步地，步骤S120包括：
以所述连接矩阵的对角线为分隔线，在所述连接矩阵中提取所述分隔线以上所有元素值，并将所述分隔线以上的所有元素值按照元素下标拼接为一个行向量，并将所述行向量作为所述被试特征向量。
值得注意的是，所述分隔线以上的所有元素包括分隔线中所有元素及分隔线以上的所有元素。比如，对称矩阵中包括对角线以上的上三角区域的所有元素。
具体地，如图2所示，在单一模态的情况下，该连接矩阵为功能连接矩阵，每一神经影像对应有一功能连接矩阵，由于该功能连接矩阵为对称结构，为了减少计算量及算法时间复杂度，本实施例中，提取该功能连接矩阵的对角线以上的上三角区域内的所有元素值，并将该提取的元素值按照元素下标拼接成为一个行向量。在一些其他的实施例中，还可以提取该功能连接矩阵的对角线以下的下三角区域内的所有元素值，并将该提取的元素值按照元素下标拼接成为一个行向量。
例如，矩阵P为功能连接矩阵，P为四行四列的对称矩阵。
矩阵P中对角线为元素P11、P22、P33及P44所在的直线。该对角线及对角线以上的所有元素包括：P11、P12、P13、P14、P22、P23、P24、P33、P34及P44。
本实施例中，可以将提取的所有元素的元素值按照行下标优先的方式进行排列拼接为一行向量Q，Q＝[P11,P12,P13,P14,P22,P23,P24,P33,P34,P44]。在一些其他的实施例中，还可以将提取的所有元素的元素值按照行下标优先的方式进行排列拼接为一行向量Q＝[P11,P12,P22,P13,P23,P33,P14,P24,P34,P44]。
每一功能连接矩阵均对应一功能被试特征向量，如图2中所示的被试特征向量[a11,a12,a13,…a1R]、[a21,a22,a23,…a2R]、……[ad1,ad2,ad3,…adR]，R为神经影像中感兴趣区域的个数，d为神经影像的个数，aij为功能连接矩阵中第i行第j列的元素值，1<＝i<＝R,1<＝j<＝d。
进一步地，在多模态的情况下，步骤S120包括：
根据所述预定提取规则在所述功能连接矩阵中提取第一预定数量的元素值，并将该第一预定数量的元素值形成功能被试特征向量，及在所述结构连接矩阵中提取第二预定数量的元素值，并将第二预定数量的元素值形成结构被试特征向量。
具体地，如上述的功能连接矩阵中形成被试特征向量的方式类似，在功能连接矩阵中提取对角线及对角线以上的所有元素值，并将所有元素值按照元素下标拼接成功能被试特征向量。当然，也可以在功能连接矩阵中提取对角线及对角线以下的所有元素值，并将所有元素值按照元素下标拼接成功能被试特征向量。在结构连接矩阵中提取对角线及对角线以上的所有元素值，并将所有元素值按照元素下标拼接成结构被试特征向量。当然，也可以在结构连接矩阵中提取对角线及对角线以下的所有元素值，并将所有元素值按照元素下标拼接成结构被试特征向量。
在步骤S130中，将多个被试特征向量作为节点，根据各节点对应的非图像信息之间的相似性构建特征图。
由于大多数的探索脑功能网络及脑结构网络的方式只考虑了神经影像信息，关注被试对象的组间比较，很少考虑被试对象的特征及采集设备的影响。比如，研究发现，AD发生与被试性别相关联，且不同采集设备所采集的神经影像数据对MCI的识别准确率造成影响。
因此，为了解决上述问题，将图论的方式引入本方案中，将不同被试对象表示为一个稀疏图形，稀疏图形的边采用被试对象的非图像信息(比如性别、采集设备等)之间的相似度进行编码，体现了各被试对象之间的相似性，解决了被试对象差异及采集设备差异对分类精度造成的影响。
在单一模态的情况下，该连接矩阵为功能连接矩阵，形成的被试特征向量为功能被试特征向量，构建的特征图为功能特征图。分别将每一个被试对象对应的功能被试特征向量作为节点，将具有连接关系的两个节点之间的边通过非图像信息之间的相似性进行编码，通过该编码后的边及相应节点构建功能特征图。该非图像信息包括各节点对应的被试对象性别信息及采集设备信息等。
例如，如图3所示，定义功能特征图为G(V,E)，其中，节点定义为vn∈V,(n＝1,2,…N)，vn表示功能被试特征向量。其中，功能特征图中边定义为(vn,vm)∈E,(vn,vm)＝anm＝amn,anm∈A，其中，A是邻接矩阵，描述节点的连通性，通常可以通过各节点之间距离的相似矩阵S得到。
若将非图像信息通过F＝{F(u)}进行表示。那么功能特征图之间的边可定义为：
其中，anm为节点vn和节点vm之间的边，S(vn,vm)为表示第n个节点和第m个节点之间的相似度性，Ρ(Fu(vn),Fu(vm))表示Fu(vn)和Fu(vm)之间的距离，Fu(vn)表示节点vn的非图像信息，Fu(vm)表示节点vm的非图像信息，I为非图像信息的个数。
其中，为vn的均值，为vm的均值，·为点积。
根据上述的各节点及各节点之间的编码后的边构建功能特征图。
在多模态的情况下，如图5所示，具体地，与上述的单一模态的功能特征图构建方式相同，分别将每一功能被试特征向量作为节点，通过具有连接关系的两节点对应的非图像信息之间的相似性对该两节点之间的边进行编码，根据编码后的边及相应节点构建功能特征图；分别将每一结构被试特征向量作为节点，通过具有连接关系的两节点对应的非图像信息之间的相似性对该两节点之间的边进行编码，根据编码后的边及所述节点构建结构特征图。在此不再赘述。
在步骤S140中，根据所述特征图对预先建立的分类模型进行初始化，并根据所述被试特征向量对初始化后的分类模型进行训练。
在单一模态的情况下，所述分类模型包括所述分类模型包括M个依次连接的特征提取模块及全连接层，其中，所述特征提取模块包括依次连接的图卷积层及激活层，M为大于或等于1的整数。
例如，如图3所示，所述分类模型包括第一特征提取模块Block1、第二特征提取模块Block2，……，第M特征提取模块BlockM，其中，M为大于或等于1的整数，每一特征提取模块均包括图卷积层及激活层，每一特征提取模块中图卷积层的输出均作为激活层的输入。
在图卷积层中，通过不断修改卷积滤波器的结构(也可称为权值矩阵)来对分类模型进行训练。其中，定义卷积滤波器的方式有两种，一种是空间方法，提取特征图上的空间特征，即找出特征图中每个节点的邻居节点，为在时域进行操作的方法；另一种是谱方法，对特征图进行卷积操作，为在频域进行操作的方法。本实施例中，采用谱方法定义卷积滤波器，谱方法具有较好的邻域匹配性能。
谱方法通过在光谱域中的克罗内克积提供了一个定义良好的定位算子。对于图中任何的vn，它的度dn被定义为其中dn∈D，D是描述节点连接数的对角度矩阵。
特征图的拉普拉斯矩阵可以定义为L＝D-A，对称归一化定义为：
其中U是傅里叶基底，Λ是特征值对角矩阵。
在特征图上定义谱卷积算子gu＝diag(μ)，参数μ是一个在傅里叶域的傅里叶系数向量。
gμ*X＝gμ(L)X＝Ugμ(Λ)UTX
信号X的傅里叶变换定义为UTX。gμ(Λ)是一个非参数滤波器，这里可以用多项式展开为K阶：
上述方案主要有两方面优点：1)它产生了严格限制在空间中的卷积滤波器，一个K阶的多项式卷积滤波器是严格在K局域范围内的；2)它降低了卷积算子的计算复杂度。
本实施例中，所述M等于5。在一些其他的实施例中，还可以根据分类精度需求设置M的值，在此不做限定。
单一模态下，通过功能特征图中的数据对分类模型中各层之间的权值矩阵(比如图卷积层各神经元之间权值等参数)进行初始化，并通过多组功能被试特征向量对初始化后的分类模型进行训练。
在多模态下，如图5所示，所述分类模型包括第一提取模型、第二提取模型、融合层及全连接层；所述第一提取模型包括Y个依次连接的特征提取模块，所述第二提取模型包括Z个依次连接的特征提取模块。其中，Y、Z均为大于或等于1的整数。
本实施例中，Y和Z的值相等。在一些其他的实施例中，还可以根据精度需求自定义Y和Z的值。
根据所述功能特征图对所述第一提取模型中各层之间的权值矩阵进行初始化，并通过所述功能被试特征向量对初始化后的第一提取模型、所述融合层及所述全连接层进行训练；根据所述结构特征图对所述第二提取模型中各层之间的权值矩阵进行初始化，并通过所述结构被试特征向量对初始化后的第二提取模型、所述融合层及所述全连接层进行训练。
在步骤S150中，根据训练好的分类模型对所述神经影像进行分类。
在单一模态下，所述“根据训练好的分类模型对所述神经影像进行分类”包括：
将所述神经影像对应的所述功能连接矩阵送入M个依次连接的特征提取模块进行卷积及非线性激活处理后得到该神经影像对应的特征信息；将所述特征信息送入全连接层进行分类处理后得到该神经影像对应的分类。
具体地，如图3所示，在分类模型训练完毕后，将神经影像对应的功能连接矩阵送入第一特征提取模块Block1进行卷积操作及非线性激活操作后得到第一特征信息，将第一特征信息送入第二特征提取模块Block2进行卷积操作及非线性激活操作后得到第二特征信息，以此类推，将第M-1特征信息送入第M特征提取模块BlockM进行卷积操作及非线性激活操作后得到第M特征信息，将该第M特征信息送入全连接层进行分类操作后得到该神经影像对应的分类。其中，M等于5。
其中，各特征提取模块的分层传播规则为：
H(l+1)＝f(H(l),A)
f(H(l),A)＝σ(AH(l)W(l))
其中，H(l)为第l特征提取模块输出的第l特征信息，l<M，σ()为非线性激活函数，W(l)为第l特征提取模块的权重矩阵。本文中所有的训练过程即不断改变权值矩阵的值，以使该分类模型的分类性能更好。
进一步地，如图4所示，该分类模型中每一特征提取模块中还包括池化层，在每一特征提取模块中，通过卷积操作及非线性激活操作后的特征信息送入池化层进行压缩处理，减少分类模型的数据处理量，加快分类速度。另外，为了进一步提高分类精度，全连接层后还包括Softmax层，该Softmax层同样为非线性处理，为了更进一步的对全连接层输出的分类结果进行非线性处理得到更为精确度分类结果。
在多模态下，所述“根据训练好的分类模型对所述神经影像进行分类”包括：
将所述功能连接矩阵送入所述Y个依次连接的特征提取模块进行卷积及非线性激活处理后得到该神经影像对应的功能特征信息；将所述结构连接矩阵送入所述Z个依次连接的特征提取模块进行卷积及非线性激活处理后得到该神经影像对应的结构特征信息；将所述功能特征信息及所述结构特征信息送入所述融合层进行进行信息融合后得到该神经影像对应的融合特征信息；将所述融合特征信息送入全连接层进行分类处理后得到该神经影像对应的分类。
具体地，如图5所示，分别提取神经影像的功能连接矩阵及结构连接矩阵，将功能连接矩阵送入第一提取模型中的第一特征提取模块Block11进行卷积操作及非线性激活操作后得到第一功能特征信息，将第一功能特征信息送入第一提取模型中的第二特征提取模块Block12进行卷积操作及非线性激活操作后得到第二功能特征信息，以此类推，将第Y-1功能特征信息送入第一提取模型中的第Y特征提取模块Block1Y进行卷积操作及非线性激活操作后得到第Y功能特征信息。
将结构连接矩阵送入第二提取模型中的第一特征提取模块Block21进行卷积操作及非线性激活操作后得到第一结构特征信息，将第一结构特征信息送入第二提取模型中的第二特征提取模块Block22进行卷积操作及非线性激活操作后得到第二结构特征信息，以此类推，将第Z-1结构特征信息送入第二提取模型中的第Z特征提取模块Block2Z进行卷积操作及非线性激活操作后得到第Z结构特征信息。
将该第Y功能特征信息及第Z结构特征信息送入融合层进行融合后得到融合特征信息，将该融合特征信息送入全连接层进行分类操作后得到该神经影像对应的分类。本实施例中，Y等于5，Z等于5。
其中，所述融合层操作可定义为：
ycat＝fcat(xY,xZ)
其中，ycat为融合特征信息，xY为第Y功能特征信息，xZ为第Z结构特征信息，fcat()为融合功能的函数。
进一步地，如图6所示，所述特征提取模块还包括池化层，所述池化层用于对经过非线性激活处理后的信息进行压缩处理得到所述神经影像对应的特征信息。
在第一提取模型及第二提取模型中的每一特征提取模块中，通过卷积操作及非线性激活操作后的特征信息送入池化层进行压缩处理，减少分类模型的数据处理量，加快分类速度。另外，为了进一步提高分类精度，全连接层后还包括Softmax层，该Softmax层同样为非线性处理，为了更进一步的对全连接层输出的分类结果进行非线性处理得到更为精确度分类结果。
实施例2
图7示出了本发明第二实施例提供的一种神经影像分类装置的结构示意图。该神经影像分类装置400对应于实施例1的神经影像分类方法。实施例1中的任何可选项也适用于本实施例，这里不再详述。
该神经影像分类装置400包括生成模块410、提取形成模块420、构建模块430、训练模块440及分类模块450。
生成模块410，用于根据神经影像中各脑区之间的连接关系生成该神经影像对应的连接矩阵。
提取形成模块420，用于根据预定提取规则在所述连接矩阵中提取预定数量的元素值并形成被试特征向量。
构建模块430，用于将多个被试特征向量作为节点，根据各节点对应的非图像信息之间的相似性构建特征图。
训练模块440，用于根据所述特征图对预先建立的分类模型进行初始化，并根据所述被试特征向量对初始化后的分类模型进行训练。
分类模块450，用于根据训练好的分类模型对所述神经影像进行分类。
本发明另一实施例还提供了一种计算机终端，该计算机终端可以包括服务器、电脑等。
所述计算机终端包括存储器及处理器，存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述处理器用于运行所述存储器中所存储的计算机程序以使所述计算机终端执行上述的实施例中的神经影像分类方法或神经影像分类装置中各模块的功能。
可选的，处理器可包括一个或多个处理单元；优选的，处理器可集成应用处理器，应用处理器主要处理操作系统、用户界面和应用程序等。处理器可以集成调制解调处理器，调制解调处理器也可以不集成到处理器中。
本领域技术人员可以理解，上述的计算机终端结构并不构成对计算机终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明再一实施例还提供了一种计算机可读存储介质，用于储存上述计算机终端中使用的所述计算机程序。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种神经影像分类方法，其特征在于，该方法包括：
根据神经影像中各脑区之间的连接关系生成该神经影像对应的连接矩阵；
根据预定提取规则在所述连接矩阵中提取预定数量的元素值并形成被试特征向量；
将多个被试特征向量作为节点，根据各节点对应的非图像信息之间的相似性构建特征图；
根据所述特征图对预先建立的分类模型进行初始化，并根据所述被试特征向量对初始化后的分类模型进行训练；
根据训练好的分类模型对所述神经影像进行分类。
2.根据权利要求1所述的神经影像分类方法，其特征在于，所述连接矩阵包括功能连接矩阵，所述分类模型包括M个依次连接的特征提取模块、及全连接层，其中，所述特征提取模块包括依次连接的图卷积层及激活层，M为大于或等于1的整数；
所述“根据训练好的分类模型对所述神经影像进行分类”包括：
将所述神经影像对应的所述功能连接矩阵送入M个依次连接的特征提取模块进行卷积及非线性激活处理后得到该神经影像对应的特征信息；
将所述特征信息送入所述全连接层进行分类处理后得到该神经影像对应的分类。
3.根据权利要求2所述的神经影像分类方法，其特征在于，所述连接矩阵还包括结构连接矩阵；
所述“根据预定提取规则在所述连接矩阵中提取预定数量的元素值并形成被试特征向量”包括：
根据所述预定提取规则在所述功能连接矩阵中提取第一预定数量的元素值，并将该第一预定数量的元素值形成功能被试特征向量，及在所述结构连接矩阵中提取第二预定数量的元素值，并将第二预定数量的元素值形成结构被试特征向量。
4.根据权利要求3所述的神经影像分类方法，其特征在于，所述“将多个被试特征向量作为节点，根据各节点对应的非图像信息之间的相似性构建特征图”包括：
分别将每一功能被试特征向量作为节点，通过具有连接关系的两节点对应的非图像信息之间的相似性对该两节点之间的边进行编码，根据编码后的边以及相应节点构建功能特征图；
分别将每一结构被试特征向量作为节点，通过具有连接关系的两节点对应的非图像信息之间的相似性对该两节点之间的边进行编码，根据编码后的边及相应节点构建结构特征图。
5.根据权利要求4所述的神经影像分类方法，其特征在于，所述分类模型包括第一提取模型、第二提取模型、融合层及全连接层；
所述“根据所述特征图对分类模型进行初始化，并根据所述被试特征向量对初始化后的分类模型进行训练”包括：
根据所述功能特征图对所述第一提取模型进行初始化，并通过所述功能被试特征向量对所述融合层、所述全连接层及初始化后的第一提取模型进行训练；
根据所述结构特征图对所述第二提取模型进行初始化，并通过所述结构被试特征向量对所述融合层、所述全连接层及初始化后的第二提取模型进行训练。
6.根据权利要求5所述的神经影像分类方法，其特征在于，所述第一提取模型包括Y个依次连接的特征提取模块，所述第二提取模型包括Z个依次连接的所述特征提取模块，其中，Y、Z均为大于或等于1的整数；
所述“根据训练好的分类模型对所述神经影像进行分类”包括：
将所述功能连接矩阵送入所述Y个依次连接的特征提取模块进行卷积及非线性激活处理后得到该神经影像对应的功能特征信息；
将所述结构连接矩阵送入所述Z个依次连接的特征提取模块进行卷积及非线性激活处理后得到该神经影像对应的结构特征信息；
将所述功能特征信息及所述结构特征信息送入所述融合层进行进行信息融合后得到该神经影像对应的融合特征信息；
将所述融合特征信息送入所述全连接层进行分类处理后得到该神经影像对应的分类。
7.根据权利要求6所述的神经影像分类方法，其特征在于，各个所述特征提取模块还包括池化层，所述池化层用于对经过非线性激活处理后的信息进行压缩处理得到所述神经影像对应的特征信息。
8.根据权利要求1所述的神经影像分类方法，其特征在于，所述“根据预定提取规则在所述连接矩阵中提取预定数量的元素值并形成被试特征向量”包括：
以所述连接矩阵的对角线为分隔线，在所述连接矩阵中提取所述分隔线以上的所有元素值，并将所述分隔线以上的所有元素值按照元素下标拼接为一个行向量，并将所述行向量作为所述被试特征向量。
9.一种计算机终端，其特征在于，所述计算机终端包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机终端执行权利要求1至8任一项所述的神经影像分类方法。
10.一种计算机可读存储介质，其特征在于，其储存有权利要求9所述的计算机终端中所用的所述计算机程序。
CN201910396680.6A 2019-05-14 2019-05-14 神经影像分类方法、计算机终端及计算机可读存储介质 Pending CN110111325A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910396680.6A CN110111325A (zh) 2019-05-14 2019-05-14 神经影像分类方法、计算机终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910396680.6A CN110111325A (zh) 2019-05-14 2019-05-14 神经影像分类方法、计算机终端及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110111325A true CN110111325A (zh) 2019-08-09

Family

ID=67490001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910396680.6A Pending CN110111325A (zh) 2019-05-14 2019-05-14 神经影像分类方法、计算机终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110111325A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473635A (zh) * 2019-08-14 2019-11-19 电子科技大学 一种青少年脑结构网络和脑功能网络关系模型的分析方法
CN110705613A (zh) * 2019-09-19 2020-01-17 创新奇智(青岛)科技有限公司 物体分类方法
CN110934587A (zh) * 2019-12-13 2020-03-31 深圳龙岗智能视听研究院 一种基于图卷积神经网络的阿尔兹海默症辅助诊断方法
CN111415331A (zh) * 2020-03-03 2020-07-14 北京深睿博联科技有限责任公司 一种正位胸片中基于类别关系的异常检测方法及系统
CN112037179A (zh) * 2020-08-11 2020-12-04 深圳大学 一种脑疾病诊断模型的生成方法、系统及设备
WO2021031540A1 (zh) * 2019-08-21 2021-02-25 上海商汤临港智能科技有限公司 图像处理方法、装置、设备和存储介质
WO2021036028A1 (zh) * 2019-08-23 2021-03-04 深圳市商汤科技有限公司 图像特征提取及网络的训练方法、装置和设备
CN112802013A (zh) * 2021-03-12 2021-05-14 清华大学 基于图神经网络与多任务学习的脑疾病检测方法和装置
CN113288131A (zh) * 2021-05-06 2021-08-24 广东工业大学 基于图卷积网络的无创血糖检测方法、处理器及装置
CN113642415A (zh) * 2021-07-19 2021-11-12 南京南瑞信息通信科技有限公司 人脸特征表达方法及人脸识别方法
CN113642415B (zh) * 2021-07-19 2024-06-04 南京南瑞信息通信科技有限公司 人脸特征表达方法及人脸识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107658018A (zh) * 2017-10-12 2018-02-02 太原理工大学 一种基于结构连接和功能连接的融合脑网络构建方法
CN108288070A (zh) * 2018-01-12 2018-07-17 迈格生命科技（深圳）有限公司 一种神经指纹提取分类方法及系统
US20180311323A1 (en) * 2015-10-22 2018-11-01 University Of Massachusetts Methods and compositions for treating metabolic imbalance in neurodegenerative disease
CN109034360A (zh) * 2018-07-13 2018-12-18 北京工业大学 一种从fMRI和DTI数据中构建脑效应连接网络的蚁群方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180311323A1 (en) * 2015-10-22 2018-11-01 University Of Massachusetts Methods and compositions for treating metabolic imbalance in neurodegenerative disease
CN107658018A (zh) * 2017-10-12 2018-02-02 太原理工大学 一种基于结构连接和功能连接的融合脑网络构建方法
CN108288070A (zh) * 2018-01-12 2018-07-17 迈格生命科技（深圳）有限公司 一种神经指纹提取分类方法及系统
CN109034360A (zh) * 2018-07-13 2018-12-18 北京工业大学 一种从fMRI和DTI数据中构建脑效应连接网络的蚁群方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BAIYING LEI 等: "Discriminative Learning for Alzheimer"s Disease Diagnosis via Canonical Correlation Analysis and Multimodal Fusion", 《THE ALZHEIMER"S DISEASE NEUROIMAGING INITIATIVE》 *
XIN ZHAO 等: "Graph Convolutional Network Analysis for Mild Cognitive Impairment Prediction", 《2019 IEEE 16TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI 2019)》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473635A (zh) * 2019-08-14 2019-11-19 电子科技大学 一种青少年脑结构网络和脑功能网络关系模型的分析方法
CN110473635B (zh) * 2019-08-14 2023-02-28 电子科技大学 一种青少年脑结构网络和脑功能网络关系模型的分析方法
JP2022501707A (ja) * 2019-08-21 2022-01-06 上海商▲湯▼▲臨▼港智能科技有限公司Shanghai Sensetime Lingang Intelligent Technology Co., Ltd. 画像処理方法、装置、デバイス、および記憶媒体
WO2021031540A1 (zh) * 2019-08-21 2021-02-25 上海商汤临港智能科技有限公司 图像处理方法、装置、设备和存储介质
WO2021036028A1 (zh) * 2019-08-23 2021-03-04 深圳市商汤科技有限公司 图像特征提取及网络的训练方法、装置和设备
TWI747114B (zh) * 2019-08-23 2021-11-21 大陸商深圳市商湯科技有限公司 圖像特徵提取及網路的訓練方法、電子設備和電腦可讀儲存媒體
CN110705613A (zh) * 2019-09-19 2020-01-17 创新奇智(青岛)科技有限公司 物体分类方法
CN110934587A (zh) * 2019-12-13 2020-03-31 深圳龙岗智能视听研究院 一种基于图卷积神经网络的阿尔兹海默症辅助诊断方法
CN111415331A (zh) * 2020-03-03 2020-07-14 北京深睿博联科技有限责任公司 一种正位胸片中基于类别关系的异常检测方法及系统
CN111415331B (zh) * 2020-03-03 2023-05-23 北京深睿博联科技有限责任公司 一种正位胸片中基于类别关系的异常检测方法及系统
CN112037179A (zh) * 2020-08-11 2020-12-04 深圳大学 一种脑疾病诊断模型的生成方法、系统及设备
CN112802013A (zh) * 2021-03-12 2021-05-14 清华大学 基于图神经网络与多任务学习的脑疾病检测方法和装置
CN112802013B (zh) * 2021-03-12 2022-12-02 清华大学 基于图神经网络与多任务学习的脑疾病检测方法和装置
CN113288131A (zh) * 2021-05-06 2021-08-24 广东工业大学 基于图卷积网络的无创血糖检测方法、处理器及装置
CN113288131B (zh) * 2021-05-06 2022-07-12 广东工业大学 基于图卷积网络的无创血糖检测方法、处理器及装置
CN113642415A (zh) * 2021-07-19 2021-11-12 南京南瑞信息通信科技有限公司 人脸特征表达方法及人脸识别方法
CN113642415B (zh) * 2021-07-19 2024-06-04 南京南瑞信息通信科技有限公司 人脸特征表达方法及人脸识别方法

Similar Documents

Publication Publication Date Title
CN110111325A (zh) 神经影像分类方法、计算机终端及计算机可读存储介质
Noreen et al. A deep learning model based on concatenation approach for the diagnosis of brain tumor
Harangi et al. Classification of skin lesions using an ensemble of deep neural networks
Yamins et al. Hierarchical modular optimization of convolutional networks achieves representations similar to macaque IT and human ventral stream
Féraud et al. A methodology to explain neural network classification
Wang et al. A novel multimodal MRI analysis for Alzheimer's disease based on convolutional neural network
CN111553480A (zh) 神经网络搜索方法、装置、计算机可读介质及电子设备
CN108345903B (zh) 一种基于模态距离约束的多模态融合图像分类方法
Zhu et al. Arbitrary scale super-resolution for medical images
CN109816630A (zh) 基于迁移学习的fMRI视觉编码模型构建方法
CN109300531A (zh) 一种脑疾病早期诊断方法和装置
CN104298974A (zh) 一种基于深度视频序列的人体行为识别方法
CN104573699B (zh) 基于中等场强磁共振解剖成像的实蝇识别方法
CN115049629A (zh) 基于线图扩展的多模态脑超图注意力网络的分类方法
Liu et al. Rsrn: Rich side-output residual network for medial axis detection
Boubez et al. Wavelet neural networks and receptive field partitioning
Lin et al. R 2-resnext: A resnext-based regression model with relative ranking for facial beauty prediction
Stuchi et al. Frequency learning for image classification
CN110188820B (zh) 基于深度学习子网络特征提取的视网膜oct图像分类方法
Méndez et al. A deep neural network model of the primate superior colliculus for emotion recognition
Jiao et al. Module partitioning for multilayer brain functional network using weighted clustering ensemble
CN107256408B (zh) 一种大脑功能网络的关键路径搜索方法
CN106663186B (zh) 用于脸部识别的方法和系统
CN111783879A (zh) 基于正交注意力机制的层次化压缩图匹配方法及系统
Yeung et al. Pipeline comparisons of convolutional neural networks for structural connectomes: predicting sex across 3,152 participants

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190809