CN111949812A - 脑图像分类方法和存储介质 - Google Patents
脑图像分类方法和存储介质 Download PDFInfo
- Publication number
- CN111949812A CN111949812A CN202010662852.2A CN202010662852A CN111949812A CN 111949812 A CN111949812 A CN 111949812A CN 202010662852 A CN202010662852 A CN 202010662852A CN 111949812 A CN111949812 A CN 111949812A
- Authority
- CN
- China
- Prior art keywords
- brain
- classification
- loop
- clustering
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 383
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000003925 brain function Effects 0.000 claims abstract description 140
- 239000011159 matrix material Substances 0.000 claims abstract description 62
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000005457 optimization Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 10
- 230000006403 short-term memory Effects 0.000 claims description 6
- 230000015654 memory Effects 0.000 description 17
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000007787 long-term memory Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005192 partition Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种脑图像分类方法和存储介质。所述方法包括：获取待分类的脑功能图像；根据脑功能图像，得到脑功能图像对应的图特性矩阵；将图特性矩阵输入预设的图像分类网络的特征提取子网络，得到脑功能图像中各脑区之间的特征信息；将各脑区之间的特征信息输入图像分类网络的聚类子网络，对各脑区进行聚类，将各脑区聚类为不同的脑回路；将各脑回路输入图像分类网络的分类子网络，得到脑功能图像的分类结果。采用本方法能够提高得到的脑功能图像的分类结果的准确度。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种脑图像分类方法和存储介质。
背景技术
随着神经网络技术的发展，对于图结构这种特殊结构的神经网络即图卷积神经网络(Graph Convolutional Network,GCN)也被提出来。GCN通过使用深度学习的网络模型来学习图结构中的信息，在分类方面具有良好地表现。
传统技术中，对脑图像进行分类时，是将脑图像中的全部脑区分开，得到多个感兴趣区域，通过计算两两感兴趣区域之间的相关性，得到功能信号相关性，将得到的功能信号相关性作为两两感兴趣区域之间的连接强度，形成全脑网络图，利用GCN对全脑网络图进行分析，从而得到该脑图像的分类结果。
然而，传统的脑图像分类方法，存在对脑图像分类不准确的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高对脑图像分类的准确度的脑图像分类方法和存储介质。
一种脑图像分类方法，所述方法包括：
获取待分类的脑功能图像；
根据所述脑功能图像，得到所述脑功能图像对应的图特性矩阵；
将所述图特性矩阵输入预设的图像分类网络的特征提取子网络，得到所述脑功能图像中各脑区之间的特征信息；
将所述各脑区之间的特征信息输入所述图像分类网络的聚类子网络，对所述各脑区进行聚类，将所述各脑区聚类为不同的脑回路；
将各所述脑回路输入所述图像分类网络的分类子网络，得到所述脑功能图像的分类结果。
在其中一个实施例中，所述聚类子网络包括聚类层和优化层；所述将所述各脑区之间的特征信息输入所述图像分类网络的聚类子网络，对所述各脑区进行聚类，将所述各脑区聚类为不同的脑回路，包括：
将所述各脑区之间的特征信息输入所述聚类层，根据预设的聚类分配矩阵对所述各脑区进行聚类，将所述各脑区聚类为不同的初始脑回路；
将各所述初始脑回路输入所述优化层，对各所述初始脑回路进行优化，得到各所述脑回路。
在其中一个实施例中，所述将各所述初始脑回路输入所述优化层，对各所述初始脑回路进行优化，得到各所述脑回路，包括：
将各所述初始脑回路输入所述优化层，学习并更新各所述初始脑回路的特征，并根据更新后的特征和预设的优化方法，对各所述初始脑回路进行优化，得到各所述脑回路。
在其中一个实施例中，所述分类子网络包括图卷积层；所述将各所述脑回路输入所述图像分类网络的分类子网络，得到所述脑功能图像的分类结果，包括：
将各所述脑回路输入所述图卷积层，降低各所述脑回路的特征的时间维度，并将降低时间维度后的各所述脑回路的特征转换为对应的特征数值；
根据各所述脑回路的特征对应的特征数值，得到所述脑功能图像的分类结果。
在其中一个实施例中，所述分类子网络还包括分类层；所述根据各所述脑回路的特征对应的特征数值，得到所述脑功能图像的分类结果，包括：
将各所述脑回路的特征对应的特征数值输入所述分类层，为各所述特征数值分配相应地权重值，根据各所述特征数值和各所述特征数值对应的权重值，得到所述脑功能图像的分类结果。
在其中一个实施例中，所述方法还包括：
根据各所述特征数值对应的权重值，确定出与所述分类结果相关的目标脑回路。
在其中一个实施例中，所述方法还包括：
根据所述目标脑回路对应的聚类分配矩阵，确定所述目标脑回路中包括的脑区。
在其中一个实施例中，所述特征提取子网络包括图卷积长短期记忆网络。
在其中一个实施例中，所述根据所述脑功能图像，得到所述脑功能图像对应的图特性矩阵，包括：
从所述脑功能图像中获取各脑区的特征信息作为节点特征；
根据所述各脑区的节点特征，获取各所述脑区间的连接信息，将所述连接信息作为所述节点间的连接；
将所述节点特征和所述节点间的连接，构建成所述图特性矩阵。
一种脑图像分类装置，所述装置包括：
第一获取模块，用于获取待分类的脑功能图像；
第二获取模块，用于根据所述脑功能图像，得到所述脑功能图像对应的图特性矩阵；
特征提取模块，用于将所述图特性矩阵输入预设的图像分类网络的特征提取子网络，得到所述脑功能图像中各脑区之间的特征信息；
聚类模块，用于将所述各脑区之间的特征信息输入所述图像分类网络的聚类子网络，对所述各脑区进行聚类，将所述各脑区聚类为不同的脑回路；
分类模块，用于将各所述脑回路输入所述图像分类网络的分类子网络，得到所述脑功能图像的分类结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待分类的脑功能图像；
根据所述脑功能图像，得到所述脑功能图像对应的图特性矩阵；
将所述图特性矩阵输入预设的图像分类网络的特征提取子网络，得到所述脑功能图像中各脑区之间的特征信息；
将所述各脑区之间的特征信息输入所述图像分类网络的聚类子网络，对所述各脑区进行聚类，将所述各脑区聚类为不同的脑回路；
将各所述脑回路输入所述图像分类网络的分类子网络，得到所述脑功能图像的分类结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待分类的脑功能图像；
根据所述脑功能图像，得到所述脑功能图像对应的图特性矩阵；
将所述图特性矩阵输入预设的图像分类网络的特征提取子网络，得到所述脑功能图像中各脑区之间的特征信息；
将所述各脑区之间的特征信息输入所述图像分类网络的聚类子网络，对所述各脑区进行聚类，将所述各脑区聚类为不同的脑回路；
将各所述脑回路输入所述图像分类网络的分类子网络，得到所述脑功能图像的分类结果。
上述脑图像分类方法、装置、计算机设备和存储介质，将待分类的脑功能图像对应的图特性矩阵输入预设的图像分类网络的特征提取子网络，能够通过特征提取子网络准确地得到待分类的脑功能图像中各脑区之间的特征信息，这样将各脑区之间的特征信息输入图像分类网络的聚类子网络，能够通过聚类子网络对各脑区进行准确地聚类，将各脑区准确地聚类为不同的脑回路，从而提高了得到的脑回路的准确度，进而将各脑回路输入图像分类网络的分类子网络，能够通过分类子网络，准确地得到脑功能图像的分类结果，提高了得到的脑功能图像的分类结果的准确度。
附图说明
图1为实施例提供的计算机设备的内部结构示意图；
图2为一个实施例中脑图像分类方法的流程示意图；
图2a为一个实施例中提供的层次化图卷积神经网络的结构示意图；
图2b为一个实施例中提供的脑回路截面示意图；
图3为另一个实施例中脑图像分类方法的流程示意图；
图4为另一个实施例中脑图像分类方法的流程示意图；
图5为另一个实施例中脑图像分类方法的流程示意图；
图6为一个实施例提供的脑图像分类装置结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的脑图像分类方法，可以适用于如图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器，该存储器中存储有计算机程序，处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的，该计算机设备还可以包括网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的，该计算机设备可以是服务器，可以是个人计算机，还可以是个人数字助理，还可以是其他的终端设备，例如平板电脑、手机等等，还可以是云端或者远程服务器，本申请实施例对计算机设备的具体形式并不做限定。
在一个实施例中，如图2所示，提供了一种脑图像分类方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
S201，获取待分类的脑功能图像。
其中，脑功能图像是指利用功能磁共振(Functional Magnetic ResonanceImaging,FMRI)得到的受试者的脑部功能性磁共振影像。具体地，计算机设备获取待分类的脑功能图像。可选的，计算机设备可以从PACS服务器中获取脑功能图像，也可以从FMRI影像设备中获取脑功能图像。可选的，在使用FMRI影像设备获取受试者的脑部功能性磁共振影像时，扫描时间点可以有137个，每个时间点之间间隔2ms。可选的，计算机设备还可以对获取的脑功能图像进行预处理，减少因为数据采集和生理学特征导致的误差，其中，对获取的脑功能图像进行的预处理可以包括时间配准处理、头动矫正处理、标准化处理和实空间滤波处理中的至少一种预处理。
S202，根据脑功能图像，得到脑功能图像对应的图特性矩阵。
具体地，计算机设备可以根据获取的脑功能图像，得到该脑功能图像对应的图特性矩阵。可选的，计算机设备可以对获取的脑功能图像进行上述的预处理，然后按照预设的脑部分区模板将预处理后的脑功能图像进行分区，从预处理后的脑功能图像中提取各脑区的功能连接信息，根据提取出的各脑区的功能连接信息和各脑区，得到该脑功能图像对应的图特性矩阵。
S203，将图特性矩阵输入预设的图像分类网络的特征提取子网络，得到脑功能图像中各脑区之间的特征信息。
具体地，计算机设备将上述得到的图特性矩阵输入预设的图像分类网络的特征提取子网络，得到上述脑功能图像中各脑区之间的特征信息。可选的，预设的图像分类网络可以为层次化图卷积神经网络，可选的，如图2a所示，层次化图卷积神经网络可以由三部分组成：低阶图的信息处理层，主要用于根据图特性矩阵，提取脑功能图像中脑区和脑区之间的信息；由低阶图向高阶图的转化，主要通过图结构池化的方式，根据脑区和脑区之间的连接，将脑区分为不同的一个个回路，并且计算和学习这些脑回路之间的连接；高阶图的信息处理层，主要用于提取脑回路网络中，高阶的信息，从而完成分类。可选的，特征提取子网络包括图卷积长短期记忆网络，其中，图卷积长短期记忆网络是一种基于图卷积的网络结构，可以用于处理动态的图信息，图卷积长短期记忆网络根据节点和节点之间关系的紧密程度，从节点附近不断地提取信息，来更新当前节点的信息，并使用长短期记忆的结构，对时序上的信号进行处理。可选的，计算机设备可以将图特性矩阵输入特征提取子网络，通过特征提取子网络从图特性矩阵的各节点附近不断地提取信息，更新当前节点的信息，并使用长短期记忆的结构，对时序上的信号进行处理，得到上述脑功能图像中各脑区之间的特征信息。
S204，将各脑区之间的特征信息输入图像分类网络的聚类子网络，对各脑区进行聚类，将各脑区聚类为不同的脑回路。
其中，脑回路是指功能紧密连接的几个脑区，例如，控制语言的语言中枢即为一种脑回路，示例性地，如图2b所示，为两种脑回路的横断位、矢状位和冠状位的示意图。具体地，计算机设备将上述得到的脑功能图像中各脑区之间的特征信息输入上述图像分类网络的聚类子网络，对上述脑功能图像中的各脑区进行聚类，将各脑区聚类为不同的脑回路。可选的，计算机设备将各脑区之间的特征信息输入图像分类网络的聚类子网络，聚类子网络可以通过使用分配矩阵，对上述脑功能图像中的各脑区进行聚类，将脑功能图像中的各脑区聚类为不同的脑回路。
S205，将各脑回路输入图像分类网络的分类子网络，得到脑功能图像的分类结果。
具体地，计算机设备将上述得到的各脑回路输入上述图像分类网络的分类子网络，得到上述脑功能图像的分类结果。可选的，计算机设备将各脑回路输入图像分类网络的分类子网络，通过该分类子网络可以将各脑回路的特征压缩为一个具体的数值，然后，根据各脑区对应的数值，得到上述脑功能图像的分类结果。
上述脑图像分类方法中，计算机设备将待分类的脑功能图像对应的图特性矩阵输入预设的图像分类网络的特征提取子网络，能够通过特征提取子网络准确地得到待分类的脑功能图像中各脑区之间的特征信息，这样将各脑区之间的特征信息输入图像分类网络的聚类子网络，能够通过聚类子网络对各脑区进行准确地聚类，将各脑区准确地聚类为不同的脑回路，从而提高了得到的脑回路的准确度，进而将各脑回路输入图像分类网络的分类子网络，能够通过分类子网络，准确地得到脑功能图像的分类结果，提高了得到的脑功能图像的分类结果的准确度。
在上述将各脑区的特征信息输入图像分类网络的聚类子网络，对各脑区进行聚类，将各脑区聚类为不同的脑回路的场景中，聚类子网络包括聚类层和优化层。在一个实施例中，如图3所示，上述S204，包括：
S301，将各脑区之间的特征信息输入聚类层，根据预设的聚类分配矩阵对各脑区进行聚类，将各脑区聚类为不同的初始脑回路。
具体地，计算机设备将上述待分类的脑功能图像中各脑区之间的特征信息输入聚类子网络的聚类层，根据预设的聚类分配矩阵对各脑区进行聚类，将各脑区聚类为不同的初始脑回路。示例性地，假设预设的聚类分配矩阵为P，对各脑区的聚类可以通过使用分配矩阵P将M个脑区合并为K个聚类，例如，可以通过公式X(l+1)＝PTX(l)，Al+1＝PTA(l)p将各脑区聚类为不同的初始脑回路，式中，矩阵X表示各脑区的特征矩阵，矩阵A中的每一个元素为对应的脑区之间的连接，分配矩阵P∈RM×K中的每个元素表示每个脑区对脑回路的贡献，可以将分配矩阵P参数化为可学习的参数，并基于所有时间点上所有被试的各脑区更新其值。
S302，将各初始脑回路输入优化层，对各初始脑回路进行优化，得到各脑回路。
具体地，计算机设备将聚类得到的各初始脑回路输入聚类子网络的优化层，对各初始脑回路进行优化，得到上述待分类的脑功能图像的各脑回路。可选的，计算机设备可以将各初始脑回路输入聚类子网络的优化层，学习并更新各初始脑回路的特征，并根据更新后的特征和预设的优化方法，对各初始脑回路进行优化，得到待分类的脑功能图像的各脑回路。需要说明的是，如上述公式X(l+1)＝PTX(l)，Al+1＝PTA(l)p所示，将各脑区聚类为脑回路时，回路和回路之间的关系，是通过平均回路内脑区之间的联系来进行初始化的，这种初始化就是高阶的基于回路的图结构的初始化，为了进一步学习高阶图的图结构，可以通过聚类子网络的优化层学习并更新每个初始脑回路的特征，根据每个初始脑回路的特征对各初始脑回路进行优化，得到上述待分类的脑功能图像的各脑回路。可选的，聚类子网络的优化层可以通过公式ai,j＝MLP(|xi-xj|)对各初始脑回路进行优化，得到待分类的脑功能图像的各脑回路，式中，aij为上述矩阵A的第(i,j)个元素，上述公式表示的含义为通过每个脑回路特征之间的绝对差的非线性投影(MLP)对各初始脑回路进行优化，得到待分类的脑功能图像的各脑回路。
本实施例中，计算机设备首先将待分类的脑功能图像的各脑区之间的特征信息输入聚类子网络的聚类层，能够根据预设的聚类分配矩阵对待分类的脑功能图像的各脑区进行聚类，将各脑区聚类为不同的初始脑回路，再将得到的初始脑回路输入聚类子网络的优化层，能够对各初始脑回路进行优化，准确地得到待分类的脑功能图像的各脑回路，提高了得到的待分类的脑功能图像的各脑回路的准确度。
在上述将待分类的脑功能图像的各脑回路输入图像分类网络的分类子网络，得到待分类的脑功能图像的分类结果的场景中，分类子网络包括图卷积层。在一个实施例中，如图4所示，上述S205，包括：
S401，将各脑回路输入图卷积层，降低各脑回路的特征的时间维度，并将降低时间维度后的各脑回路的特征转换为对应的特征数值。
具体地，计算机设备将待分类的脑功能图像的各脑回路输入分类子网络的池化层，降低各脑回路的特征的时间维度，并将降低时间维度后的各脑回路的特征转换为对应的特征数值。可选的，分类子网络的图卷积层可以为全局平均池化层。需要说明的是，大脑整合和大脑隔离被确定为主要的大脑功能连接模式，大脑整合是指不同的脑区对同一个功能进行作用，比如大脑中的语言回路等，大脑隔离是指每个脑区也有自己的功能，在相关技术中主要是仅专注于一个或两个独立的脑区域进行研究，相关的技术只能对大脑隔离的功能进行解释，在本实施例中，所提出的方法是基于脑区域生成的高阶图，因此，可以突出显示对分类器有贡献的最重要的脑回路，但由于高阶图的时间维度较高，因此可以通过分类子网络的图卷积层来减少各脑回路的特征的时间维度，并将降低时间维度后的各脑回路的特征转换为对应的特征数值，示例性地，脑回路1的特征数值可以为2.35，脑回路2的特征数值可以为-3.13。
S402，根据各脑回路的特征对应的特征数值，得到脑功能图像的分类结果。
具体地，计算机设备可以根据各脑回路的特征对应的特征数值，得到上述待分类的脑功能图像的分类结果。可选的，计算机设备可以将各脑回路的特征对应的特征数值输入预设的分类器中，得到上述待分类的脑功能图像的分类结果。
本实施例中，计算机设备将各脑回路输入分类子网络的图卷积层，能够降低各脑回路的特征的时间维度，降低时间维度的各脑回路的特征能够准确地表示各脑回路的特征，进而计算机设备能够准确地将降低时间维度后的各脑回路的特征转换为对应的特征数值，从而可以根据各脑回路的特征对应的特征数值，准确地对待分类的脑功能图像进行分类，准确地得到待分类的脑功能图像的分类结果。
在上述根据待分类的脑功能图像的各脑回路的特征对应的特征数值，得到脑功能图像的分类结果的场景中，分类子网络还包括分类层。在一个实施例中，在上述实施例的基础上，上述S402包括：将各脑回路的特征对应的特征数值输入分类层，为各特征数值分配相应地权重值，根据各特征数值和各特征数值对应的权重值，得到脑功能图像的分类结果。
具体地，上述分类子网络还包括分类层，计算机设备可以将各脑回路的特征对应的特征数值输入该分类层，为各脑回路的特征对应的特征数值分配相应地权重值，根据各特征数值和各特征数值对应的权重值，得到上述待分类的脑功能图像的分类结果。可选的，计算机设可以根据对各脑区进行聚类时每个聚类的数值，为各脑回路的特征对应的特征数值分配相应地权重值。进一步地，计算机设备还可以根据各脑回路的特征对应的特征数值对应的权重值，确定出与上述分类结果相关的目标脑回路，进而根据目标脑回路对应的聚类分配矩阵，确定目标脑回路中包括的脑区，也就是计算机设备根据目标脑回路对应的聚类分配矩阵，确定出目标脑回路中的各节点，将目标脑回路中的各节点确定为目标脑回路中包括的脑区。可选的，计算机设备可以将各脑回路的特征对应的特征数值对应的权重值最大的脑回路，确定为与上述分类结果相关的目标脑回路。
本实施例中，计算机设备将各脑回路的特征对应的特征数值输入分类子网络的分类层，能够为各脑回路的特征对应的特征数值准确地分配相应地权重值，进而可以根据各脑回路的特征数值和各特征数值对应的权重值，准确地得到待分类的脑功能图像的分类结果，提高了得到的待分类的脑功能图像的分类结果的准确度。
在上述根据待分类的脑功能图像，得到待分类的脑功能图像对应的图特性矩阵的场景中，计算机设备可以从待分类的脑功能图像中获取各脑区的特征信息，根据各脑区的特征信息得到待分类的脑功能图像对应的图特性矩阵。在一个实施例中，如图5所示，上述S202，包括：
S501，从脑功能图像中获取各脑区的特征信息作为节点特征。
具体地，计算机设备从待分类的脑功能图像中获取各脑区的特征信息作为节点特征。可选的，计算机设备可以首先按照预设的脑部分区模板对待分类的脑功能图像进行分区，然后从待分类的脑功能图像中提取各脑区的特征信息作为节点特征。可选的，计算机设备可以将各脑区的体积作为节点特征，也可以将各脑区的表面积、各脑区的曲率、各脑区的灰度中的任一一种特征作为节点特征。可选的，预设的脑部分区模板可以是解剖自动标记(Anatomical Automatic Labeling，AAL)模板，也可以是其他的脑部分区模板，例如，SRI24模板。可选的，计算机设备可以按照预设的脑部分区模板将上述待分类的脑功能图像划分为116个脑区。
S502，根据各脑区的节点特征，获取各脑区间的连接信息，将连接信息作为节点间的连接。
具体地，计算机设备根据待分类的脑功能图像各脑区的节点特征，获取各脑区间的连接信息，将各脑区间的连接信息作为节点间的连接。可选的，计算机设备可以根据待分类的脑功能图像各脑区的节点特征，得到各脑区的功能连接信息，将各脑区的功能连接信息作为上述节点间的连接。
S503，将节点特征和节点间的连接，构建成图特性矩阵。
具体地，计算机设备将上述得到的节点特征和节点间的连接，构建成图特性矩阵。也就是，计算机设备可以将各脑区的体积作为节点特征，将各脑区间的功能连接信息作为节点间的连接，构建成图特性矩阵。示例性地，以将脑结构图像和脑功能图像划分为4个脑区为例进行说明，从脑结构图像中提取各4个脑区的特征信息作为节点特征，从脑功能图像中提取各4个脑区的功能连接信息作为节点间的连接，将节点特征和节点间的连接构建成图特性矩阵X,
其中，v11,v22,v33,v44分别为4个脑区各脑区的特征信息，v12,v21为一脑区与二脑区的功能连接信息，v13,v31为一脑区与三脑区的功能连接信息，v14,v41为一脑区与四脑区的功能连接信息，v23,v32为二脑区与三脑区的功能连接信息，v24,v42为二脑区与四脑区的功能连接信息，v34,v43为三脑区与四脑区的功能连接信息。
本实施例中，计算机设备从待分类的脑功能图像中能够获取各脑区的特征信息，进而可以将各脑区的特征信息作为节点特征，根据各脑区的节点特征，能够获取各脑区间的连接信息，将各脑区间的连接信息作为节点间的连接，进而可以将节点特征和节点间的连接，构建成图特性矩阵，这样图特性矩阵包含了待分类的脑功能图像中各脑区的特征信息和待分类的脑功能图像中各脑区间的功能连接信息，能够更加全面准确的反映待分类的脑功能图像的信息，进而可以根据构建的图特性矩阵对待分类的脑功能图像进行准确地分类，提到了得到的待分类的脑功能图像的分类结果的准确度。
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种脑图像分类装置，包括：第一获取模块、第二获取模块、第三获取模块、聚类模块和分类模块，其中：
第一获取模块，用于获取待分类的脑功能图像。
第二获取模块，用于根据脑功能图像，得到脑功能图像对应的图特性矩阵。
第三获取模块，用于将图特性矩阵输入预设的图像分类网络的特征提取子网络，得到脑功能图像中各脑区之间的特征信息。
聚类模块，用于将各脑区之间的特征信息输入图像分类网络的聚类子网络，对各脑区进行聚类，将各脑区聚类为不同的脑回路。
分类模块，用于将各脑回路输入图像分类网络的分类子网络，得到脑功能图像的分类结果。
可选的，特征提取子网络包括图卷积长短期记忆网络。
本实施例提供的脑图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述聚类子网络包括聚类层和优化层；上述聚类模块包括：聚类单元和优化单元，其中：
聚类单元，用于将各脑区之间的特征信息输入聚类层，根据预设的聚类分配矩阵对各脑区进行聚类，将各脑区聚类为不同的初始脑回路。
优化单元，用于将各初始脑回路输入优化层，对各初始脑回路进行优化，得到各脑回路。
本实施例提供的脑图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，优化单元，具体用于将各初始脑回路输入优化层，学习并更新各初始脑回路的特征，并根据更新后的特征和预设的优化方法，对各初始脑回路进行优化，得到各脑回路。
本实施例提供的脑图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，分类子网络包括图卷积层；上述分类模块包括：转换单元和分类单元，其中：
转换单元，用于将各脑回路输入图卷积层，降低各脑回路的特征的时间维度，并将降低时间维度后的各脑回路的特征转换为对应的特征数值。
分类单元，用于根据各脑回路的特征对应的特征数值，得到脑功能图像的分类结果。
本实施例提供的脑图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，分类子网络还包括分类层；分类单元，具体用于将各脑回路的特征对应的特征数值输入分类层，为各特征数值分配相应地权重值，根据各特征数值和各特征数值对应的权重值，得到脑功能图像的分类结果。
本实施例提供的脑图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述装置还包括：第一确定模块，其中：
第一确定模块，用于根据各特征数值对应的权重值，确定出与分类结果相关的目标脑回路。
本实施例提供的脑图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述装置还包括：第二确定模块，其中：
第二确定模块，用于根据目标脑回路对应的聚类分配矩阵，确定目标脑回路中包括的脑区。
本实施例提供的脑图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述第二获取模块包括：第一获取单元、第二获取单元和构建单元，其中：
第一获取单元，用于从脑功能图像中获取各脑区的特征信息作为节点特征。
第二获取单元，用于根据各脑区的节点特征，获取各脑区间的连接信息，将连接信息作为节点间的连接。
构建单元，用于将节点特征和节点间的连接，构建成图特性矩阵。
本实施例提供的脑图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于脑图像分类装置的具体限定可以参见上文中对于脑图像分类方法的限定，在此不再赘述。上述脑图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待分类的脑功能图像；
根据脑功能图像，得到脑功能图像对应的图特性矩阵；
将图特性矩阵输入预设的图像分类网络的特征提取子网络，得到脑功能图像中各脑区之间的特征信息；
将各脑区之间的特征信息输入图像分类网络的聚类子网络，对各脑区进行聚类，将各脑区聚类为不同的脑回路；
将各脑回路输入图像分类网络的分类子网络，得到脑功能图像的分类结果。
上述实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待分类的脑功能图像；
根据脑功能图像，得到脑功能图像对应的图特性矩阵；
将图特性矩阵输入预设的图像分类网络的特征提取子网络，得到脑功能图像中各脑区之间的特征信息；
将各脑区之间的特征信息输入图像分类网络的聚类子网络，对各脑区进行聚类，将各脑区聚类为不同的脑回路；
将各脑回路输入图像分类网络的分类子网络，得到脑功能图像的分类结果。
上述实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种脑图像分类方法，其特征在于，所述方法包括：
获取待分类的脑功能图像；
根据所述脑功能图像，得到所述脑功能图像对应的图特性矩阵；
将所述图特性矩阵输入预设的图像分类网络的特征提取子网络，得到所述脑功能图像中各脑区之间的特征信息；
将所述各脑区之间的特征信息输入所述图像分类网络的聚类子网络，对所述各脑区进行聚类，将所述各脑区聚类为不同的脑回路；
将各所述脑回路输入所述图像分类网络的分类子网络，得到所述脑功能图像的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述聚类子网络包括聚类层和优化层；所述将所述各脑区之间的特征信息输入所述图像分类网络的聚类子网络，对所述各脑区进行聚类，将所述各脑区聚类为不同的脑回路，包括：
将所述各脑区之间的特征信息输入所述聚类层，根据预设的聚类分配矩阵对所述各脑区进行聚类，将所述各脑区聚类为不同的初始脑回路；
将各所述初始脑回路输入所述优化层，对各所述初始脑回路进行优化，得到各所述脑回路。
3.根据权利要求2所述的方法，其特征在于，所述将各所述初始脑回路输入所述优化层，对各所述初始脑回路进行优化，得到各所述脑回路，包括：
将各所述初始脑回路输入所述优化层，学习并更新各所述初始脑回路的特征，并根据更新后的特征和预设的优化方法，对各所述初始脑回路进行优化，得到各所述脑回路。
4.根据权利要求1所述的方法，其特征在于，所述分类子网络包括图卷积层；所述将各所述脑回路输入所述图像分类网络的分类子网络，得到所述脑功能图像的分类结果，包括：
将各所述脑回路输入所述图卷积层，降低各所述脑回路的特征的时间维度，并将降低时间维度后的各所述脑回路的特征转换为对应的特征数值；
根据各所述脑回路的特征对应的特征数值，得到所述脑功能图像的分类结果。
5.根据权利要求4所述的方法，其特征在于，所述分类子网络还包括分类层；所述根据各所述脑回路的特征对应的特征数值，得到所述脑功能图像的分类结果，包括：
将各所述脑回路的特征对应的特征数值输入所述分类层，为各所述特征数值分配相应地权重值，根据各所述特征数值和各所述特征数值对应的权重值，得到所述脑功能图像的分类结果。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据各所述特征数值对应的权重值，确定出与所述分类结果相关的目标脑回路。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述目标脑回路对应的聚类分配矩阵，确定所述目标脑回路中包括的脑区。
8.根据权利要求1所述的方法，其特征在于，所述特征提取子网络包括图卷积长短期记忆网络。
9.根据权利要求1所述的方法，其特征在于，所述根据所述脑功能图像，得到所述脑功能图像对应的图特性矩阵，包括：
从所述脑功能图像中获取各脑区的特征信息作为节点特征；
根据所述各脑区的节点特征，获取各所述脑区间的连接信息，将所述连接信息作为所述节点间的连接；
将所述节点特征和所述节点间的连接，构建成所述图特性矩阵。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010662852.2A CN111949812A (zh) | 2020-07-10 | 2020-07-10 | 脑图像分类方法和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010662852.2A CN111949812A (zh) | 2020-07-10 | 2020-07-10 | 脑图像分类方法和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111949812A true CN111949812A (zh) | 2020-11-17 |
Family
ID=73341776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010662852.2A Pending CN111949812A (zh) | 2020-07-10 | 2020-07-10 | 脑图像分类方法和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111949812A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113951883A (zh) * | 2021-11-12 | 2022-01-21 | 上海交通大学 | 基于脑电信号情绪识别的性别差异性检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101796055B1 (ko) * | 2016-06-02 | 2017-11-10 | 고려대학교 산학협력단 | 다중 뇌 연결망 구축을 통한 뇌 상태 모니터링 방법 및 장치 |
| WO2017210873A1 (zh) * | 2016-06-08 | 2017-12-14 | 中国科学院自动化研究所 | 基于磁共振影像的脑疾病个体化预测方法和系统 |
| CN107909117A (zh) * | 2017-09-26 | 2018-04-13 | 电子科技大学 | 一种基于脑功能网络特征对早晚期轻度认知障碍的分类方法及装置 |
| CN108596228A (zh) * | 2018-04-13 | 2018-09-28 | 江南大学 | 一种基于无监督模糊系统的脑功能磁共振图像分类方法 |
| CN109409403A (zh) * | 2018-09-12 | 2019-03-01 | 太原理工大学 | 基于局部属性和拓扑结构的脑网络聚类方法 |
| CN109730678A (zh) * | 2019-01-28 | 2019-05-10 | 常州大学 | 一种多层大脑功能网络模块划分方法 |
| CN110720906A (zh) * | 2019-09-25 | 2020-01-24 | 上海联影智能医疗科技有限公司 | 脑图像处理方法、计算机设备和可读存储介质 |
| CN110852367A (zh) * | 2019-11-05 | 2020-02-28 | 上海联影智能医疗科技有限公司 | 图像分类方法、计算机设备和存储介质 |
-
2020
- 2020-07-10 CN CN202010662852.2A patent/CN111949812A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101796055B1 (ko) * | 2016-06-02 | 2017-11-10 | 고려대학교 산학협력단 | 다중 뇌 연결망 구축을 통한 뇌 상태 모니터링 방법 및 장치 |
| WO2017210873A1 (zh) * | 2016-06-08 | 2017-12-14 | 中国科学院自动化研究所 | 基于磁共振影像的脑疾病个体化预测方法和系统 |
| CN107909117A (zh) * | 2017-09-26 | 2018-04-13 | 电子科技大学 | 一种基于脑功能网络特征对早晚期轻度认知障碍的分类方法及装置 |
| CN108596228A (zh) * | 2018-04-13 | 2018-09-28 | 江南大学 | 一种基于无监督模糊系统的脑功能磁共振图像分类方法 |
| CN109409403A (zh) * | 2018-09-12 | 2019-03-01 | 太原理工大学 | 基于局部属性和拓扑结构的脑网络聚类方法 |
| CN109730678A (zh) * | 2019-01-28 | 2019-05-10 | 常州大学 | 一种多层大脑功能网络模块划分方法 |
| CN110720906A (zh) * | 2019-09-25 | 2020-01-24 | 上海联影智能医疗科技有限公司 | 脑图像处理方法、计算机设备和可读存储介质 |
| CN110852367A (zh) * | 2019-11-05 | 2020-02-28 | 上海联影智能医疗科技有限公司 | 图像分类方法、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 张帆;陈俊杰;郭浩;: "基于脑功能超网络的多特征融合分类方法", 计算机工程与应用, no. 21, 27 March 2018 (2018-03-27) * |
| 李佳东;齐迎宾;: "磁共振成像对大脑病征诊断仿真研究", 计算机仿真, no. 01, 15 January 2018 (2018-01-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113951883A (zh) * | 2021-11-12 | 2022-01-21 | 上海交通大学 | 基于脑电信号情绪识别的性别差异性检测方法 |
| CN113951883B (zh) * | 2021-11-12 | 2022-08-12 | 吕宝粮 | 基于脑电信号情绪识别的性别差异性检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10803407B2 (en) | Method for selecting learned model corresponding to sensing data and provisioning selected learned model, and learned model provision device | |
| US20190147361A1 (en) | Learned model provision method and learned model provision device | |
| CN109559320B (zh) | 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统 | |
| CN112990211B (zh) | 一种神经网络的训练方法、图像处理方法以及装置 | |
| CN113095370B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN116503680B (zh) | 基于脑图谱的脑影像结构化分析和脑疾病分类系统 | |
| WO2021032062A1 (zh) | 图像处理模型生成方法、图像处理方法、装置及电子设备 | |
| WO2022028147A1 (zh) | 图像分类模型训练方法、装置、计算机设备及存储介质 | |
| CN115439449B (zh) | 全视野组织学图像的处理方法、装置、介质和电子设备 | |
| CN110992404B (zh) | 目标跟踪方法、装置和系统及存储介质 | |
| CN111798019B (zh) | 意图预测方法、装置、存储介质及电子设备 | |
| CN117391225A (zh) | 数据处理方法、设备及介质 | |
| CN111949812A (zh) | 脑图像分类方法和存储介质 | |
| CN112560731B (zh) | 特征聚类方法、数据库更新方法、电子设备及存储介质 | |
| CN111209946B (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
| CN111797874B (zh) | 行为预测方法、装置、存储介质及电子设备 | |
| CN115879034B (zh) | 基于机器学习的热带气旋强度监测方法、装置和设备 | |
| CN113920099B (zh) | 一种基于非局部信息提取的息肉分割方法及相关组件 | |
| CN112509052B (zh) | 黄斑中心凹的检测方法、装置、计算机设备和存储介质 | |
| CN111898620A (zh) | 识别模型的训练方法、字符识别方法、装置、设备和介质 | |
| KR20210074205A (ko) | 분류 기반 영상 측위 장치 및 방법 | |
| Piramanayagam et al. | Gradient-driven unsupervised video segmentation using deep learning techniques | |
| CN117274615B (zh) | 人体动作预测方法及相关产品 | |
| CN117058498B (zh) | 分割图评估模型的训练方法、分割图的评估方法及装置 | |
| JP2022151129A (ja) | 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |