CN117934977A - 基于图连接和图节点的脑网络分类方法、系统和设备 - Google Patents

基于图连接和图节点的脑网络分类方法、系统和设备 Download PDF

Info

Publication number
CN117934977A
CN117934977A CN202410330368.8A CN202410330368A CN117934977A CN 117934977 A CN117934977 A CN 117934977A CN 202410330368 A CN202410330368 A CN 202410330368A CN 117934977 A CN117934977 A CN 117934977A
Authority
CN
China
Prior art keywords
brain
matrix
graph
connectivity
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410330368.8A
Other languages
English (en)
Other versions
CN117934977B (zh
Inventor
郑强
祝传振
王璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai University
Original Assignee
Yantai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai University filed Critical Yantai University
Priority to CN202410330368.8A priority Critical patent/CN117934977B/zh
Publication of CN117934977A publication Critical patent/CN117934977A/zh
Application granted granted Critical
Publication of CN117934977B publication Critical patent/CN117934977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及医学影像处理分析技术领域,具体为基于图连接和图节点的脑网络分类方法、系统和设备;该脑网络分类方法首先基于脑区影像组学特征矩阵,获取脑区间连接性矩阵;然后,将图连接处理脑区间连接性矩阵后得到的脑区间图连接性矩阵,与脑区图节点特征矩阵进行融合,得到融合特征脑网络;接着,将融合特征脑网络进行全连接处理、非线性处理和加权处理,得到脑网络注意力特征;接着,将脑网络注意力特征进行脑区间维度的池化聚合处理和脑区维度的池化聚合处理,得到表达能力强且还能提高计算效率的脑网络节点池化特征;最后,脑网络节点池化特征经分类处理,得到脑网络分类结果;该分类方法具有较高的准确率、敏感性和特异性。

Description

基于图连接和图节点的脑网络分类方法、系统和设备
技术领域
本发明涉及医学影像处理分析技术领域,具体为基于图连接和图节点的脑网络分类方法、系统和设备。
背景技术
近年来,医学影像处理在计算机视觉领域的进步,推动医疗智能化的蓬勃发展。医学影像中的脑网络能够反映大脑内部神经元或神经细胞进行传输和处理的信息,广泛用于大脑功能、神经网络疾病、脑损伤等研究方面。从结构磁共振成像(尤其是T1加权成像)中获取的脑网络,特征不仅丰富,而且还能节约成本和提高检测分类效率。
现有技术当中,常使用图卷积神经网络(Graph Convolutional Network,GCN)来分析T1加权成像的脑网络的拓扑结构,以帮助理解大脑的结构和功能,识别与疾病相关的潜在连接模式。然而,当前基于GCN的算法,仅适用于稀疏图脑网络中,无法关注脑网络中脑区之间的联系,导致脑网络信息的丧失,尤其是与疾病相关有价值的生物学信息的丧失,造成脑网络分类的准确率较低。
发明内容
本发明的目的是提供一种具有高分类准确率的基于图连接和图节点的脑网络分类方法、系统和设备。
本发明技术方案如下:
一种基于图连接和图节点的脑网络分类方法,包括如下操作:
S1、获取T1加权成像的灰质体积图,所述灰质体积图经脑区划分,并提取不同脑区的影像组学特征,不同脑区的影像组学特征分别经归一化处理后,进行矩阵构建,得到脑区影像组学特征矩阵;
S2、基于所述脑区影像组学特征矩阵,获取脑区之间的连通性,得到脑区间连接性矩阵;所述脑区间连接性矩阵经图连接处理,得到脑区间图连接性矩阵;
所述图连接处理的操作具体为:所述脑区间连接性矩阵经一维卷积和维度扩展处理,得到脑区间连接性多维矩阵;所述脑区间连接性多维矩阵经转置处理,得到脑区间连接性转置矩阵;所述脑区间连接性转置矩阵与脑区间连接性多维矩阵进行逐元素相加后,得到所述脑区间图连接性矩阵;
S3、脑区影像组学特征矩阵经多层感知机处理,得到脑区图节点特征矩阵;所述脑区图节点特征矩阵与脑区间图连接性矩阵经融合处理,得到融合特征脑网络;
S4、所述融合特征脑网络经平均池化处理、第一全连接层处理、第一非线性处理、第二全连接层处理和第二非线性处理,得到权重矩阵;所述权重矩阵与融合特征脑网络经逐元素相乘,得到脑网络注意力特征;脑网络注意力特征经脑区间维度的池化聚合处理,得到脑网络脑区间池化特征;所述脑网络脑区间池化特征经脑区维度的池化聚合处理,得到脑网络节点池化特征;
S5、所述脑网络节点池化特征经分类处理,得到脑网络分类结果。
S2中,脑区之间的连通性为不同脑区之间的直接连通性;不同脑区之间的直接连通性是基于不同脑区的影像组学特征和影像组学特征均值得到的。
S2中,脑区之间的连通性为,不同脑区之间的直接连通性,与不同脑区之间的间接连通性的加权后的和;不同脑区之间的直接连通性是基于不同脑区的影像组学特征和影像组学特征均值得到的;不同脑区之间的间接连通性,是不同脑区与中间脑区的直接连通性的加权后的和。
S4中脑区间维度的池化聚合处理,是通过将所述脑网络注意力特征中的每一个行向量进行加权求和处理实现的。
S4中脑区维度的池化聚合处理,是通过将所述脑网络脑区间池化特征中的所有数据进行加权求和处理得到的。
S2中的脑区间图连接性矩阵经图连接处理,得到优化脑区间图连接性矩阵;所述S3中的脑区图节点特征矩阵经多层感知机处理,得到优化脑区图节点特征矩阵;所述优化脑区图节点特征矩阵与优化脑区间图连接性矩阵和融合特征脑网络经融合处理,得到优化融合特征脑网络;所述优化融合特征脑网络用于执行S4中的操作。
所述优化脑区间图连接性矩阵经图连接处理,得到最优脑区间图连接性矩阵;所述优化脑区图节点特征矩阵经多层感知机处理,得到最优脑区图节点特征矩阵;所述最优脑区图节点特征矩阵与最优脑区间图连接性矩阵和融合特征脑网络经融合处理,得到最优融合特征脑网络;所述最优融合特征脑网络用于执行S4中的操作。
一种基于图连接和图节点的脑网络分类系统,包括:
脑区影像组学特征矩阵生成模块,用于获取T1加权成像的灰质体积图,所述灰质体积图经脑区划分,并提取不同脑区的影像组学特征,不同脑区的影像组学特征分别经归一化处理后,进行矩阵构建,得到脑区影像组学特征矩阵;
脑区间图连接性矩阵生成模块,用于基于所述脑区影像组学特征矩阵,获取脑区之间的连通性,得到脑区间连接性矩阵;所述脑区间连接性矩阵经图连接处理,得到脑区间图连接性矩阵;所述图连接处理的操作具体为:所述脑区间连接性矩阵经一维卷积和维度扩展处理,得到脑区间连接性多维矩阵;所述脑区间连接性多维矩阵经转置处理,得到脑区间连接性转置矩阵;所述脑区间连接性转置矩阵与脑区间连接性多维矩阵进行逐元素相加后,得到所述脑区间图连接性矩阵;
融合特征脑网络生成模块,用于脑区影像组学特征矩阵经多层感知机处理,得到脑区图节点特征矩阵;所述脑区图节点特征矩阵与脑区间图连接性矩阵经融合处理,得到融合特征脑网络;
脑网络节点池化特征生成模块,用于所述融合特征脑网络经平均池化处理、第一全连接层处理、第一非线性处理、第二全连接层处理和第二非线性处理,得到权重矩阵;所述权重矩阵与融合特征脑网络经逐元素相乘,得到脑网络注意力特征;脑网络注意力特征经脑区间维度的池化聚合处理,得到脑网络脑区间池化特征;所述脑网络脑区间池化特征经脑区维度的池化聚合处理,得到脑网络节点池化特征;
脑网络分类结果生成模块,用于所述脑网络节点池化特征经分类处理,得到脑网络分类结果。
一种基于图连接和图节点的脑网络分类设备,包括处理器和存储器,其中,所述处理器执行所述存储器中保存的计算机程序时实现上述的基于图连接和图节点的脑网络分类方法。
一种计算机可读存储介质,用于存储计算机程序,其中,所述计算机程序被处理器执行时实现上述的基于图连接和图节点的脑网络分类方法。
本发明的有益效果在于:
本发明提供的一种基于图连接和图节点的脑网络分类方法,首先,基于T1加权成像的脑区影像组学特征矩阵,获取不同脑区之间的连通性,组成脑区间连接性矩阵;然后,将图连接处理脑区间连接性矩阵后得到,能够反映脑区间复杂连接强度的脑区间图连接性矩阵,与既包含有脑区初始特征也包含有脑区潜在抽象特征的脑区图节点特征矩阵进行融合,得到特征丰富且表达能力较强的融合特征脑网络;接着,将融合特征脑网络进行全连接处理、非线性处理和加权处理,实现融合特征脑网络的自适应特征权重标定,得到脑网络注意力特征;接着,将脑网络注意力特征进行脑区间维度的池化聚合处理和脑区维度的池化聚合处理,得到表达能力强且还能提高计算效率的脑网络节点池化特征;最后,脑网络节点池化特征经分类处理,得到脑网络分类结果;该分类方法具有较高的准确率、敏感性和特异性。
具体实施方式
本实施例提供了一种基于图连接和图节点的脑网络分类方法,包括如下操作:
S1、获取T1加权成像的灰质体积图,所述灰质体积图经脑区划分,并提取不同脑区的影像组学特征,不同脑区的影像组学特征分别经归一化处理后,进行矩阵构建,得到脑区影像组学特征矩阵;
S2、基于所述脑区影像组学特征矩阵,获取脑区之间的连通性,得到脑区间连接性矩阵;所述脑区间连接性矩阵经图连接处理,得到脑区间图连接性矩阵;
所述图连接处理的操作具体为:所述脑区间连接性矩阵经一维卷积和维度扩展处理,得到脑区间连接性多维矩阵;所述脑区间连接性多维矩阵经转置处理,得到脑区间连接性转置矩阵;所述脑区间连接性转置矩阵与脑区间连接性多维矩阵进行逐元素相加后,得到所述脑区间图连接性矩阵;
S3、脑区影像组学特征矩阵经多层感知机处理,得到脑区图节点特征矩阵;所述脑区图节点特征矩阵与脑区间图连接性矩阵经融合处理,得到融合特征脑网络;
S4、所述融合特征脑网络经平均池化处理、第一全连接层处理、第一非线性处理、第二全连接层处理和第二非线性处理,得到权重矩阵;所述权重矩阵与融合特征脑网络经逐元素相乘,得到脑网络注意力特征;脑网络注意力特征经脑区间维度的池化聚合处理,得到脑网络脑区间池化特征;所述脑网络脑区间池化特征经脑区维度的池化聚合处理,得到脑网络节点池化特征;
S5、所述脑网络节点池化特征经分类处理,得到脑网络分类结果。
S1、获取T1加权成像的灰质体积图,灰质体积图经脑区划分,并提取不同脑区的影像组学特征,不同脑区的影像组学特征分别经归一化处理后,进行矩阵构建,得到脑区影像组学特征矩阵。
通过将T1加权成像转化成灰质体积图,利用灰质体积图进行脑区划分,并获取每个脑区的影像组学特征,作为节点特征,便于后续获取不同脑区(节点)之间的边特征(连通性)。
首先,采集格式为医学数字成像和通信(Digital Imaging and Communicationsin Medicine,DICOM)的T1加权成像,接着将DICOM格式的T1加权成像转化为神经影像信息学技术倡议(Neuroimaging Informatics Technology Initiative,NIFTI)格式的三维图像,并删除了患者隐私数据。
然后,将NIFTI格式的T1加权成像灰质分割处理(可通过CAT12工具箱实现)、线性配准和非线性配准处理,配准到MNI152标准空间中(可通过ANTs工具实现),得到灰质体积图。
接着,利用AAL图谱中的脑区位置信息,获取灰质体积图中对应的90个脑区位置,实现脑区划分,得到不同脑区的灰质体积图。
此后,提取90个不同脑区的灰质体积图中25维的纹理和强度,得到不同脑区90×25的影像组学特征,也为各个脑区本身固有的节点特征。
最后,不同脑区的影像组学特征分别经归一化处理后,进行矩阵构建,得到形式为一个列向量,列向量中每个数据代表一个脑区归一化后的影像组学特征的脑区影像组学特征矩阵。
S2、基于脑区影像响组学特征矩阵,获取脑区之间的连通性,得到脑区间连接性矩阵;脑区间连接性矩阵经图连接处理,得到脑区间图连接性矩阵。
为分析脑区间的连接特征,本实施例先获取脑区间的连通性,形成脑区间连接性矩阵;为增强脑区间连接性矩阵的表达作用,将脑区间连接性矩阵进行图连接处理,得到能够反映脑区间连通特性的脑区间图连接性矩阵。
本实施例中,脑区之间的连接性可以为,不同脑区之间的直接连通性。不同脑区之间的直接连通性是基于不同脑区的影像组学特征和影像组学特征均值得到的。
可通过如下公式得到:
a s,t 为脑区s与脑区t之间的直接连通性,x s 为脑区s的影像组学特征,为脑区s的影像组学特征均值,x t 为脑区t的影像组学特征,/>为脑区t的影像组学特征均值。
本实施例中,脑区之间的连通性还可以为,不同脑区之间的直接连通性,与不同脑区之间的间接连通性的加权后的和;不同脑区之间的直接连通性是基于不同脑区的影像组学特征和影像组学特征均值得到的;不同脑区之间的间接连通性,是不同脑区与中间脑区的直接连通性的加权后的和。中间脑区是指与目标不同脑区有直接联系和/或间接联系的(中介)脑区。将脑区间的直接连通性和间接连通性进行结合,去分析脑区间的连接强度,有助于获得更全面的脑区间连接性矩阵,提高脑网络分类的准确率。
含有间接连通性的不同脑区之间的连通性可通过如下公式得到:
a s,t 为脑区s与脑区t之间的连通性,k=1时,a s,t 为脑区s与脑区t之间的直接连通性;为脑区s与脑区t之间第k条第r阶的连通性,r阶为脑区s到脑区t的边数(例如:脑区s与脑区t通过中间脑区b实现了间接连接,这样类似的中间脑区b有3个,则r=2,k=3),K为连通性的总条数,R为连通性的总阶数;w k 为脑区s与脑区t之间第k条连通性的权重,θ r 为脑区s与脑区t之间第r阶连通性的权重。
k=2时,也就是脑区s与脑区t通过中间脑区b实现了2阶的间接连接,中间脑区b与脑区s和脑区t分别是直接连接的,则含有间接连通性的不同脑区之间的连通性可通过如下公式得到:
a s,t 为脑区s与脑区t之间的连通性,a s,b 为脑区s与中间脑区b之间的直接连通性,w s,b 为脑区s与中间脑区b之间的直接连通性的权重,a b,t 为脑区t与中间脑区b之间的直接连通性,w b,t 为脑区t与中间脑区b之间的直接连通性的权重,B为中间脑区b的总数;当b=0时,即不存在一个中间脑区b使脑区s与脑区t之间连接,此时脑区s与脑区t为直接连接,此时a s,t 为脑区s与脑区t之间的直接连通性。
本实施中,图连接处理的操作为:脑区间连接性矩阵经一维卷积和维度扩展处理,得到脑区间连接性多维矩阵;脑区间连接性多维矩阵经转置处理,得到脑区间连接性转置矩阵;脑区间连接性转置矩阵与脑区间连接性多维矩阵进行逐元素相加后,得到脑区间图连接性矩阵。
S3、脑区影像组学特征矩阵经多层感知机处理,得到脑区图节点特征矩阵;脑区图节点特征矩阵与脑区间图连接性矩阵经融合处理,得到融合特征脑网络。
为了有效保留初始节点原始特征,使其不受冗余复杂的连接特征所干扰,本实施例使用多层感知机对脑区影像组学特征矩阵进行处理,使得脑区影像组学特征矩阵点的初始特征映射到一个新的表示空间中,确保关键信息得以保留的同时,提取脑区节点中的潜在抽象特征,这一过程不仅提升了节点的表征能力,还有助于减弱噪声或不相关特征的影响,得到脑区图节点特征矩阵。最后,将反映脑区间连接强度的脑区间图连接性矩阵,和即包含有脑区初始特征也包含有脑区潜在抽象特征的脑区图节点特征矩阵,进行逐元素相加实现融合处理,得到特征丰富且表达能力较强的融合特征脑网络。
本实施例中,多层感知机处理的功能可通过由多个神经元组成的多层感知机(Multilayer Perceptron,MLP)实现,还可以对现有的MLP方法进行改进,多层感知机处理(改进的MLP方法)的功能通过如下公式实现:y=ReLU(wT·x +z),y为脑区图节点特征矩阵,ReLU( )为ReLU激活函数处理,w T 为多层感知机权重向量,x为脑区影像组学特征矩阵,z为偏差。
本实施例中,通过多层感知机处理可以将90×25×1的脑区影像组学特征矩阵,转化为90×90×1的脑区图节点特征矩阵,便于和90×90×1的脑区间图连接性矩阵进行融合。
进一步的,为获取脑网络中高阶的连接特征,丰富融合特征脑网络的特征,提高后续分类的准确度。脑区间图连接性矩阵经图连接处理,得到优化脑区间图连接性矩阵;脑区图节点特征矩阵经多层感知机处理,得到优化脑区图节点特征矩阵;优化脑区图节点特征矩阵与优化脑区间图连接性矩阵和融合特征脑网络经融合处理,得到90×90×4的优化融合特征脑网络;优化融合特征脑网络用于执行S4中的操作。
为更进一步的获取脑网络中更高阶的连接特征,进一步丰富融合特征脑网络的特征,进一步提高后续分类的准确度。优化脑区间图连接性矩阵经图连接处理,得到最优脑区间图连接性矩阵;优化脑区图节点特征矩阵经多层感知机处理,得到最优脑区图节点特征矩阵;最优脑区图节点特征矩阵与最优脑区间图连接性矩阵和融合特征脑网络经融合处理,得到90×90×6的最优融合特征脑网络;最优融合特征脑网络用于执行S4中的操作。
S4、融合特征脑网络或优化融合特征脑网络或最优融合特征脑网络经平均池化处理、第一全连接层处理、第一非线性处理、第二全连接层处理和第二非线性处理,得到权重矩阵;权重矩阵与融合特征脑网络经逐元素相乘,得到脑网络注意力特征;脑网络注意力特征经脑区间维度的池化聚合处理,得到脑网络脑区间池化特征;脑网络脑区间池化特征经脑区维度的池化聚合处理,得到脑网络节点池化特征。
将融合特征脑网络或优化融合特征脑网络或最优融合特征脑网络,进行注意力处理(平均池化处理、第一全连接层处理、第一非线性处理(可通过ReLU激活函数实现)、第二全连接层处理、第二非线性处理(可通过sigmoid激活函数实现)和加权处理),增强融合特征脑网络或优化融合特征脑网络或最优融合特征脑网络的表征能力,得到脑网络注意力特征;然后,为聚合脑网络注意力特征中的信息,提高计算效率,将90×90×6的脑网络注意力特征先进行90个脑区间维度的池化处理,得到90×1×64的脑网络脑区间池化特征;最后将脑网络脑区间池化特征进行90个脑区维度的池化处理,得到1×256的脑网络节点池化特征。
其中,脑区间维度的池化聚合处理,是通过将脑网络注意力特征中的每一个行向量进行加权求和处理实现的。脑网络注意力特征中,每个行向量反映了同一个脑区的特征,也反映了同一个脑区与不同脑区之间的特征,将脑网络注意力特征中,每一行的行向量中每个数据分别乘以对应权重后相加,得到脑网络脑区间池化特征,脑网络脑区间池化特征中每一行反映了同一个脑区与不同脑区进行池化聚合后的特征。
脑区间维度的池化聚合处理可通过如下公式实现:
N i 为脑网络注意力特征中第i行的池化聚合特征,F i,j 为脑网络注意力特征中第i行第j列的数据,w i,j F i,j 的权重。
脑区维度的池化聚合处理,是通过将脑网络脑区间池化特征中的所有数据进行加权求和处理得到的。即将脑网络脑区间池化特征中,每一个行向量的数据,分别与对应的权重相乘后,进行求和,得到脑网络节点池化特征。
脑区维度的池化聚合处理可通过如下公式实现:
G为脑网络节点池化特征,w i,j 为脑网络注意力特征中N i i行的池化聚合特征的权重。
S5、脑网络节点池化特征经分类处理,得到脑网络分类结果。
分类处理的操作之前,还包括对脑网络节点池化特征进行线性降维处理,将256维的脑网络节点池化特征变为2维的脑网络节点池化特征。
本实施例中,分类的操作可以为:获取若干个标准脑网络节点池化特征和对应标签,组成训练集,利用训练集训练神经网络,得到训练神经网络,训练神经网络处理脑网络节点池化特征,得到脑网络分类结果。
分类的损失函数为:
Loss为分类损失熵,y n 为第n个样本的预测分类标签,y n 是二元标签,为0或者1,p (y n )是输出属于y n 标签的概率,N为训练集的样本总量,通过这种损失值计算方式方式,来进行反向传播,进行参数更新,对模型进行训练。
分类的操作还可以为:获取脑网络节点池化特征,与标准脑网络分类集中每个标准脑网络节点池化特征的相似度,将相似度最大值对应的标准脑网络节点池化特征的分类结果,作为脑网络分类结果。
为验证本实施例脑网络的分类效果,做了如下实验。
实验设置。数据集以8:1:1的比例被随机划分为训练集、验证集和测试集。使用的实验开发环境是pytorch1.9.0,在NVIDIA RTX 3090图形处理器上,在模型训练时期共进行了100轮次,使用了Adam优化器,初始学习率为3e-4, batch size设置为50,实验环境详细实验环境如表1所示。
表1 实验参数汇总
将本实施例的脑网络分类方法与现有技术-图卷积神经网络进行对比,实验结果参见表2,很显然,本实施例提供的脑网络方法具有较高的准确率、敏感性和特异性。
表2 实验对比结果汇总
本实施例还提供了一种基于图连接和图节点的脑网络分类系统,包括:
脑区影像组学特征矩阵生成模块,用于获取T1加权成像的灰质体积图,灰质体积图经脑区划分,并提取不同脑区的影像组学特征,不同脑区的影像组学特征分别经归一化处理后,进行矩阵构建,得到脑区影像组学特征矩阵;
脑区间图连接性矩阵生成模块,用于基于脑区影像组学特征矩阵,获取脑区之间的连通性,得到脑区间连接性矩阵;脑区间连接性矩阵经图连接处理,得到脑区间图连接性矩阵;图连接处理的操作具体为:脑区间连接性矩阵经一维卷积和维度扩展处理,得到脑区间连接性多维矩阵;脑区间连接性多维矩阵经转置处理,得到脑区间连接性转置矩阵;脑区间连接性转置矩阵与脑区间连接性多维矩阵进行逐元素相加后,得到脑区间图连接性矩阵;
融合特征脑网络生成模块,用于脑区影像组学特征矩阵经多层感知机处理,得到脑区图节点特征矩阵;脑区图节点特征矩阵与脑区间图连接性矩阵经融合处理,得到融合特征脑网络;
脑网络节点池化特征生成模块,用于融合特征脑网络经平均池化处理、第一全连接层处理、第一非线性处理、第二全连接层处理和第二非线性处理,得到权重矩阵;权重矩阵与融合特征脑网络经逐元素相乘,得到脑网络注意力特征;脑网络注意力特征经脑区间维度的池化聚合处理,得到脑网络脑区间池化特征;脑网络脑区间池化特征经脑区维度的池化聚合处理,得到脑网络节点池化特征;
脑网络分类结果生成模块,用于脑网络节点池化特征经分类处理,得到脑网络分类结果。
本实施例还提供了一种基于图连接和图节点的脑网络分类设备,包括处理器和存储器,其中,处理器执行存储器中保存的计算机程序时实现上述的基于图连接和图节点的脑网络分类方法。
本实施例还提供了一种计算机可读存储介质,用于存储计算机程序,其中,计算机程序被处理器执行时实现上述的基于图连接和图节点的脑网络分类方法。
本实施例提供的一种基于图连接和图节点的脑网络分类方法,首先,基于T1加权成像的脑区影像组学特征矩阵,获取不同脑区之间的连通性,组成脑区间连接性矩阵;然后,将图连接处理脑区间连接性矩阵后得到,能够反映脑区间复杂连接强度的脑区间图连接性矩阵,与既包含有脑区初始特征也包含有脑区潜在抽象特征的脑区图节点特征矩阵进行融合,得到特征丰富且表达能力较强的融合特征脑网络;接着,将融合特征脑网络进行全连接处理、非线性处理和加权处理,实现融合特征脑网络的自适应特征权重标定,得到脑网络注意力特征;接着,将脑网络注意力特征进行脑区间维度的池化聚合处理和脑区维度的池化聚合处理,得到表达能力强且还能提高计算效率的脑网络节点池化特征;最后,脑网络节点池化特征经分类处理,得到脑网络分类结果;该分类方法具有较高的准确率、敏感性和特异性。

Claims (10)

1.一种基于图连接和图节点的脑网络分类方法,其特征在于,包括如下操作:
S1、获取T1加权成像的灰质体积图,所述灰质体积图经脑区划分,并提取不同脑区的影像组学特征,不同脑区的影像组学特征分别经归一化处理后,进行矩阵构建,得到脑区影像组学特征矩阵;
S2、基于所述脑区影像组学特征矩阵,获取脑区之间的连通性,得到脑区间连接性矩阵;所述脑区间连接性矩阵经图连接处理,得到脑区间图连接性矩阵;
所述图连接处理的操作具体为:所述脑区间连接性矩阵经一维卷积和维度扩展处理,得到脑区间连接性多维矩阵;所述脑区间连接性多维矩阵经转置处理,得到脑区间连接性转置矩阵;所述脑区间连接性转置矩阵与脑区间连接性多维矩阵进行逐元素相加后,得到所述脑区间图连接性矩阵;
S3、脑区影像组学特征矩阵经多层感知机处理,得到脑区图节点特征矩阵;所述脑区图节点特征矩阵与脑区间图连接性矩阵经融合处理,得到融合特征脑网络;
S4、所述融合特征脑网络经平均池化处理、第一全连接层处理、第一非线性处理、第二全连接层处理和第二非线性处理,得到权重矩阵;所述权重矩阵与融合特征脑网络经逐元素相乘,得到脑网络注意力特征;脑网络注意力特征经脑区间维度的池化聚合处理,得到脑网络脑区间池化特征;所述脑网络脑区间池化特征经脑区维度的池化聚合处理,得到脑网络节点池化特征;
S5、所述脑网络节点池化特征经分类处理,得到脑网络分类结果。
2.根据权利要求1所述的基于图连接和图节点的脑网络分类方法,其特征在于,所述S2中,脑区之间的连通性为不同脑区之间的直接连通性;不同脑区之间的直接连通性是基于不同脑区的影像组学特征和影像组学特征均值得到的。
3.根据权利要求1所述的基于图连接和图节点的脑网络分类方法,其特征在于,所述S2中,脑区之间的连通性为,不同脑区之间的直接连通性,与不同脑区之间的间接连通性的加权后的和;
不同脑区之间的直接连通性是基于不同脑区的影像组学特征和影像组学特征均值得到的;
不同脑区之间的间接连通性,是不同脑区与中间脑区的直接连通性的加权后的和。
4.根据权利要求1所述的基于图连接和图节点的脑网络分类方法,其特征在于,所述S4中脑区间维度的池化聚合处理,是通过将所述脑网络注意力特征中的每一个行向量进行加权求和处理实现的。
5.根据权利要求1所述的基于图连接和图节点的脑网络分类方法,其特征在于,所述S4中脑区维度的池化聚合处理,是通过将所述脑网络脑区间池化特征中的所有数据进行加权求和处理得到的。
6.根据权利要求1所述的基于图连接和图节点的脑网络分类方法,其特征在于,
所述S2中的脑区间图连接性矩阵经图连接处理,得到优化脑区间图连接性矩阵;所述S3中的脑区图节点特征矩阵经多层感知机处理,得到优化脑区图节点特征矩阵;
所述优化脑区图节点特征矩阵与优化脑区间图连接性矩阵和融合特征脑网络经融合处理,得到优化融合特征脑网络;
所述优化融合特征脑网络用于执行S4中的操作。
7.根据权利要求6所述的基于图连接和图节点的脑网络分类方法,其特征在于,所述优化脑区间图连接性矩阵经图连接处理,得到最优脑区间图连接性矩阵;所述优化脑区图节点特征矩阵经多层感知机处理,得到最优脑区图节点特征矩阵;所述最优脑区图节点特征矩阵与最优脑区间图连接性矩阵和融合特征脑网络经融合处理,得到最优融合特征脑网络;所述最优融合特征脑网络用于执行S4中的操作。
8.一种基于图连接和图节点的脑网络分类系统,其特征在于,包括:
脑区影像组学特征矩阵生成模块,用于获取T1加权成像的灰质体积图,所述灰质体积图经脑区划分,并提取不同脑区的影像组学特征,不同脑区的影像组学特征分别经归一化处理后,进行矩阵构建,得到脑区影像组学特征矩阵;
脑区间图连接性矩阵生成模块,用于基于所述脑区影像组学特征矩阵,获取脑区之间的连通性,得到脑区间连接性矩阵;所述脑区间连接性矩阵经图连接处理,得到脑区间图连接性矩阵;所述图连接处理的操作具体为:所述脑区间连接性矩阵经一维卷积和维度扩展处理,得到脑区间连接性多维矩阵;所述脑区间连接性多维矩阵经转置处理,得到脑区间连接性转置矩阵;所述脑区间连接性转置矩阵与脑区间连接性多维矩阵进行逐元素相加后,得到所述脑区间图连接性矩阵;
融合特征脑网络生成模块,用于脑区影像组学特征矩阵经多层感知机处理,得到脑区图节点特征矩阵;所述脑区图节点特征矩阵与脑区间图连接性矩阵经融合处理,得到融合特征脑网络;
脑网络节点池化特征生成模块,用于所述融合特征脑网络经平均池化处理、第一全连接层处理、第一非线性处理、第二全连接层处理和第二非线性处理,得到权重矩阵;所述权重矩阵与融合特征脑网络经逐元素相乘,得到脑网络注意力特征;脑网络注意力特征经脑区间维度的池化聚合处理,得到脑网络脑区间池化特征;所述脑网络脑区间池化特征经脑区维度的池化聚合处理,得到脑网络节点池化特征;
脑网络分类结果生成模块,用于所述脑网络节点池化特征经分类处理,得到脑网络分类结果。
9.一种基于图连接和图节点的脑网络分类设备,其特征在于,包括处理器和存储器,其中,所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-7任一项所述的基于图连接和图节点的脑网络分类方法。
10.一种计算机可读存储介质,其特征在于,用于存储计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于图连接和图节点的脑网络分类方法。
CN202410330368.8A 2024-03-22 2024-03-22 基于图连接和图节点的脑网络分类方法、系统和设备 Active CN117934977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410330368.8A CN117934977B (zh) 2024-03-22 2024-03-22 基于图连接和图节点的脑网络分类方法、系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410330368.8A CN117934977B (zh) 2024-03-22 2024-03-22 基于图连接和图节点的脑网络分类方法、系统和设备

Publications (2)

Publication Number Publication Date
CN117934977A true CN117934977A (zh) 2024-04-26
CN117934977B CN117934977B (zh) 2024-05-31

Family

ID=90766730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410330368.8A Active CN117934977B (zh) 2024-03-22 2024-03-22 基于图连接和图节点的脑网络分类方法、系统和设备

Country Status (1)

Country Link
CN (1) CN117934977B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109192298A (zh) * 2018-07-27 2019-01-11 南京航空航天大学 基于脑网络的深度脑疾病诊断算法
KR20200056740A (ko) * 2018-11-15 2020-05-25 연세대학교 원주산학협력단 뇌 대사물질 분석 및 뇌 네트워크 구현 장치 및 방법
CN113255728A (zh) * 2021-04-26 2021-08-13 浙江工业大学 一种基于图嵌入和多模态脑网络的抑郁症分类方法
CN113313232A (zh) * 2021-05-19 2021-08-27 华南理工大学 一种基于预训练和图神经网络的功能脑网络分类方法
WO2023035586A1 (zh) * 2021-09-10 2023-03-16 上海商汤智能科技有限公司 图像检测方法、模型训练方法、装置、设备、介质及程序
EP4156200A1 (en) * 2021-09-27 2023-03-29 Universitätsmedizin der Johannes Gutenberg-Universität Mainz Method for reconstructing a brain network
CN116188366A (zh) * 2022-12-05 2023-05-30 中国科学院深圳先进技术研究院 知识和数据驱动的脑网络计算方法、装置、电子设备及存储介质
WO2023108712A1 (zh) * 2021-12-18 2023-06-22 深圳先进技术研究院 结构-功能脑网络双向映射模型构建方法及脑网络双向映射模型
US20230196578A1 (en) * 2021-12-16 2023-06-22 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Brain network and brain addictive connectivity computing method and device
CN116561518A (zh) * 2023-05-24 2023-08-08 电子科技大学 一种基于脑区权重相关性的脑网络构建方法
CN117100247A (zh) * 2023-05-17 2023-11-24 安徽师范大学 一种基于稀疏学习的高阶动态脑网络构建方法
CN117122303A (zh) * 2023-10-26 2023-11-28 烟台大学 一种脑网络的预测方法、系统、设备和存储介质
CN117172294A (zh) * 2023-11-02 2023-12-05 烟台大学 一种稀疏脑网络的构建方法、系统、设备和存储介质
CN117292232A (zh) * 2023-11-24 2023-12-26 烟台大学 T1加权成像的多维空间特征获取方法、系统和设备
CN117350352A (zh) * 2023-12-06 2024-01-05 烟台大学 结构脑网络到功能连通性网络的学习方法、系统和设备
CN117648604A (zh) * 2023-11-30 2024-03-05 杭州电子科技大学 一种基于动态图特征网络的脑机目标读取方法及系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109192298A (zh) * 2018-07-27 2019-01-11 南京航空航天大学 基于脑网络的深度脑疾病诊断算法
KR20200056740A (ko) * 2018-11-15 2020-05-25 연세대학교 원주산학협력단 뇌 대사물질 분석 및 뇌 네트워크 구현 장치 및 방법
CN113255728A (zh) * 2021-04-26 2021-08-13 浙江工业大学 一种基于图嵌入和多模态脑网络的抑郁症分类方法
CN113313232A (zh) * 2021-05-19 2021-08-27 华南理工大学 一种基于预训练和图神经网络的功能脑网络分类方法
WO2023035586A1 (zh) * 2021-09-10 2023-03-16 上海商汤智能科技有限公司 图像检测方法、模型训练方法、装置、设备、介质及程序
EP4156200A1 (en) * 2021-09-27 2023-03-29 Universitätsmedizin der Johannes Gutenberg-Universität Mainz Method for reconstructing a brain network
US20230196578A1 (en) * 2021-12-16 2023-06-22 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Brain network and brain addictive connectivity computing method and device
WO2023108712A1 (zh) * 2021-12-18 2023-06-22 深圳先进技术研究院 结构-功能脑网络双向映射模型构建方法及脑网络双向映射模型
CN116188366A (zh) * 2022-12-05 2023-05-30 中国科学院深圳先进技术研究院 知识和数据驱动的脑网络计算方法、装置、电子设备及存储介质
CN117100247A (zh) * 2023-05-17 2023-11-24 安徽师范大学 一种基于稀疏学习的高阶动态脑网络构建方法
CN116561518A (zh) * 2023-05-24 2023-08-08 电子科技大学 一种基于脑区权重相关性的脑网络构建方法
CN117122303A (zh) * 2023-10-26 2023-11-28 烟台大学 一种脑网络的预测方法、系统、设备和存储介质
CN117172294A (zh) * 2023-11-02 2023-12-05 烟台大学 一种稀疏脑网络的构建方法、系统、设备和存储介质
CN117292232A (zh) * 2023-11-24 2023-12-26 烟台大学 T1加权成像的多维空间特征获取方法、系统和设备
CN117648604A (zh) * 2023-11-30 2024-03-05 杭州电子科技大学 一种基于动态图特征网络的脑机目标读取方法及系统
CN117350352A (zh) * 2023-12-06 2024-01-05 烟台大学 结构脑网络到功能连通性网络的学习方法、系统和设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. BOGDANOVIC;VOLTA NETWORKS, INC.;B. CLAISE;C. MOBERG; CISCO SYSTEMS, INC.;: "YANG Module Classification", IETF, 31 July 2017 (2017-07-31) *
MINBO JIANG; ZHIWEI SONG; CHUANZHEN ZHU; YI WANG: "MedSyn: Medical Image Synthesis of Brain Magnetic Resonance Images Based on Hybrid Information Aggregation", 2023 8TH INTERNATIONAL CONFERENCE ON COMMUNICATION, IMAGE AND SIGNAL PROCESSING (CCISP), 21 December 2023 (2023-12-21) *
夏一丹;王彬;董迎朝;刘辉;熊新;: "加权Fast Newman模块化算法在人脑结构网络中的应用", 计算机应用, no. 12, 10 December 2016 (2016-12-10) *

Also Published As

Publication number Publication date
CN117934977B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
CN109192298B (zh) 基于脑网络的深度脑疾病诊断算法
CN110739070A (zh) 一种基于3d卷积神经网络的脑疾病诊断方法
CN111563533A (zh) 基于图卷积神经网络融合多种人脑图谱的受试者分类方法
CN112132878B (zh) 基于卷积神经网络的端到端大脑核磁共振图像配准方法
CN113378938B (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及系统
CN113344864A (zh) 一种基于深度学习的超声甲状腺结节良恶性预测方法
US20240054760A1 (en) Image detection method and apparatus
CN117122303B (zh) 一种脑网络的预测方法、系统、设备和存储介质
US20220301297A1 (en) System, method and apparatus for obtaining sensitive and specific predictions from deep neural networks
JP7492640B1 (ja) 脳ネットワークデータ特徴抽出方法および装置
CN117292232B (zh) T1加权成像的多维空间特征获取方法、系统和设备
CN114795178B (zh) 一种基于多注意力神经网络的大脑状态解码方法
CN116503668A (zh) 一种基于小样本元学习的医学影像分类方法
CN116386899A (zh) 基于图学习的药物疾病关联关系预测方法及相关设备
CN113706544A (zh) 一种基于完备注意力卷积神经网络的医学图像分割方法
CN117591953A (zh) 基于多组学数据的癌症分类方法、系统及电子设备
CN108830863A (zh) 医学成像的左心室分割方法、系统和计算机可读存储介质
CN117350352B (zh) 结构脑网络到功能连通性网络的学习方法、系统和设备
CN114037014A (zh) 基于图自编码器的引用网络聚类方法
CN113808734A (zh) 一种基于深度学习的因果医疗诊断方法
CN117934977B (zh) 基于图连接和图节点的脑网络分类方法、系统和设备
Vishwakarma et al. Attention‐enhanced Alexnet for improved radar micro‐Doppler signature classification
CN108122028A (zh) 深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质
CN116797817A (zh) 基于自监督图卷积模型的自闭症疾病预测技术
Melingi et al. A self-adaptive monarch butterfly optimization (MBO) algorithm based improved deep forest neural network model for detecting and classifying brain stroke lesions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant