CN117292232A - T1加权成像的多维空间特征获取方法、系统和设备 - Google Patents
T1加权成像的多维空间特征获取方法、系统和设备 Download PDFInfo
- Publication number
- CN117292232A CN117292232A CN202311575553.5A CN202311575553A CN117292232A CN 117292232 A CN117292232 A CN 117292232A CN 202311575553 A CN202311575553 A CN 202311575553A CN 117292232 A CN117292232 A CN 117292232A
- Authority
- CN
- China
- Prior art keywords
- feature
- processing
- aggregation
- space
- brain network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 185
- 230000002776 aggregation Effects 0.000 claims abstract description 140
- 238000004220 aggregation Methods 0.000 claims abstract description 140
- 239000013598 vector Substances 0.000 claims abstract description 126
- 210000004556 brain Anatomy 0.000 claims abstract description 102
- 239000011159 matrix material Substances 0.000 claims abstract description 94
- 230000000877 morphologic effect Effects 0.000 claims abstract description 50
- 238000010586 diagram Methods 0.000 claims abstract description 17
- 210000004884 grey matter Anatomy 0.000 claims description 27
- 230000004927 fusion Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 13
- 238000007499 fusion processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000000903 blocking effect Effects 0.000 claims description 6
- 230000010076 replication Effects 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 238000011160 research Methods 0.000 abstract description 6
- 230000001575 pathological effect Effects 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000013399 early diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 208000024827 Alzheimer disease Diseases 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000002610 neuroimaging Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002598 diffusion tensor imaging Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像数据处理技术领域，具体为T1加权成像的多维空间特征获取方法、系统和设备，通过将T1加权成像的灰质图像进行局部特征聚合、全局特征聚合和局部特征降维处理，得到欧式空间特征向量；接着，将T1加权成像的形态学脑网络，与经过节点和边信息聚合处理和相关图空间矩阵运算的形态学脑网络，进行对应位置的矩阵图元素相加后，得到第一图空间特征向量；随后，将形态学脑网络的一维向量，进行矩阵图相关标准处理和简化处理，得到第二图空间特征向量；最后，将三种不同维度的空间特征进行融合，获得空间信息丰富的T1加权成像特征向量，便于后续病理研究中获取丰富准确的脑部信息。
Description
技术领域
本发明涉及图像数据处理技术领域，具体为T1加权成像的多维空间特征获取方法、系统和设备。
背景技术
结构磁共振成像，尤其是T1加权成像在各种脑疾病的早期诊断和病理分析中得到了广泛的研究。随着功能磁共振成像、弥散张量成像、动脉自旋标记等先进磁共振成像序列的发展，对脑疾病的早期诊断进行了大量多模态或单模态的研究。然而，在相当多的医院中，上述先进磁共振成像序列在临床上并不总是可用的，阻碍先进磁共振成像序列技术在临床场景的应用和推广。
对于T1加权成像的特征提取过程中，卷积神经网络能够对海马等特定脑区域的灰质体积特征图，进行处理或全脑，但是该方法无法实现远距离空间特征处理，导致T1加权成像的空间特征信息较少，用于病理研究时，研究结果准确度较低。
发明内容
本发明的目的是提供能够获取丰富空间信息的T1加权成像的多维空间特征获取方法、系统和设备。
本发明技术方案如下：
一种T1加权成像的多维空间特征获取方法，包括如下操作：
S1、获取T1加权成像，所述T1加权成像经灰质分割处理，得到灰质图像；基于所述灰质图像，得到形态学脑网络；
S2、所述灰质图像经局部特征聚合、全局特征聚合、局部特征降维处理，得到欧式空间特征向量；
S3、所述形态学脑网络经节点和边信息聚合处理后，得到脑网络聚合特征；所述脑网络聚合特征经参数丢失处理、非线性处理后，与所述形态学脑网络进行逐元素相加处理，经池化处理，得到第一图空间特征向量；
S4、获取所述形态学脑网络的一维向量，得到脑网络一维特征向量；所述脑网络一维特征向量依次进行线性处理、非线性处理、参数丢失处理、非线性处理、参数丢失处理和线性处理，得到第二图空间特征向量；
S5、所述欧式空间特征向量与第一图空间特征向量和第二图空间特征向量经融合处理后，得到多维空间特征向量。
所述S2中局部特征聚合的操作具体为：所述灰质图像依次经卷积处理、批归一化处理、非线性处理，得到初始局部聚合特征；所述初始局部聚合特征经卷积处理和非线性处理，得到中级局部聚合特征；所述中级局部聚合特征与初始局部聚合特征经特征融合处理后，进行下采样处理，得到的优化局部聚合特征用于执行所述S2中全局特征聚合的操作。
所述全局特征聚合的操作具体为：所述优化局部聚合特征，经矩阵分区处理后，得到分块矩阵特征图；所述分块矩阵特征图中，每个块矩阵特征图，依次经层归一化处理、矩阵降维处理，得到的所有降维块矩阵特征图，分别基于三种不同的特征矩阵进行多特征矩阵复制后，得到的所有第一特征矩阵、第二特征矩阵、第三特征矩阵，分别形成第一特征矩阵集、第二特征矩阵集、第三特征矩阵集；任意第一特征矩阵和所有第二特征矩阵经融合处理后，与所有第三特征矩阵进行融合处理，得到分块矩阵融合特征图；所述分块矩阵融合特征图与分块矩阵特征图，经逐元素相加处理，得到的全局聚合特征用于执行所述局部特征降维处理的操作。
所述全局聚合特征依次经层归一化处理、线性处理、非线性处理、参数丢失处理、非线性处理、参数丢失处理和线性处理，得到中级全局聚合特征；所述中级全局聚合特征与全局聚合特征经逐元素相加处理，得到的优化全局聚合特征用于执行所述局部特征降维处理。
所述S2中的局部特征降维处理的操作具体为：所述全局特征聚合处理后得到的全局特征图，经卷积处理和非线性处理，得到中级全局特征图；所述中级全局特征图与全局特征图经特征融合处理后，依次经下采样处理和线性处理，得到形式为一维向量的所述欧式空间特征向量。
所述S3中节点和边信息聚合处理的操作具体为：将所述形态学脑网络的影像组学特征作为节点，与作为边的脑区域间的拓扑连通性，进行信息聚合处理，得到所述脑网络聚合特征。
所述S3的操作之前，还包括对形态学脑网络进行线性处理。
一种T1加权成像的多维空间特征获取系统，包括：
形态学脑网络生成模块，用于获取T1加权成像，所述T1加权成像经灰质分割处理，得到灰质图像；基于所述灰质图像，得到形态学脑网络；
欧式空间特征向量生成模块，用于所述灰质图像经局部特征聚合、全局特征聚合、局部特征降维处理，得到欧式空间特征向量；
第一图空间特征向量生成模块，用于所述形态学脑网络经节点和边信息聚合处理后，得到脑网络聚合特征；所述脑网络聚合特征经参数丢失处理、非线性处理后，与所述形态学脑网络进行逐元素相加处理，经池化处理，得到第一图空间特征向量；
第二图空间特征向量生成模块，用于获取所述形态学脑网络的一维向量，得到脑网络一维特征向量；所述脑网络一维特征向量依次进行线性处理、非线性处理、参数丢失处理、非线性处理、参数丢失处理和线性处理，得到第二图空间特征向量；
多维空间特征向量生成模块，用于所述欧式空间特征向量与第一图空间特征向量和第二图空间特征向量经融合处理后，得到多维空间特征向量。
一种T1加权成像的多维空间特征获取设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的T1加权成像的多维空间特征获取方法。
一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的T1加权成像的多维空间特征获取方法。
本发明的有益效果在于：
本发明提供的一种T1加权成像的多维空间特征获取方法，首先，将T1加权成像的灰质图像进行局部特征聚合、全局特征聚合和局部特征降维处理，实现T1加权成像内长距离图像特征的聚合，得到欧式空间特征向量；接着，将T1加权成像的形态学脑网络，与经过节点和边信息聚合处理和相关图空间矩阵运算的形态学脑网络，进行对应位置的矩阵图元素相加后，提取T1加权成像的高层图空间信息，得到第一图空间特征向量；随后，将形态学脑网络的一维向量，进行矩阵图相关标准处理和简化处理，提取T1加权成像的低层图空间信息，得到第二图空间特征向量；最后，将三种不同维度的空间特征进行融合，获得空间信息丰富的T1加权成像特征向量，便于后续病理研究中获取丰富准确的脑部信息，提升脑部图像在疾病分析中的准确度和广泛应用性。
具体实施方式
本实施例提供一种T1加权成像的多维空间特征获取方法，包括如下操作：
S1、获取T1加权成像，所述T1加权成像经灰质分割处理，得到灰质图像；基于所述灰质图像，得到形态学脑网络；
S2、所述灰质图像经局部特征聚合、全局特征聚合、局部特征降维处理，得到欧式空间特征向量；
S3、所述形态学脑网络经节点和边信息聚合处理后，得到脑网络聚合特征；所述脑网络聚合特征经参数丢失处理、非线性处理后，与所述形态学脑网络进行逐元素相加处理，经池化处理，得到第一图空间特征向量；
S4、获取所述形态学脑网络的一维向量，得到脑网络一维特征向量；所述脑网络一维特征向量依次进行线性处理、非线性处理、参数丢失处理、非线性处理、参数丢失处理和线性处理，得到第二图空间特征向量；
S5、所述欧式空间特征向量与第一图空间特征向量和第二图空间特征向量经融合处理后，得到多维空间特征向量。
S1、获取T1加权成像，T1加权成像经灰质分割处理，得到灰质图像；基于灰质图像，得到形态学脑网络。
获取T1加权成像。首先，采集格式为医学数字成像和通信（Digital Imaging andCommunications in Medicine，DICOM）的脑部T1加权成像（T1-weighted image，T1WI），接着将DICOM格式的T1加权成像转化为神经影像信息学技术倡议（NeuroimagingInformatics Technology Initiative，NIFTI）格式的三维图像，并删除了患者隐私数据，用于后续处理分析。
灰质分割处理的操作之前还包括对T1加权成像依次进行N4偏差矫正、线性配准和非线性配准处理。
基于灰质图像，得到形态学脑网络的操作为：提取灰质图像中不同脑区的纹理特征和强度特征，得到影像组学特征；影像组学特征经过皮尔逊相关性处理，得到形态学脑网络。
具体为：将T1加权成像进行N4偏差矫正后，进行线性配准和非线性配准到MNI152标准空间中，使用CAT12工具箱进行灰质分割处理，计算整个大脑的灰质体积，得到灰质图像；接着，利用AAL图谱中的脑区位置信息，提取灰质图像中对应的90个脑区、每个脑区25维的纹理特征和强度特征，得到影像组学特征；接着，对影像组学特征进行皮尔逊相关性处理后，得到形态学脑网络。
S2、灰质图像经局部特征聚合、全局特征聚合、局部特征降维处理，得到欧式空间特征向量。
局部特征聚合的操作具体为：灰质图像依次经卷积处理、批归一化处理、非线性处理，得到初始局部聚合特征；初始局部聚合特征经卷积处理和非线性处理，得到中级局部聚合特征；中级局部聚合特征与初始局部聚合特征经特征融合处理后进行下采样处理，得到的优化局部聚合特征用于执行S2中全局特征聚合的操作。为进一步提高局部特征聚合的效果，优化局部聚合特征经卷积处理和非线性处理，得到中级优化局部聚合特征，中级优化局部聚合特征与优化局部聚合特征经特征融合处理后进行下采样处理，得到的最优局部聚合特征用于执行S2中全局特征聚合的操作。批归一化处理可通过神经网络中的BN层实现，非线性处理可通过神经网络中的ReLU层实现。
全局特征聚合的操作为：优化局部聚合特征或最优局部聚合特征，经矩阵分区处理后，分别得到分块矩阵特征图或最优分块矩阵特征图；分块矩阵特征图或最优分块矩阵特征图中，每个块矩阵特征图，依次经层归一化处理、矩阵降维处理，得到的所有降维块矩阵特征图，分别基于三种不同的特征矩阵进行多特征矩阵复制后，得到的所有第一特征矩阵、第二特征矩阵、第三特征矩阵，分别形成第一特征矩阵集、第二特征矩阵集、第三特征矩阵集；任意第一特征矩阵和所有第二特征矩阵经融合处理后，与所有第三特征矩阵进行融合处理，得到分块矩阵融合特征图或最优分块矩阵融合特征图；分块矩阵融合特征图或最优分块矩阵融合特征图与分块矩阵特征图，经逐元素相加处理，得到的全局聚合特征或最优全局聚合特征用于执行局部特征降维处理的操作。矩阵分区处理可通过神经网络中的Embedding层实现。
具体为：首先，优化局部聚合特征或最优局部聚合特征，经矩阵分区处理后，分别得到含有不同块区域的分块矩阵特征图或最优分块矩阵特征图；将分块矩阵特征图或最优分块矩阵特征图中，每一个块矩阵特征图，进行层归一化处理、矩阵降维处理后转换成了一维向量形式的块向量；接着，将块向量与3个不同的特征矩阵（可根据实际需求设置）进行相乘，完成多个特征矩阵复制处理，得到的所有第一特征矩阵、第二特征矩阵和第三特征矩阵，分别形成了第一特征矩阵集、第二特征矩阵集和第三特征矩阵集；然后，计算任意第一特征矩阵和所有第二特征矩阵的向量点积，完成第一特征矩阵和所有第二特征矩阵的融合，得到第一矩阵融合结果，随后将第一矩阵融合结果与所有第三特征矩阵进行向量点积计算从而实现融合，得到分块矩阵融合特征图或最优分块矩阵融合特征图；最后，分块矩阵融合特征图或最优分块矩阵融合特征图与分块矩阵特征图，进行对应位置处的元素相加，得到全局聚合特征或最优全局聚合特征，实现对长距离图像特征的聚合。
为进一步提高全局特征聚合的聚合效果，全局聚合特征依次经层归一化处理、线性处理、非线性处理、参数丢失处理、非线性处理、参数丢失处理和线性处理，得到中级全局聚合特征；中级全局聚合特征与全局聚合特征经逐元素相加处理，得到的优化全局聚合特征用于执行局部特征降维处理。
局部特征降维处理的操作为：经所述全局特征聚合处理后得到的全局特征图，经卷积处理和非线性处理，得到中级全局特征图；中级全局特征图与全局特征图经特征融合处理后，依次经下采样处理和线性处理，得到形式为一维向量的所述欧式空间特征向量。为进一步提升局部特征降维处理的效果，在线性处理的操作之前，将经下采样处理的特征输入，进行卷积处理和非线性处理；得到中级特征输入；中级特征输入与经下采样处理的特征输入经特征融合处理后，得到优化融合输出，优化融合输出经下采样和线性处理后，得到欧式空间特征向量。
S3、形态学脑网络经节点和边信息聚合处理后，得到脑网络聚合特征；脑网络聚合特征经参数丢失处理、非线性处理后，与形态学脑网络进行逐元素相加处理，经池化处理，得到第一图空间特征向量。
节点和边信息聚合处理的操作具体为：将形态学脑网络的影像组学特征作为节点，与作为边的脑区域间的拓扑连通性，进行信息聚合处理，得到脑网络聚合特征。节点和边信息聚合处理的操作可选择通过图神经网络GraphSAGE实现。
为提升第一图空间特征向量的信息丰富度，将获取池化处理前的输出，得到初始图空间矩阵图，将初始图空间矩阵图进行节点和边信息聚合处理后，得到优化脑网络聚合特征；优化脑网络聚合特征经参数丢失处理、非线性处理后，与初始图空间矩阵图进行逐元素相加处理，经池化处理后，得到的优化第一图空间特征向量用于执行S4中的操作。
S3的操作之前，还包括对形态学脑网络进行线性处理。
S4、获取形态学脑网络的一维向量，得到脑网络一维特征向量；脑网络一维特征向量依次进行线性处理、非线性处理、参数丢失处理、非线性处理、参数丢失处理和线性处理，得到第二图空间特征向量。
S5、欧式空间特征向量与第一图空间特征向量和第二图空间特征向量经融合处理后，得到多维空间特征向量。
将欧式空间特征向量与第一图空间特征向量和第二图空间特征向量，进行拼接处理，得到形式为一维向量的多维空间特征向量，可用于疾病诊断过程中的脑部特征向量信息分析。
为证明本实施例提供的获取方法的准确性，进行如下实验。
实验设置：数据集以8：1：1的比例被随机划分为训练集、验证集和测试集。使用的实验开发环境是pytorch1.9.0，在NVIDIA RTX 2080图形处理器上，在本实施例提供的获取系统模型上训练时期共进行了100轮次，使用了Adam优化器，初始学习率为，单次训练样本数为2，提出的系统模型在NVIDIA RTX 2080 图形处理器，模型训练了约10个小时，实验环境和具体设置如表1所示。
表1 实验参数设置汇总表
。
将阿尔茨海默症患者的T1加权成像，经过本实施例提供的获取方法得到的多维空间特征向量，应用于早期疫病诊断分析当中，实验参数参见表2，可见本实施例提供的获取方法得到的多维空间特征向量，具有较高的阿尔茨海默症早期诊断准确性。
表2 本实施例的多维空间特征向量用于疾病分析的准确性结果汇总表
。
本实施例还提供一种T1加权成像的多维空间特征获取系统，包括：
形态学脑网络生成模块，用于获取T1加权成像，T1加权成像经灰质分割处理，得到灰质图像；基于灰质图像，得到形态学脑网络；
欧式空间特征向量生成模块，用于灰质图像经局部特征聚合、全局特征聚合、局部特征降维处理，得到欧式空间特征向量；
第一图空间特征向量生成模块，用于形态学脑网络经节点和边信息聚合处理后，得到脑网络聚合特征；脑网络聚合特征经参数丢失处理、非线性处理后，与形态学脑网络进行逐元素相加处理，经池化处理，得到第一图空间特征向量；
第二图空间特征向量生成模块，用于获取形态学脑网络的一维向量，得到脑网络一维特征向量；脑网络一维特征向量依次进行线性处理、非线性处理、参数丢失处理、非线性处理、参数丢失处理和线性处理，得到第二图空间特征向量；
多维空间特征向量生成模块，用于欧式空间特征向量与第一图空间特征向量和第二图空间特征向量经融合处理后，得到多维空间特征向量。
欧式空间特征向量生成模块还包括：
局部特征聚合模块，用于灰质图像依次经卷积处理、批归一化处理、非线性处理，得到初始局部聚合特征；初始局部聚合特征经卷积处理和非线性处理，得到中级局部聚合特征；中级局部聚合特征与初始局部聚合特征经特征融合处理后，进行下采样处理，得到的优化局部聚合特征用于执行欧式空间特征向量生成模块中全局特征聚合模块的操作；
全局特征聚合模块，用于优化局部聚合特征，经矩阵分区处理后，得到分块矩阵特征图；分块矩阵特征图中，每个块矩阵特征图，依次经层归一化处理、矩阵降维处理，得到的所有降维块矩阵特征图，分别基于三种不同的特征矩阵进行多特征矩阵复制后，得到的所有第一特征矩阵、第二特征矩阵、第三特征矩阵，分别形成第一特征矩阵集、第二特征矩阵集、第三特征矩阵集；任意第一特征矩阵和所有第二特征矩阵经融合处理后，与所有第三特征矩阵进行融合处理，得到分块矩阵融合特征图；分块矩阵融合特征图与分块矩阵特征图，经逐元素相加处理，得到的全局聚合特征用于执行欧式空间特征向量生成模块中局部特征降维模块的操作；
局部特征降维模块，用于全局特征聚合处理后得到的全局特征图，经卷积处理和非线性处理，得到中级全局特征图；中级全局特征图与全局特征图经特征融合处理后，依次经下采样处理和线性处理，得到形式为一维向量的欧式空间特征向量。
第一图空间特征向量生成模块中包括：节点和边信息聚合模块，用于将形态学脑网络的影像组学特征作为节点，与作为边的脑区域间的拓扑连通性，进行信息聚合处理，得到脑网络聚合特征。
本实施例还提供一种T1加权成像的多维空间特征获取设备，包括处理器和存储器，其中，处理器执行存储器中保存的计算机程序时实现上述的T1加权成像的多维空间特征获取方法。
本实施例还提供一种计算机可读存储介质，用于存储计算机程序，其中，计算机程序被处理器执行时实现上述的T1加权成像的多维空间特征获取方法。
本实施例提供的一种T1加权成像的多维空间特征获取方法，首先，将T1加权成像的灰质图像进行局部特征聚合、全局特征聚合和局部特征降维处理，实现T1加权成像内长距离图像特征的聚合，得到欧式空间特征向量；接着，将T1加权成像的形态学脑网络，与经过节点和边信息聚合处理和相关图空间矩阵运算的形态学脑网络，进行对应位置的矩阵图元素相加后，提取T1加权成像的高层图空间信息，得到第一图空间特征向量；随后，将形态学脑网络的一维向量，进行矩阵图相关标准处理和简化处理，提取T1加权成像的低层图空间信息，得到第二图空间特征向量；最后，将三种不同维度的空间特征进行融合，获得空间信息丰富的T1加权成像特征向量，便于后续病理研究中获取丰富准确的脑部信息，提升脑部图像在疾病分析中的准确度和广泛应用性。
Claims (10)
1.一种T1加权成像的多维空间特征获取方法，其特征在于，包括如下操作：
S1、获取T1加权成像，所述T1加权成像经灰质分割处理，得到灰质图像；基于所述灰质图像，得到形态学脑网络；
S2、所述灰质图像经局部特征聚合、全局特征聚合、局部特征降维处理，得到欧式空间特征向量；
S3、所述形态学脑网络经节点和边信息聚合处理后，得到脑网络聚合特征；所述脑网络聚合特征经参数丢失处理、非线性处理后，与所述形态学脑网络进行逐元素相加处理，经池化处理，得到第一图空间特征向量；
S4、获取所述形态学脑网络的一维向量，得到脑网络一维特征向量；所述脑网络一维特征向量依次进行线性处理、非线性处理、参数丢失处理、非线性处理、参数丢失处理和线性处理，得到第二图空间特征向量；
S5、所述欧式空间特征向量与第一图空间特征向量和第二图空间特征向量经融合处理后，得到多维空间特征向量。
2.根据权利要求1所述的T1加权成像的多维空间特征获取方法，其特征在于，所述S2中局部特征聚合的操作具体为：
所述灰质图像依次经卷积处理、批归一化处理、非线性处理，得到初始局部聚合特征；
所述初始局部聚合特征经卷积处理和非线性处理，得到中级局部聚合特征；所述中级局部聚合特征与初始局部聚合特征经特征融合处理后，进行下采样处理，得到的优化局部聚合特征用于执行所述S2中全局特征聚合的操作。
3.根据权利要求2所述的T1加权成像的多维空间特征获取方法，其特征在于，所述全局特征聚合的操作具体为：
所述优化局部聚合特征，经矩阵分区处理后，得到分块矩阵特征图；
所述分块矩阵特征图中，每个块矩阵特征图，依次经层归一化处理、矩阵降维处理，得到的所有降维块矩阵特征图，分别基于三种不同的特征矩阵进行多特征矩阵复制后，得到的所有第一特征矩阵、第二特征矩阵、第三特征矩阵，分别形成第一特征矩阵集、第二特征矩阵集、第三特征矩阵集；任意第一特征矩阵和所有第二特征矩阵经融合处理后，与所有第三特征矩阵进行融合处理，得到分块矩阵融合特征图；
所述分块矩阵融合特征图与分块矩阵特征图，经逐元素相加处理，得到的全局聚合特征用于执行所述局部特征降维处理的操作。
4.根据权利要求3所述的T1加权成像的多维空间特征获取方法，其特征在于，所述全局聚合特征依次经层归一化处理、线性处理、非线性处理、参数丢失处理、非线性处理、参数丢失处理和线性处理，得到中级全局聚合特征；所述中级全局聚合特征与全局聚合特征经逐元素相加处理，得到的优化全局聚合特征用于执行所述局部特征降维处理。
5.根据权利要求1所述的T1加权成像的多维空间特征获取方法，其特征在于，所述S2中的局部特征降维处理的操作具体为：
所述全局特征聚合处理后得到的全局特征图，经卷积处理和非线性处理，得到中级全局特征图；所述中级全局特征图与全局特征图经特征融合处理后，依次经下采样处理和线性处理，得到形式为一维向量的所述欧式空间特征向量。
6.根据权利要求1所述的T1加权成像的多维空间特征获取方法，其特征在于，所述S3中节点和边信息聚合处理的操作具体为：
将所述形态学脑网络的影像组学特征作为节点，与作为边的脑区域间的拓扑连通性，进行信息聚合处理，得到所述脑网络聚合特征。
7.根据权利要求1所述的T1加权成像的多维空间特征获取方法，其特征在于，所述S3的操作之前，还包括对形态学脑网络进行线性处理。
8.一种T1加权成像的多维空间特征获取系统，其特征在于，包括：
形态学脑网络生成模块，用于获取T1加权成像，所述T1加权成像经灰质分割处理，得到灰质图像；基于所述灰质图像，得到形态学脑网络；
欧式空间特征向量生成模块，用于所述灰质图像经局部特征聚合、全局特征聚合、局部特征降维处理，得到欧式空间特征向量；
第一图空间特征向量生成模块，用于所述形态学脑网络经节点和边信息聚合处理后，得到脑网络聚合特征；所述脑网络聚合特征经参数丢失处理、非线性处理后，与所述形态学脑网络进行逐元素相加处理，经池化处理，得到第一图空间特征向量；
第二图空间特征向量生成模块，用于获取所述形态学脑网络的一维向量，得到脑网络一维特征向量；所述脑网络一维特征向量依次进行线性处理、非线性处理、参数丢失处理、非线性处理、参数丢失处理和线性处理，得到第二图空间特征向量；
多维空间特征向量生成模块，用于所述欧式空间特征向量与第一图空间特征向量和第二图空间特征向量经融合处理后，得到多维空间特征向量。
9.一种T1加权成像的多维空间特征获取设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1-7任一项所述的T1加权成像的多维空间特征获取方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的T1加权成像的多维空间特征获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311575553.5A CN117292232B (zh) | 2023-11-24 | 2023-11-24 | T1加权成像的多维空间特征获取方法、系统和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311575553.5A CN117292232B (zh) | 2023-11-24 | 2023-11-24 | T1加权成像的多维空间特征获取方法、系统和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117292232A true CN117292232A (zh) | 2023-12-26 |
| CN117292232B CN117292232B (zh) | 2024-02-06 |
Family
ID=89240985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311575553.5A Active CN117292232B (zh) | 2023-11-24 | 2023-11-24 | T1加权成像的多维空间特征获取方法、系统和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117292232B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934977A (zh) * | 2024-03-22 | 2024-04-26 | 烟台大学 | 基于图连接和图节点的脑网络分类方法、系统和设备 |
| CN117934977B (zh) * | 2024-03-22 | 2024-05-31 | 烟台大学 | 基于图连接和图节点的脑网络分类方法、系统和设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060193518A1 (en) * | 2005-01-28 | 2006-08-31 | Jianxiong Dong | Handwritten word recognition based on geometric decomposition |
| US20140064580A1 (en) * | 2011-01-11 | 2014-03-06 | Rutgers, The State University Of New Jersey | Method and apparatus for segmentation and registration of longitudinal images |
| CN109965895A (zh) * | 2019-03-28 | 2019-07-05 | 济南国科医工科技发展有限公司 | 一种基于脑影像融合特征的癫痫灶定位方法 |
| CN110838173A (zh) * | 2019-11-15 | 2020-02-25 | 天津医科大学 | 基于三维纹理特征的个体化脑共变网络构建方法 |
| CN113344883A (zh) * | 2021-06-10 | 2021-09-03 | 华南师范大学 | 一种多层形态学脑网络构建方法、智能终端及存储介质 |
| CN113808085A (zh) * | 2021-08-27 | 2021-12-17 | 深圳先进技术研究院 | 脑部ct图像的分割模型的训练方法、分割方法和训练装置 |
| CN114066843A (zh) * | 2021-11-12 | 2022-02-18 | 烟台大学 | 一种ct脑图像分割及血肿测量方法 |
| CN115393269A (zh) * | 2022-07-13 | 2022-11-25 | 中国科学院大学 | 一种基于多模态影像数据的可扩展多层级图神经网络模型 |
| CN115719357A (zh) * | 2022-11-28 | 2023-02-28 | 大连民族大学 | 一种脑部医学图像多结构分割方法 |
| WO2023055614A1 (en) * | 2021-09-29 | 2023-04-06 | Visa International Service Association | Embedding compression for efficient representation learning in graph |
| CN115984257A (zh) * | 2023-02-21 | 2023-04-18 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于多尺度transformer的多模态医学图像融合方法 |
| US20230274531A1 (en) * | 2022-02-09 | 2023-08-31 | Soochow University | Global and local feature reconstruction network-based medical image segmentation method |
| CN116912576A (zh) * | 2023-07-14 | 2023-10-20 | 太原理工大学 | 基于脑网络高阶结构的自适应图卷积脑疾病分类方法 |
-
2023
- 2023-11-24 CN CN202311575553.5A patent/CN117292232B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060193518A1 (en) * | 2005-01-28 | 2006-08-31 | Jianxiong Dong | Handwritten word recognition based on geometric decomposition |
| US20140064580A1 (en) * | 2011-01-11 | 2014-03-06 | Rutgers, The State University Of New Jersey | Method and apparatus for segmentation and registration of longitudinal images |
| CN109965895A (zh) * | 2019-03-28 | 2019-07-05 | 济南国科医工科技发展有限公司 | 一种基于脑影像融合特征的癫痫灶定位方法 |
| CN110838173A (zh) * | 2019-11-15 | 2020-02-25 | 天津医科大学 | 基于三维纹理特征的个体化脑共变网络构建方法 |
| CN113344883A (zh) * | 2021-06-10 | 2021-09-03 | 华南师范大学 | 一种多层形态学脑网络构建方法、智能终端及存储介质 |
| CN113808085A (zh) * | 2021-08-27 | 2021-12-17 | 深圳先进技术研究院 | 脑部ct图像的分割模型的训练方法、分割方法和训练装置 |
| WO2023055614A1 (en) * | 2021-09-29 | 2023-04-06 | Visa International Service Association | Embedding compression for efficient representation learning in graph |
| CN114066843A (zh) * | 2021-11-12 | 2022-02-18 | 烟台大学 | 一种ct脑图像分割及血肿测量方法 |
| US20230274531A1 (en) * | 2022-02-09 | 2023-08-31 | Soochow University | Global and local feature reconstruction network-based medical image segmentation method |
| CN115393269A (zh) * | 2022-07-13 | 2022-11-25 | 中国科学院大学 | 一种基于多模态影像数据的可扩展多层级图神经网络模型 |
| CN115719357A (zh) * | 2022-11-28 | 2023-02-28 | 大连民族大学 | 一种脑部医学图像多结构分割方法 |
| CN115984257A (zh) * | 2023-02-21 | 2023-04-18 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于多尺度transformer的多模态医学图像融合方法 |
| CN116912576A (zh) * | 2023-07-14 | 2023-10-20 | 太原理工大学 | 基于脑网络高阶结构的自适应图卷积脑疾病分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| SEYEDEH NIUSHA MOTEVALLIAN等: "Using Trust Statements and Ratings by GraphSAGE to Alleviate Cold Start in Recommender Systems", 《SEYEDEH NIUSHA MOTEVALLIAN; SEYED MOHAMMAD HOSSEIN HASHEMINEJAD》, pages 139 - 143 * |
| 李翔: "无先兆偏头痛脑MRI图像分析算法研究及应用", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, vol. 2022, no. 03, pages 060 - 201 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934977A (zh) * | 2024-03-22 | 2024-04-26 | 烟台大学 | 基于图连接和图节点的脑网络分类方法、系统和设备 |
| CN117934977B (zh) * | 2024-03-22 | 2024-05-31 | 烟台大学 | 基于图连接和图节点的脑网络分类方法、系统和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117292232B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949309B (zh) | 一种基于深度学习的肝脏ct图像分割方法 | |
| CN109410219A (zh) | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 | |
| CN109410195B (zh) | 一种磁共振成像脑分区方法及系统 | |
| Avendi et al. | Fully automatic segmentation of heart chambers in cardiac MRI using deep learning | |
| CN117122303B (zh) | 一种脑网络的预测方法、系统、设备和存储介质 | |
| CN110838108A (zh) | 基于医疗图像的预测模型构建方法、预测方法及装置 | |
| CN111028923B (zh) | 数字病理图像染色归一化方法、电子装置及存储介质 | |
| CN113066037B (zh) | 基于图注意力机制的多光谱与全色图像融合方法及系统 | |
| CN112598656A (zh) | 一种基于UNet++优化和权值预算的脑肿瘤分割算法 | |
| CN116612335B (zh) | 一种基于对比学习的少样本细粒度图像分类方法 | |
| CN115272295A (zh) | 基于时域-空域联合状态的动态脑功能网络分析方法及系统 | |
| CN114519719A (zh) | 一种脑肿瘤mr图像分割方法 | |
| CN117292232B (zh) | T1加权成像的多维空间特征获取方法、系统和设备 | |
| CN113822323A (zh) | 脑部扫描图像的识别处理方法、装置、设备及存储介质 | |
| Kumaraswamy et al. | Automatic prostate segmentation of magnetic resonance imaging using Res-Net | |
| CN108122028A (zh) | 深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质 | |
| CN115937129B (zh) | 基于多模态磁共振影像的左右半脑关系的处理方法及装置 | |
| CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
| CN116486156A (zh) | 融合多尺度特征上下文的全视野数字切片图像分类方法 | |
| CN116128895A (zh) | 医学图像分割方法、装置和计算机可读存储介质 | |
| CN115760874A (zh) | 一种基于联合空间域的多尺度U-Net医学图像分割方法 | |
| Khazane et al. | DeepDefacer: automatic removal of facial features via U-Net image segmentation | |
| CN111583281B (zh) | 多模态连接模式的脑区划分方法 | |
| CN114266738A (zh) | 轻度脑损伤磁共振影像数据的纵向分析方法及系统 | |
| Wang et al. | GIFE: Efficient and robust group-wise isometric fiber embedding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |