CN114972366B - 基于图网络的大脑皮层表面全自动分割方法及系统 - Google Patents

基于图网络的大脑皮层表面全自动分割方法及系统 Download PDF

Info

Publication number
CN114972366B
CN114972366B CN202210888076.7A CN202210888076A CN114972366B CN 114972366 B CN114972366 B CN 114972366B CN 202210888076 A CN202210888076 A CN 202210888076A CN 114972366 B CN114972366 B CN 114972366B
Authority
CN
China
Prior art keywords
cerebral cortex
segmentation
matrix
space
vertexes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210888076.7A
Other languages
English (en)
Other versions
CN114972366A (zh
Inventor
刘治
安木军
陶可猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210888076.7A priority Critical patent/CN114972366B/zh
Publication of CN114972366A publication Critical patent/CN114972366A/zh
Application granted granted Critical
Publication of CN114972366B publication Critical patent/CN114972366B/zh
Priority to PCT/CN2022/143483 priority patent/WO2024021523A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了基于图网络的大脑皮层表面全自动分割方法及系统，属于医疗图像技术及设备领域，解决了现有技术中映射过程很容易引入空间映射噪声，映射到球表面空间完成分割后再映射回原始空间导致时间开销大的问题，包括：将大脑磁共振图像配准至标准模板空间；基于深度神经网络对配准后大脑磁共振图像进行大脑皮层表面重建；计算重建后大脑皮层顶点间的邻接矩阵；获取各个大脑皮层表面网格顶点对应的区分性特征作为该点对应的特征向量，获得大脑皮层表面分割结果；将大脑皮层表面分割结果从标准模板空间映射回原始坐标空间。本发明对重建后的大脑皮层表面进行图结构建模，基于图网络学习全局拓扑结构特征，实现大脑皮层表面的准确分割。

Description

基于图网络的大脑皮层表面全自动分割方法及系统
技术领域
本发明属于医疗图像技术及设备领域，尤其涉及基于图网络的大脑皮层表面全自动分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
大脑皮层表面是中枢神经系统最高级的一部分，许多神经退化性疾病和心理疾病的研究，都依赖于对大脑皮层表面的分析研究。
临床医学中，医生主要通过成像设备所采集生成的医学图像MRI（MagneticResonance Imaging，磁共振成像）进行诊断分析，对于序列MRI，往往需要经验丰富的脑科医生逐层分析判断，定位病灶并给出相应治疗方案。为了实现辅助诊断，基于MRI的三维重建及皮质表面分割算法已成为近几年来的热门研究课题。
现有工作中，脑图像数据的重建工作主要基于freesurfer软件工具集，对输入MRI进行颅骨剥离，强度校正和组织分割，最后生成重建后的大脑皮层表面。三维重建后数据的大脑皮层表面分割方法可以划分为基于原始空间的分割方法和基于球表面映射空间的分割方法。
考虑到大脑皮层表面复杂的褶皱结构，其在拓扑结构学中同胚于球形，因此操作于原始空间的方法，如聚类、标准图谱配准以及基于学习的体素分割等方法很难较好的处理大脑皮层表面的褶皱结构。且基于聚类的方法受聚类参数影响较大，无监督聚类结果难以获得临床医生的认可；基于标准图谱配准的方法在个体差异大的情况下分割性能有所下降；基于学习的体素分割方法存在体素的部分体积效应，分割边界精确上限低。
基于球表面映射空间的方法是当前的主流方法，尽管理论上具有准确分割的优势，但是映射过程很容易引入空间映射噪声，映射到球表面空间完成分割后再映射回原始空间的时间开销大；且已有分析工作表明该方法难以有效处理含破损区域的大脑皮层表面分割任务。
发明内容
为克服上述现有技术的不足，本发明提供了基于图网络的大脑皮层表面全自动分割方法，该方法对重建后的大脑皮层表面进行图结构建模，基于图网络学习全局拓扑结构特征，实现直接在原始脑空间的大脑皮层表面准确分割。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
第一方面，公开了基于图网络的大脑皮层表面全自动分割方法，包括：
将大脑磁共振图像配准至标准模板空间；
基于深度神经网络对配准后大脑磁共振图像进行大脑皮层表面重建，获取大脑皮层表面的三角形面片网格表示；
根据大脑皮层表面图像分辨率，设置合适的采样率，并对大脑皮层表面网格数据进行下采样；
计算图网络对应卷积过程的邻接矩阵；
计算大脑皮层表明顶点的特征描述向量，并生成大脑皮层表面所有顶点对应的特征矩阵；
输入邻接矩阵和特征矩阵至训练好的图网络模型，获得大脑皮层表面分割结果；
对分割结果进行后处理及空间映射，完成大脑皮层表面分割。
作为进一步的技术方案，将大脑磁共振图像配准至标准模板空间，具体为：
指定所要配准至的标准模板空间，并通过图像配准开源库进行仿射和非线性配准。
作为进一步的技术方案，基于深度神经网络对输入的配准后大脑磁共振图像进行大脑皮层表面重建，获取大脑皮层表面的三角形面片网格表示，包括：
针对采用的网络结构，输入配准后的MRI大脑图像，预测大脑皮层内外表面的隐式曲面表示；
进而通过拓扑校正为球形的方式消除奇异点引起的拓扑形变；
最后由等值面网格提取算法获取重建后的大脑皮层表面的三角形面片网格结构数据。
上述根据大脑皮层表面图像分辨率，设置合适的采样率，并对大脑皮层表面网格数据进行下采样：
主要根据大脑皮层表面数据的分辨率而定，合适的下采样率设置既能减少算法的时间开销，又能够保证上采样之后的图像分辨率在可接受范围内。
作为进一步的技术方案，计算图网络对应卷积过程的3个邻接矩阵，包括：
根据下采样后的大脑皮层表面网格顶点之间的连接关系，以及顶点对应的欧式空间坐标，计算大脑皮层顶点之间的欧式距离和测地距离，根据权重计算公式，并借助由预训练参数所初始化的三个高斯核，获取图网络中三个卷积层所对应的邻接矩阵。
作为进一步的技术方案，计算大脑皮层表明顶点的特征描述向量，并生成大脑皮层表面所有顶点对应的特征矩阵，包括：计算大脑皮层表面的平均曲率，沟深度，形状指数，弯曲度，最大最小主曲率，并将上述描述皮层褶皱信息的几何量和欧式空间位置坐标信息融合在一起，作为顶点的描述特征向量，组合所有顶点对应的特征向量，形成大脑皮层表面特征矩阵。
作为进一步的技术方案，输入邻接矩阵和特征矩阵至训练好的图网络模型，获得大脑皮层表面分割结果，其中，图网络的邻域聚合方式和消息传播规则f如下：
Figure 100002_DEST_PATH_IMAGE001
表示第i层的权重矩阵，非线性激活函数
Figure 838457DEST_PATH_IMAGE002
使用的是Relu函数，（i=1，2），该图卷积网络由三个卷积层和一个softmax层组成，其第一层输入为特征矩阵
Figure 100002_DEST_PATH_IMAGE003
和邻接矩阵
Figure 245168DEST_PATH_IMAGE004
，其中
Figure 100002_DEST_PATH_IMAGE005
表示添加自环和归一化操作的邻接矩阵，输出为顶点的类别矩阵
Figure 8725DEST_PATH_IMAGE006
，大小为
Figure 100002_DEST_PATH_IMAGE007
的矩阵，
Figure 357535DEST_PATH_IMAGE008
表示顶点预测的类别数。
Figure 100002_DEST_PATH_IMAGE009
为图卷积的隐藏层可学习参数；
根据输出类别矩阵
Figure 839332DEST_PATH_IMAGE006
，确定所有顶点在模板空间的类别，完成模板空间中大脑皮层表面的分割。
作为进一步的技术方案，对分割结果进行后处理及空间映射，完成大脑皮层表面分割，包括：基于图割算法对大脑皮层表面分割结果施加空间一致性，修正可能存在的单个奇异点的预测错误；
对校正后的分割结果进行上采样，并将大脑皮层表面分割从标准模板空间映射回原始坐标空间，至此完成大脑皮层表面分割。
第二方面，公开了基于图网络的大脑皮层表面全自动分割系统，包括：
配准模块，被配置为：将大脑磁共振图像配准至标准模板空间；
大脑皮层表面重建模块，被配置为：基于深度神经网络对配准后大脑磁共振图像进行大脑皮层表面重建，获取大脑皮层表面的三角形面片网格表示；
根据大脑皮层表面图像分辨率，设置合适的采样率，并对大脑皮层表面网格数据进行下采样；
矩阵计算模块，被配置为：计算图网络对应卷积过程的邻接矩阵；
计算大脑皮层表明顶点的特征描述向量，并生成大脑皮层表面所有顶点对应的特征矩阵；
分割模块，被配置为：输入邻接矩阵和特征矩阵至训练好的图网络模型，获得大脑皮层表面分割结果；
映射模块，被配置为：对分割结果进行后处理及空间映射，完成大脑皮层表面分割。
以上一个或多个技术方案存在以下有益效果：
本发明该方法对重建后的大脑皮层表面进行图结构建模，并引入图节点间可学习的连接权重构建策略，通过处理图的方式实现大脑皮层表面的准确分割。
本发明提出一种基于图卷积网络的分割方法，采样顶点之间的连接权重由引入的可学习的高斯核控制生成，可实现直接在原始空间的大脑皮层表面准确分割。解决了现有方法中，大脑皮层表面的分割需要配准至标准球面空间，时间开销大的问题。
大脑皮层表面分割工作主要参考皮层表面的位置信息和皮层褶皱分布，图卷积网络具有强大的学习能力，能够捕获大脑皮层表面的拓扑结构特征，实现大脑皮层表面的准确分割。
相比于基于freesurfer工具集的重建分割等传统方法和基于神经网络分割重建，进而通过无监督聚类或其他算法进行大脑皮层分割的深度学习混合框架，本发明所提出的基于图网络的大脑皮层表面自动分割方法不仅大大缩短了图像处理的时间开销，同时也提高了整个重建分割过程的准确性。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例基于图网络的端到端大脑皮层分割流程图；
图2为MRI大脑图像配准示意图；
图3为大脑皮层重建表面网格结构示意图；
图4为基于深度学习的大脑皮层表面重建示意图；
图5为图卷积网络框架示意图；
图6为基于大脑皮层表面重建进行大脑皮层表面分割，其中，(a)大脑皮层表面重建数据 (b)基于图网络的大脑皮层表面分割结果。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
参见附图1所示，本实施例公开了基于图网络的大脑皮层表面全自动分割方法，包括：
将大脑磁共振图像配准至标准模板空间，具体为：基于开源配准工具集niftireg中的reg_aladin和reg_resample命令，指定1mm精度各向同性的标准脑图模板和待配准的大脑磁共振图像，获取配准后的磁共振图像及对应的4*4仿射变换矩阵；
基于深度神经网络对输入的配准后大脑磁共振图像进行大脑皮层表面重建；
根据重建后皮层表面网格顶点之间的连接关系和测地距离计算大脑皮层顶点间的邻接矩阵；
获取各个顶点对应的三维坐标位置及其主曲率等区分性特征作为该点对应的特征向量，组合所有的特征向量作为大脑皮层表面的特征矩阵；
输入邻接矩阵和特征矩阵至训练好的图网络模型，获得大脑皮层表面分割结果；
将大脑皮层表面分割从标准模板空间映射回原始坐标空间。
具体例子中，参见附图2所示，其中，图2（a）为配准前MRI图像，图2（b）为配准后MRI图像，将大脑磁共振图像通过仿射变换配准至MNI105大脑模板空间（或其他大脑标准模板空间），由于人脑存在个体差异，同一个脑结构的位置不一样，扫描时候的图像在空间中的坐标也不同，研究时必须要首先消除个体差异,统一坐标, 即配准至标准模板上，方便后续统计分析工作。包括：
1）首先基于开源配准工具集niftireg，给定大脑标准模板图像和待配准大脑图像，执行reg_aladin命令初步获得仿射变换矩阵（4*4）。
2）给定上一步骤获取的仿射变换矩阵以及待配准大脑图像，指定线性变换插值方式为三次样条插值（spline），获取配准后的大脑磁共振图像。
具体例子中，基于深度神经网络对输入的配准后图像进行大脑皮层表面重建，包括：
在标准模板空间中指定重建预测的分辨率，如512*512*512，并根据预设分辨率均匀等分网格空间，由训练好的深度神经网络在这些网格点上预测隐式曲面表示（implicitsurface representations），该网络通过freesurfer工具集处理生成的表面文件作为深度学习训练数据集，网络输入图像为受试者配准到标准空间的核磁共振图像，通过编码器网络部分的三维卷积操作获取其特征映射（feature），通过在预设的等分网格空间进行采样，（网格重建由采样点进行获取表示）提取对应采样点的局部和全局特征，以及该采样点的空间位置坐标做为解码器网络的输入，预测得到对应采样点的符号距离函数值表示（Signeddistance function: SDF）,其中正值表示采样点在预测表面的内部，负值表示在预测表面外部，绝对值表示距离预测表面的绝对距离，所有采样点构成的符号距离函数值表示极为预测的隐式曲面表示。对预测结果通过拓扑校正算法修复可能存在的预测缺陷，具体为将获取的隐式曲面表示映射到球面空间，在球表面修复对应的孔洞等拓扑缺陷，进而通过等值面网格提取技术，如通过能够保留拓扑结构的移动立方体算法（marching cubesalgorithm）提取0等值面，获取重建后的大脑皮层表面区域对应的三角形面片网格结构。大脑皮层重建表面网格结构参见附图3所示。
具体例子中，根据顶点之间的连接关系和测地距离计算图网络对应卷积过程的所需的大脑皮层顶点间的3个邻接矩阵，包括：根据下采样后的大脑皮层表面网格顶点之间的连接关系，以及顶点对应的欧式空间坐标，计算大脑皮层顶点之间的欧式距离d和测地距离
Figure 252996DEST_PATH_IMAGE010
，根据权重计算公式，并借助由预训练参数所初始化的三个高斯核(对应三个卷积层，网络训练中的可学习参数)，获取图网络中三个卷积层所对应的邻接矩阵
Figure 100002_DEST_PATH_IMAGE011
。给定两个顶点的坐标
Figure 887371DEST_PATH_IMAGE012
以及
Figure DEST_PATH_IMAGE013
，其欧式距离
Figure 95498DEST_PATH_IMAGE014
计算公式为：
Figure DEST_PATH_IMAGE015
测地距离
Figure 861329DEST_PATH_IMAGE016
的计算使用的是经典的迪杰斯特拉算法（Dijkstra algorithm），任意两个顶点
Figure DEST_PATH_IMAGE017
和
Figure 820230DEST_PATH_IMAGE018
之间的关系向量
Figure DEST_PATH_IMAGE019
，
Figure 620696DEST_PATH_IMAGE020
，非重合的两个顶点邻接权重系数的计算通过将关系向量输入至高斯核函数产生，具体计算公式为：
Figure DEST_PATH_IMAGE021
任意两个顶点之间的邻接系数表示为：
Figure 999725DEST_PATH_IMAGE022
邻接矩阵
Figure DEST_PATH_IMAGE023
可表示为：
Figure 3584DEST_PATH_IMAGE024
将由点和边所组成的大脑皮层表面表示为
Figure DEST_PATH_IMAGE025
，其中V表示所有顶点的集合，E表示所有的边对应的集合，
Figure 493471DEST_PATH_IMAGE026
表示边
Figure DEST_PATH_IMAGE027
在三维模板空间中的位置坐标，所求邻接矩阵为维度N*N的方阵，其中N表示皮层表面顶点数。
具体例子中，基于深度学习的大脑皮层表面重建参见附图4，获取各个顶点对应的三维坐标位置及其主曲率等区分性特征作为该点对应的特征向量，组合所有的特征向量作为大脑皮层表面的特征矩阵，包括：计算大脑皮层表面的平均曲率，沟深度，形状指数，弯曲度，最大最小主曲率，相关计算可通过第三方开源工具库（如VTK等）实现，并将上述描述皮层褶皱信息的几何量和欧式空间位置坐标信息
Figure 86127DEST_PATH_IMAGE028
融合在一起，做为顶点的描述特征向量，组合所有顶点对应的特征向量，形成大脑皮层表面特征矩阵X，其大小为N*M，其中N表示顶点总数，M表示特征向量长度。
具体例子中，输入邻接矩阵和特征矩阵至训练好的图网络模型，获得大脑皮层表面分割结果，包括：本系统所使用的图网络的传递规则的选择，可依据具体任务具体适配，为方便描述，本例中所使用的图网络的邻域聚合方式和消息传播规则f如下：
Figure 150903DEST_PATH_IMAGE001
表示第i层的权重矩阵，非线性激活函数
Figure 360168DEST_PATH_IMAGE002
使用的是Relu函数，（i=1，2），该图卷积网络由三个卷积层和一个softmax层组成，其第一层输入为特征矩阵
Figure 122587DEST_PATH_IMAGE003
和邻接矩阵
Figure 835329DEST_PATH_IMAGE004
，其中
Figure 821739DEST_PATH_IMAGE005
表示添加自环和归一化操作的邻接矩阵，输出为顶点的类别矩阵
Figure 3453DEST_PATH_IMAGE006
，大小为
Figure 303984DEST_PATH_IMAGE007
的矩阵，
Figure 136811DEST_PATH_IMAGE008
表示顶点预测的类别数。
Figure 294123DEST_PATH_IMAGE009
为图卷积的隐藏层可学习参数；
根据输出类别矩阵
Figure 212400DEST_PATH_IMAGE006
，确定所有顶点在模板空间的类别，完成模板空间中大脑皮层表面的分割。图卷积网络框架示意图参见附图5所示。
具体例子中，将大脑皮层表面分割从标准模板空间映射回原始坐标空间，具体为：计算从原始空间配准至标准模板空间的变换矩阵的逆矩阵，将模板空间的大脑皮层表面分割结果映射回原始大脑空间。
具体的，对输入的大脑三维图像数据，如核磁共振成像，首先基于原空间中指定某点与目标空间的位置坐标对应关系，生成空间变换矩阵，配准到标准模板空间，基于深度神经网络实现端到端的大脑皮层表面重建，所使用的分割网络参考了论文“Cruz R S,Lebrat L, Bourgeat P, et al. Deepcsr: A 3d deep learning approach forcortical surface reconstruction[C]//Proceedings of the IEEE/CVF WinterConference on Applications of Computer Vision. 2021: 806-815.”中的网络结构，其网络结构简图如图5所示，对配准到模板大脑空间的图像，基于训练好的深度神经网络预测连续坐标系中点的隐式曲面表示，从而避免了基于体素分割重建所面临的局部体积效应，并分别通过拓扑校正和等值面网格提取算法（移动立方体算法）提取皮层表面（三角形面片网格）。
生成的大脑皮层网格数据，由经验丰富的脑神经科医生通过freesurfer软件进行脑区分割标注，作为图网络分割训练的标签数据，选择对应的分割协议确定分割类别数，训练图网络。由于构建了所有顶点的连接关系，图网络可以兼顾到全局的分布信息，相比于直接基于规则的传统方法，其分割性能更优。
图神经网络训练数据是通过freesurfer V6.0工具集处理生成的，具体为：对输入原始MRI图像，通过freesurfer命令，进行颅骨剥离、强度非齐次校正、组织分割以及大脑皮层表面重建，并基于freesurfer desikan分割协议，手动将左右半脑分别分割为36个区域，作为分割训练标签（ground-truth），其他分割标准同样适用于我们的网络框架。
将三角形网格结构的大脑皮层表面数据建模为图，具体包括：在可接受的大脑皮层表面数据分辨率范围内，对原始的网格数据进行降采样，如
Figure DEST_PATH_IMAGE029
降采样，以便于计算机设备基于整图的训练和预测，减少算法的时间开销。构建描述顶点之间连接权重关系的邻接矩阵，邻接矩阵构建了任意两个顶点之间的连接权重，图网络中确定邻接矩阵每项值的常用方法包括基于 Pearson 相关的方法、最近邻 (KNN) 规则方法和基于距离的方法。考虑到大脑皮层表面的褶皱构造，对于曲率大的大脑皮层表面区域上的顶点，欧式距离相近的两个顶点的测地距离不一定相近，因此本公开技术方案考虑融合这两种距离度量生成不同顶点之间的权重值，将
Figure 97049DEST_PATH_IMAGE030
向量输入可学习的高斯核函数，获取连接两点的边的权重。值得注意的是，本文中所使用的图卷积网络由三个卷积层和一个softmax层组成，三个卷积层分别对应三个可学习的高斯核函数，训练过程中随机初始化的三个高斯核函数以及相应的权重矩阵
Figure 784382DEST_PATH_IMAGE031
采用均匀采样获取的值。第一层卷积层将节点的输入特征向量扩展到16维，第二层卷积层将隐藏层节点向量的维度从16维扩展到25维，第三层卷积层进一步扩展为36维，对应节点预测的类别数，最后经过softmax处理后，顶点特征向量输出最大值所对应的位置作为预测值。网络训练的损失函数使用的是交叉熵损失（cross entropy），学习率设置为
Figure DEST_PATH_IMAGE032
。
基于训练好的图网络模型进行分割时，大脑皮层表面重建方法使用了DeepCSR深度学习网络，首先将MRI图像配准至MNI105空间，然后基于DeepCSR网络预测大脑皮层表面的隐式曲面表示而非基于体素的分割，预测网络由编码器网络和解码器网络两部分组成，空间采样点的三维坐标，融合编码器网络中的局部特征和全局特征，形成1*n的输入向量，送入解码器网络进行解码输出，隐式曲面表达使用的是符号距离函数（Signed DistanceFunction, SDF）来表示，
Figure 847016DEST_PATH_IMAGE033
，其中p为三维空间点的坐标，l取等值面0。然后通过拓扑校正为球形的方法，消除空洞或手柄等拓扑缺陷，然后通过移动立方体算法，取相邻8个点组成一个立方体，在立方体中构建零等值完成大脑皮层表面的重建。
对大脑皮层表面网格数据进行
Figure DEST_PATH_IMAGE034
下采样，下采样基于python的trimesh网格数据处理库实现，然后基于上述步骤构建三个卷积层对应的邻接矩阵，分别由三个高斯核函数参与运算产生，网络预测过充中，将预训练的高斯核函数参数以及权重矩阵参数导入网络中，经过三次卷积和一次softmax处理，获取对应顶点的分类标签。其中可学习的顶点间权重计算过程中，同时兼顾了两点间的欧式距离d和测地距离
Figure 987010DEST_PATH_IMAGE035
，因为大脑皮层复杂的褶皱分布，表面曲率大的区域，很难仅仅依靠欧式距离和测地距离进行单一刻画，所述基于两种距离融合的邻接矩阵构建方式是现有大脑皮层表面分割工作所未述及的。
完成所有顶点分类任务之后，需要对预测结果进行后处理，本实施例子基于图割算法对大脑皮层表面分割结果施加空间一致性，修正可能存在的奇异点错误预测，继而对校正后的分割结果进行
Figure DEST_PATH_IMAGE036
上采样，并将大脑皮层表面分割从标准模板空间映射回原始坐标空间，完成大脑皮层表面分割工作，参见附图6所示。
实施例二
本实施例的目的是提供一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。
实施例四
本实施例的目的是提供基于图网络的大脑皮层表面全自动分割系统，包括：
配准模块，被配置为：将大脑磁共振图像配准至标准模板空间；
大脑皮层表面重建模块，被配置为：基于深度神经网络对配准后大脑磁共振图像进行大脑皮层表面重建，获取大脑皮层表面的三角形面片网格表示；
根据大脑皮层表面图像分辨率，设置合适的采样率，并对大脑皮层表面网格数据进行下采样；
矩阵计算模块，被配置为：计算图网络对应卷积过程的邻接矩阵；
计算大脑皮层表明顶点的特征描述向量，并生成大脑皮层表面所有顶点对应的特征矩阵；
分割模块，被配置为：输入邻接矩阵和特征矩阵至训练好的图网络模型，获得大脑皮层表面分割结果；
映射模块，被配置为：对分割结果进行后处理及空间映射，完成大脑皮层表面分割。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.基于图网络的大脑皮层表面全自动分割方法，其特征是，包括：
将大脑磁共振图像配准至标准模板空间；
基于深度神经网络对配准后大脑磁共振图像进行大脑皮层表面重建，获取大脑皮层表面的三角形面片网格表示；
根据大脑皮层表面图像分辨率，设置合适的采样率，并对大脑皮层表面网格数据进行下采样；
计算图网络对应卷积过程的邻接矩阵；
计算大脑皮层表明顶点的特征描述向量，并生成大脑皮层表面所有顶点对应的特征矩阵；
输入邻接矩阵和特征矩阵至训练好的图网络模型，获得大脑皮层表面分割结果；
对分割结果进行后处理及空间映射，完成大脑皮层表面分割；
计算图网络对应卷积过程的邻接矩阵，包括：
根据下采样后的大脑皮层表面网格顶点之间的连接关系，以及顶点对应的欧式空间坐标，计算大脑皮层顶点之间的欧式距离和测地距离，根据权重计算公式，并借助由预训练参数所初始化的三个高斯核，获取图网络中三个卷积层所对应的邻接矩阵；
具体为，根据顶点之间的连接关系和测地距离计算图网络对应卷积过程的所需的大脑皮层顶点间的3个邻接矩阵，包括：根据下采样后的大脑皮层表面网格顶点之间的连接关系，以及顶点对应的欧式空间坐标，计算大脑皮层顶点之间的欧式距离d和测地距离
Figure DEST_PATH_IMAGE001
，根据权重计算公式，并借助由预训练参数所初始化的三个高斯核，获取图网络中三个卷积层所对应的邻接矩阵
Figure 222371DEST_PATH_IMAGE002
；给定两个顶点的坐标
Figure DEST_PATH_IMAGE003
以及
Figure 303066DEST_PATH_IMAGE004
，其欧式距离
Figure DEST_PATH_IMAGE005
计算公式为：
Figure 55122DEST_PATH_IMAGE006
测地距离
Figure DEST_PATH_IMAGE007
的计算使用的是经典的迪杰斯特拉算法，任意两个顶点
Figure 877584DEST_PATH_IMAGE008
和
Figure DEST_PATH_IMAGE009
之间的关系向量
Figure 331568DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE011
，非重合的两个顶点邻接权重系数的计算通过将关系向量输入至高斯核函数产生，具体计算公式为：
Figure 468152DEST_PATH_IMAGE012
，
Figure 825446DEST_PATH_IMAGE011
，任意两个顶点之间的邻接系数表示为：
Figure 818810DEST_PATH_IMAGE013
邻接矩阵
Figure DEST_PATH_IMAGE014
可表示为：
Figure 510822DEST_PATH_IMAGE015
将由点和边所组成的大脑皮层表面表示为
Figure DEST_PATH_IMAGE016
，其中V表示所有顶点的集合，E表示所有的边对应的集合，
Figure 434785DEST_PATH_IMAGE017
表示边
Figure DEST_PATH_IMAGE018
在三维模板空间中的位置坐标，所求邻接矩阵为维度N*N的方阵，其中N表示皮层表面顶点数。
2.如权利要求1所述的基于图网络的大脑皮层表面全自动分割方法，其特征是，将大脑磁共振图像配准至标准模板空间，具体为：
指定所要配准至的标准模板空间，并通过图像配准开源库进行仿射和非线性配准。
3.如权利要求1所述的基于图网络的大脑皮层表面全自动分割方法，其特征是，基于深度神经网络对输入的配准后大脑磁共振图像进行大脑皮层表面重建，获取大脑皮层表面的三角形面片网格表示，包括：
针对采用的网络结构，输入配准后的MRI大脑图像，预测大脑皮层内外表面的隐式曲面表示；
进而通过拓扑校正为球形的方式消除奇异点引起的拓扑形变；
最后由等值面网格提取算法获取重建后的大脑皮层表面的三角形面片网格结构数据。
4.如权利要求1所述的基于图网络的大脑皮层表面全自动分割方法，其特征是，计算大脑皮层表明顶点的特征描述向量，并生成大脑皮层表面所有顶点对应的特征矩阵，包括：计算大脑皮层表面的平均曲率，沟深度，形状指数，弯曲度，最大最小主曲率，并将上述描述皮层褶皱信息的几何量和欧式空间位置坐标信息融合在一起，作为顶点的描述特征向量，组合所有顶点对应的特征向量，形成大脑皮层表面特征矩阵。
5.如权利要求1所述的基于图网络的大脑皮层表面全自动分割方法，其特征是，输入邻接矩阵和特征矩阵至训练好的图网络模型，获得大脑皮层表面分割结果，其中，图网络的邻域聚合方式和消息传播规则f如下：
Figure 958170DEST_PATH_IMAGE019
Figure DEST_PATH_IMAGE020
表示第i层的权重矩阵，非线性激活函数
Figure 325697DEST_PATH_IMAGE021
使用的是Relu函数，i=1，2，图卷积网络由三个卷积层和一个softmax层组成，其第一层输入为特征矩阵
Figure DEST_PATH_IMAGE022
和邻接矩阵
Figure 252809DEST_PATH_IMAGE023
，其中
Figure DEST_PATH_IMAGE024
表示添加自环和归一化操作的邻接矩阵，输出为顶点的类别矩阵
Figure 465615DEST_PATH_IMAGE025
，大小为
Figure DEST_PATH_IMAGE026
的矩阵，
Figure 296037DEST_PATH_IMAGE027
表示顶点预测的类别数，
Figure DEST_PATH_IMAGE028
为图卷积的隐藏层可学习参数；
根据输出类别矩阵
Figure 631203DEST_PATH_IMAGE025
，确定所有顶点在模板空间的类别，完成模板空间中大脑皮层表面的分割。
6.如权利要求1所述的基于图网络的大脑皮层表面全自动分割方法，其特征是，对分割结果进行后处理及空间映射，完成大脑皮层表面分割，包括：基于图割算法对大脑皮层表面分割结果施加空间一致性，修正可能存在的单个奇异点的预测错误；
对校正后的分割结果进行上采样，并将大脑皮层表面分割从标准模板空间映射回原始坐标空间，至此完成大脑皮层表面分割。
7.基于权利要求1-6任一项所述基于图网络的大脑皮层表面全自动分割方法的图网络的大脑皮层表面全自动分割系统，其特征是，包括：
配准模块，被配置为：将大脑磁共振图像配准至标准模板空间；
大脑皮层表面重建模块，被配置为：基于深度神经网络对配准后大脑磁共振图像进行大脑皮层表面重建，获取大脑皮层表面的三角形面片网格表示；
根据大脑皮层表面图像分辨率，设置合适的采样率，并对大脑皮层表面网格数据进行下采样；
矩阵计算模块，被配置为：计算图网络对应卷积过程的邻接矩阵；
计算大脑皮层表明顶点的特征描述向量，并生成大脑皮层表面所有顶点对应的特征矩阵；
分割模块，被配置为：输入邻接矩阵和特征矩阵至训练好的图网络模型，获得大脑皮层表面分割结果；
映射模块，被配置为：对分割结果进行后处理及空间映射，完成大脑皮层表面分割；
计算图网络对应卷积过程的邻接矩阵，包括：
根据下采样后的大脑皮层表面网格顶点之间的连接关系，以及顶点对应的欧式空间坐标，计算大脑皮层顶点之间的欧式距离和测地距离，根据权重计算公式，并借助由预训练参数所初始化的三个高斯核，获取图网络中三个卷积层所对应的邻接矩阵。
8.一种计算机装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-6任一所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-6任一所述的方法的步骤。
CN202210888076.7A 2022-07-27 2022-07-27 基于图网络的大脑皮层表面全自动分割方法及系统 Active CN114972366B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210888076.7A CN114972366B (zh) 2022-07-27 2022-07-27 基于图网络的大脑皮层表面全自动分割方法及系统
PCT/CN2022/143483 WO2024021523A1 (zh) 2022-07-27 2022-12-29 基于图网络的大脑皮层表面全自动分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210888076.7A CN114972366B (zh) 2022-07-27 2022-07-27 基于图网络的大脑皮层表面全自动分割方法及系统

Publications (2)

Publication Number Publication Date
CN114972366A CN114972366A (zh) 2022-08-30
CN114972366B true CN114972366B (zh) 2022-11-18

Family

ID=82969764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210888076.7A Active CN114972366B (zh) 2022-07-27 2022-07-27 基于图网络的大脑皮层表面全自动分割方法及系统

Country Status (2)

Country Link
CN (1) CN114972366B (zh)
WO (1) WO2024021523A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972366B (zh) * 2022-07-27 2022-11-18 山东大学 基于图网络的大脑皮层表面全自动分割方法及系统
CN115187594B (zh) * 2022-09-08 2023-09-08 济南博图信息技术有限公司 大脑皮质模型重建方法及系统
CN115511931A (zh) * 2022-09-29 2022-12-23 北京银河方圆科技有限公司 基于医学影像图像的配准方法、可读存储介质及电子设备
CN115511932B (zh) * 2022-09-29 2024-02-13 北京银河方圆科技有限公司 基于医学影像图像的配准方法、可读存储介质及电子设备
CN116309355A (zh) * 2023-01-31 2023-06-23 优脑银河(浙江)科技有限公司 用于脑影像图像的冗余信息处理方法、装置及存储介质
CN117689811A (zh) * 2023-11-28 2024-03-12 浙江大学 一种面向超高场磁共振的猕猴大脑皮层重建方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909867A (zh) * 2019-11-26 2020-03-24 南通恒趣新材料有限公司 一种基于力导图的图神经网络可视分析方法
CN111161226A (zh) * 2019-12-20 2020-05-15 西北工业大学 一种基于谱聚类算法的大脑皮层表面的均匀分割方法
CN112927357A (zh) * 2021-03-05 2021-06-08 电子科技大学 一种基于动态图网络的3d物体重建方法
CN113190662A (zh) * 2021-04-09 2021-07-30 苏州大学 基于篇章结构图网络的话题分割方法
CN114581451A (zh) * 2022-02-24 2022-06-03 东南大学 一种基于散射图神经网络的大脑磁共振图像分割方法
CN114626293A (zh) * 2022-02-23 2022-06-14 中国科学院深圳先进技术研究院 预测碰撞仿真结果的方法、装置、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020033566A1 (en) * 2018-08-07 2020-02-13 Human Longevity, Inc. Neural networks for volumetric segmentation and parcellated surface representations
US11449989B2 (en) * 2019-03-27 2022-09-20 The General Hospital Corporation Super-resolution anatomical magnetic resonance imaging using deep learning for cerebral cortex segmentation
WO2021012040A1 (en) * 2019-07-21 2021-01-28 Hatami Hanza Hamid Methods and systems for state navigation
CN112396160A (zh) * 2020-11-02 2021-02-23 北京大学 基于图神经网络的交易欺诈检测方法及系统
CN112560481B (zh) * 2020-12-25 2024-05-31 北京百度网讯科技有限公司 语句处理方法、设备和存储介质
US20210319324A1 (en) * 2021-06-25 2021-10-14 Intel Corporation Technology for memory-efficient and parameter-efficient graph neural networks
CN114581628B (zh) * 2022-03-03 2023-08-08 北京银河方圆科技有限公司 大脑皮层表面重建方法和可读存储介质
CN114972366B (zh) * 2022-07-27 2022-11-18 山东大学 基于图网络的大脑皮层表面全自动分割方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909867A (zh) * 2019-11-26 2020-03-24 南通恒趣新材料有限公司 一种基于力导图的图神经网络可视分析方法
CN111161226A (zh) * 2019-12-20 2020-05-15 西北工业大学 一种基于谱聚类算法的大脑皮层表面的均匀分割方法
CN112927357A (zh) * 2021-03-05 2021-06-08 电子科技大学 一种基于动态图网络的3d物体重建方法
CN113190662A (zh) * 2021-04-09 2021-07-30 苏州大学 基于篇章结构图网络的话题分割方法
CN114626293A (zh) * 2022-02-23 2022-06-14 中国科学院深圳先进技术研究院 预测碰撞仿真结果的方法、装置、设备及存储介质
CN114581451A (zh) * 2022-02-24 2022-06-03 东南大学 一种基于散射图神经网络的大脑磁共振图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的脑片图像区域划分方法;王松伟等;《计算机应用》(第04期);全文 *

Also Published As

Publication number Publication date
WO2024021523A1 (zh) 2024-02-01
CN114972366A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114972366B (zh) 基于图网络的大脑皮层表面全自动分割方法及系统
CN108416802B (zh) 一种基于深度学习的多模医学图像非刚性配准方法及系统
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN109741343B (zh) 一种基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割方法
WO2023071531A1 (zh) 一种基于深度形状学习的肝脏ct自动分割方法
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN110363760B (zh) 用于识别医学图像的计算机系统
CN111968138B (zh) 基于3d动态边缘不敏感性损失函数的医学图像分割方法
CN113781640A (zh) 基于弱监督学习的三维人脸重建模型建立方法及其应用
CN110148145B (zh) 一种融合边界信息的图像目标区提取方法及应用
CN113570627B (zh) 深度学习分割网络的训练方法及医学图像分割方法
CN114266939B (zh) 一种基于ResTLU-Net模型的脑提取方法
Duan et al. A novel GA-based optimized approach for regional multimodal medical image fusion with superpixel segmentation
WO2022247218A1 (zh) 基于自动勾画的图像配准方法
CN113192069A (zh) 三维断层扫描图像中树状结构的语义分割方法和装置
CN111402278A (zh) 分割模型训练方法、图像标注方法及相关装置
CN114581453A (zh) 基于多轴面特征融合二维卷积神经网络的医学图像分割方法
CN115908297A (zh) 基于拓扑知识的医学影像中血管分割建模方法
Ferrarini et al. GAMEs: growing and adaptive meshes for fully automatic shape modeling and analysis
CN110570430B (zh) 基于体配准的眼眶骨组织分割方法
CN116258732A (zh) 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法
CN107610121A (zh) 一种肝脏统计形状模型初始位姿设定方法
CN112489048B (zh) 一种基于深度网络的视神经自动分割方法
CN116703992A (zh) 一种三维点云数据精确配准方法、装置、设备及存储介质
CN108596900B (zh) 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant