CN113160138A - 一种脑部核磁共振图像分割方法及系统 - Google Patents
一种脑部核磁共振图像分割方法及系统 Download PDFInfo
- Publication number
- CN113160138A CN113160138A CN202110311045.0A CN202110311045A CN113160138A CN 113160138 A CN113160138 A CN 113160138A CN 202110311045 A CN202110311045 A CN 202110311045A CN 113160138 A CN113160138 A CN 113160138A
- Authority
- CN
- China
- Prior art keywords
- brain
- magnetic resonance
- nuclear magnetic
- resonance image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及医学影像处理技术领域,提供了一种脑部核磁共振图像分割方法及系统。方法主要包括脑部核磁共振图像数据预处理、脑部核磁共振图像分割模型构建及优化、脑部核磁共振图像分割及结果输出;系统包括计算机处理器和内存、脑部核磁共振图像预处理单元、脑部核磁共振图像分割模型训练单元、脑部核磁共振图像分割及结果输出单元。本发明首先构建了脑部核磁共振图像的空间结构网络,不但可以记录脑功能组织激活图像的像素点信息,还有效表达了它们之间的空间结构关系,接着利用图变分自编码器结构建立脑部核磁共振图像分割模型,使模型具有一定的生成能力,该模型能够获得鲁棒性和可解释性更强的脑部核磁共振图像分割结果。
Description
技术领域
本发明涉及医学影像处理技术领域,特别涉及一种脑部核磁共振图像分割 方法及系统。
背景技术
核磁共振成像技术(Nuclear Magnetic Resonance Imaging,NMRI)又称自 旋成像(spin imaging),是利用人体组织中某种原子核的核磁共振现象,将所得 射频信号经过电子计算机处理,重建出人体某一层面图像的诊断技术。核磁共 振成像是继CT后医学影像学的又一重大进步,自80年代应用以来,得到了快 速发展和推广。核磁共振成像技术的主要优点包括:a.相比其他医学成像技术, 对软组织的成像对比度更高;b.能够更容易的对人体某一局部进行定性分析, 并有效发现异常结果;c.对人体无电离辐射危害;d.包含更多的成像参数,能 够提供更大的信息量;e.可通过调节磁场来自由选择剖面,从而对难以接近的 部位获得真实成像。因此,核磁共振成像技术对生物体内的软组织机构(如大 脑)成像效果极佳,成为心脑血管疾病诊断过程中的一种重要医学影像检查手 段。
医学图像分割是医学图像处理与临床领域中的核心技术,对于病变区域提 取、特定组织测量、临床诊断、病理分析、手术计划制定等具有重要意义。目 前医学图像分割的主流方法主要包含:基于边缘检测的图像分割方法,基于区 域的图像分割方法,基于聚类的图像分割方法,基于活动轮廓的图像分割方法, 基于图论的图像分割方法等。由于受成像机制自身、外部环境、以及人体内部 组织的复杂结构的影响,核磁共振图像中常常出现噪声、模糊、灰度不均匀等 现象,为核磁共振图像的分割带来了困难。
聚类方法作为一种无监督学习方法,在医学图像分割领域中具有较好的应 用效果。而对于脑组织核磁共振图像,由于不同脑组织如脑白质、脑灰质和脑 脊液等混杂在一起,使得组织之间过渡区域的模糊性更加突出,传统的硬划分 聚类方法不再适用。此外,以往的基于聚类的图像分割方法主要关注单个像素 的灰度信息,忽略了核磁共振图像中固有的空间信息,对噪声较为敏感。为此, 本发明提出一种能够有效表达脑部核磁共振图像中组织界限模糊性,并通过融 合空间结构信息获得较强抗噪能力的脑部核磁共振图像分割方法及系统。
发明内容
针对上述问题本发明提供了一种脑部核磁共振图像分割方法及系统,能够 有效表达脑部核磁共振图像中组织界限模糊性,并通过融合空间结构信息获得 较强抗噪能力,对脑部核磁共振图像中的功能组织进行有效可靠的分割。
为了达到上述目的,本发明采用了下列技术方案:
本发明提供了一种脑部核磁共振图像分割方法,该方法包含三个主要环节, 即脑部核磁共振图像数据预处理环节、脑部核磁共振图像分割模型构建及优化 环节、脑部核磁共振图像分割及结果输出环节。
进一步,所述方法具体包括以下步骤:
S1、对采集到的脑部核磁共振图像进行预处理,降低噪声对认知任务有效 信号的不良影响,提高探测信号的统计力,由脑部核磁共振图像中获得脑功能 组织激活图像;
S2、从步骤S1获得的脑功能组织激活图像中进行空间结构信息的抽取,构 建脑部核磁共振图像的空间结构网络;
S3、基于步骤S2获得的脑部核磁共振图像的空间结构网络,利用图变分自 编码器构建脑部核磁共振图像分割模型;
S4、对于步骤S3构建的脑部核磁共振图像分割模型,通过迭代计算方式进 行模型训练,获得模型的最优参数;
S5、利用步骤S3构建的脑部核磁共振图像分割模型,以及步骤S4确定的 最优模型参数,对脑部核磁共振图像进行分割,并将图像分割结果进行输出。
更进一步,所述步骤S1具体包含以下步骤:
S11、对脑部核磁共振图像进行头动矫正,以降低脑组织成像扫描期间被试 头动对信号的影响,避免误将头动产生的伪信号当作有效探测信号;
S12、对脑部核磁共振图像进行空间对齐,将由功能像上提取的脑组织活动 信息在高分辨率的结构像上显示出来;
S13、对脑部核磁共振图像进行时间矫正,降低由于磁共振扫描时各层面信 号采集时间上的轻微差异对数据分析可能造成的影响;
S14、进行滤波处理,即依据成像扫描过程中记录的心跳、呼吸信号进行滤 波处理,消除脑功能信号的线性漂移;
S15、对脑样本进行空间标准化,以标准坐标系统描述脑各个功能组织的位 置,以指定分辨率对图像进行重采样,并进行各向同性Gaussian平滑;
S16、在以上操作的基础上,利用反卷积计算和多重回归分析由脑部核磁共 振图像生成脑功能组织激活图像,并记作其中X表示脑功能组织激活 图,xi表示脑功能激活图像中的第i个像素点,每个像素点包含四个维度的信息: 在脑部的轴状、矢状和冠状三个方向的信号扫描值及信号采集时间,N为脑功 能组织激活图像中包含的像素点数量。
进一步,所述步骤S2具体包括以下步骤:
S21、遍历脑功能组织激活图像中的每个像素点,以各像素点为中心,通过 固定尺寸的视域定义一系列局部图像块:对于任意像素点xi,将以其为中心的局 部图像块记作Li;
S22、对于以任意两个像素点xi和xj为中心的局部图像块Li和Lj,利用式(1) 计算它们之间的空间结构相似度:
其中,SSim(Li,Lj)为Li和Lj之间的空间结构相似度,μL,i和μL,j分别为Li和Lj中 像素点分布的期望,σL,i和σL,j分别为Li和Lj中像素点分布的标准差,C1和C2为 用于调节空间结构相似度内部平衡的常数;
S23、通过式(2)计算像素点xi和xj之间的空间结构相似度:
式中,SSim(xi,xj)为xi和xj之间的空间结构相似度,Dis(xi,xj)为xi和xj之间 的距离度量函数,可使用欧氏距离进行度量;
S24、以像素点间的空间结构相似度为元素,构建脑部核磁共振图像的空间 相似性矩阵A=[SSim(xi,xj)]N×N;
S25、基于脑功能组织激活图像X及其空间相关性矩阵A构建脑部核磁共振 图像的空间结构网络G(X,A),用于记录脑部核磁共振图像中的像素信息以及像 素之间的空间结构信息。
进一步,所述步骤S3中的脑部核磁共振图像分割模型包含编码器、解码器、 分割器三个部分,其整体结构如附图1所示,步骤S3包含以下步骤:
S31、编码器用于将脑部核磁共振图像空间结构网络G(X,A)编码为低维空间 中的嵌入向量,其编码过程的形式化表示如式(3)所示:
μz,i=GCNμ(xi,A) (5)
logσz,i=GCNσ(xi,A) (6)
其中,GCNμ()和GCNσ()分别表示计算嵌入向量分布的期望与方差的图卷 积网络,它们具有相同的结构,由式(7)定义:
GCN(X,A)=Gconv(ReLU(Gconv(A,X;W0));W1) (7)
式中,Gconv()表示图卷积网络;W0和W1分别为第一层图卷积网络和第 二层图卷积网络中的连接权重矩阵,是分类模型中的待定参数,在后续步骤中 通过输入脑部核磁共振图像空间结构网络进行确定;ReLU()为激活函数,由式 (8)定义:
其中,σ()为狄拉克函数。
S33、分类器用于将脑功能组织激活图像中像素点对应的嵌入向量划分到相 应功能组织类别当中,将分类器的类别划分结果记为C*={C1,C2,…,CK},其中K为 功能组织类别数量,该分类器由一个高斯混合模型构成,其形式化表示为 πk为功能组织类别Ck的先验分布概率,将各功能组织类别 的先验分布概率构成的向量记作π=[π1,π2,…,πK];为高斯混合模 型中功能组织类别Ck对应的高斯分布分量,μk和分别为Ck对应的高斯分布分 量的期望与方差。
进一步,所述步骤S4包含以下具体步骤:
S41、基于S3建立的脑部核磁共振图像分割模型,构造脑功能组织激活图 像的对数似然函数如式(10)所示:
其中,logp(xi)为脑功能组织激活图像中像素点xi的对数似然函数;对于脑 功能组织激活图像中的任意像素点x,利用Jensen不等式获得其对数似然函数 logp(x)的证据下界(ELBO)如式(11):
p(a,z,Ck)=p(a|z)p(z|Ck)p(Ck) (12)
其中,p(a|z)由式(13)定义
p(z|Ck)由式(14)定义
p(Ck)由式(15)定义
p(Ck)=Cat(Ck|π) (15)
式中,Cat(Ck|π)为功能组织类别分布函数;式(11)中q(z,Ck|x,a)为真实后 验分布p(z,Ck|x,a)的变分后验近似值;
S42、通过使用蒙特卡洛随机梯度下降变分贝叶斯(Monte Carlo SGVB)算子, 将式(11)的证据下界变换为式(16)
式中,M为Monte Carlo SGVB算子的采样数量,D为像素点x的维度,R为 嵌入向量z的维度,xd为像素点x的第d个分量,为μA的第m个采样中第d 个分量,为的第r个分量,为的第r个分量,μz|r为μz的第r个分量, μk|r为μk的第r个分量;
S43、使用高斯分布初始化方式对步骤S3中的脑部核磁共振图像分割模型 进行初始化训练;给定迭代次数L,迭代执行步骤S44~S49,直到达到迭代次数, 完成对脑部核磁共振图像分割模型的训练,获得模型的最优参数;
S44、利用式(5)和式(6)计算脑部核磁共振图像的空间结构网络G(X,A) 中每个像素点及其相似性向量在低维特征空间中对应的嵌入向量的期望和方 差;
S45、由脑部核磁共振图像全部功能组织类别中随机选取一个功能组织类 别,记作Ck,利用式(17)计算该次迭代中模型输出值:
S46、按式(18)从关于功能组织类别Ck的后验高斯分布中采样一个嵌入向 量zi;
S47、利用式(8)将低维特征空间中的嵌入向量重构为网络关系;
S49、利用梯度方法进行反向传播,对脑部核磁共振图像分割模型中的连接 权重矩阵进行更新。
进一步,该方法所述步骤S5具体包括以下步骤:
S51、式(16)可变换为式(19)的形式:
式中,为嵌入向量的高斯先验分布,KL[p(Ck|z)||q(Ck|x,a)]为p(Ck|z)和q(Ck|x,a)之间的KL散度;由KL散度定义可知式(19)第二项取值 为非负数,因此,证据下界取最大值时满足式(20)
KL[p(Ck|z)||q(Ck|x,a)]=0 (20)
则脑部核磁共振图像分割的后验分布可由式(21)计算
S52、通过迭代执行步骤S44~S49的训练过程获得脑部核磁共振图像分割模 型的最优参数后,利用式(21)获得脑部核磁共振图像分割结果;该结果表示 的是脑功能组织激活图像中每个像素点被划分到各功能组织类别中的概率,该 结果是一种具有较强鲁棒性和可解释性的软分割结果;在此基础上可根据实际 需求通过设定阈值将软分割结果转化为硬分割结果;
S53、将脑部核磁共振图像分割结果送至相关医务人员或科研人员,从而用 于核磁共振图像精细化分析、脑组织或病灶体积测量、脑部医学图像3D重构以 及数据压缩和传输等相关任务。
本发明还提供一种脑部核磁共振图像分割系统,包括计算机处理器和内存、 脑部核磁共振图像预处理单元、脑部核磁共振图像分割模型训练单元、脑部核 磁共振图像分割及结果输出单元。
进一步,所述无脑部核磁共振图像预处理单元执行步骤S1,对采集到的脑 部核磁共振图像进行预处理,获得脑功能组织激活图像,并加载到计算机内存 中;所述脑部核磁共振图像分割模型训练单元根据脑部核磁共振图像预处理单 元产生的脑功能组织激活图像执行步骤S2~步骤S4,构建脑部核磁共振图像分 割模型,并基于输入图像确定模型中参数的最优值;所述脑部核磁共振图像分 割及结果输出单元执行步骤S5,将脑功能组织激活图像中每个像素点划分到各 功能组织类别中,并将脑部核磁共振图像分割结果送至相关医务人员或科研人 员,用于核磁共振图像精细化分析、脑组织或病灶体积测量、脑部医学图像3D 重构以及数据压缩和传输等相关任务。
与现有技术相比本发明具有以下优点:
1、本发明方法通过构建脑部核磁共振图像的空间结构网络,不但可以记录 脑功能组织激活图像的像素点信息,还有效表达了它们之间的空间结构关系, 有助于获得鲁棒性和可解释性更强的脑部核磁共振图像分割结果。
2、本发明方法利用图变分自编码器结构建立脑部核磁共振图像分割模型, 使模型具有一定的生成能力,从而使脑部核磁共振图像分割过程具有更强的泛 化能力。
3、本发明提供了一种能够有效表达脑部核磁共振图像中组织界限模糊性, 并通过融合空间结构信息获得较强抗噪能力的脑部核磁共振图像分割方法及系 统,实现对脑部核磁共振图像中的功能组织进行有效可靠的分割。
4、本发明脑部核磁共振图像分割结果送至相关医务人员或科研人员,可用 于核磁共振图像精细化分析、脑组织或病灶体积测量、脑部医学图像3D重构以 及数据压缩和传输等相关任务。
附图说明
图1为本发明方法步骤S3中的脑部核磁共振图像分割模型结构图;
图2为本发明的脑部核磁共振图像分割系统的系统结构图;
图3为本发明脑部核磁共振图像分割方法的流程图。
具体实施方式
下面结合本发明实施例和附图,对本发明实施例中的技术方案进行具体、 详细的说明。应当指出,对于本领域的普通技术人员来说,在不脱离本发明原 理的前提下,还可以做出若干变型和改进,这些也应视为属于本发明的保护范 围。
本发明所述的一种脑部核磁共振图像分割方法通过计算机程序实施,下面 将按照图3所示流程详述本发明提出的技术方案的具体实施方式。通过本发明 的技术方案,由来自Alzheimer's Disease Neuroimaging Initiative(ADNI)的MR Image Data数据集中选择受试者年龄在60岁~70岁之间的脑部核磁共振影像进 行图像分割,进而实现脑功能组织的划分。
实施方式主要包含以下关键内容:
S1、对采集到的脑部核磁共振图像进行预处理,降低噪声对认知任务有效 信号的不良影响,提高探测信号的统计力,由脑部核磁共振图像中获得脑功能 组织激活图像,包含以下具体步骤:
S11、对脑部核磁共振图像进行头动矫正,以降低脑组织成像扫描期间被试 头动对信号的影响,避免误将头动产生的伪信号当作有效探测信号;
S12、对脑部核磁共振图像进行空间对齐,将由功能像上提取的脑组织活动 信息在高分辨率的结构像上显示出来;
S13、对脑部核磁共振图像进行时间矫正,降低由于磁共振扫描时各层面信 号采集时间上的轻微差异对数据分析可能造成的影响;
S14、依据成像扫描过程中记录的心跳、呼吸信号进行滤波处理,消除脑功 能信号的线性漂移;
S15、对脑样本进行空间标准化,以标准坐标系统描述脑各个功能组织的位 置,以指定分辨率对图像进行重采样,并进行各向同性Gaussian平滑。
S16、在以上操作的基础上,利用反卷积计算和多重回归分析由脑部核磁共 振图像生成脑功能组织激活图像,并记作其中X表示脑功能组织激活 图,xi表示脑功能激活图像中的第i个像素点,每个像素点包含四个维度的信息: 在脑部的轴状、矢状和冠状三个方向的信号扫描值及信号采集时间,N为脑功 能组织激活图像中包含的像素点数量。
S2、由步骤S1获得的脑功能组织激活图像中进行空间结构信息的抽取,构 建脑部核磁共振图像的空间结构网络,包括以下具体步骤:
S21、遍历脑功能组织激活图像中的每个像素点,以各像素点为中心,通过 固定尺寸的视域定义一系列局部图像块:对于任意像素点xi,将以其为中心的局 部图像块记作Li;
S22、对于以任意两个像素点xi和xj为中心的局部图像块Li和Lj,利用式(1) 计算它们之间的空间结构相似度:
其中,SSim(Li,Lj)为Li和Lj之间的空间结构相似度,μL,i和μL,j分别为Li和Lj中 像素点分布的期望,σL,i和σL,j分别为Li和Lj中像素点分布的标准差,C1和C2为 用于调节空间结构相似度内部平衡的常数;
S23、通过式(2)计算像素点xi和xj之间的空间结构相似度:
式中,SSim(xi,xj)为xi和xj之间的空间结构相似度,Dis(xi,xj)为xi和xj之间 的距离度量函数,可使用欧氏距离进行度量;
S24、以像素点间的空间结构相似度为元素,构建脑部核磁共振图像的空间 相似性矩阵A=[SSim(xi,xj)]N×N;
S25、基于脑功能组织激活图像X及其空间相关性矩阵A构建脑部核磁共振 图像的空间结构网络G(X,A),用于记录脑部核磁共振图像中的像素信息以及像 素之间的空间结构信息。
S3、基于步骤S2获得的脑部核磁共振图像空间结构网络,利用图变分自编 码器构建脑部核磁共振图像分割模型,该模型包含编码器、解码器、分割器三 个部分,其整体结构如附图1所示,步骤S3包含以下步骤:
S31、进一步的,编码器用于将脑部核磁共振图像空间结构网络G(X,A)编码 为低维空间中的嵌入向量,其编码过程的形式化表示如式(3)所示:
μz,i=GCNμ(xi,A) (5)
logσz,i=GCNσ(xi,A) (6)
其中,GCNμ()和GCNσ()分别表示计算嵌入向量分布的期望与方差的图卷 积网络,它们具有相同的结构,由式(7)定义:
GCN(X,A)=Gconv(ReLU(Gconv(A,X;W0));W1) (7)
式中,Gconv()表示图卷积网络;W0和W1分别为第一层图卷积网络和第二 层图卷积网络中的连接权重矩阵,是分类模型中的待定参数,在后续步骤中通 过输入脑部核磁共振图像空间结构网络进行确定;ReLU()为激活函数,由式(8) 定义:
其中σ()为狄拉克函数。
S33、进一步的,分类器用于将脑功能组织激活图像中像素点对应的嵌入向 量划分到相应功能组织类别当中,将分类器的类别划分结果记为 C*={C1,C2,…,CK},其中K为功能组织类别数量,该分类器由一个高斯混合模型 构成,其形式化表示为πk为功能组织类别Ck的先验分布概 率,将各功能组织类别的先验分布概率构成的向量记作π=[π1,π2,…,πK]; 为高斯混合模型中功能组织类别Ck对应的高斯分布分量,μk和分别为Ck对应的高斯分布分量的期望与方差。
S4、对于步骤S3构建的脑部核磁共振图像分割模型,通过迭代计算方式进 行模型求解,确定模型中的待定参数,包含以下具体步骤:
S41、基于S3建立的脑部核磁共振图像分割模型,构造脑功能组织激活图 像的对数似然函数如式(10)所示:
其中,logp(xi)为脑功能组织激活图像中像素点xi的对数似然函数;对于脑 功能组织激活图像中的任意像素点x,利用Jensen不等式获得其对数似然函数 logp(x)的证据下界(ELBO)如式(11):
p(a,z,Ck)=p(a|z)p(z|Ck)p(Ck) (12)
其中p(a|z)由式(13)定义
p(z|Ck)由式(14)定义
p(Ck)由式(15)定义
p(Ck)=Cat(Ck|π) (15)
式中,Cat(Ck|π)为功能组织类别分布函数;式(11)中q(z,Ck|x,a)为真实后 验分布p(z,Ck|x,a)的变分后验近似值;
S42、通过使用蒙特卡洛随机梯度下降变分贝叶斯(Monte Carlo SGVB)算子, 将式(11)的证据下界变换为式(16)
式中M为Monte Carlo SGVB算子的采样数量,D为像素点x的维度,R为 嵌入向量z的维度,xd为像素点x的第d个分量,为μA的第m个采样中第d 个分量,为的第r个分量,为的第r个分量,μz|r为μz的第r个分量, μk|r为μk的第r个分量;
S43、使用高斯分布初始化方式对步骤S3中的脑部核磁共振图像分割模型 进行初始化;
给定迭代次数L,迭代执行步骤S44~S49,直到达到迭代次数,完成对脑部 核磁共振图像分割模型的训练,获得模型的最优参数:
S44、利用式(5)和式(6)计算脑部核磁共振图像的空间结构网络G(X,A) 中每个像素点及其相似性向量在低维特征空间中对应的嵌入向量的期望和方 差;
S45、由脑部核磁共振图像全部功能组织类别中随机选取一个功能组织类 别,记作Ck,利用式(17)计算该次迭代中模型输出值:
S46、按式(18)从关于功能组织类别Ck的后验高斯分布中采样一个嵌入向 量zi;
S47、利用式(8)将低维特征空间中的嵌入向量重构为网络关系;
S49、利用梯度方法进行反向传播,对脑部核磁共振图像分割模型中的连接 权重矩阵进行更新。
S5、利用步骤S3构建的脑部核磁共振图像分割模型,以及步骤S4确定的 模型参数,实现对脑部核磁共振图像的分割,并将图像分割结果进行输出,包 括以下具体步骤:
S51、式(16)可变换为式(19)的形式:
式中,为嵌入向量的高斯先验分布,KL[p(Ck|z)||q(Ck|x,a)]为p(Ck|z)和q(Ck|x,a)之间的KL散度;由KL散度定义可知式(19)第二项取值 为非负数,因此,证据下界取最大值时满足式(20)
KL[p(Ck|z)||q(Ck|x,a)]=0 (20)
则脑部核磁共振图像分割的后验分布可由式(21)计算
S52、通过迭代执行步骤S44~S49的训练过程获得脑部核磁共振图像分割模 型的最优参数后,利用式(21)获得脑部核磁共振图像分割结果;该结果表示 的是脑功能组织激活图像中每个像素点被划分到各功能组织类别中的概率,该 结果是一种具有较强鲁棒性和可解释性的软分割结果;在此基础上可根据实际 需求通过设定阈值将软分割结果转化为硬分割结果;
S53、将脑部核磁共振图像分割结果至相关医务人员或科研人员,用于核磁 共振图像精细化分析、脑组织或病灶体积测量、脑部医学图像3D重构以及数据 压缩和传输等相关任务。
技术效果评价:
为验证本发明提出技术方案的有效性和先进性,将本发明与几种经典的图 像分割方法进行比较,对比方法包括模糊C均值(FCM)方法、基于偏置场的模 糊C均值(BC-FCM)方法、增强的模糊C均值(EnFCM)方法、局部空间约束的 模糊C均值(FCM-NLS)方法,以及相干局部密度聚类(CLIC)方法,以20次实验 的平均识别精度和召回率为评价指标,将上述匹配结果进行对比分析,比较结 果如下表所示:
由表中结果可以看出,本发明技术方案在对脑部核磁共振图像进行功能组 织分割时,能获得更优的分割精度和召回率。
如图2所示,一种脑部核磁共振图像分割系统,包括计算机处理器和内存、 脑部核磁共振图像预处理单元、脑部核磁共振图像分割模型训练单元、脑部核 磁共振图像分割及结果输出单元。所述无脑部核磁共振图像预处理单元执行步 骤S1,对采集到的脑部核磁共振图像进行预处理,获得脑功能组织激活图像, 并加载到计算机内存中;所述脑部核磁共振图像分割模型训练单元根据脑部核 磁共振图像预处理单元产生的脑功能组织激活图像执行步骤S2~步骤S4,构建 脑部核磁共振图像分割模型,并基于输入图像确定模型中参数的最优值;所述 脑部核磁共振图像分割及结果输出单元执行步骤S5,将脑功能组织激活图像中 每个像素点划分到各功能组织类别中,并将脑部核磁共振图像分割结果送至相 关医务人员或科研人员,用于核磁共振图像精细化分析、脑组织或病灶体积测 量、脑部医学图像3D重构以及数据压缩和传输等相关任务。
Claims (9)
1.一种脑部核磁共振图像分割方法,其特征在于,包括脑部核磁共振图像预处理、脑部核磁共振图像分割模型构建及优化、脑部核磁共振图像分割及结果输出。
2.根据权利要求1所述的一种脑部核磁共振图像分割方法,其特征在于,具体包括以下步骤:
S1、对采集到的脑部核磁共振图像进行预处理,获得脑功能组织激活图像;
S2、从步骤S1获得的脑功能组织激活图像中进行空间结构信息的抽取,构建脑部核磁共振图像的空间结构网络;
S3、在步骤S2的基础上,构建脑部核磁共振图像分割模型;
S4、对步骤S3构建的脑部核磁共振图像分割模型进行迭代训练,获得模型的最优参数;
S5、对脑部核磁共振图像进行分割及结果输出。
3.根据权利要求2所述的一种脑部核磁共振图像分割方法,其特征在于,所述步骤S1具体包括以下步骤:
S11、对脑部核磁共振图像进行头动矫正;
S12、对脑部核磁共振图像进行空间对齐,将由功能像上提取的脑组织活动信息在高分辨率的结构像上显示出来;
S13、对脑部核磁共振图像进行时间矫正;
S14、依据成像扫描过程中记录的心跳、呼吸信号进行滤波处理;
S15、对脑样本进行空间标准化,以标准坐标系统描述脑各个功能组织的位置,以指定分辨率对图像进行重采样,并进行各向同性Gaussian平滑;
4.根据权利要求2所述的一种脑部核磁共振图像分割方法,其特征在于,所述步骤S2具体包括以下步骤:
S21、遍历脑功能组织激活图像中的每个像素点,以各像素点为中心,通过固定尺寸的视域定义一系列局部图像块:对于任意像素点xi,将以其为中心的局部图像块记作Li;
S22、对于以任意两个像素点xi和xj为中心的局部图像块Li和Lj,利用式(1)计算它们之间的空间结构相似度:
其中,SSim(Li,Lj)为Li和Lj之间的空间结构相似度,μL,i和μL,j分别为Li和Lj中像素点分布的期望,σL,i和σL,j分别为Li和Lj中像素点分布的标准差,C1和C2为用于调节空间结构相似度内部平衡的常数;
S23、通过式(2)计算像素点xi和xj之间的空间结构度:
式中,SSim(xi,xj)为xi和xj之间的空间结构相似度,Dis(xi,xj)为xi和xj之间的距离度量函数,可使用欧氏距离进行度量;
S24、以像素点间的空间结构相似度为元素,构建脑部核磁共振图像的空间相似性矩阵A=[SSim(xi,xj)]N×N;
S25、基于脑功能组织激活图像X及其空间相关性矩阵A构建脑部核磁共振图像的空间结构网络G(X,A),用于记录脑部核磁共振图像中的像素信息以及像素之间的空间结构信息。
5.根据权利要求2所述的一种脑部核磁共振图像分割方法,其特征在于,所述步骤S3中的脑部核磁共振图像分割模型的构建是利用图变分自编码器,所述构建的脑部核磁共振图像分割模型包括编码器、解码器和分割器,所述脑部核磁共振图像分割模型的构建具体包括以下步骤:
S31、编码器将脑部核磁共振图像空间结构网络G(X,A)编码为低维空间中的嵌入向量,其编码过程的形式化表示如式(3)所示:
μz,i=GCNμ(xi,A) (5)
logσz,i=GCNσ(xi,A) (6)
其中,GCNμ()和GCNσ()分别表示计算嵌入向量分布的期望与方差的图卷积网络,它们具有相同的结构,由式(7)定义:
GCN(X,A)=Gconv(ReLU(Gconv(A,X;W0));W1) (7)
式中,Gconv()表示图卷积网络;W0和W1分别为第一层图卷积网络和第二层图卷积网络中的连接权重矩阵;ReLU()为激活函数,由式(8)定义:
其中,σ()为狄拉克函数;
6.根据权利要求1所述的一种脑部核磁共振图像分割方法,其特征在于,所述步骤S4具体包括以下步骤:
S41、基于S3构建的脑部核磁共振图像分割模型,构造脑功能组织激活图像的对数似然函数,如式(10)所示:
其中,logp(xi)为脑功能组织激活图像中像素点xi的对数似然函数;对于脑功能组织激活图像中的任意像素点x,利用Jensen不等式获得其对数似然函数logp(x)的证据下界如式(11):
p(a,z,Ck)=p(a|z)p(z|Ck)p(Ck) (12)
其中,p(a|z)由式(13)定义
p(z|Ck)由式(14)定义
p(Ck)由式(15)定义
p(Ck)=Cat(Ck|π) (15)
式中,Cat(Ck|π)为功能组织类别分布函数;式(11)中q(z,Ck|x,a)为真实后验分布p(z,Ck|x,a)的变分后验近似值;
S42、通过使用蒙特卡洛随机梯度下降变分贝叶斯算子,将式(11)的证据下界变换为式(16)
式中M为Monte Carlo SGVB算子的采样数量,D为像素点x的维度,R为嵌入向量z的维度,xd为像素点x的第d个分量,为μA的第m个采样中第d个分量,为的第r个分量,为的第r个分量,μz|r为μz的第r个分量,μk|r为μk的第r个分量;
S43、使用高斯分布初始化方式对步骤S3构建的脑部核磁共振图像分割模型进行初始化训练;给定迭代次数L,迭代执行步骤S44~S49,直到达到设定的迭代次数,完成对脑部核磁共振图像分割模型的训练,获得模型的最优参数;
S44、利用式(5)和式(6)计算脑部核磁共振图像的空间结构网络G(X,A)中每个像素点及其相似性向量在低维特征空间中对应的嵌入向量的期望和方差;
S45、由脑部核磁共振图像全部功能组织类别中随机选取一个功能组织类别,记作Ck,利用式(17)计算该次迭代中模型输出值:
S46、按式(18)从关于功能组织类别Ck的后验高斯分布中采样一个嵌入向量zi;
S47、利用式(8)将低维特征空间中的嵌入向量重构为网络关系;
S49、利用梯度方法进行反向传播,对脑部核磁共振图像分割模型中的连接权重矩阵进行更新。
7.根据权利要求1所述的一种脑部核磁共振图像分割方法,其特征在于,所述步骤S5中具体包括以下过程:
S51、式(16)可变换为式(19)的形式:
式中,为嵌入向量的高斯先验分布,KL[p(Ck|z)||q(Ck|x,a)]为p(Ck|z)和q(Ck|x,a)之间的KL散度;由KL散度定义可知式(19)第二项取值为非负数,因此,证据下界取最大值时满足式(20)
KL[p(Ck|z)||q(Ck|x,a)]=0 (20)
则脑部核磁共振图像分割的后验分布可由式(21)计算
S52、通过迭代执行步骤S44~S49的训练过程获得脑部核磁共振图像分割模型的最优参数后,利用式(21)获得脑部核磁共振图像分割结果,即脑功能组织激活图像中每个像素点被划分到各功能组织类别中的概率,在此基础上可通过设定阈值将软分割结果转化为硬分割结果;
S53、将脑部核磁共振图像分割结果送至相关医务人员或科研人员,从而用于核磁共振图像精细化分析、脑组织或病灶体积测量、脑部医学图像3D重构以及数据压缩和传输类相关任务。
8.一种脑部核磁共振图像分割系统,其特征在于:包括计算机处理器和内存、脑部核磁共振图像预处理单元、脑部核磁共振图像分割模型训练单元、脑部核磁共振图像分割及结果输出单元。
9.根据权利要求8所述的一种脑部核磁共振图像分割系统,其特征在于:所述脑部核磁共振图像预处理单元是对采集到的脑部核磁共振图像进行预处理,获得脑功能组织激活图像,并加载到计算机内存中;所述脑部核磁共振图像分割模型训练单元根据脑部核磁共振图像预处理单元产生的脑功能组织激活图像,构建脑部核磁共振图像分割模型,并基于输入图像确定模型中参数的最优值;所述脑部核磁共振图像分割及结果输出单元是将脑功能组织激活图像中每个像素点划分到各功能组织类别中,并将脑部核磁共振图像分割结果传至相关医务人员或科研人员,用于核磁共振图像精细化分析、脑组织或病灶体积测量、脑部医学图像3D重构以及数据压缩和传输类相关任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110311045.0A CN113160138B (zh) | 2021-03-24 | 2021-03-24 | 一种脑部核磁共振图像分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110311045.0A CN113160138B (zh) | 2021-03-24 | 2021-03-24 | 一种脑部核磁共振图像分割方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113160138A true CN113160138A (zh) | 2021-07-23 |
CN113160138B CN113160138B (zh) | 2022-07-19 |
Family
ID=76888350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110311045.0A Active CN113160138B (zh) | 2021-03-24 | 2021-03-24 | 一种脑部核磁共振图像分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113160138B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113610808A (zh) * | 2021-08-09 | 2021-11-05 | 中国科学院自动化研究所 | 基于个体脑连接图的群体脑图谱个体化方法、系统和设备 |
CN114862823A (zh) * | 2022-05-26 | 2022-08-05 | 同心医联科技(北京)有限公司 | 区域分割方法及装置 |
CN115423894A (zh) * | 2022-11-04 | 2022-12-02 | 之江实验室 | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
WO2024119337A1 (zh) * | 2022-12-05 | 2024-06-13 | 中国科学院深圳先进技术研究院 | 脑网络统一表征计算方法、装置、电子设备及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130182931A1 (en) * | 2011-12-21 | 2013-07-18 | Institute of Automation, Chinese Academy of Scienc | Method for brain tumor segmentation in multi-parametric image based on statistical information and multi-scale struture information |
CN108921228A (zh) * | 2018-07-12 | 2018-11-30 | 成都上工医信科技有限公司 | 一种眼底图像血管分割的评价方法 |
CN109285176A (zh) * | 2018-10-08 | 2019-01-29 | 东南大学 | 一种基于正则化图割的大脑组织分割方法 |
CN109754361A (zh) * | 2017-11-02 | 2019-05-14 | 西门子保健有限责任公司 | 3d各向异性的混合网络:将来自2d图像的卷积特征传递到3d各向异性体积 |
CN110136145A (zh) * | 2019-05-17 | 2019-08-16 | 东北大学 | 基于多通道可分离卷积神经网络的mr脑部图像分割方法 |
CN110210513A (zh) * | 2019-04-23 | 2019-09-06 | 深圳信息职业技术学院 | 数据分类方法、装置及终端设备 |
US20190347767A1 (en) * | 2018-05-11 | 2019-11-14 | Boe Technology Group Co., Ltd. | Image processing method and device |
US20200034972A1 (en) * | 2018-07-25 | 2020-01-30 | Boe Technology Group Co., Ltd. | Image segmentation method and device, computer device and non-volatile storage medium |
CN110782427A (zh) * | 2019-08-19 | 2020-02-11 | 大连大学 | 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法 |
CN111161249A (zh) * | 2019-12-31 | 2020-05-15 | 复旦大学 | 一种基于域适应的无监督医学图像分割方法 |
CN111210416A (zh) * | 2020-01-07 | 2020-05-29 | 南京航空航天大学 | 一种解剖结构先验引导的大脑感兴趣区域快速分割方法及系统 |
EP3703007A2 (en) * | 2019-03-01 | 2020-09-02 | Siemens Healthcare GmbH | Tumor tissue characterization using multi-parametric magnetic resonance imaging |
CN112515653A (zh) * | 2020-10-09 | 2021-03-19 | 天津大学 | 一种基于核磁共振图像的脑网络构建方法 |
-
2021
- 2021-03-24 CN CN202110311045.0A patent/CN113160138B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130182931A1 (en) * | 2011-12-21 | 2013-07-18 | Institute of Automation, Chinese Academy of Scienc | Method for brain tumor segmentation in multi-parametric image based on statistical information and multi-scale struture information |
CN109754361A (zh) * | 2017-11-02 | 2019-05-14 | 西门子保健有限责任公司 | 3d各向异性的混合网络:将来自2d图像的卷积特征传递到3d各向异性体积 |
US20190347767A1 (en) * | 2018-05-11 | 2019-11-14 | Boe Technology Group Co., Ltd. | Image processing method and device |
CN108921228A (zh) * | 2018-07-12 | 2018-11-30 | 成都上工医信科技有限公司 | 一种眼底图像血管分割的评价方法 |
US20200034972A1 (en) * | 2018-07-25 | 2020-01-30 | Boe Technology Group Co., Ltd. | Image segmentation method and device, computer device and non-volatile storage medium |
CN109285176A (zh) * | 2018-10-08 | 2019-01-29 | 东南大学 | 一种基于正则化图割的大脑组织分割方法 |
EP3703007A2 (en) * | 2019-03-01 | 2020-09-02 | Siemens Healthcare GmbH | Tumor tissue characterization using multi-parametric magnetic resonance imaging |
CN110210513A (zh) * | 2019-04-23 | 2019-09-06 | 深圳信息职业技术学院 | 数据分类方法、装置及终端设备 |
CN110136145A (zh) * | 2019-05-17 | 2019-08-16 | 东北大学 | 基于多通道可分离卷积神经网络的mr脑部图像分割方法 |
CN110782427A (zh) * | 2019-08-19 | 2020-02-11 | 大连大学 | 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法 |
CN111161249A (zh) * | 2019-12-31 | 2020-05-15 | 复旦大学 | 一种基于域适应的无监督医学图像分割方法 |
CN111210416A (zh) * | 2020-01-07 | 2020-05-29 | 南京航空航天大学 | 一种解剖结构先验引导的大脑感兴趣区域快速分割方法及系统 |
CN112515653A (zh) * | 2020-10-09 | 2021-03-19 | 天津大学 | 一种基于核磁共振图像的脑网络构建方法 |
Non-Patent Citations (3)
Title |
---|
HANGYUANDU: "observation noise modeling based particle filter:an efficient algorithm for target tracking in glint noise environment", 《NEUROCOMPUTING》 * |
YUWANG: "image segmentation or brain MRI based on LTriDP and superpixel or improved SLIC", 《BRAIN SCIENCE》 * |
葛婷等: "基于softmax回归与图割法的脑肿瘤分割算法", 《电子学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113610808A (zh) * | 2021-08-09 | 2021-11-05 | 中国科学院自动化研究所 | 基于个体脑连接图的群体脑图谱个体化方法、系统和设备 |
CN113610808B (zh) * | 2021-08-09 | 2023-11-03 | 中国科学院自动化研究所 | 基于个体脑连接图的群体脑图谱个体化方法、系统和设备 |
CN114862823A (zh) * | 2022-05-26 | 2022-08-05 | 同心医联科技(北京)有限公司 | 区域分割方法及装置 |
CN114862823B (zh) * | 2022-05-26 | 2024-02-13 | 同心医联科技(北京)有限公司 | 区域分割方法及装置 |
CN115423894A (zh) * | 2022-11-04 | 2022-12-02 | 之江实验室 | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
CN115423894B (zh) * | 2022-11-04 | 2023-02-03 | 之江实验室 | 一种基于变分自编码器的磁共振加权图像合成方法和装置 |
WO2024119337A1 (zh) * | 2022-12-05 | 2024-06-13 | 中国科学院深圳先进技术研究院 | 脑网络统一表征计算方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113160138B (zh) | 2022-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113160138B (zh) | 一种脑部核磁共振图像分割方法及系统 | |
Edupuganti et al. | Uncertainty quantification in deep MRI reconstruction | |
US11449759B2 (en) | Medical imaging diffeomorphic registration based on machine learning | |
US11238975B2 (en) | Computer aided diagnosis system for classifying kidneys | |
US20220122250A1 (en) | Brain feature prediction using geometric deep learning on graph representations of medical image data | |
Meyer-Baese et al. | Pattern recognition and signal analysis in medical imaging | |
Shehata et al. | Computer-aided diagnostic system for early detection of acute renal transplant rejection using diffusion-weighted MRI | |
Van Leemput et al. | Automated segmentation of hippocampal subfields from ultra‐high resolution in vivo MRI | |
Zhao et al. | Deep learning of brain magnetic resonance images: A brief review | |
Mahanand et al. | Identification of brain regions responsible for Alzheimer’s disease using a Self-adaptive Resource Allocation Network | |
US20060104519A1 (en) | System and method for a contiguous support vector machine | |
US11341632B2 (en) | Method for obtaining at least one feature of interest | |
US11776679B2 (en) | Methods for risk map prediction in AI-based MRI reconstruction | |
US10504222B2 (en) | System, method and computer-accessible medium for obtaining and/or determining mesoscopic structure and orientation with fiber tracking | |
Attye et al. | TractLearn: A geodesic learning framework for quantitative analysis of brain bundles | |
Alsiddiky et al. | Vertebral tumor detection and segmentation using analytical transform assisted statistical characteristic decomposition model | |
Alogna et al. | Brain magnetic resonance imaging generation using generative adversarial networks | |
CN115063349A (zh) | 基于sMRI多维张量形态特征预测脑年龄的方法及装置 | |
Hamlomo et al. | Advancing Low-Rank and Local Low-Rank Matrix Approximation in Medical Imaging: A Systematic Literature Review and Future Directions | |
CN115251889B (zh) | 一种功能磁共振影像动态连接网络特征描述方法 | |
CN114693753B (zh) | 基于纹理保持约束的三维超声弹性配准方法及装置 | |
US20240312007A1 (en) | Pet image analysis and reconstruction by machine learning | |
Belanger | Registration of Three-Dimensional Cranial Ultrasound Images and Segmentations using Classical and Deep Learning Approaches | |
Aminmansour | Inferring Macroscopic Brain Connectomes via Group-Sparse Factorization | |
Santacruz | Diagnosis and prognosis of cardiovascular diseases by means of texture analysis in magnetic resonance imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |