CN113409324B - 一种融合微分几何信息的脑分割方法 - Google Patents

一种融合微分几何信息的脑分割方法 Download PDF

Info

Publication number
CN113409324B
CN113409324B CN202110796753.8A CN202110796753A CN113409324B CN 113409324 B CN113409324 B CN 113409324B CN 202110796753 A CN202110796753 A CN 202110796753A CN 113409324 B CN113409324 B CN 113409324B
Authority
CN
China
Prior art keywords
image
segmentation
data
brain
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110796753.8A
Other languages
English (en)
Other versions
CN113409324A (zh
Inventor
袁克虹
杜博雅
杨倩熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110796753.8A priority Critical patent/CN113409324B/zh
Publication of CN113409324A publication Critical patent/CN113409324A/zh
Application granted granted Critical
Publication of CN113409324B publication Critical patent/CN113409324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于微分几何信息的脑分割方法。该方法包括:对脑组织图像和脑肿瘤多模态图像进行标准化处理;基于微分几何知识,引入雅克比行列式和Laplace算子强调图像的边缘信息;采用数据增强技术增加训练数量后,在神经网络模型框架下进行图像分割。本发明在IBSR2018数据集和BraTS2018数据集上完成训练,Dice系数均较高,证明基于微分几何信息的分割框架,能够在组织和肿瘤分割上表现出较好的性能。

Description

一种融合微分几何信息的脑分割方法
技术领域
本发明涉及医学图像处理技术领域,更具体地,涉及一种融合微分几何信息的脑分割方法。
背景技术
脑功能成像一般选择核磁共振技术(MRI),这是由于MRI医学图像对密度差较小的软组织具有高对比度及空间分辨率,从而被广泛应用到脑部疾病分析中。MRI主要特点是能够将软组织、解剖结构和病变形态清晰显示,对病灶进行多方位及多序列成像,为临床诊断提供丰富的信息,并且相对于其他医学影像,MRI具有对人体电离辐射损伤小且无创等特点。然而,实际的大脑影像当中,灰质和白质强度差别小、对比度不高、沟回较多、运动伪影、部分容积效应等,导致最后的分割结果不够精确。所以脑部MRI图像的精准分割对医学诊断的意义重大。
图像分割是医学图像处理的关键和常用技术,在临床和科研方面得到广泛应用:例如病变过程可视化、手术规划、病灶识别和三维定位等。所谓分割,是指将目标特征从影像背景中提取出来,以便后续的临床测量与分析。深度学习方法在医学图像分割领域具有至关重要的作用,依靠神经网络强大的算力在影像目标的预测和分割上取得良好效果。
近几年,国内外的医学图像分割领域的研究主要分为两大类:基于传统的分割方法和基于深度学习的方法。传统的分割方法主要基于图像的几何、灰度、纹理等进行判断。常见的表征是灰度,主要包括阈值、区域、边界、聚类等信息,通过对灰度值的分布、大小的计算,来对分割目标进行判断。例如基于阈值的方法基础是不同组织间的灰度值大小不同,通过灰度值的大小对比,就可判定目标区域。在实际应用中,由于不同组织间对比度低,图像上就表现为灰度值接近和纹理特征类似,这导致传统方法的分割结果不够精确。最近随着硬件进步,出现许多基于深度学习的框架,使得分割算法显著提高了运行速度和分割精度,主要有两种方法:1)利用卷积神经网络(Convolutional Neural Networks,CNN)提取分割所需的全局和局部特征;2)利用全卷积网络(Fully Convolutional Networks,FCN)对全尺寸图像进行像素级预测,对传统方法的定位性能进行迭代。根据深度学习的种类划分,可以划分为基于监督学习的分割与基于非监督学习的分割两大类方法。然而目前基于深度学习方法进行图像分割的技术方案,由于图像通常灰度不均匀、边缘不明显等,仍存在分割效果不佳的问题。
发明内容
本发明目的是克服现有技术缺陷,提供一种融合微分几何信息的脑分割方法,该方法包括:
步骤S1:对MR图像集进行标准化预处理,其中,所述MR图像集包括T1加权的脑部正常组织MR图像集或脑部肿瘤多模态MR图像集;
步骤S2:在MR图像集的预处理结果中引入雅克比行列式和Laplace算子,以通过微分几何处理强调图像边缘信息;
步骤S3:对经微分几何处理MR图像集进行数据增强,获得增强数据集;
步骤S4:利用所述增强的数据集训练神经网络模型,实现图像分割并将分割结果进行重建,进而输出对分割结果的预测。
与现有技术相比,本发明的优点在于,基于神经网络框架,提出一种引入微分几何信息的分割网络,充分利用图像的组织边缘信息,提升网络的分割精度。本发明构建的脑部组织和肿瘤分割网络可以达到更好的性能,帮助医生分析病情、减少误判,在疾病诊断和治疗中具有重大意义。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图,示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的改进的Unet网络结构示意图;
图2是根据本发明一个实施例的脑组织Unet分割实验流程图;
图3是根据本发明一个实施例的脑组织Unet分割结果图像;
图4是根据本发明另一实施例的脑肿瘤分割实验流程图;
图5是根据本发明另一个实施例的脑肿瘤分割结果示意图;
图6是根据本发明另一个实施例的脑肿瘤数据标签可视化图像;
图7是根据本发明另一个实施例的数据增强效果图;
附图中,Max Pooling-最大池化;Upsampling-上采样;Pooling-池化;2DUnet-二维Unet。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
简言之,本发明提供的融合微分几何信息的脑分割方法包括:步骤S110,对N1套T1加权的脑部正常组织MR图像集进行灰度标准化、直方图匹配与均衡等预处理;对N2套脑部肿瘤多模态MR图像集进行标准化和剪裁等预处理,消除过亮或过暗的不均匀灰度值对分割的不良影响;步骤S120,在脑部正常组织MR图像集及肿瘤多模态MR图像集的预处理结果中引入雅克比行列式和Laplace算子,强调图像边缘信息,完成微分几何处理;步骤S130,使用翻转、旋转、缩放和移位等技术,对数据集数据实现数据增强,从而扩充神经网络模型训练中有效训练数据的数量;步骤S140,训练神经网络模型,以实现对图像的分割和重建,最终输出即为对分割结果的预测。例如,对于脑部正常组织MR图像可实现对灰质、白质、脑脊液等的精确分割,对于多模态脑部肿瘤图像可实现整个肿瘤、增强肿瘤和肿瘤核心等的分割。
上述步骤S110的预处理过程可以实现图像的归一化并初步消除MR图像中噪声,以提高后续图像分割的精确性和效率。
例如,对于N1套T1加权的脑部MR图像集,以及N2套多模态的脑部肿瘤MR图像集,采纳Z-score数据标准化方法,具体包括:
使用原始数据的均值和标准差,将数据按比例缩放在小的固定区间内,从而将数据转化为符合正态分布的纯数值,消除对数据单位的限制。该方法的变换函数为:
Figure BDA0003163065470000041
其中,定义μ为样本的均值,σ为样本的标准差
例如,直方图匹配与均衡是将MR图像变成相同的归一化的均匀直方图,然后以均匀直方图为媒介,再对参考图像做均匀化的逆运算。直方图均衡的具体算法包括:读取原始图像信息,并将其转化为灰度直方图像,得到图像的矩阵信息;统计不同灰度的频数,计算得到灰度的概率分布累积函数;将累积分布函数进行均衡化;将均衡化后的分布函数作用于原始图像,将其均一化。
下文将以具体的实施例,重点描述本发明提出的融合微分几何信息的过程。例如,以18个医学标准图像数据集,验证使用雅克比行列式、Laplace算子引入边缘信息,能够在IBSR数据集上有效提高脑组织中灰质、白质、脑脊液的分割精度。又如,以Unet为基础框架,通过雅克比行列式、Laplace算子引入基于微分几何的边缘信息,用于脑组织图像和多模态脑部肿瘤图像的分割,在IBSR2018和BraTS2018数据集上完成验证。
一、雅克比行列式
本发明提供将脑部影像的边缘信息体现在雅克比行列式当中的方法。具体而言,在向量微分几何学当中,雅克比矩阵是向量对应的函数的一阶偏导数按照一定的方式形成的矩阵。如果这个矩阵表现为方阵,就可以成为雅克比行列式。
在数学上,可以进行如下的定义:假设函数f可以将一个n维度向量
Figure BDA0003163065470000051
Figure BDA0003163065470000052
变成一个m维向量f(x),f(x)∈Rm,其中f是由m个实函数组成的函数。则函数的雅克比矩阵Jf可以定义为:
Figure BDA0003163065470000053
对于其中的单个元素,可以定义为:
Figure BDA0003163065470000054
对于图像,可以假定函数f(x)是一个二维空间到二维空间的变换,灰度值表现为每一个位置的函数值,灰度值会随着位置信息在x和y方向分别进行变化,计算其雅克比矩阵的函数为:
Figure BDA0003163065470000055
图像这种二维空间,分别对于x方向和y方向求偏导,即可求出在每个方向上灰度值变化,在医学图像上,不同组织的边缘部分会有一定的区分度,因此灰度值变化较为显著,该变化就能够体现在雅克比行列式当中,求解图像的雅克比行列式即可看出灰度值的变化趋势。因此图像的雅克比矩阵当中会包含相当多的边缘信息。
二、Laplace算子
Laplace算子可以通过微分正峰和负峰的过零点,来确定陡峭的边缘以及缓慢变化的边缘,由于这种对边缘变化敏感的特性,该方法在边缘检测方面广泛应用。Laplace算子是n维欧式空间的一个二阶微分算子,定义为梯度的散度,是最为简单的各向同性微分算子,具有旋转不变形。一个二维函数的Laplace变换是各向同性的二阶导数。为了更加适合数字图像处理,可以将该函数转变为离散的形式。
离散函数的导数退化成差分,其中一维一阶差分公式和二阶差分公式分别表示为:
Figure BDA0003163065470000061
Figure BDA0003163065470000062
分别对Laplace算子的x,y两个方向的二阶导数进行差分就得到了离散函数的Laplace算子,因此对于一个二维函数f(x,y),x,y两个方向上的二阶差分分别表示为:
Figure BDA0003163065470000063
Figure BDA0003163065470000064
计算得到Laplace算子的差分形式为:
Figure BDA0003163065470000065
写成空间滤波器的形式则为:
Figure BDA0003163065470000066
可以使用该空间滤波器直接对图像进行操作,具体的操作形式与其他的滤波器基本一致,将其在原图上逐行移动,其数值与重叠像素相乘求和,赋值给中心点的像素即可。
由于图像边缘就是那些灰度信息发生跳变的区域,从算子当中也可以看出,对于一个位置的像素点,如果其灰度值与该像素的上下左右四个方位的像素值非常接近,则计算得到的该点的新像素值接近于0,因此可以很明显的得到相较于像素出现变化的区域,Laplace锐化模板在边缘部分非常敏感。
三、构建图像数据集
在一个实施例中,实验中主要采用IBSR2018数据集和BraTS2018数据集。IBSR2018数据集包含来自18套健康人群的T1序列的脑部MR图像集,可当作组织量化和分割评估的标准。18套数据中包含10套训练集、5套验证集和3套测试集,其中训练和验证数据具有相应的ground truth(真实标注)。数据是带有分割标注的T1模态的3D数据,由1.5T核磁机器扫描产生,且均已经进行偏移场矫正和头骨剥离的预处理,能够方便后续的图像预处理和网络分割工作。该数据集提供3种标注:脑部灰质(GM,Gray matter)、白质(WM,White matter)、脑脊液(CSF,Cerebrospinal fluid),背景部分标注为0,可以直接根据标注的label进行网络计算,得到目标结果。
BraTS2018数据集包含来自285套多模态的神经胶质瘤MR数据,其中包含t1,t2,flair和t1ce四种模态。例如,需要分割三个部分:whole tumor(WT,整个肿瘤),enhancetumor(ET,增强肿瘤),和tumor core(TC,肿瘤核心)。在实验中,MR图像为四个模态的数据,其中每一个模态当中包含有155张图片,每张图片的尺寸为240×240,实验时对四个模态的数据分别进行读取。
四、构建图像分割模型
图像分割模型可采用多种类型的神经网络模型。在一个实施例中,图像分割以Unet模型为框架。Unet是一种基于全卷积神经网络(Full Convolutional networks,FCNs)的改进的语义分割网络,主要包含两个部分,分别是编码层和解码层,编码层作用是进行特征提取,将特征压缩成特征组成的特征图。解码层结构的作用是进行上采样,进行扩展路径,将提取到的特征图解码到与原图像尺寸一致的分割预测图像。
对于最终目标是在三维脑部肿瘤MR图像进行分割的场景,考虑在多模态数据下Z轴包含的相关图像信息,对2DUnet网络原始结构进行适用性调整,如图1所示。在最后一层采用4个1×1的卷积,用Softmax激活,将输出的通道数目转换到与需要分割的组织数目相同,便于同时输出脑脊液(Cerebrospinal fluid,CSF)、灰质(Gray matter,GM)、白质(White matter,WM)和背景四种组织的分割目标。
五、评估标准
在一个实施例中,采用Dice系数(DSC)作为分割结果的评估指标,该系数是医学图像分割当中最常用的评价指标,除了比较分割区域与实际区域的匹配程度,还能反应可重复性。DSC取值范围在0到1之间,数值越接近于1,说明两个集合之间的相似度越高,分割的结果越好,反之则表示分割的结果越差,公式如下:
Figure BDA0003163065470000081
其中,TP表示真阳性,FP表示假阳性,FN表示假阴性。
对于需要分割出4块目标区域的情况,需要对每一部分目标区域进行计算,因此损失函数表示为:
Figure BDA0003163065470000082
六、评估结果
通过IBSR2018数据集和BraTS2018数据集的网络分割结果,分别验证本发明将微分几何信息用于脑组织分割和脑肿瘤分割上的效果。
在IBSR2018数据集上,首先对输入原始图像做灰度标准化、直方图匹配、直方图均衡等预处理,并分别设置不增加几何信息、增加雅克比处理(标记为Unet+JD)、增加Laplace(标记为Unet+Laplace)处理后三个部分作对比实验,使用Unet框架对处理后数据进行分割,将预测的分割结果作为网络最终输出。实验流程如图2所示,微分几何处理结果显示在图3中,实验结果如表1。可以看出,在不改变其他实验条件的情况下,增加雅克比行列式信息和增加Laplace算子信息有效提高了灰质、白质、脑脊液的分割精度。
表1融合微分几何的Unet分割脑组织结果(评估指标:Dice系数)
Figure BDA0003163065470000083
对于BraTS2018中,首先将数据进行z-score标准化,消除不均匀灰度值及无标签数据切片对后续图像分割的不良影响;将各模态数据进行切片,数据标签可视化如图6,将没有分割标签的数据舍弃;在微分几何处理部分,将得到的切片数据进行计算,分别得到JD图像和Laplace图像;通过数据增强技术处理,提高网络训练当中有效数据的数量后,输入Unet网络进行分割,实验流程如图4所示。
在一个实施例中,对于多模态的脑部肿瘤MR图像集进行数据标签处理包括:
先对各个模态的数据进行切片,将没有分割标签的数据舍弃,然后将所有模态拼接在一起作为四通道的输入。
对图像mask做类似的标签处理,需要分割的3个部分WT、ET、TC与标签对应关系如下:
WT=ED+ET+NET (13)
TC=ET+NET (14)
其中,NET为坏疽-标签1、ED为浮肿区域-标签2、ET为增强肿瘤区域-标签4,以及1个背景部分-标签0。对于WT、TC、ET的训练,其实是读取对应标签,对单个目标分别训练,因此在最后输入层,只出现一个目标的预测图像。
在一个实施例中,数据增强包括通过翻转、旋转、缩放、位移原图像数据集获得增强的数据集。如图7所示,增强数据与原始图像的形状基本一致,只是略有区别,神经网络能够将其判定成为不同的图像,因此可以作为训练的有效新数据,以提高模型分割精度。
肿瘤分割结果如图5和表2所示。实验结果表明,本发明能够有效进行多模态脑部肿瘤数据集的分割。
表2融合几何信息的Unet脑肿瘤分割结果(评估指标:Dice系数)
Figure BDA0003163065470000091
相应地,本发明还提供一种融合微分几何信息的脑分割系统,用于实现上述方法的一个方面或多个方面,例如,该系统包括:预处理单元,其用于对MR图像集进行标准化预处理,其中,所述MR图像集包括T1加权的脑部正常组织MR图像集或脑部肿瘤多模态MR图像集;微分几何处理单元,其用于在MR图像集的预处理结果中引入雅克比行列式和Laplace算子,以通过微分几何处理强调图像边缘信息;数据增强单元,其用于对经微分几何处理MR图像集进行数据增强,获得增强数据集;分割预测单元,其用于利用所述增强的数据集训练神经网络模型,实现图像分割并将分割结果进行重建,进而输出对分割结果的预测。在该系中,涉及的各单元可采用软件、专用硬件或FPGA等实现。
需说明的是在不违背本发明精神和范围的情况下,本领域技术人员可对上述实施例进行适当的改变或变型,例如,实现更多或更少目标区域的分割,或采用其他的损失函数训练神经网络模型等。此外,本发明对神经网络模型中卷积层的数目、卷积核大小等不进行限制。
综上所述,本发明利用神经网络模型,优选改进了的Unet模型,使用雅克比行列式和Laplace算子引入了边缘信息,探究微分几何信息对模型的影响。在IBSR2018数据集上的分割结果显示,本发明能有效改进分割精度。将该分割方法拓展用于多模态的脑部肿瘤数据,在多模态数据BraTS2018上,同样实现脑部肿瘤的有效分割,结果显示添加几何信息对于肿瘤的分割精度能够起到一定的提升作用。利用本发明可以帮助医生分析病情、减少误判。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言-诸如Smalltalk、C++等,以及常规的过程式编程语言-诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (9)

1.一种融合微分几何信息的脑分割方法,包括以下步骤:
步骤S1:对MR图像集进行标准化预处理,其中,所述MR图像集包括T1加权的脑部正常组织MR图像集或脑部肿瘤多模态MR图像集;
步骤S2:在MR图像集的预处理结果中引入雅克比行列式和Laplace算子,以通过微分几何处理强调图像边缘信息;
步骤S3:对经微分几何处理MR图像集进行数据增强,获得增强数据集;
步骤S4:利用所述增强数据集训练神经网络模型,实现图像分割并将分割结果进行重建,进而输出对分割结果的预测;
其中,在步骤S2中,对于一幅MR图像,根据以下步骤执行微分几何处理:
步骤S21,将一幅MR图像视为一个二维空间到二维空间的变换函数f(x),灰度值表现为每一个位置的函数值,灰度值随着位置信息在x和y方向分别进行变化,计算雅克比矩阵的函数表示为:
Figure FDA0003998274000000011
其中Jf(x,y)代表图像函数的雅克比矩阵,该矩阵中的元素是分别对于x方向和y方向求偏导,用于反映每个方向上的灰度值变化趋势;
步骤S22,将一幅MR图像视为二维欧式空间的一个二阶微分算子,分别对Laplace算子的x,y两个方向的二阶导数进行差分,得到离散函数的Laplace算子,对于一个二维函数f(x,y),x,y两个方向上的二阶差分分别表示为:
Figure FDA0003998274000000012
Figure FDA0003998274000000013
计算得到Laplace算子的差分形式表示为:
Figure FDA0003998274000000021
写成空间滤波器的形式为:
Figure FDA0003998274000000022
将该空间滤波器在原MR图像上逐行移动,其数值与重叠像素相乘求和,赋值给中心点的像素。
2.根据权利要求1所述的方法,其特征在于,在步骤S1中,对MR图像集进行标准化预处理是采用Z-score数据标准化,将数据按比例缩放在固定区间内,并将数据转化为符合正态分布的纯数值,变换函数表示:
Figure FDA0003998274000000023
其中,μ为样本的均值,σ为样本的标准差。
3.根据权利要求1所述的方法,其特征在于,在步骤S1中,当MR图像集是T1加权的脑部正常组织MR图像集时,还包含直方图匹配与均衡预处理过程,执行以下步骤:
读取原始图像信息,并将其转化为灰度直方图像,得到图像的矩阵信息;
统计不同灰度的频数,计算得到灰度的概率分布累积函数;
将累积分布函数进行均衡化;
将均衡化后的分布函数作用于原始图像,将其均一化。
4.根据权利要求1所述的方法,其特征在于,在步骤S1中,当MR图像集是脑部肿瘤多模态MR图像集时,根据以下步骤进行数据标签处理:
对各个模态的数据进行切片,将没有分割标签的数据舍弃,并将所有模态拼接在一起作为所述神经网络模型多通道的输入;
将所分割的整个肿瘤、增强肿瘤和肿瘤核心与标签对应关系表示为:
WT=ED+ET+NET
TC=ET+NET
其中,NET为坏疽-标签1,ED为浮肿区域-标签2,ET为增强肿瘤区域-标签4,背景部分-标签0,WT表示整个肿瘤。
5.根据权利要求1所述的方法,其特征在于,所述神经网络模型采用Unet的U型结构和层级,包括多次下采样和对应的多次上采样,且最后一层的卷积处理设置为:先使用N个1×1的卷积,然后再使用soft-max函数激活,以改变输出的通道数为N,其中N等于所需分割出的目标区域数目。
6.根据权利要求1所述的方法,其特征在于,采取Dice系数作为损失函数训练所述神经网络模型。
7.根据权利要求1所述的方法,其特征在于,在步骤S3中,通过翻转、旋转、缩放、位移MR图像集获得增强的数据集。
8.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现根据权利要求1至7中任一项所述方法的步骤。
9.一种计算机设备,包括存储器和处理器,在所述存储器上存储有能够在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法的步骤。
CN202110796753.8A 2021-07-14 2021-07-14 一种融合微分几何信息的脑分割方法 Active CN113409324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110796753.8A CN113409324B (zh) 2021-07-14 2021-07-14 一种融合微分几何信息的脑分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110796753.8A CN113409324B (zh) 2021-07-14 2021-07-14 一种融合微分几何信息的脑分割方法

Publications (2)

Publication Number Publication Date
CN113409324A CN113409324A (zh) 2021-09-17
CN113409324B true CN113409324B (zh) 2023-03-24

Family

ID=77686466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110796753.8A Active CN113409324B (zh) 2021-07-14 2021-07-14 一种融合微分几何信息的脑分割方法

Country Status (1)

Country Link
CN (1) CN113409324B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463351B (zh) * 2022-02-14 2023-01-31 深圳市医未医疗科技有限公司 一种脑部影像数据处理方法与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN111696072A (zh) * 2020-04-23 2020-09-22 西安电子科技大学 彩色图像的直线检测方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679352B2 (en) * 2016-11-07 2020-06-09 Institute Of Automation, Chinese Academy Of Sciences Method for automatic segmentation of brain tumors merging full convolution neural networks with conditional random fields
CN109087318A (zh) * 2018-07-26 2018-12-25 东北大学 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
CN109685804B (zh) * 2019-01-04 2021-04-23 清华大学深圳研究生院 一种多通道头部磁共振成像组织分割方法
CN112862805B (zh) * 2021-03-04 2022-12-06 同济大学 听神经瘤图像自动化分割方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN111696072A (zh) * 2020-04-23 2020-09-22 西安电子科技大学 彩色图像的直线检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113409324A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN109410219B (zh) 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
US11200424B2 (en) Space-time memory network for locating target object in video content
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
CN111932529B (zh) 一种图像分类分割方法、装置及系统
Öztürk et al. Cell‐type based semantic segmentation of histopathological images using deep convolutional neural networks
US20170294014A1 (en) Image processing used to estimate abnormalities
CN112862830B (zh) 一种多模态图像分割方法、系统、终端及可读存储介质
CN116664605B (zh) 基于扩散模型和多模态融合的医学图像肿瘤分割方法
CN112634192B (zh) 一种结合小波变换的级联U-N Net脑肿瘤分割方法
EP4141790A1 (en) Method, device and system for automated segmentation of prostate in medical images for tumor detection
Jaffar et al. Anisotropic diffusion based brain MRI segmentation and 3D reconstruction
CN110782427A (zh) 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
Shahedi et al. Segmentation of uterus and placenta in MR images using a fully convolutional neural network
Sarica et al. A dense residual U-net for multiple sclerosis lesions segmentation from multi-sequence 3D MR images
Qayyum et al. Automatic segmentation using a hybrid dense network integrated with an 3D-atrous spatial pyramid pooling module for computed tomography (CT) imaging
CN113409324B (zh) 一种融合微分几何信息的脑分割方法
Yang et al. A neural ordinary differential equation model for visualizing deep neural network behaviors in multi‐parametric MRI‐based glioma segmentation
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
Wu et al. Continuous refinement-based digital pathology image assistance scheme in medical decision-making systems
CN113724267A (zh) 一种乳腺超声图像肿瘤分割方法及装置
CN115546270A (zh) 多尺度特征融合的图像配准方法、模型训练方法及设备
JP7376729B2 (ja) 符号付き距離マップの予測による形状認識臓器セグメンテーション
El-Shafai et al. Traditional and deep-learning-based denoising methods for medical images
Khan et al. Segmentation of prostate in MRI images using depth separable convolution operations
Mancas et al. Applications of saliency models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant