CN111932549B - 一种基于sp-fcn的mri脑肿瘤图像分割系统及方法 - Google Patents

一种基于sp-fcn的mri脑肿瘤图像分割系统及方法 Download PDF

Info

Publication number
CN111932549B
CN111932549B CN202010597350.6A CN202010597350A CN111932549B CN 111932549 B CN111932549 B CN 111932549B CN 202010597350 A CN202010597350 A CN 202010597350A CN 111932549 B CN111932549 B CN 111932549B
Authority
CN
China
Prior art keywords
tumor
image
blocks
super
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010597350.6A
Other languages
English (en)
Other versions
CN111932549A (zh
Inventor
王晶晶
张春慧
杜勇涛
于子舒
栾振业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202010597350.6A priority Critical patent/CN111932549B/zh
Publication of CN111932549A publication Critical patent/CN111932549A/zh
Application granted granted Critical
Publication of CN111932549B publication Critical patent/CN111932549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提出一种基于SP‑FCN的MRI脑肿瘤图像分割系统及方法，通过超像素方法提取不同模态的脑肿瘤图像的特征，得到不同模态下的ROI分割结果，将不同模态的ROI图像作为FCN的输入数据，进行数据融合，得到最终的分割结果，通过不同模态的ROI图像作为输入不仅减少了数据的计算量，还使得最后的结果更加精确；同时，采用多模态图像融合会比单个模态图像更容易捕捉白质病变图像的差异，多重配准可以提高算法的稳定性。

Description

一种基于SP-FCN的MRI脑肿瘤图像分割系统及方法
技术领域
本公开属于医学图像处理与深度学习领域，尤其涉及一种基于SP-FCN的MRI脑肿瘤图像分割系统及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
关于MRI脑肿瘤图像分割方法的应用，在医学领域的发展都相对成熟。随着人们生命安全意识的提高以及医学图像处理技术在模式识别、物理和计算机等领域的广泛应用，在脑肿瘤图像分割精度和速度方面，都提出了较高的要求。因此，要实时准确地实现脑肿瘤图像的分割，达到脑肿瘤图像分割的要求，必须要建立一种高效、准确的基于SP-FCN的脑肿瘤图像分割方法，有效的减少分割时间，提高MRI脑肿瘤图像分割的准确率，为医学领域提供实时、准确的脑肿瘤分割方法，以便于医学工作人员及时发现问题，提前做出决策。
发明人发现，现有技术中，针对MRI脑肿瘤图像分割问题，主要是利用深度学习算法实现，一般的处理流程是先对图像进行预处理，提取有用特征，最后根据提取的特征训练模型实现分割；对于MRI脑肿瘤图像分割问题，常用的方法有基于区域、基于阈值和基于边缘检测等分割方法，基于区域的分割方法对于噪音比较敏感，基于阈值的分割方法在选取最佳阈值时是一个难点，基于边缘检测的分割方法分割精度低，此外，由于MRI图像复杂多变，在提取图像特征的过程中，可能出现图像内组织对比度低、伪影干扰的情况，从而影响到后续图像分割的准确率；同时，对于MRI脑肿瘤图像分割问题，传统的卷积神经网络虽然具有很好的泛化能力，但是在模型训练过程中收敛速度太慢，导致训练时间过长，此外还存在容易陷入局部极小值、收敛速度慢、对初始设置的参数依赖性很强等问题，特别是对于一些深度的神经网络，有可能出现梯度爆炸或者梯度消失等情况。
发明内容
本公开为了解决上述问题，提出了一种基于SP-FCN的MRI脑肿瘤图像分割系统及方法，通过超像素方法提取不同模态MRI脑肿瘤图像的特征，并通过FCN网络对多种模态的ROI区域进行融合，有效提高了脑肿瘤图像区域的分割精度。
根据本公开实施例的第一个方面，提供了一种基于SP-FCN的MRI脑肿瘤图像分割系统，包括：
图像采集模块，用于利用核磁共振仪获取同一样本不同模态的MRI脑肿瘤图像，并将脑肿瘤图像区域划分为大小相等的图像块；
超像素计算模块，用于对所述图像块进行超像素计算；
超像素分割模块，用于基于图像块的超像素结果进行光谱聚类，对超像素进行分割，获得肿瘤超像素和非肿瘤超像素；
肿瘤图像识别模块，用于在原始MRI脑肿瘤图像中识别出肿瘤超像素所在的图像块，得到不同模态MRI脑肿瘤图像的ROI图像；
肿瘤图像分割模块，用于将不同模态的ROI图像输入FCN网络模型进行图像融合，获得肿瘤区域分割结果。
进一步的，所述肿瘤识别模块根据获得的肿瘤超像素结果，在原始图像中识别出肿瘤超像素所在的图像块，考虑到肿瘤可以通过肿瘤块进行扩张，因此需要对肿瘤图像块的相邻块进行识别，获取完整的肿瘤图像块。
进一步的，所述肿瘤图像块的相邻块的识别包括：
计算每个肿瘤图像块及其相邻块的LBP直方图，通过直方图计算肿瘤图像块与其相邻块的相似度，当相似度结果超过设定阈值时，该相邻块被认定为肿瘤块，以该肿瘤快为中心继续进行相邻块的识别操作，直到所有肿瘤块与其相邻块之间不存在相关性。
根据本公开实施例的第二个方面，提供了一种基于SP-FCN的MRI脑肿瘤分割方法，包括：
获取同一样本不同模态的MRI脑肿瘤图像，并将脑肿瘤图像区域划分为大小相等的图像块；
对所述图像块进行超像素计算；
基于图像块的超像素结果进行光谱聚类，对超像素进行分割，获得肿瘤超像素和非肿瘤超像素；
在原始MRI脑肿瘤图像中识别出肿瘤超像素所在的图像块，得到不同模态MRI脑肿瘤图像的ROI；
将不同模态的ROI输入FCN网络模型进行图像融合，获得肿瘤区域分割结果。
根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于SP-FCN的MRI脑肿瘤分割方法。
根据本公开实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于SP-FCN的MRI脑肿瘤分割方法。
与现有技术相比，本公开的有益效果是：
(1)本公开所述方案通过采用超像素方法得到感兴趣区域，将多种模态(即FLAIR、T1-c、T1-w、T2-w四种模态)的图像用超级像素方法进行处理提取出整幅图像的特征，得到四种模态的ROI分割结果。此时得到的ROI是二值图像，所以需要借助MATLAB对二值图像进行处理，在原始图像中还原出原图的感兴趣区域。
(2)通过将得到的感兴趣区域送入FCN网络中进行分割，将四种模态的ROI图像作为FCN的输入数据，在FCN中进行处理，以四种模态的ROI图像作为输入不仅减少了数据的计算量，还使得最后的结果更加精确。
(3)通过利用多模态概率标签融合算法进行多模态融合，多模态图像融合会比单个模态图像更容易捕捉白质病变的解剖差异，多重配准可以提高算法的稳定性。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本公开实施例一中所述的基于SP-FCN的MRI脑肿瘤分割算法的步骤流程图；
图2是本公开实施例一中所述的建立基于SP的脑肿瘤预分割算法流程图；
图3是本公开实施例一中所述的FCN神经网络的结构示意图；
图4是本公开实施例一中所述的对五组MRI脑肿瘤进行分割的结果展示图；
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一：
本实施例的目的是提供一种基于SP-FCN的MRI脑肿瘤分割方法。
本实施案例选用的数据集一共有400个样本，用作训练的样本总数为300，用作测试的样本总数为100，如图1所示，展示了基于SP-FCN的MRI脑肿瘤分割算法整体流程，一种基于SP-FCN的MRI脑肿瘤分割方法，包括：
获取同一样本不同模态的MRI脑肿瘤图像，并将脑肿瘤图像区域划分为大小相等的图像块；
对所述图像块进行超像素计算；
基于图像块的超像素结果进行光谱聚类，对所述图像块的超像素进行分割，获得肿瘤超像素和非肿瘤超像素；
在原始MRI脑肿瘤图像中识别出肿瘤超像素所在的图像块，获得不同模态MRI脑肿瘤图像的ROI；
将不同模态的ROI图像输入FCN网络模型进行图像融合，获得肿瘤区域分割结果。
具体的，
(1)超像素的计算，通过集中趋势值CTV进行计算，具体的：
a.均值计算CTV：
Figure BDA0002557822440000051
式中，其中i＝1，2，...，m，表示为图像I的第i块。
Figure BDA0002557822440000052
表示图像I第i个块Bi的第j个像素值。j＝1，2，...，n，表示为图像I中第i块的第j个像素。
b.中位值计算CTV：
使用中位Medi计算CTV，表示第i块Bi的中位值，计算如下
第一步：对给定图像I的第i个块Bi的像素值排序.
第二部：对块Bi中的像素值进行排序后，利用中位数Medi计算出的CTV，公式如下：
Figure BDA0002557822440000053
其中n＝1,2,…,m,表示第i个块Bi的像素数量。
Figure BDA0002557822440000054
表示图像I中第i个块Bi的第/>
Figure BDA0002557822440000055
个像素的像素值，/>
Figure BDA0002557822440000056
表示第/>
Figure BDA0002557822440000057
个像素的像素值，其中i＝1,2,...,m，表示为图像I的第i块。
c.众数值计算CTV：
使用Modei计算得到的CTV表示图像I的第i块Bi的mode值，公式如下：
Modei＝在图像I的第i块Bi中频繁出现的像素值Pi
其中i＝1,2,...,m，m是图像I的若干块。
所述集中趋势值的计算包括以上三种方式，本实施例中采用方案a中的均值来表示集中趋势值，并通过计算每个图像块的集中趋势值来表示该图像块的超像素值。
(2)超像素的分割：
对图像块的超像素进行光谱聚类，对超像素进行分割，得到肿瘤超像素和非肿瘤超像素。
(3)肿瘤块的识别：
在原始图像中识别出肿瘤超像素所在的图像块，因为肿瘤可以通过肿瘤块扩张，从原始图像中选取与肿瘤块特征相似的相邻块来表示ROI；
(4)肿瘤相邻块的识别：
Figure BDA0002557822440000061
式中，对于一个像素(x,y),LBPs,r是一个半径为r的圆上的s个邻居。f(x,y)是对称的邻域像素的灰度值,f(xp,yp)代表中心像素的灰度值。
Figure BDA0002557822440000062
函数g(w)给出阈值函数，其中w＝f(x，y)-f(xp-yp)，然后计算块的十进制值直方图。直方图是最佳规范化的。将块的直方图连接起来表示特征向量。在该方法中，将肿瘤块的LBP直方图与相邻的8个肿瘤块进行比较，形成ROI。在前面步骤中确定的肿瘤块被认为是中心块。中心块有八个相邻肿瘤块(N1，N2，...，N8)，相邻块和中心块的灰度直方图的相似度使用Bhattacharya(BC)相似度度量确定，如下式所示：
BC(H(T),H(Ni))＝∑H(T)*H(Ni)
其中H(T)表示肿瘤块的直方图，H(Ni)表示第i个相邻块N的直方图。其中i＝1，2，...，8。
较大的BC系数表示相似的直方图，反之亦然。如果区域相似，则新区域标记为肿瘤区域。重复相邻块或相邻块的识别操作，直到相邻块与肿瘤块之间不存在相似性。最后，将得到的区域标记为ROI。
(5)ROI的分割：
光谱聚类直接应用于ROI，用ROI中所有的像素值构造光谱聚类方法中的相似矩阵，这极大提高了处理速度和分割精度。该聚类方法是一种无监督的基于图像的聚类方法。谱聚类通过分解拉普拉斯矩阵的特征向量和特征值对数据(簇)进行分组。该图表示为相似矩阵S，S的第i行和第j行由下面公式给出：
Figure BDA0002557822440000071
其中，Ii和Ij表示图像中的第i和j个超像素，d(Ii,Ij)表示像素Ii和Ij之间的欧几里得距离，σ＝1是用于控制邻域强度水平的加权图符号。
之后将相似矩阵转换为归一化的拉普拉斯矩阵，以进行特征向量的分解，最后使用k-means算法将最大的k个特征向量聚类以获得原始信息的聚类。
(6)FCN模型：
Figure BDA0002557822440000072
式中，I表示输入图片，K表示卷积核。
f(x)＝max(0,x)
上式为ReLU激活函数模型，该函数的提出极大的改善了BP算法梯度耗散问题，ReLU并不需要输入归一化来防止它们达到饱和。
全连接层公式如下列三个公式所示，其中，x1、x2、x3为全连接层的输入，a1、a2、a3为输出，wi,j表示每个权重，i表示第i个输入，j表示第j个输出，b1,b2,b3表示偏置系数。
a1＝w11*x1+w12*x2+w13*x3+b1
a1＝w21*x1+w22*x2+w23*x3+b2
a1＝w31*x1+w32*x2+w33*x3+b3
Softmax函数是常见的归一化函数，假设一个多分类任务是T分类，那么softmax的输入是一个T*1的向量，输出也是T*1的向量(这个向量的每个值表示这个样本属于每个类的概率)，只是输出的向量的每个值的大小范围为0到1。
公式如下式所示：
Figure BDA0002557822440000081
卷积层参数更新如以下两式所示：
Figure BDA0002557822440000082
Figure BDA0002557822440000083
池化层参数更新如以下两式所示：
Figure BDA0002557822440000084
Figure BDA0002557822440000085
全连接层网络参数更新如下式所示：
Figure BDA0002557822440000086
其中，网络参数学习率τ值需要在训练过程中以实际情况调节，如果E一直是发散状态，那么就需要将τ值调小；如果训练过程的效率很低，速度较慢，那么需要将τ值调大。
将原始数据用超级像素方法进行预分割得到感兴趣区域，然后将得到的感兴趣区域图像作为FCN的输入，在该网络中进行训练出模型，利用测试集样本对模型进行测试，实现MRI脑肿瘤的分割分割，得到分割结果，完成基于SP-FCN的MRI脑肿瘤图像分割算法。
为了验证本发明对MRI脑肿瘤图像分割的准确性，对本发明进行了五组病人数据的分割实验，实验结果如图4所示。由图4可知，本发明所建立的基于SP-FCN的MRI脑肿瘤分割的准确率均保持在90％以上，能够在保证稳定性的基础上达到较高的准确率，分割效果良好。这表明本发明建立的基于SP-FCN的MRI脑肿瘤分割方法是有效的，为建立精确MRI脑肿瘤分割模型提供了更好的方法，具有一定的实用性。
实施例二：
本实施例的目的是提供一种基于SP-FCN的MRI脑肿瘤分割系统。
一种基于SP-FCN的MRI脑肿瘤分割系统，包括：
图像采集模块，用于利用核磁共振仪获取同一样本不同模态的MRI脑肿瘤图像，并将脑肿瘤图像区域划分为大小相等的图像块；
超像素计算模块，用于对所述图像块进行超像素计算；
超像素分割模块，用于基于图像块的超像素结果进行光谱聚类，对超像素进行分割，获得肿瘤超像素和非肿瘤超像素；
肿瘤图像识别模块，用于在原始MRI脑肿瘤图像中识别出肿瘤超像素所在的图像块，得到不同模态MRI脑肿瘤图像的ROI图像；
肿瘤图像分割模块，用于将不同模态的ROI图像输入FCN网络模型进行图像融合，获得肿瘤区域分割结果。
进一步的，所述超像素计算模块，通过集中趋势值CTV进行计算，具体的：
a.均值计算CTV：
Figure BDA0002557822440000091
式中，其中i＝1，2，...，m，表示为图像I的第i块。
Figure BDA0002557822440000092
表示图像I第i个块Bi的第j个像素值。j＝1，2，...，n，表示为图像I中第i块的第j个像素。
b.中位值计算CTV：
使用中位Medi计算CTV，表示第i块Bi的中位值，计算如下
第一步：对给定图像I的第i个块Bi的像素值排序.
第二部：对块Bi中的像素值进行排序后，利用中位数Medi计算出的CTV，公式如下：
Figure BDA0002557822440000101
其中n＝1,2,...,m,表示第i个块Bi的像素数量。
Figure BDA0002557822440000102
表示图像I中第i个块Bi的第/>
Figure BDA0002557822440000103
个像素的像素值，/>
Figure BDA0002557822440000104
表示第/>
Figure BDA0002557822440000105
个像素的像素值，其中i＝1,2,...,m，表示为图像I的第i块。
c.众数值计算CTV：
使用Modei计算得到的CTV表示图像I的第i块Bi的mode值，公式如下：
Modei＝在图像I的第i块Bi中频繁出现的像素值Pi
其中i＝1,2,...,m，m是图像I的若干块。
所述集中趋势值的计算包括以上三种方式，本实施例中采用方案a中的均值来表示集中趋势值，并通过计算每个图像块的集中趋势值来表示该图像块的超像素值。
进一步的，所述超像素分割模块：
对图像块的超像素进行光谱聚类，对超像素进行分割，得到肿瘤超像素和非肿瘤超像素。
进一步的，所述肿瘤图像识别模块：
在原始图像中识别出肿瘤超像素所在的图像块，因为肿瘤可以通过肿瘤块扩张，从原始图像中选取与肿瘤块特征相似的相邻块来表示ROI；
肿瘤相邻块的识别：
Figure BDA0002557822440000111
式中，对于一个像素(x,y),LBPs,r是一个半径为r的圆上的s个邻居。f(x,y)是对称的邻域像素的灰度值,f(xp,yp)代表中心像素的灰度值。
Figure BDA0002557822440000112
函数g(w)给出阈值函数，其中w＝f(x，y)-f(xp-yp)，然后计算块的十进制值直方图。直方图是最佳规范化的。将块的直方图连接起来表示特征向量。在该方法中，将肿瘤块的LBP直方图与相邻的8个肿瘤块进行比较，形成ROI。在前面步骤中确定的肿瘤块被认为是中心块。中心块有八个相邻肿瘤块(N1，N2，...，N8)，相邻块和中心块的灰度直方图的相似度使用Bhattacharya(BC)相似度度量确定，如下式所示：
BC(H(T),H(Ni))＝∑H(T)*H(Ni)
其中H(T)表示肿瘤块的直方图，H(Ni)表示第i个相邻块N的直方图。其中i＝1，2，...，8。
较大的BC系数表示相似的直方图，反之亦然。如果区域相似，则新区域标记为肿瘤区域。重复相邻块或相邻块的识别操作，直到相邻块与肿瘤块之间不存在相似性。最后，将得到的区域标记为ROI。
进一步的，所述ROI的分割：
光谱聚类直接应用于ROI，用ROI中所有的像素值构造光谱聚类方法中的相似矩阵，这极大提高了处理速度和分割精度。该聚类方法是一种无监督的基于图像的聚类方法。谱聚类通过分解拉普拉斯矩阵的特征向量和特征值对数据(簇)进行分组。该图表示为相似矩阵S，S的第i行和第j行由下面公式给出：
Figure BDA0002557822440000113
其中，Ii和Ij表示图像中的第i和j个超像素，d(Ii,Ij)表示像素Ii和Ij之间的欧几里得距离，σ＝1是用于控制邻域强度水平的加权图符号。
之后将相似矩阵转换为归一化的拉普拉斯矩阵，以进行特征向量的分解，最后使用k-means算法将最大的k个特征向量聚类以获得原始信息的聚类。
进一步的，所述肿瘤图像分割模块中的FCN模型：
Figure BDA0002557822440000121
式中，I表示输入图片，K表示卷积核。
f(x)＝max(0,x)
上式为ReLU激活函数模型，该函数的提出极大的改善了BP算法梯度耗散问题，ReLU并不需要输入归一化来防止它们达到饱和；
全连接层公式如下列三个公式所示，其中，x1、x2、x3为全连接层的输入，a1、a2、a3为输出，wi,j表示每个权重，i表示第i个输入，j表示第j个输出，b1,b2,b3表示偏置系数；
a1＝w11*x1+w12*x2+w13*x3+b1
a1＝w21*x1+w22*x2+w23*x3+b2
a1＝w31*x1+w32*x2+w33*x3+b3
Softmax函数是常见的归一化函数，假设一个多分类任务是T分类，那么softmax的输入是一个T*1的向量，输出也是T*1的向量(这个向量的每个值表示这个样本属于每个类的概率)，只是输出的向量的每个值的大小范围为0到1，公式如下式所示：
Figure BDA0002557822440000122
卷积层参数更新如以下两式所示：
Figure BDA0002557822440000131
Figure BDA0002557822440000132
池化层参数更新如以下两式所示：
Figure BDA0002557822440000133
Figure BDA0002557822440000134
全连接层网络参数更新如下式所示：
Figure BDA0002557822440000135
其中，网络参数学习率τ值需要在训练过程中以实际情况调节，如果E一直是发散状态，那么就需要将τ值调小；如果训练过程的效率很低，速度较慢，那么需要将τ值调大。
将原始数据用超级像素方法进行预分割得到感兴趣区域，然后将得到的感兴趣区域图像作为FCN的输入，在该网络中进行训练出模型，利用测试集样本对模型进行测试，实现MRI脑肿瘤的分割分割，得到分割结果，完成基于SP-FCN的MRI脑肿瘤图像分割算法。
为了验证本发明对MRI脑肿瘤图像分割的准确性，对本发明进行了五组病人数据的分割实验，实验结果如图4所示；由图4可知，本发明所建立的基于SP-FCN的MRI脑肿瘤分割的准确率均保持在90％以上，能够在保证稳定性的基础上达到较高的准确率，分割效果良好，这表明本发明建立的基于SP-FCN的MRI脑肿瘤分割方法是有效的，为建立精确MRI脑肿瘤分割模型提供了更好的方法，具有一定的实用性。
实施例三：
本实施例的目的是提供一种电子设备。
一种电子设备，包括、存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤，包括：
获取同一样本不同模态的MRI脑肿瘤图像，并将脑肿瘤图像区域划分为大小相等的图像块；
对所述图像块进行超像素计算；
基于图像块的超像素结果进行光谱聚类，对所述图像块的超像素进行分割，获得肿瘤超像素和非肿瘤超像素；
在原始MRI脑肿瘤图像中识别出肿瘤超像素所在的图像块，获得不同模态MRI脑肿瘤图像的ROI；
将不同模态的ROI输入FCN网络模型进行图像融合，获得肿瘤区域分割结果。
实施例四：
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤，包括：
获取同一样本不同模态的MRI脑肿瘤图像，并将脑肿瘤图像区域划分为大小相等的图像块；
对所述图像块进行超像素计算；
基于图像块的超像素结果进行光谱聚类，对所述图像块的超像素进行分割，获得肿瘤超像素和非肿瘤超像素；
在原始MRI脑肿瘤图像中识别出肿瘤超像素所在的图像块，获得不同模态MRI脑肿瘤图像的ROI；
将不同模态的ROI输入FCN网络模型进行图像融合，获得肿瘤区域分割结果。
上述实施例提供的一种基于SP-FCN的MRI脑肿瘤分割方法及系统完全可以实现，具有广阔应用前景。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (8)

1.一种基于SP-FCN的MRI脑肿瘤图像分割系统，其特征在于，包括：
图像采集模块，用于利用核磁共振仪获取同一样本不同模态的MRI脑肿瘤图像，并将脑肿瘤图像区域划分为大小相等的图像块；
超像素计算模块，用于对所述图像块进行超像素计算；
超像素分割模块，用于基于图像块的超像素计算结果进行光谱聚类，对超像素进行分割，获得肿瘤超像素和非肿瘤超像素；
肿瘤图像识别模块，用于在原始MRI脑肿瘤图像中识别出肿瘤超像素所在的图像块，得到不同模态MRI脑肿瘤图像的ROI图像；
肿瘤图像分割模块，用于将不同模态的ROI图像输入FCN网络模型进行图像融合，获得肿瘤区域分割结果；
所述肿瘤图像识别模块根据获得的肿瘤超像素结果，在原始图像中识别出肿瘤超像素所在的图像块，考虑到肿瘤可以通过肿瘤块进行扩张，因此需要对肿瘤图像块的相邻块进行识别，获取完整的肿瘤图像块；所述肿瘤图像块的相邻块的识别步骤包括：
计算每个肿瘤图像块及其相邻块的LBP直方图，将肿瘤图像块及其相邻块的直方图连接起来表示特征向量，通过直方图计算肿瘤图像块与其相邻块的相似度，当相似度结果超过设定阈值时，该相邻块被认定为肿瘤块，以该肿瘤块为中心继续进行相邻块的识别操作，直到所有肿瘤块与其相邻块之间不存在相关性。
2.如权利要求1所述的一种基于SP-FCN的MRI脑肿瘤图像分割系统，其特征在于，所述超像素计算模块，通过计算每个图像块的集中趋势值CTV来得到其超像素值，所述集中趋势值CTV可以为均值、中位值和众数，通过所述集中趋势值CTV来表示每个图像块的超像素。
3.如权利要求1所述的一种基于SP-FCN的MRI脑肿瘤图像分割系统，其特征在于，所述超像素分割模块基于图像块的超像素计算结果进行光谱聚类，对整个MRI脑肿瘤图像的超像素结果进行分割，整个图像被分割成若干超像素块，通过对比像素块的强度，能够获得肿瘤区域对应的超像素块和非肿瘤区域对应的超像素块。
4.如权利要求1所述的一种基于SP-FCN的MRI脑肿瘤图像分割系统，其特征在于，当所有肿瘤块与其相邻块之间不存在相关性时，将得到的所有肿瘤块标记为ROI，应用光谱聚类的方式从原始MRI脑肿瘤图像中分割出ROI区域。
5.如权利要求1所述的一种基于SP-FCN的MRI脑肿瘤图像分割系统，其特征在于，所述肿瘤图像分割模块将不同模态MRI脑肿瘤图像的ROI图像作为FCN网络模型的输入数据，通过多模态数据的融合，输出脑肿瘤区域的分割结果，所述不同模态包括FLAIR、T1-c、T1-w以及T2-w四种模态。
6.一种基于SP-FCN的MRI脑肿瘤图像分割方法，其特征在于，包括：
获取同一样本不同模态的MRI脑肿瘤图像，并将脑肿瘤图像区域划分为大小相等的图像块；
对所述图像块进行超像素计算；
基于图像块的超像素计算结果进行光谱聚类，对所述图像块的超像素进行分割，获得肿瘤超像素和非肿瘤超像素；
在原始MRI脑肿瘤图像中识别出肿瘤超像素所在的图像块，获得不同模态MRI脑肿瘤图像的ROI；
将不同模态的ROI图像输入FCN网络模型进行图像融合，获得肿瘤区域分割结果；
根据获得的肿瘤超像素结果，在原始图像中识别出肿瘤超像素所在的图像块，考虑到肿瘤可以通过肿瘤块进行扩张，因此需要对肿瘤图像块的相邻块进行识别，获取完整的肿瘤图像块；
所述肿瘤图像块的相邻块的识别步骤包括：
计算每个肿瘤图像块及其相邻块的LBP直方图，将肿瘤图像块及其相邻块的直方图连接起来表示特征向量，通过直方图计算肿瘤图像块与其相邻块的相似度，当相似度结果超过设定阈值时，该相邻块被认定为肿瘤块，以该肿瘤块为中心继续进行相邻块的识别操作，直到所有肿瘤块与其相邻块之间不存在相关性。
7.一种电子设备，其特征在于，包括核磁共振仪、存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求6所述的一种基于SP-FCN的MRI脑肿瘤图像分割方法。
8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求6所述的一种基于SP-FCN的MRI脑肿瘤图像分割方法。
CN202010597350.6A 2020-06-28 2020-06-28 一种基于sp-fcn的mri脑肿瘤图像分割系统及方法 Active CN111932549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010597350.6A CN111932549B (zh) 2020-06-28 2020-06-28 一种基于sp-fcn的mri脑肿瘤图像分割系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010597350.6A CN111932549B (zh) 2020-06-28 2020-06-28 一种基于sp-fcn的mri脑肿瘤图像分割系统及方法

Publications (2)

Publication Number Publication Date
CN111932549A CN111932549A (zh) 2020-11-13
CN111932549B true CN111932549B (zh) 2023-03-24

Family

ID=73317791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010597350.6A Active CN111932549B (zh) 2020-06-28 2020-06-28 一种基于sp-fcn的mri脑肿瘤图像分割系统及方法

Country Status (1)

Country Link
CN (1) CN111932549B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927235B (zh) * 2021-02-26 2022-12-02 南京理工大学 基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201347736A (zh) * 2012-05-29 2013-12-01 Xu Shi Ming 人體組織輻射保護器與輻射治療之輔助方法
CN106204600A (zh) * 2016-07-07 2016-12-07 广东技术师范学院 基于多序列mr图像关联信息的脑肿瘤图像分割方法
CN108664976A (zh) * 2018-04-25 2018-10-16 安徽大学 一种基于超像素的模糊谱聚类脑肿瘤图像自动分割方法
CN110727819A (zh) * 2019-10-10 2020-01-24 北京航空航天大学 一种尺度自适应病理全切片图像数据库检索方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818105B2 (en) * 2011-07-14 2014-08-26 Accuray Incorporated Image registration for image-guided surgery
CN105913422B (zh) * 2016-04-07 2019-01-25 广州医科大学附属肿瘤医院 基于气管分割的气管树提取方法
CN106981068B (zh) * 2017-04-05 2019-11-12 重庆理工大学 一种联合像素与超像素的交互式图像分割方法
CN109035252B (zh) * 2018-06-29 2019-09-24 山东财经大学 一种面向医学图像分割的超像素方法
CN110415253A (zh) * 2019-05-06 2019-11-05 南京大学 一种基于深度神经网络的点交互式医学图像分割方法
CN110349170B (zh) * 2019-07-13 2022-07-08 长春工业大学 一种全连接crf级联fcn和k均值脑肿瘤分割算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201347736A (zh) * 2012-05-29 2013-12-01 Xu Shi Ming 人體組織輻射保護器與輻射治療之輔助方法
CN106204600A (zh) * 2016-07-07 2016-12-07 广东技术师范学院 基于多序列mr图像关联信息的脑肿瘤图像分割方法
CN108664976A (zh) * 2018-04-25 2018-10-16 安徽大学 一种基于超像素的模糊谱聚类脑肿瘤图像自动分割方法
CN110727819A (zh) * 2019-10-10 2020-01-24 北京航空航天大学 一种尺度自适应病理全切片图像数据库检索方法

Also Published As

Publication number Publication date
CN111932549A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
Maruthamuthu Brain tumour segmentation from MRI using superpixels based spectral clustering
Khan Image segmentation techniques: A survey
Bozorgtabar et al. Skin lesion segmentation using deep convolution networks guided by local unsupervised learning
CN110705555A (zh) 基于fcn的腹部多器官核磁共振图像分割方法、系统及介质
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
Wang et al. Pixel classification based color image segmentation using quaternion exponent moments
Nazar et al. Review of automated computerized methods for brain tumor segmentation and classification
Yang et al. Color texture segmentation based on image pixel classification
Nilakant et al. A survey on advanced segmentation techniques for brain MRI image segmentation
Mahapatra et al. Crohn's disease segmentation from MRI using learned image priors
Singh et al. An efficient combined approach for medical brain tumour segmentation
Tang et al. Salient object detection of dairy goats in farm image based on background and foreground priors
CN111932549B (zh) 一种基于sp-fcn的mri脑肿瘤图像分割系统及方法
Hu et al. A skin lesion segmentation method based on saliency and adaptive thresholding in wavelet domain
Sharma et al. Review Paper on Brain Tumor Detection Using Pattern Recognition Techniques.
Fachrurrozi et al. Tongue image segmentation using hybrid multilevel otsu thresholding and harmony search algorithm
Hawas et al. Neutrosophic set in medical image clustering
JPH11110542A (ja) パターン抽出方法および装置、そのプログラムを記録した媒体
Xu et al. Segmentation of pulmonary CT Image by using convolutional neural network based on membership function
Gupta et al. Multi Level Approach for Segmentation of Interstitial Lung Disease (ILD) Patterns Classification Based on Superpixel Processing and Fusion of K‐Means Clusters: SPFKMC
Ghotekar et al. MRI Brain image segmentation and classification: a review
Tak et al. Segmentation of medical image using region based statistical model
Saleh et al. Automatic multiple regions segmentation of dermoscopy images
Zeng et al. Joint histogram modelling for segmentation multiple sclerosis lesions
Cheng et al. Research on Fast Target Detection And Classification Algorithm for Passive Millimeter Wave Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant