CN107644427B - 一种基于msew-ca结合灰度直方图的多模态图像分割方法 - Google Patents

Abstract

本发明公开了一种基于MSEW‑CA结合灰度直方图的多模态图像分割方法，其步骤主要包括提取图像、图像转换、特征标注以及图像分割，以实现对图像、尤其是核磁共振图像进行有效的分割，能够适用于临床应用。

Description

一种基于MSEW-CA结合灰度直方图的多模态图像分割方法

技术领域

本发明设计图像分割领域，尤其涉及到一种基于MSEW-CA结合灰度直方图分割脑图像的算法。

背景技术

随着技术发展，图像分割技术越来越普遍地运用于各行各业。在医学领域，图像分割技术的运用常常作为医生诊疗的辅助手段。

脑组织本身复杂，且成像过程中产生的偏移场效应和噪声问题，再加上水肿边缘与正常脑组织叠加生长，这就导致分割边界不明显，给分割带来极大的困难。对于解决边界模糊的问题，国内外只有较少量文献报道。

Havaei等人2017年在Medical Image Analysis期刊上发表的论文《Brain tumorsegmentation with Deep Neural Networks》提出一种全连接卷积神经网络分割模型，该方法提取图像的局部特征和全局特征作为分类特征向量，能够较准确的分割复杂的图像，但是该算法对核心和增强部分的分割精度较低，且算法相对复杂，对运行环境要求较高。

发明内容

本发明的目的是为克服上述问题，提出一种基于MSEW-CA结合灰度直方图的多模态图像分割方法，以实现对图像、尤其是核磁共振图像进行有效的分割，能够适用于临床应用。

本发明所提出的一种基于MSEW-CA结合灰度直方图的多模态图像分割方法，所述分割方法具体包括如下步骤：

第一步，提取图像，利用软件设备读取T1C、T2、FLAIR三种模态的核磁共振图像；

第二步，图像转换，融合T2、FLAIR两种模态图像进行边界区域补充显示，得到融合图像FI，利用图像灰度直方图特性对FI中灰度异常部分进行突出显示得到图像HI；

第三步，特征标注，提取HI和T1C图像中的特征区域D1和D2，并进行二值化处理，再次提取D1和D2中最大连通域以及D2中灰度异常区域，结合形态学和图像灰度特性分别确定i)HI灰度异常区域和背景种子点以及ii)T1C高亮、低亮和背景种子点，分别作为label1、label2；

第四步，图像分割，利用均方差加权算法计算加权距离分别对D1和D2进行分割，获得iii)HI高亮部分分割结果、iv)T1C高亮、低亮分割结果，分别作为label-out1、label-out2；根据像素点位置信息，合并label-out1、label-out2获得HI高亮、T1C高亮及低亮这三部分的分割结果。

进一步的，图像处理步骤中，对FI中灰度异常部分进行突出显示的过程具体为：利用灰度直方图方法统计FI图像中每个灰度值出现的频数并计算每个灰度值的频数占总频数的比例S(i)；取a＝255，将图像转化为uint8类型，比例S(i)、任意像素点(i,j)、像素点的灰度值I(i,j)、权重系数ω的关系满足

I(i,j)＝a*exp(-S(i)/ω)。

进一步的，图像分割步骤中，均方差加权算法的具体步骤包括：

a)距离计算，取点p、q_i，N_p、Nq_i分别是以p、q_i为中心点的3×3邻域，q_i∈N_p，则r1,r2∈[-1,1]时，点p、q_i间的灰度距离Δd(p,q_i)与二者坐标(x,y)、(a,b)之间的关系满足

b)计算邻域的均方差，邻域的平均值

邻域内像素点数目n_p以及邻域的均方差d_s(p,q_i)之间的关系满足

c)均方差加权距离计算，在d_s(p,q_i)中，定义以像素点p为中心，则其临近点q_i的权重系数W_p(q_i)满足

β使权重调整到一个合适的位置，则两个相邻像素点之间的均方差加权距离d_pw(p,q_i)满足

附图说明

图1是本发明的主要操作过程示意图；

图2是本发明MSEW-CA算法流程图；

图3是本发明均方差加权距离的计算步骤图；

图4是本发明分割方法的结果图；

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面以临床分割脑胶质瘤为例，结合图示进一步阐述上述技术方案。

参照图1，本发明的具体实施步骤如下：

步骤1：输入T1C、T2、FLAIR三种模态的MR脑胶质瘤图像。

步骤2：融合T2和FLAIR图像，利用脑部的灰度直方图特性突出显示水肿区域。

由于脑胶质瘤结构比较复杂，存在浸入性生长，导致水肿边缘模糊不清，给分割带来困难。T2和FLAIR这两种模态的图像补充显示水肿区域，因此利用融合图像FI来分割水肿区域。根据脑胶质瘤的面积要小于正常组织的面积，这样脑胶质瘤上的像素值所占的比例相对较小，利用指数函数取反，对应的像素值变大，进而突出水肿区域。采取以下方法：利用灰度直方图统计FI图像中每个灰度值出现的频数并计算每个灰度值的频数占总频数的比例S(i)，利用公式(1)重新计算每个像素点上的值。式(1)中，(i,j)表示某个像素点，I(i,j)表示像素点的灰度值，a＝255,将图像转化为uint8类型，ω是权重系数。

I(i,j)＝a*exp(-S(i)/ω) (1)

步骤3：结合临床常规自动提取HI和T1C图像的感兴趣区域。

为了节省运行时间，提高算法效率，这里只提取含有脑胶质瘤的感兴趣区域。临床上是以1.5倍的肿瘤最大直径为边长，以该直径的中点为中心来提取正方形感兴趣区域的。所以这里依据以上常规来确定感兴趣区域：对HI进行二值化处理得到二值图像，通过膨胀腐蚀操作，提取水肿区域，计算重心点m，并计算水肿区域的最大距离d，最终以m为中心点，以1.5×d为边长在HI和T1C图像上确定正方形感兴趣区域D1和D2。

步骤4：本步骤包含两个子步骤：在D1图像上确定水肿种子点模板；在D2图像上确定增强和坏死种子点模板。

在D1图像上确定水肿种子点模板，由于脑胶质瘤图像比较复杂多样，这里采用手动选取阈值对其进行二值化操作，直至尽可能多的水肿区域显现出来，提取大概的水肿区域M1，对M1进行膨胀和腐蚀，膨胀区域的边缘作为水肿的背景种子点，腐蚀区域边缘作为水肿种子点，即得到label1。

在D2图像上确定增强和坏死种子点模板，二值化D2提取核心肿瘤区域M2，并对应提取T1C原图像中的肿瘤区域M3。求取M3区域中像素值的最大值a_max和最小值a_min，并计算所有像素点的总数S，设定像素值在

之间且像素点个数不超过

为约束条件，符合以上条件的像素点为增强种子点，利用像素值在

之间且像素点个数不超过

的像素点作为坏死种子点。对M2进行膨胀，提取M2膨胀的边缘作为背景种子点，即得到label2。

步骤5：利用均方差加权的细胞自动机算法分别对D1和D2区域进行分割。根据图2，本步骤包含三步：初始化种子点模板；计算均方差加权距离；判断像素点类别。

初始化种子点模板：利用种子点模板得到最终的分割结果，这个过程需要一个中间变量来做出判断。设定像素点强度变量θ，在种子点对应的位置上设置为1，其他位置设置为0。

计算均方差加权距离：细胞自动机(CA)算法是将图像中的每一个像素看作一个细胞，在特定的邻域系统内根据转移函数进行演化分类，这里采用Moore型八邻域系统。

转移函数如公式(2)：

为了降低转移函数的衰减速度，这里将像素点之间灰度值的关系转化为加权距离关系。并以5×5为一个计算邻域，不仅将q_i的信息考虑进去还把q_i的邻域Nq_i的信息也添加了进去，充分利用了图像的空间信息，如图3，具体方案如下：

计算N_p和Nq_i之间的距离Δd(p,q_i)，定义公式(3)，其中N_p，Nq_i分别是以p，q_i为中心点的3×3邻域，q_i∈N_p即q_i是p的八邻域点，(x,y)和(a,b)分别表示p和q_i的坐标，r1,r2∈[-1,1]。

Δd(p,q_i)的离散程度，代表两个领域的相似度，Δd(p,q_i)的均方差越大，离散程度越大，相似度越低。引入公式(4)计算领域的均方差，其中

表示领域的平均值，n_p表示邻域内像素点数目。

在d_s(p,q_i)中，定义以像素点p为中心，其临近点q_i的权重系数如公式(5)所述，这里

β能够使权重调整到一个合适的位置。

Δd(p,q_i)只表达了两个邻域的灰度差，利用公式(3)和(5)将距离和权重结合起来，并求其平均值即得到两个相邻像素点之间的均方差加权距离，如公式(6)。

判断像素点类别：根据公式(2)，如果在演化的过程中，满足公式(7)，则q的状态将代替p的下一个状态，不断演化，直至达到稳定状态，最终得到分割结果label-out1(水肿部分)和label-out2(增强和坏死部分)，其中

和

分别表示p和q在t状态下的强度。

步骤6：依据像素位置，合并label-out1和label-out2获得水肿、增强和坏死三部分的分割结果。下面本发明的效果通过以下实验进一步说明。

实验条件：

本实验数据来自BRATS2015数据库和上海肺科医院3T的MR图像。BRATS2015数据库中所有病例都包含T1、T1C、T2、FLAIR四种模态，并且包含专家手动勾画的金标准。所有图像都已经去掉颅骨。严格与T1图像对齐并各向同性的插值到1mm的分辨率。设备场强为3T。上海肺科医院的数据包含T1C和FLAIR两种模态，成像层厚4.5mm，每幅图像都是560×560的16位DICOM格式图像，设备场强为3T。总共测试了40组脑部图像(即40个病例)，该分割实验是在Matlab R2015a环境下进行的。

实验结果及结果分析：

对上述脑部MR图像，用本发明所述方法对脑胶质瘤进行了分割，实验结果如图4所示,其中从外向内依次为水肿、增强和坏死。

为了定量地评价该分割方法的性能，采用分割得到的肿瘤区域与金标准的重合率(DSC)、假阳性率(FPR)、敏感性(Sensitivity)和特异性(Specificity)作为衡量的标准。真阳性(TP)、真阴性(TN)、假阳性(FP)和假阴性(FN)定义如下，TP＝R∩T；

其中T是肿瘤实际位置的像素总和，R是分割结果的像素总和。DSC定义为：

假阳性率定义为：

敏感性定义为：

特异性定义为：

应用本发明方法对40个脑胶质瘤病例进行了分割，并根据式(8-11)计算了整个肿瘤、核心肿瘤和增强肿瘤(分别用1,2,3表示)与金标准之间的重合率、假阳性率、敏感性和特异性，得到DSC1、DSC2、DSC3平均值分别为93.24％、92.20％、89.50％；Sens.1、Sens.2、Sens.3平均值分别为95.23％、93.55％、91.51％；Spec.1、Spec.2、Spec.3平均值分别为98.50％、98.77％、99.47％，均高于目前国内外其它文献报道的方法。且错误率比较低，FPR1、FPR2、FPR3平均值分别为4.74％、6.33％、8.48％。因此，使用本发明方法可以较准确地分割出脑胶质瘤。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (3)

1.一种基于MSEW-CA结合灰度直方图的多模态图像分割方法，其特征在于，所述分割方法具体包括如下步骤：

1)提取图像，利用软件设备读取T1C、T2、FLAIR三种模态的核磁共振图像；

2)图像转换，融合T2、FLAIR两种模态图像进行边界区域补充显示，得到融合图像FI，利用图像灰度直方图特性对FI中灰度异常部分进行突出显示得到图像HI；

3)特征标注，分别提取HI图像的感兴趣区域D1和T1C图像的感兴趣区域D2，并对D1和D2图像进行二值化处理，结合形态学和图像灰度特性分别确定i)D1高亮区域种子点和背景种子点作为label1以及ii)D2高亮区域种子点、低亮区域种子点和背景种子点作为label2；

4)图像分割，利用均方差加权算法计算图像加权距离分别对图像D1和D2进行分割，获得iii)D1高亮部分分割结果作为label-out1、iv)D2高亮、低亮分割结果作为label-out2；根据像素点位置信息，合并label-out1、label-out2获得D1高亮、D2高亮及低亮这三部分的分割结果。

2.根据权利要求1所述的一种基于MSEW-CA结合灰度直方图的多模态图像分割方法，其特征在于，图像处理步骤中，对FI中灰度异常部分进行突出显示的过程具体为：利用灰度直方图方法统计FI图像中每个灰度值出现的频数并计算每个灰度值的频数占总频数的比例S(i)；取a＝255，将图像转化为uint8类型，比例S(i)、任意像素点(i,j)、像素点的灰度值I(i,j)、权重系数ω的关系满足

I(i,j)＝a*exp(-S(i)/ω)。

3.根据权利要求2所述的一种基于MSEW-CA结合灰度直方图的多模态图像分割方法，其特征在于，图像分割步骤中，均方差加权算法的具体步骤包括：

a)距离计算，取点p、q_i，N_p、N_qi分别是以p、q_i为中心点的3×3邻域，q_i∈N_p，则r₁，r₂∈[-1,1]时，点p、q_i间的灰度距离△d(p,q_i)与二者坐标(x,y)、(a,b)之间的关系满足

b)计算邻域的均方差，邻域的平均值

邻域内像素点数目n_p以及邻域的均方差d_s(p,q_i)之间的关系满足

c)均方差加权距离计算，在d_s(p,q_i)中，定义以像素点p为中心，则其临近点q_i的权重系数w _P(q_i)满足

β使权重调整到一个合适的位置，o表示两个矩阵对应位置元素一一相乘，则两个相邻像素点之间的均方差加权距离d_{p w}(p,q_i)满足

Images