CN109035252A - 一种面向医学图像分割的超像素方法 - Google Patents

Abstract

本发明提供一种面向医学图像分割的超像素方法，将医学图像处理为超像素；对超像素分割后医学图像使用双边滤波保留边缘,并滤除噪声，降低网络模型的误差率；配置网络框架,通过迭代训练参数,构建卷积网络应用于超像素分割的医学图像。方法中以线性迭代聚类分割方法为基础,将U‑Net网络的思想应用于超像素的后期优化中,弥补超像素内边缘分割不精确的缺陷,增加规范层以提高各网络层权重灵敏度,改善网络收敛性能，使分割结果更接近于实际值。由于医学图像呈现的解剖结构和病变组织十分清晰,通过SLIC算法分割的医学图像能够获取较为全面的超像素，并可通过卷积网络进一步改进超像素边缘精确度。

Description

一种面向医学图像分割的超像素方法

技术领域

本发明涉及医学图像领域，尤其涉及一种面向医学图像分割的超像素方法。

背景技术

医学图像来自各种成像技术^[1],如超声波,计算机断层扫描(CT),X射线,核磁共振成像(MRI),用于描述人体不同组织的解剖形态结构。医学图像描绘的解剖图反映出人体的健康情况,了解人体各部位解剖图中区域间详细划分,有助于辅助诊断和下一步治疗。例如,肺窗包含肺实质,纵膈,胸膜,病变肿瘤,实现肿瘤的准确分割,可以更加全面准确地确定病情,选取合适的放射治疗手段,提高治疗成功率。但是,传统的手动分割任务量大,且分割结果因观察者的经验程度而异,因此,开发自动和可靠的分割方法在临床上是可行且十分重要的任务。

医学图像分割通常有两个目的:描绘不同组织的组成成分,以及检测异常组织。从语义分割的角度分析,分割是为医学图像中的每个像素分配一个标记X＝(x₁,…,x_n),且像素在空间和颜色方面的相似度与标签相同的可能性成正比。而基于空间邻近度、颜色相似度和边缘等特征将像素组合分割的典型生成算法是超像素。近年来,超像素在医学图像处理领域的应用愈加广泛,主要体现在以下两个方面:超像素算法基于空间和光度特征将像素划分为一个个原子区,构造了像素组级别的单元,较单个像素点处理大幅降低了时间复杂度。其次,依据不同准则构造出的超像素,具备单个像素点所没有的特征,有效改善图像分割的质量。

超像素生成算法主要分为两类:基于图论的方法和基于聚类的方法。基于图论的分割方法利用图论建立模型,即把像素点转化为节点,像素点间某特征强度值视为对应节点间边的权重,依据刚性准则通过最优化损失函数生成超像素。典型分割方法包括利用轮廓特征和纹理特征的Ncut方法、依据搜索最小权重路径的Superpixel Lattice(SL)方法,以及依据随机游走熵率和平衡项的目标函数的熵率法。基于聚类的分割方法是采用了聚类的思想,将各像素点聚集成簇,直至满足收敛标准最终得到超像素集。其中的代表性方法有基于几何流水平集的TurboPixels方法,计算点概率密度以迭代聚类的Mean Shift方法,和基于颜色和距离相似度划分的SLIC算法。

然而在使用这些硬性标准处理医学图像得到超像素时,位于组织边缘像素点的划分仍存在类别模糊问题。产生的原因主要涉及两方面,其一,超像素生成算法本身的缺陷。例如,Ncut方法能够生成规则的超像素,但是图像边缘效果保持较差；SL方法能够取得良好的分割效果,但其性能严重依赖预先提取的图像边界图。熵率法、TurboPixels和SLIC方法均能够生成结构紧凑和均匀的集群,但熵率法得到的仅是局部最优解,TurboPixels法得到的图像边界保持较差,SLIC方法预设的生成超像素数量没有理论性参考。其二,医学解剖结构图像尽管能以高分辨率提供脏器的解剖形态信息(包括脏器和病灶的细节),但在血管与病变组织相互黏连的情况下,仅依靠解剖图对病变组织进行准确定位是十分困难的。例如,肺窗显示肺纹理、双侧肺为灰色,肺叶内的血管与病变肿瘤都呈现偏白的颜色,计算机不具备专家的自动识别能力,不能在血管和肿瘤之间划清界限。

医学图像在人体的病症多发区域有较高的病变检出率,提高医学解剖图分割的精确度,改善计算机辅助医学诊断的性能,需要对超像素边缘像素点类别划分的策略进行优化。为了达到这个目的,引入深度学习的方法。它的成功主要依赖训练集和标签数据,通过探究两者的关键信息以促进参数的优化更新,生成学习模型,并泛化到同类的数据实现自动检测。基于这种拟合模型的优势,卷积神经网络在医学影像方面的研究愈发深入。目前提出了基于CNN的医学图像处理框架,用正(负)样本处理像素的二分类问题。虽然效果不错,但图层与感受野大小之间的权衡,对定位精度有极大影响。

发明内容

为了克服上述现有技术中的不足，本发明提供一种面向医学图像分割的超像素方法，方法包括：

对医学图像进行超像素分割；

对超像素分割后医学图像使用双边滤波保留边缘,并滤除噪声，降低网络模型的误差率；

配置网络框架,通过迭代训练参数,构建卷积网络应用于超像素分割的医学图像。

优选地，步骤对医学图像进行分割包括：

设置一幅M*N的医学图像I,定义一个扩展性映射I→R⁵；

将I映射到CIELab颜色空间,I中像素p＝(u,v)的灰度值由L,a,b分量描述,并与XY坐标结合得到5维特征向量V(u,v,l,a,b)；

基于聚类的思想,将相似度高的像素点聚集为同一类；在分配过程中,聚类中心不断更新至最低梯度位置；分配和更新过程将反复迭代直至超像素收敛，得到医学图像I的超像素分割图I’。

优选地，步骤对医学图像进行超像素分割还包括：

设定超像素的个数K,种子点与周围2S区域内像素的相似程度的衡量公式如(1)所示:

公式(1)中,d_xy为像素到中心像素的欧式距离,d_lab为像素点间的颜色差异,D为两个像素的相似度,其值越小,表明相似度越高；N_lab为最大空间距离,取值等同于采样间隔N_xy为最大颜色距离,一般固定为常数,记为m，衡量颜色相似性和空间邻近度之间的相对重要性，m值小,表示颜色接近度的重要性要相对高于空间位置；m值大时,效果相反。

优选地，SLIC算法迭代次数为10次。

优选地，步骤对超像素分割后医学图像使用双边滤波保留边缘,并滤除噪声，降低网络模型的误差率还包括：

双边滤波模块的核函数包括：空间域核，值域核以及决定图像输出的两个关键因子；

两个关键因子为空间位置权重δ_d和像素亮度权重δ_r；双边滤波模块对图像I’的滤波处理方式为:

式中,H(δ_d,δ_r,f_ij,f_kl)为核函数,是空间域核与值域核的乘积；f_ij表示空间位置为(i,j)的中心像素,灰度值是z_c,f_kl表示医学图像中的像素点(k,l),且k∈M,l∈N；通过核函数衡量中心像素与它周围像素点的综合相似度,中心像素的灰度值将更新为δ_d和δ_r为影响核函数整体衰减程度的参数,影响参考空间域核及值域核的表达式，空间域核为:

值域核：

实际上,δ_d与δ_r视为核的方差。当δ_d偏大时,空间域核H_d(f_ij,f_kl)的值普遍偏小,趋于强调值域滤波的权重,对空间邻域敏感度较低；当δ_r值较大时,值域核H_r(f_ij,f_kl)的权重差别小,中心像素与空间距离相似度有关,保留边缘的性能下降；

对输入的医学超像素分割图像I’进行双边滤波处理，处于各组织邻接区域的像素值变化大,值域核权重较大，保留边缘变化信息；在各组织内部,图像较平坦,值域核权重接近于1,滤除因设备不稳定外部因素引起的噪声。

优选地，步骤配置网络框架,通过迭代训练参数,构建卷积网络应用于超像素分割的医学图像还包括：

基于U-Net网络配置网络框架，依照U-Net网络配置收缩路径和扩张路径；

收缩路径为卷积网络结构,每两个卷积层后进行一步特征处理操作,以获取医学图像的双倍通道特征,在上下层之间建立特征映射,传递特征信息；

扩张路径基本对称于收缩路径,利用反卷积操作来减少特征通道,放大特征图；每次参与反卷积的数据融合了浅层特征图,以及对应同阶收缩路径上的高分辨率特征信息，合并信息保留了下采样过程中丢失的有效数据。

优选地，步骤配置网络框架,通过迭代训练参数,构建卷积网络应用于超像素分割的医学图像还包括：

对U-Net网络进行了扩展和修改，在卷积层前面添加双边滤波模块，双边滤波模块对超像素分割图进行处理；

处理后的超像素分割图进入卷积网络学习特征。

优选地，步骤配置网络框架,通过迭代训练参数,构建卷积网络应用于超像素分割的医学图像还包括：

在卷积网络前面添加了双边滤波模块,经双边滤波模块处理的超像素分割图进入卷积网络学习特征；

在网络的卷积层后添加规范层,规范层对卷积层的激活值进行批标准化处理,控制过拟合现象。

优选地，卷积网络呈U型,由卷积层和规范层重复拼接而成；对于每幅输入图像,通过激活函数ReLU处理作为当前卷积层输出,两次卷积的双层特征输出结果传送至规范层以实现标准化，函数操作可描述为：

l表示层的索引,f为激活函数,conv^l则为卷积层的最终输出,其输入为u^l,是对第l层的输入conv^l-1卷积得到的特征图，W和b分别为卷积层l的权值和偏置,它的值大小通过监督网络训练确定，在网络中,W也可称为卷积核,大小设置为3×3×n_l,并且每次下采样后核个数n_l加倍；

由于数据特征分布的形状在训练和约束的过程中会发生变化,规范层将基于获取的特征调整前一层的激活权值,使输出数据均值接近0,标准差接近1,即conv^l更新为

对于n_l维卷积层输入规范层将在多维上完成标准化,独立处理各尺度下的特征，规范化过程Norm的具体操作为：

公式(6)中，E和Var分别为均值函数和方差函数.同时,为了确保规范后始终满足卷积属性,保持有效特征信息,每个激活权值的输出需要依赖两个参数α^(k)和β^(k):

式中的两个参数通过网络学习得到，经过上述类似的转换,在整个训练集基础上批量完成激活值归一化,输出规范层统计数据,并且参与梯度反向传播。

优选地，网络框架中的扩张路径对称于收缩路径,由卷积操作和规范层重复拼接完成；

每个深度下的特征图均先上采样再接卷积及规范层；

网络扩展路径上采样部分利用2*2反卷积替代池化操作,实现特征通道数量减半,特征图大小加倍；

随着深度的增加,最后一层卷积核大小为1*1，把64通道的特征图转化为预设深度；预设深度取决于当前图学图像分割优化的超像素,特征向量映射向所需要分割优化的类别。

从以上技术方案可以看出，本发明具有以下优点：

本发明中针对医学图像,以简单而高效的线性迭代聚类(SLIC)分割方法为基础,将U-Net网络的思想应用于超像素的后期优化中,弥补超像素内边缘分割不精确的缺陷,使分割结果更接近于实际值。由于医学图像呈现的解剖结构和病变组织十分清晰,通过SLIC算法分割,所得的每个超像素能够基本涵盖所在类的绝大部分,但也包含因设备等外部因素产生的噪声。以超像素描述医学图像是一种有效的表述方式,衡量超像素是否优劣需满足条件；或者衡量超像素的优劣需满足条件。或者衡量超像素的优劣需满足条件。从内容角度衡量,超像素内部应该只包含单一组织,即最终的分割结果需要保证分割目标的区域完整性,隶属于单一组织的介质块需要聚类到一起,消除噪声点；从结构角度衡量,用均匀紧凑的超像素描述复杂且无章法的人体组织分布,解决边界像素点的模糊归类问题。在U-Net网络中,增加规范层加速收敛,同时嵌入双边模块,在超像素间传递信息,基于结构化信息保持边缘,最终合并完成优化超像素分割的卷积网络。

本方法将U-Net神经网络应用在医学图像超像素分割优化上,充分考虑了像素周围领域及值域信息对中心像素的影响,并且构建了一个对称的网络结构,使用规范层处理后激活,一定程度上提高了图像超像素的分割结果。在保证相同训练数据量的前提下,与传统的U-Net网络相比,本方法在运算速度及损失上表现出了明显的优势。本方法在医学图像超像素优化中具有良好的稳定性和鲁棒性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为面向医学图像分割的超像素方法流程图；

图2为肺窗图像超像素示意图；

图3为图2中肺实质区域关于肿瘤和血管的a部放大图；

图4为图2中肺实质区域关于肿瘤和血管的b部放大图；

图5为肿瘤,肺实质以及纵膈示意图；

图6为图5中c部放大图；

图7为图5中d部放大图；

图8为基于U-net改进的超像素优化网络结构图；

图9为肺窗在不同参数取值下的双边滤波效果图；

图10为肺窗切片的纹理图；

图11为K值对应的IOU值示意图；

图12为颅脑MR超像素图；

图13为双边滤波的过程图。

具体实施方式

本发明提供一种面向医学图像分割的超像素方法，如图1所示，方法包括：

S1，对医学图像进行超像素分割；

S2，对超像素分割后医学图像使用双边滤波保留边缘,并滤除噪声，降低网络模型的误差率；

S3，配置网络框架,通过迭代训练参数,构建卷积网络应用于超像素分割的医学图像。

图像分割是分析和识别医学图像语义信息的一个重要分支,超像素级图像处理是简单有效的方法。但是由于医学图像中组织分布错综复杂,导致超像素分割结果在边缘信息部分较模糊,且各类别的分割结果级联性更新明显。为此,本发明提出了方法,通过双边滤波模型过滤外部噪声,增强超像素信息；然后,结合U-Net卷积网络学习图像特征。与传统的U-Net网络不同,本发明提出的网络中每个特征尺度的卷积层后嵌入一个规范层,用于增强网络对参数的敏感性。实验结果表明,本发明算法提高了医学图像的超像素分割图同ground truth的相近程度,改善了图像超像素边缘分类的准确性,整体优化了超像素分割结果,在精确度、召回率、F-means和分割速度等性能指标上均取得了更好的效果。

其中，本发明涉及的U-Net网络中，U-Net:Convolutional Networks forBiomedical Image Segmentation，此网络用于分割细胞图像。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将运用具体的实施例及附图，对本发明保护的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利保护的范围。

在本实施例中，构建医学图像超像素分割优化网络模型,并证明了模型优化超像素的有效性。使用双边滤波保持强边缘,滤除噪声,不同于输入为原始图像的传统U-Net训练网络,从整体角度,通过改善细节,降低网络模型的误差率。对U-Net网络框架进行微调,在卷积层后增加规范层,防止过拟合,提高网络训练过程中对权重的敏感性。改变网络中间重复结构的深度,通过迭代训练参数,构建的2D卷积网络应用于医学图像的超像素分割优化。

本实施例构建了一个U-Net卷积网络模型,用于优化超像素分割结果。为了改善超像素内的模糊分类问题,对U-Net进行了修改和扩展,在网络中嵌入了双边模块,在高分辨率层执行双边滤波操作,从空间域和颜色域中考虑医学图像超像素特征。其次,网络中增加了规范层提高学习速率。本节主要介绍网络模型构建的基本理论及参数优化的过程。

本实施例中，构建了一幅M*N的医学图像I,定义一个扩展性映射I→R⁵,将I映射到CIELab颜色空间,I中像素p＝(u,v)的灰度值由L,a,b分量描述,并与XY坐标结合得到5维特征向量V(u,v,l,a,b)。然后，基于聚类的思想,将相似度高的像素点聚集为同一类。在分配过程中,聚类中心不断更新至最低梯度位置。分配和更新过程将反复迭代直至超像素收敛,即可得到医学图像I的超像素分割图I’。

设定超像素的个数K,种子点与周围2S区域内像素的相似程度的衡量公式1：

公式(1)中,d_xy为像素到中心像素的欧式距离,d_lab为像素点间的颜色差异,D为综合考量空间域和像素颜色域的结果,其值越小,表明相似度越高。N_lab为最大空间距离,取值等同于采样间隔N_xy为最大颜色距离,一般固定为常数,记为m,能够衡量颜色相似性和空间邻近度之间的相对重要性,m值小,表示颜色接近度的重要性要相对高于空间位置；m值大时,效果恰好相反。

超像素算法完成了像素分组,减少了元素数量,但同时也引入了量化误差。实验证明,SLIC算法迭代10次即可。如图2至7所示为肺窗图像的SLIC超像素分割结果,超像素紧凑均匀,却与真实标签存在误差。一个超像素内边缘处的像素实际上应有不同的真实标签分配,特别是对肺实质内主血管和分支血管的超像素分割,其精确度仍旧需要在边缘细节贴合方面寻求方法优化。在图6和图7中，附图标记1表示肺纵膈,附图标记4为肺实质,附图标记2为肿瘤,附图标记3是分割超像素的错误区域,主要涉及肿瘤周边的毛细血管和肺实质区域的空洞。

本实施例中，双边滤波的好处在于能够检测图像保留边缘、去除噪声。是将空间域信息与像素值域信息结合,同时考虑空间的临近关系和灰度的相似关系。

本实施例涉及了一个具备双边滤波功能的模块,提高肺窗超像素图中结节、边界等纹理特征,其核函数由空间域核和值域核组成。核函数包含决定图像输出的两个关键因子:空间位置权重δ_d,像素亮度权重δ_r。此双边滤波层对图像I’的滤波处理可表示为:

式中,H(δ_d,δ_r,f_ij,f_kl)为核函数,是空间域核与值域核的乘积。f_ij表示空间位置为(i,j)的中心像素,灰度值是z_c,f_kl表示医学图像中的像素点(k,l),且k∈M,l∈N。通过核函数衡量中心像素与它周围像素点的综合相似度,中心像素的灰度值将更新为δ_d和δ_r为影响核函数整体衰减程度的参数,具体影响参考空间域核及值域核的表达式,空间域核为:

值域核：

实际上,δ_d与δ_r可视为核的方差。当δ_d偏大时,空间域核H_d(f_ij,f_kl)的值普遍偏小,趋于强调值域滤波的权重,对空间邻域敏感度较低。当δ_r值较大时,值域核H_r(f_ij,f_kl)的权重差别小,中心像素主要与空间距离相似度有关,保留边缘的性能下降。

对输入的医学超像素分割图像I’进行双边滤波处理,实施过程详见图13，处于各组织邻接区域的像素值变化大,值域核权重较大,从而有效保留边缘变化信息.在各组织内部,图像较平坦,值域核权重接近于1,滤除因设备不稳定等外部因素引起的噪声。

图2为肺窗图像超像素示意图；图3为图2中肺实质区域关于肿瘤和血管的a部放大图；图4为图2中肺实质区域关于肿瘤和血管的b部放大图；图5为肿瘤,肺实质以及纵膈示意图；图6为图5中c部放大图；图7为图5中d部放大图；图6中标号2的区域为肿瘤，标号1的区域表示肺纵膈，标号3的区域表示分割超像素的错误区域,主要涉及肿瘤周边的毛细血管和肺实质区域的空洞。标号4的区域为肺实质。

在步骤配置网络框架,通过迭代训练参数,构建卷积网络应用于超像素分割的医学图像中，如图8所示，基于U-net改进的超像素优化网络结构。A值为对称路径的深度,代表路径重复结构(采样层,规范层,池化采样层)的出现次数。箭头5代表的操作为连续的两次卷积,激活函数为ReLU。附图标记6为复制的同深度对称收缩路径下的特征图。

针对超像素优化问题,特别是着重强调边缘像素的重要性,本发明在U-Net基础上进行了扩展和修改.搭建的框架结构如图8所示.

本发明的U-Net网络由两条路径组成,网络的左边是收缩路径,右边是扩张路径.收缩路径属于典型的卷积网络结构,每两个卷积层后进行一步特征处理操作,以获取医学图像的双倍通道特征,在上下层之间建立特征映射,传递特征信息.扩张路径基本对称于收缩路径,利用反卷积操作来减少特征通道,放大特征图.与现有网络相比,本文提出的方法最大特点在于每次参与反卷积的数据融合了浅层特征图,以及对应同阶收缩路径上的高分辨率特征信息,这种合并信息保留了下采样过程中可能丢失的有效数据。其次,为了提高网络的综合性能,网络的卷积层后面添加了规范层,对前一层的激活值进行批标准化处理,控制过拟合现象,提高模型训练过程中网络对权重的敏感程度,加速了网络收敛.

值得注意的是,卷积网络前面添加了双边滤波模块,经它处理的超像素分割图进入卷积层网络学习特征.图像I’经双边滤波处理,可以抑制噪声干扰,突出边缘细节,超像素数据更加洁净,从而使得模糊问题得到更好地解决.

本发明中优化网络框架的收缩路径主要由卷积层和规范层重复拼接而成,对应图8中输入卷积层到反卷积之间的过程。标号5代表的操作为连续的两次卷积，激活函数为Relu。标号6为复制的对称收缩路径下的特征图。

对于每幅输入图像,卷积操作将从中自动抽取有效特征,并通过激活函数Relu处理作为当前卷积层输出,两次卷积的双层特征输出结果传送至规范层以实现进一步标准化.其函数操作可描述为：

这里,l表示层的索引,f为激活函数,conv^l则为卷积层的最终输出,其输入为u^l,是对第l层的输入conv^l-1卷积得到的特征图.W和b分别为卷积层l的权值和偏置,它的值大小通过监督网络训练确定.在网络中,W也可称为卷积核,大小设置为3×3×n_l,并且每次下采样后核个数n_l加倍.

由于数据特征分布的形状在训练和约束的过程中会发生变化,规范层将基于获取的特征调整前一层的激活权值,使输出数据均值接近0,标准差接近1,即conv^l更新为

对于n_l维卷积层输入规范层将在多维上完成标准化,独立处理各尺度下的特征.规范化过程Norm的具体操作为：

公式(6)中，E和Var分别为均值函数和方差函数.同时,为了确保规范后始终满足卷积属性,保持有效特征信息,每个激活权值的输出需要依赖两个参数α^(k)和β^(k):

式中的两个参数通过网络学习得到.经过上述类似的转换,在整个训练集基础上批量完成激活值归一化,输出规范层统计数据,并且能够参与梯度反向传播.

随后,对提取的特征信息下采样,保留主要的特征,同时减少下一层的参数和计算量,该层在网络中亦被称作池化层,其核大小为2*2.因此,收缩路径中的特征图在两次卷积及规范层的处理下,完成反复的有效特征提取.

本发明中网络框架中的扩张路径基本对称于收缩路径,同样由卷积操作和规范层重复拼接完成,对应图8中反卷积至输出卷积之间的过程.主要区别在于,收缩路径中每当某一深度下的特征图处理完成,将利用池化层进行下采样,从中提取更有效的部分,以使特征图大小减半,扩张路径则恰好相反,每个深度下的特征图均需先上采样再接卷积及规范层.这种左右对称的结构使得网络近乎于U型.

网络扩展路径上采样部分利用2*2反卷积替代池化操作,实现特征通道数量减半,特征图大小加倍.为了使用局部的信息，在网络收缩路径中产生的高分辨率特征，被连接到了网络的上采样的结果。在此之后，两个3*3的卷积层和规范层将基于这些更全面的特征信息综合得到更精确的结果.如此得到的输出依旧有大量的特征通道,增加了输出分辨率,可以将信息向更高的分辨率层传播.为了使各路径深度下扩张路径重复结构的输出分段映射与上采样特征图无缝连接,输入图像的大小应保持无论是下采样亦或是上采样,始终保持特征映射通道为偶数,即要求待处理的超像素分割图的长宽为偶数.

随着深度的增加,最后一层卷积核大小将为1*1，把64通道的特征图转化为预设深度.预设深度取决于当前图学图像分割优化的超像素,特征向量映射向所需要分割优化的类别.

总的来说,网络层数设定十分灵活.超像素分割图需要优化的部分主要是细节,又鉴于扩展路径能充分利用收缩路径获取的特征信息,所以较浅的网络也能获得高分割准确率.同时,为了最大化利用局部信息,网络的收缩路径中应该尽可能的获取高分辨率特征信息,网络的层数也不能过少.因而选择合适的层数,不仅能提高优化率,同时,可以降低时间复杂度.

U-Net网络由两条路径组成,收缩路径和扩张路径。收缩路径属于典型的卷积网络结构,每两个卷积层后进行一步特征处理操作,以获取医学图像的双倍通道特征,在上下层之间建立特征映射,传递特征信息。扩张路径基本对称于收缩路径,利用反卷积操作来减少特征通道,放大特征图。与现有网络相比,本发明提出的方法最大特点在于每次参与反卷积的数据融合了浅层特征图,以及对应同阶收缩路径上的高分辨率特征信息,这种合并信息保留了下采样过程中可能丢失的有效数据，同时，规范层将基于获取的特征调整前一层的激活权值,提高模型训练过程中网络对权重的敏感程度,加速网络收敛。

针对超像素优化问题,特别是着重强调边缘像素的重要性,本发明在原始U-Net网络基础上进行了扩展和修改。卷积层前面添加了双边滤波模块,经它处理的超像素分割图进入卷积网络学习特征。图像I’经双边滤波处理,可以抑制噪声干扰,突出边缘细节,超像素数据更加洁净,从而使得模糊问题得到更好地解决。其次,为了提高网络的综合性能,网络的卷积层后面添加了规范层,对前一层的激活值进行批标准化处理,控制过拟合现象,提高模型训练过程中网络对权重的敏感程度,加速了网络收敛。

卷积网络呈U型,由卷积层和规范层重复拼接而成,层数设定十分灵活。超像素分割图需要优化的部分主要是细节,又鉴于扩展路径能充分利用收缩路径获取的特征信息,所以较浅的网络也能获得高分割准确率。同时,为了最大化利用局部信息,网络的收缩路径中应该尽可能的获取高分辨率特征信息,网络的层数也不能过少。因而选择合适的层数,不仅能提高优化率,同时,可以降低时间复杂度。

为了进一步说明本发明的实施方式，下面再以具体的实施例来具体说明。

如图9所示，为某肺窗在不同参数取值下的双边滤波效果图(图下方数值为当前参数组合下的平均PSNR(dB))。本发明选用含肿瘤或结节的肺窗CT、颅脑MR等器官切片,由某医院提供,切片总数量为1110,肺窗分辨率为512*512,颅脑分辨率为208*208,选取其中的900幅作为训练数据,200幅作为验证集,10张用作测试集,训练标签中的区域标注由人工完成。实验图像的处理难点集中于结节与组织壁黏连,分支血管与肿瘤分布盘根错节以及细小组织的分割遗漏。实验中SLIC超像素分割用Matlab仿真,优化超像素的网络结构采用整合TensorFlow后端的Keras框架实现。应用平台CPU:Intel(R)Xeon(R)E5-2643v4@3。40GHz,GPU:NVIDIA GeForce GTX 1080M,256GB内存。

实验目标是对医学图像的超像素进行优化。首先,采用典型SLIC算法计算出医学图像的超像素分布情况。所有待优化图像与标记图像合并作为训练的输入。双边模块作为训练模型网络的初始步骤，需要设置参数。通过迭代训练,生成优化超像素的模型。本节仅选取其中的肺窗CT和脑部MR图像进行实验说明,各项统计数据均是实验数据分割结果的平均值。

双边滤波的效果取决于两个关键参数δ_d与δ_r,若设置得当,将有效滤除噪声,同时又可突出关键细节。通过衡量图像的噪声水平,得出双边滤波核参数的值。依据现有自适应双边滤波参数估计研究,通过衡量图像的噪声水平,可以得到双边滤波核参数的最佳值，图像噪声水平与空间域标准差参数δ_d呈线性关系,即公式：

δ_d＝cδ_n (5)

值域标准差δ_r满足约束条件:

δ_r＝be (6)

为得到最合理有效的参数,依照上述两个约束条件对50幅医学图像进行了大量的实验,发现,当δ_d＝4,δ_r＝0.1时，能够取得最佳信噪比。

图9是截取了双边滤波实验中最具代表性的部分实验数据,各图下方数值是每种参数组合下的平均PSNR值。PSNR值越大,表示双边滤波的效果越好,越接近原图像。从图中可以看出,经过双边滤波,过滤了噪音,肿瘤周边较细的毛细血管纹理变浅,肿瘤和肺实质间的边缘界限更加明显,特别是在(4,0.1)的参数组合下,PSNR值最大。

实验结果与分析：基于上述设置双边核的参数δ_d与δ_r,对肺窗和颅脑MR超像素图像进行了处理。采用对比的方式研究了插入双边模块和规范层的网络在超像素级优化层面的有效性。

超像素分割性能分析：实验采用的优化网络的深度A取值4,其中,卷积层核的初始值符合截尾正态分布,规范层使用了较大的动量0.99实现批标准化,并使用ReLU函数激活。收缩路径中每一层的宽度自上而下依次是(64,128,256,512),对应有自下而上的扩展路径,共18个卷积层。肺窗CT经过SLIC算法从视觉上已经逼近真值,因而优化网络的深度不必很深,可以就网络层数伸缩,并进行了比较。训练集包括500幅肺窗切片,400幅颅脑MR,另有200幅用作验证集,训练Epoch设置为10,数据随机打乱后完成模型的编译和训练。图10显示了本发明网络对不同粒度超像素的优化情况。其中,IOU参数反映了检测目标与真值的交叠率,值越高表明越接近真值。

由图10和图11可知,图10第一行是不同K值下肺窗CT图超像素分割输出。第二行是超像素级图像通过双边模块的结果。第三行是不同K值下模型优化的结果。第四行是优化的超像素的局部放大图。随着超像素粒度即种子点K的增加,肺窗切片的纹理细节区分的愈发细致。在容易发生分割错误的区域,如肺实质内的分支血管末梢,结节周边等区域,生成的超像素相对更密集且集中。经过双边模块处理后,肺窗图像各组织间界限较原超像素分割图有了极大的改善,主要表现为:肿瘤与周边聚集的超像素间灰度边界更加明显,小颗粒超像素溶于肺腔,肺壁界限清晰；其次,纵膈内灰度更加平滑,双肺内单一空洞减少。从图像处理的角度来看,经过双边滤波模块处理的医学图像,更适合用于解剖图分割。

图10的第三行和第四行图像为模型优化的结果,从中可以看出,肺窗图像的优化主要体现在结节和肺实质内的细小空洞方面,随着K值的增大,超像素得到不同程度的优化,图11IOU曲线反映了这种优化趋势。初始超像素个数K越多,网络输出的各个超像素范围同真值的重叠率越高。当K值达到500时,超像素几乎完全刻画出了肿瘤在肺窗中的位置和范围,与真值的重叠率达到了94.01％。IOU值的这种递增趋势在K达到一定程度时,便将趋于平稳,主要原因在于分支气管、终末肺泡结构等组织分割不彻底。

改进的U-Net网络在超像素优化中取得了较好的表现,为了更好的理解它的优势及限制,在传统FCN、CNN中使用相同实验数据进行了验证,并且运用图像分割中常见的三种精度衡量估计。有m_c个类别,m_ij表示第i类中预测为j类的像素点个数,t_i为第i类的像素总点数,度量公式为:

(1)像素精度(Pixels Accuracy,PA):

(2)平均像素精度(Mean Pixel Accuracy,MPA)：

(3)均交并比(Mean Intersection over Union,MIoU):

表1传统FCN-16s、CNN、U-Net及改进的U-Net网络的分割精确度(验证集)

通过分析像素划分正确所占的总比重,求出像素精度；进而分析超像素内各像素是否真正归属于当前超像素,即平均像素精度；MIoU为图像分割中的标准度量,计算了真实值与预测集的交集和并集之比。三者反映出网络分割的性能,值越大,表明超像素划分正确的像素点越多,优化超像素的能力更强。表1为本发明网络与各传统网络的分割性能,从中可以看出,U-Net网络对医学图像的超像素优化处理比传统FCN和CNN的性能更好,针对不同类别的分割,三项度量指标值始终高于传统的网络,因而U-Net网络对超像素的划分更准确,而本发明的网络中MIoU指标提高了1.37％。此外,本发明改进的U-Net网络平均学习时间比原U-Net网络用时更少,综合学习效率更高。

本发明涉及的网络路径是对称的,纵向伸缩可规定不同数量的逻辑单元。按照表2参数设定,比较了不同深度下改进网络对超像素的优化结果。评估指标包括精确度(Precision)、召回率(Recall)和F-means,其中,精确度P反映了优化模型判定中预测正确的比重,召回率R反映了模型在急需优化范围内成功判定目标的比重。F-means为精确度和召回率的综合评价,其计算公式:

β²是精确度与召回率权重比,通常情况下,精确率和召回率不能保持相同的趋势,在精确率较高时,召回率往往比较低。这里,设置β²＝1,选取精确度和召回率相同重要性。于是有F1-means且计算公式是其中TP指”真正”,即模型判断为真的正确率,FP为“假正”,即误报率,FN为“假负”,即漏报率。F-mean值越高,代表模型的性能越好。

表3为不同深度网络模型的平均F-mean值。综合PRC曲线和F-means可知,网络深度对优化的程度存在影响,网络深度越深,召回率越高,模型能更全面的判断需要优化的超像素区域,因此对超像素类别判断正确的概率越大,即精确度越大,综合两项指标的F1-means值也随之提升,但增幅较小。因而在强调运行速度的医学诊断中,较浅的网络路径就能满足超像素的优化需求。

表2不同深度网络的参数设置

表3平均F-mean值对比

本发明U-Net网络优化性能：本发明网络针对医学图像的超像素分割取得了较好的优化效果。由图5讨论可知,肺窗图像的超像素类别经过模型得以区分纵膈,肺实质,结节。图12为颅脑MR超像素(K＝500)优化过程。自左至右依次为(a)测试图像,(b)超像素图,(c)BI图,(d)改进的U-Net网络生成图(A＝3～5)以及(e)传统U-Net网络对图a的超像素分割图。图12为3幅颅脑MR测试图(Test.1～3)依照表2设置的网络训练模型优化结果。从视觉上看,经过本发明网络优化后的超像素中白质的边缘界限清晰,头顶内扣带沟等各类沟的曲线约束于灰质,使得颅脑超像素经过网络优化能够分割出灰白质、沟、颅骨、胼胝体干和大脑半球。而传统U-Net网络则表现的差强人意,从图12(e)中各图可见,分割结果仅针对白质分割却忽略了紧邻的灰质，其次，对颅骨的优化也存在模糊缺陷。结合上述提及的U-Net网络更适合应用于医学图像分割的结论,本发明所改进的U-Net网络在超像素优化处理过程中具备更突出的优势。网络的深度无论是较浅或者较深,始终都对医学图像的超像素有了明显的优化。

本发明提出的方法能够准确地优化肺窗、颅脑等医学图像,利用局部邻域的值域信息加强对细节的控制,降低细小组织的影响,同时增强组织边界,使得数据更加干净。其次,基于U-Net网络进行优化,利用规范层自适应调整上层传入的权重,尽管网络的层数增加了,但批标准化加速了网络的收敛,直接解决了网络较深时难以训练的问题,模型的容纳能力较高。实验数据表明,本发明设计的网络在各个深度下,均对医学图像的超像素分割图实现稳定性优化。

本发明算法将U-Net神经网络应用在医学图像超像素分割优化上,充分考虑了像素周围领域及值域信息对中心像素的影响,并且构建了一个对称的网络结构,使用规范层处理后激活,一定程度上提高了图像超像素的分割结果。在保证相同训练数据量的前提下,与传统的U-Net网络相比,本发明算法在运算速度及损失上表现出了明显的优势。结果显示,本发明的方法在医学图像超像素优化中具有良好的稳定性和鲁棒性。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种面向医学图像分割的超像素方法，其特征在于，方法包括：

对医学图像进行超像素分割；

对超像素分割后医学图像使用双边滤波保留边缘,并滤除噪声，降低网络模型的误差率；

配置网络框架,通过迭代训练参数,构建卷积网络应用于超像素分割的医学图像。

2.根据权利要求1所述的面向医学图像分割的超像素方法，其特征在于，

步骤对医学图像进行分割包括：

设置一幅M*N的医学图像I,定义一个扩展性映射I→R⁵；

将I映射到CIELab颜色空间,I中像素p＝(u,v)的灰度值由L,a,b分量描述,并与XY坐标结合得到5维特征向量V(u,v,l,a,b)；

基于聚类的思想,将相似度高的像素点聚集为同一类；在分配过程中,聚类中心不断更新至最低梯度位置；分配和更新过程将反复迭代直至超像素收敛，得到医学图像I的超像素分割图I’。

3.根据权利要求2所述的面向医学图像分割的超像素方法，其特征在于，

步骤对医学图像进行超像素分割还包括：

设定超像素的个数K,种子点与周围2S区域内像素的相似程度的衡量公式如(1)所示:

公式(1)中,d_xy为像素到中心像素的欧式距离,d_lab为像素点间的颜色差异,D为两个像素的相似度,其值越小,表明相似度越高；N_lab为最大空间距离,取值等同于采样间隔N_xy为最大颜色距离,一般固定为常数,记为m，衡量颜色相似性和空间邻近度之间的相对重要性，m值小,表示颜色接近度的重要性要相对高于空间位置；m值大时,效果相反。

4.根据权利要求3所述的面向医学图像分割的超像素方法，其特征在于，

SLIC算法迭代次数为10次。

5.根据权利要求1或2所述的面向医学图像分割的超像素方法，其特征在于，

步骤对超像素分割后医学图像使用双边滤波保留边缘,并滤除噪声，降低网络模型的误差率还包括：

双边滤波模块的核函数包括：空间域核，值域核以及决定图像输出的两个关键因子；

两个关键因子为空间位置权重δ_d和像素亮度权重δ_r；双边滤波模块对图像I’的滤波处理方式为:

式中,H(δ_d,δ_r,f_ij,f_kl)为核函数,是空间域核与值域核的乘积；f_ij表示空间位置为(i,j)的中心像素,灰度值是z_c,f_kl表示医学图像中的像素点(k,l),且k∈M,l∈N；通过核函数衡量中心像素与它周围像素点的综合相似度,中心像素的灰度值将更新为δ_d和δ_r为影响核函数整体衰减程度的参数,影响参考空间域核及值域核的表达式，空间域核为:

值域核：

实际上,δ_d与δ_r视为核的方差；当δ_d偏大时,空间域核H_d(f_ij,f_kl)的值普遍偏小,趋于强调值域滤波的权重,对空间邻域敏感度较低；当δ_r值较大时,值域核H_r(f_ij,f_kl)的权重差别小,中心像素与空间距离相似度有关,保留边缘的性能下降；

对输入的医学超像素分割图像I’进行双边滤波处理，处于各组织邻接区域的像素值变化大,值域核权重较大，保留边缘变化信息；在各组织内部,图像较平坦,值域核权重接近于1,滤除因设备不稳定外部因素引起的噪声。

6.根据权利要求1或2所述的面向医学图像分割的超像素方法，其特征在于，

步骤配置网络框架,通过迭代训练参数,构建卷积网络应用于超像素分割的医学图像还包括：

基于U-Net网络配置网络框架，依照U-Net网络配置收缩路径和扩张路径；

收缩路径为卷积网络结构,每两个卷积层后进行一步特征处理操作,以获取医学图像的双倍通道特征,在上下层之间建立特征映射,传递特征信息；

扩张路径基本对称于收缩路径,利用反卷积操作来减少特征通道,放大特征图；每次参与反卷积的数据融合了浅层特征图,以及对应同阶收缩路径上的高分辨率特征信息，合并信息保留了下采样过程中丢失的有效数据。

7.根据权利要求6所述的面向医学图像分割的超像素方法，其特征在于，

步骤配置网络框架,通过迭代训练参数,构建卷积网络应用于超像素分割的医学图像还包括：

对U-Net网络进行了扩展和修改，在卷积层前面添加双边滤波模块，双边滤波模块对超像素分割图进行处理；

处理后的超像素分割图进入卷积网络学习特征。

8.根据权利要求7所述的面向医学图像分割的超像素方法，其特征在于，

步骤配置网络框架,通过迭代训练参数,构建卷积网络应用于超像素分割的医学图像还包括：

在卷积网络前面添加了双边滤波模块,经双边滤波模块处理的超像素分割图进入卷积网络学习特征；

在网络的卷积层后添加规范层,规范层对卷积层的激活值进行批标准化处理,控制过拟合现象。

9.根据权利要求8所述的面向医学图像分割的超像素方法，其特征在于，

卷积网络呈U型,由卷积层和规范层重复拼接而成；对于每幅输入图像,通过激活函数ReLU处理作为当前卷积层输出,两次卷积的双层特征输出结果传送至规范层以实现标准化，函数操作可描述为：

l表示层的索引,f为激活函数,conv^l则为卷积层的最终输出,其输入为u^l,是对第l层的输入conv^l-1卷积得到的特征图，W和b分别为卷积层l的权值和偏置,它的值大小通过监督网络训练确定，在网络中,W也可称为卷积核,大小设置为3×3×n_l,并且每次下采样后核个数n_l加倍；

由于数据特征分布的形状在训练和约束的过程中会发生变化,规范层将基于获取的特征调整前一层的激活权值,使输出数据均值接近0,标准差接近1,即conv^l更新为

对于n_l维卷积层输入规范层将在多维上完成标准化,独立处理各尺度下的特征，规范化过程Norm的具体操作为：

公式(6)中，E和Var分别为均值函数和方差函数.同时,为了确保规范后始终满足卷积属性,保持有效特征信息,每个激活权值的输出需要依赖两个参数α^(k)和β^(k):

式中的两个参数通过网络学习得到，经过上述类似的转换,在整个训练集基础上批量完成激活值归一化,输出规范层统计数据,并且参与梯度反向传播。

10.根据权利要求9所述的面向医学图像分割的超像素方法，其特征在于，

网络框架中的扩张路径对称于收缩路径,由卷积操作和规范层重复拼接完成；

每个深度下的特征图均先上采样再接卷积及规范层；

网络扩展路径上采样部分利用2*2反卷积替代池化操作,实现特征通道数量减半,特征图大小加倍；

随着深度的增加,最后一层卷积核大小为1*1，把64通道的特征图转化为预设深度；预设深度取决于当前图学图像分割优化的超像素,特征向量映射向所需要分割优化的类别。