CN110969635B - 基于先验约束水平集框架的鲁棒快速图像分割方法 - Google Patents

Abstract

本发明提供了一种基于先验约束水平集框架的鲁棒快速图像分割方法，包括以下步骤：S1：定义能量泛函；S2：极小化能量泛函；S3：并行算法分割医学图像；S4：分割结果与比较，得到最终轮廓线。本发明的有益效果是：可以准确快速分割医学图像，在分割效率、准确性上均有明显的提高。

Description

基于先验约束水平集框架的鲁棒快速图像分割方法

技术领域

本发明涉及图像分割方法，尤其涉及一种基于先验约束水平集框架的鲁棒快速图像分割方法。

背景技术

图像分割在生产生活中具有广泛的应用，特别是在医学影像处理、电影工业等领域具有广泛的应用。

在医学影像处理领域，图像分割算法对CT，核磁共振图像进行分割，区分出不同的部位，并标记出边界，帮助医生更快更好地对病变部位进行判断，减轻医护人员的工作负担，降低放射科医生的准入门槛。在电影工业上，利用图像分割技术，自动分割前景与背景，可以有效降低电影特效合成时候的工作量，用更低的成本制作出更精彩的电影。

已有的图像分割方法大体上可以分成阈值方法、活动轮廓方法、机器学习方法三大类。

阈值方法通过寻找一个阈值，根据与阈值的大小比较，将像素点划分为两类，从而达到对图像进行分割的目的。Otsu方法是阈值方法的代表，其将求一个阈值使得类间距离最大，转换为求一个阈值使得类内方差最小。

活动轮廓方法设Ω为图像定义域，I:为灰度图像，通过寻找一个逼近图像u和其边界C，最小化能量函数，从而将图像分割成两部分。

Chan-Vese方法首先利用分段常值函数u给定一个初始的图像逼近，通过u的不同取值，将图像分为内外两部分。而后使用两个不同的常数c_i，分别估计边界的内部和外部的灰度平均值，并以图像I在边界的内部和外部与c_i的差，加上边界的长度作为能量函数。

另一种活动轮廓方法是RSF方法。在RSF方法使用两个变值函数f₁,f₂分别去近似轮廓C内部和外部的图像。同时为了考虑局部灰度值的影响，引入高斯核函数，通过在对整个图像做积分，是每个像素与其周围的点关联起来。整个图像的能量函数为加权之后的能量在整个图像上的积分。

机器学习方法主要包括聚类方法和深度学习方法。以Fuzzy C-means为代表的聚类方法通过定义距离属性，而后通过迭代使得不同的类之间的距离达到最小。以U-Net为代表的深度学习方法通过卷积神经网络先经过收缩路径图像进行特征提取和过滤，再通过扩张路径分割图像。

Otsu方法计算速度快，但是实际分割效果较差，且不能处理彩色图像。Otsu方法通过阈值分割图像，并没有考虑到物体整体的形状与轮廓，没有考虑到分割的整体性。现实中的物体往往具有多种色彩，物体与背景的色彩也可能具有相似的色彩，例如：花和叶片的颜色不同，但是属于同一物体，叶片和背景的草地缺颜色相近，却属于不同物体。对于图像中灰度不均的物体，Otsu方法往往会将其分成多个部分，甚至造成不同类别的分割区域交错分布，无法得到任何有用结果。

Chan-Vese方法利用活动轮廓逼近图像边界，考虑了物体的整体性，但是只是简单的利用两个常数，分别从轮廓的外部和内部逼近物体的轮廓，逼近的精度较差。且其积分时只是简单地求和，没有利用邻域的灰度信息。对于灰度分布不均匀、边界复杂的情景，只使用平均值逼近轮廓内外的图像，容易导致算法过于追求光滑的边界，轮廓只是光滑地包住物体，没有紧密地贴合物体的复杂边界，使得图像的细节分割并不理想。

RSF方法通过高斯核函数对每一个像素点的邻域进行加权平均，考虑了局部区域的灰度分布。但是由于缺乏正则项，和使用梯度下降求解，其对初始化的轮廓曲线较为敏感。对于不同的初始化轮廓，RSF方法可能会得到两个迥异的结果。此外，每次估计水平函数时，RSF都需要对每个点的邻域灰度值进行加权平均，整个计算流程串行进行，导致RSF方法的时间成本较高。

机器学习方法不需要初始化轮廓，并且在大部分情况下，分割的效果较好。但是需要大量数据去训练模型，在实际应用中，收集大量的数据往往很困难，甚至是无法做到的，对于医学影像，由于样本较少，标记工作较为困难，只有专业医生才能标注，因而很难获得大量的训练数据，使得机器学习算法容易过拟合，甚至无法收敛。此外，深度学习模型的计算复杂度较大，深度学习模型中存在着大量的卷积运算，模型的参数量也非常巨大，权重往往有上百兆，每次推断的计算量极为巨大。并且现在的深度学习模型往往需要在GPU上运行，而GPU的显存有限，难以放入巨大的扫描医学图像，因而在实际操作时，不得不牺牲精度，将图像压缩，这与使用更精密的仪器，得到更精确的结果以及时发现病灶的初衷相违背。

发明内容

为了解决现有技术中的问题，本发明提供了一种基于先验约束水平集框架的鲁棒快速图像分割方法，旨在解决目前医学图像分割目标病灶在准确性和快速性上的问题。

本发明提供了一种基于先验约束水平集框架的鲁棒快速图像分割方法，包括以下步骤：

S1：定义能量泛函；

S2：极小化能量泛函；

S3：并行算法分割医学图像；

S4：分割结果与比较，得到最终轮廓线。

作为本发明的进一步改进，在步骤S1中，建立基于先验约束水平集框架的鲁棒快速图像分割模型；在步骤S2中，应用全局凸分割方法的思想和分裂Bregman方法；在步骤S4中，得到最终演化的水平集函数，取零水平集函数即为最终轮廓线。

作为本发明的进一步改进，步骤S1包括：

定义为图像区域，对于图像I:Ω→R，定义新的能量泛函的能量泛函的三项分别是长度项，拟合能量项和约束项，其中约束项是粗略的手动分割的结果或者是其他方法的预分割结果。长度项、拟合能量项和约束项的作用分别是检测图像边缘并缩短轮廓线的长度或光滑轮廓线，驱使活动轮廓线朝着物体的边缘移动和约束轮廓线过分偏离物体的边缘，约束项在本文模型中是一个重要的项，因为它保证了活动轮廓在相互分割曲线上的移动，从而从根本上提高了对初始条件的鲁棒性。

其中，能量泛函中的一些参数的值可以根据不同种类的图像做调整，使得结果更准确和快速；此外还加入了边缘检测函数和高斯核函数，保证了边缘的细节又保证了得到最终轮廓线的光滑。

同时，新的能量泛函是凸函数，符合应用分裂Bregman方法极小化的条件我们知道相比梯度下降法，分裂Bregman方法收敛速度快，因此提高了模型的分割效率。

新的能量泛函是凸函数，符合应用分裂Bregman方法极小化的条件我们知道相比梯度下降法，分裂Bregman方法收敛速度快，因此提高了模型的分割效率。

作为本发明的进一步改进，步骤S2包括：

本方法主要应用于2D图像分割，并引入一个向量辅助变量，因此问题转换为一个约束极小化问题，引入一个带有惩罚参数的二次惩罚函数，得到一个无约束问题，然后引入Bregman变量，极小化问题就可以通过分裂Bregman方法解决。高斯-赛德尔方法极小化能量泛函，然后水平集函数通过采用拉普拉斯算子和散度算子通过计算中心差分和后退差分来更新，引入的一个向量辅助变量通过压缩算子更新。

作为本发明的进一步改进，步骤S3包括：

约束项通过修正原始曲线条件来影响模型，考虑到这一点，选择N个圆圈circle_i(i＝1,2,...,N)表示在感兴趣区域ROI周围，确保这些圆是够大到足以覆盖感兴趣区域ROI的边界，这些圆在计算尺度上是不相关的，所以可以独立地做同样的演化；首先，需要选择一个小的Ω_i包含circle_i，每一个演化过程都是在Ω_i上进行。

在每个小区域Ω_i上，所有的演化过程完成后，得到最终的水平集函数，然后做一个简单的合并操作，并获得初步分割结果；而合并分割曲线可能不是非常光滑或准确，需要一个额外的演化步骤，以获得更平滑和更准确的分割结果，把初步分割结果为再次对整个图像域演化，呈现一个完整的和最终的分割结果，在此基础上，采用并行算法大大缩短了迭代时间，由于Ω_i比原来的区域小得多，迭代效率得到了极大的提升。

作为本发明的进一步改进，步骤S4包括：得到最终演化的水平集函数，取零水平集函数即为最终轮廓线。

作为本发明的进一步改进，计算过程如下：

1)、输入待分割图像I，初始水平集函数Φ₀，约束水平集函数Φ_pre，初始Bregman变量初始辅助向量/>和迭代终止条件ν；

2)、计算初始轮廓线内外图像近似强度

3)、计算数据拟合能量项T^k；

4)、计算水平集函数Φ^k+1；

5)、计算初始辅助向量

6)、计算Bregman变量

7)、计算轮廓线内外图像近似强度

8)、得到零水平集函数Φ^k+1＝0；

9)、判断||Φ^k+1-Φ^k||≥υ；

10)、如果9)中条件为是，则返回3)继续计算；直到9)中条件为否，输出最终轮廓线。

本发明的有益效果是：可以准确快速分割医学图像，在分割效率、准确性上均有明显的提高。

附图说明

图1是本发明一种基于先验约束水平集框架的鲁棒快速图像分割方法的流程图。

图2是本发明一种基于先验约束水平集框架的鲁棒快速图像分割方法的计算流程图。

具体实施方式

下面结合附图说明及具体实施方式对本发明作进一步说明。

如图1所示，一种基于先验约束水平集框架的鲁棒快速图像分割方法，主要包括：

S1：定义能量泛函；建立基于先验约束水平集框架的鲁棒快速图像分割模型，用于更加准确地分割医学图像。

S2：极小化能量泛函；应用全局凸分割方法的思想和分裂Bregman方法，用于更加快速地分割医学图像。

S3：并行算法分割医学图像；在原有分割算法的基础上提高分割效率，更适用于实际应用，便于临床诊断中起到辅助作用。

S4：分割结果与比较；得到最终演化的水平集函数，取零水平集函数即为最终轮廓线，并与一些模型进行对比分析，凸显本算法的优势。

本方法旨在准确快速分割医学图像，主要的算法流程如图2所示，执行本发明提出的分割算法，主要包括如下步骤：

1、输入待分割图像I，初始水平集函数Φ₀，约束水平集函数Φ_pre，初始Bregman变量初始辅助向量/>和迭代终止条件ν。

2、计算初始轮廓线内外图像近似强度

3、计算数据拟合能量项T^k。

4、计算水平集函数Φ^k+1。

5、计算初始辅助向量

6、计算Bregman变量

7、计算轮廓线内外图像近似强度

8、得到零水平集函数Φ^k+1＝0。

9、判断||Φ^k+1-Φ^k||≥υ。

10、如果9中条件为是，则返回3继续计算；直到9中条件为否，输出最终轮廓线。

以上是本发明算法的主要流程，接下来主要介绍本发明技术路线的中重要部分的实现，主要包括：定义能量泛函、应用分裂Bregman方法极小化、并行算法分割医学图像和分割结果与比较。

S1、定义能量泛函

我们定义为图像区域，对于图像I:Ω→R，新的能量泛函如下：

其中Φ(x)和Φ_pre(x)分别是待分割图像的水平集函数和约束图像的水平集函数，而Φ_pre(x)可以是粗略的手动分割的结果，也可以是其他方法的预分割结果。新的能量泛函的三项分别是长度项，拟合能量项和约束项；其作用分别是检测图像边缘并缩短轮廓线的长度或光滑轮廓线，驱使活动轮廓线朝着物体的边缘移动和约束轮廓线过分偏离物体的边缘。约束项在本文模型中是一个重要的项，因为它保证了活动轮廓在相互分割曲线上的移动，从而从根本上提高了对初始条件的鲁棒性。其中：

其中，x,y是图像中像素点的位置，参数λ₁,λ₂,σ,β和α均是大于零的参数，其值可以根据不同种类的图像做调整，使得结果更准确和快速。g和K_σ分别是边缘检测函数和高斯核函数。f₁和f₂分别是轮廓线内外的近似图像强度。

此时能量泛函是凸函数，符合应用分裂Bregman极小化的条件，因此，极小化公式(1)可以简化为：

其中

S2、应用分裂Bregman方法极小化

本算法主要应用于2D图像分割，所以并引入一个向量辅助变量s＝(s_x,s_y)。因此公式(3)转换为一个约束极小化问题，我们引入一个惩罚参数为λ的二次惩罚函数，得到如下无约束问题，然后我们引入Bregman变量h＝(h_x,h_y)，极小化问题(6)可由如下一系列问题解决：

其中Bregman变量h更新如下：

对于Φ采用高斯-赛德尔方法极小化(5)，得到如下更新方程：

然后，采用拉普拉斯算子和散度算子通过计算中心差分和后退差分,更新Φ^k+1。我们定义演化轮廓线C，其更新如下：C^k+1＝{x:Φ^k+1(x)＝0}。接着，s^k+1通过压缩算子更新：

最后，在更新Φ之前，T的更新依赖于f₁和f₂，其更新如下：

S3、并行算法分割医学图像

由于医学图像非常庞大并且对分割速度的要求也甚高。在此基础上，我们对如何提高分割效率进行了深入的研究。如上所述，约束项通过修正原始曲线条件来影响模型。考虑到这一点，我们选择N个圆圈circle_i(i＝1,2,...,N)表示在感兴趣区域(ROI)周围，确保这些圆是够大到足以覆盖ROI的边界。这些圆在计算尺度上是不相关的，所以我们可以独立地做同样的演化。首先，我们需要选择一个小的Ω_i包含circle_i，每一个演化过程都是在Ω_i上进行。在这种情况下，在Ω_i的能量泛函和极小化问题与公式(1)和公式(3)类似，只需要用Φ_i和分别代替Φ和Φ_pre(x)。其中Φ_i是在Ω_i上的演化水平集函数，/>是第i个圈的水平集函数。

在每个小区域Ω_i上，所有的演化过程完成后，我们得到最终的水平集函数Φ_i。然后做一个简单的合并操作，合并所有Φ_pre并获得初步分割结果。当Φ_i(x)>0时，我们取Φ_pre＝2；反之，当Φ_i(x)<0时，我们取Φ_pre＝-2。Φ_pre的零水平集函数，即合并分割曲线可能不是非常光滑或准确。需要一个额外的演化步骤，以获得更平滑和更准确的分割结果。我们把Φ_pre初步分割结果为再次对整个图像域演化Φ，呈现一个完整的和最终的分割结果。在此基础上，采用并行算法大大缩短了迭代时间。由于Ω_i比原来的区域小得多，迭代效率得到了极大的提升。

S4、分割结果与比较

得到最终演化的水平集函数，取零水平集函数即为最终轮廓线。本发明将对一些医学图像进行分割和对比。本发明提供的一种用于辅助诊断疾病的图像分割算法可用于分割多种医学图像，包括人脑、心脏、肝脏、腺体和黑色素瘤等医学图像。本算法主要与传统分割模型进行对比和分析，主要的比较把包括RSF模型、本发明算法和本发明并行算法。最终得出结论如下，与RSF模型相比，本发明算法的分割结果较准确，而本发明并行算法的分割结果最佳；在时间上，本发明算法耗时最少，而本发明并行算法采用并行分割，但其中加入了合并和光滑环节，稍微增加了分割时间。最后，与其他相关算法对比发现，在分割效率、准确性上均有明显的提高。

本发明提供的一种基于先验约束水平集框架的鲁棒快速图像分割方法，引入了约束项，使用分裂Bregman方法求解，子任务可并行，稳健性和计算性能都优于现有算法。

对比现有的算法，本算法引入了约束项，降低了算法对初始轮廓和参数的敏感度，提高了分割的鲁棒性。本算法对于超参数的取值并不敏感，在数值实验中，对于不同的图像，超参数选取同一个值便可以取得很好的分割效果。并且，对于很多现有方法无法分割的图像，本算法也可以分割。

本算法使用了分裂Bregman方法求解最有能量泛函，相对与现有方法使用梯度下降方法求解，不易受到初值影响，且理论上可以求得全局最优解。现有算法大多使用梯度下降算法求解能量泛函，受到梯度下降算法自身的限制，对初始值比较敏感，并且容易陷入局部最优解中无法脱离。对于轮廓复杂的图像，使用梯度下降方法，还存在梯度爆炸的风险，使的迭代陷入抖动中，无法及时停止，经过大量的迭代，能量仍然不会下降。本算法使用分裂Bregman方法求解能量泛函，将能量函数变为凸函数，从而可以求得全局最优解，有效避免了梯度下降方法陷入局部最优中，导致分割结果不理想的状况。

此外，本算法的每个子任务相互独立，可以并行执行，在多核计算机上，可以节省大量的时间。在计算先验轮廓时，每一个子任务的计算相互独立，没有依存关系，因而在多核计算机上，可以将子任务指派到不同的核心上，充分利用多核机器的计算能力，节省计算时间。在得到先验后，本算法只要再执行少量迭代，便可以得到分割图像，不需要像RSF方法，对整个图像串行进行大量迭代，分割效率显著提高。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (3)

1.一种基于先验约束水平集框架的鲁棒快速图像分割方法，其特征在于，包括以下步骤：

S1：定义能量泛函；

S2：极小化能量泛函；

S3：并行算法分割医学图像；

S4：分割结果与比较，得到最终轮廓线；

步骤S1包括：

定义为图像区域，对于图像I:Ω→R，定义新的能量泛函的三项分别是长度项，拟合能量项和约束项，其中约束项是粗略的手动分割的结果或者是其他方法的预分割结果,长度项、拟合能量项和约束项的作用分别是检测图像边缘并缩短轮廓线的长度或光滑轮廓线，驱使活动轮廓线朝着物体的边缘移动和约束轮廓线过分偏离物体的边缘，约束项在本文模型中是一个重要的项，因为它保证了活动轮廓在相互分割曲线上的移动，从而从根本上提高了对初始条件的鲁棒性；

其中，能量泛函中的一些参数的值可以根据不同种类的图像做调整，使得结果更准确和快速；此外还加入了边缘检测函数和高斯核函数，保证了边缘的细节又保证了得到最终轮廓线的光滑；

同时，新的能量泛函是凸函数，符合应用分裂Bregman方法极小化的条件，相比梯度下降法，分裂Bregman方法收敛速度快，因此提高了模型的分割效率；

其中，定义能量泛函的过程如下：

定义为图像区域，对于图像I:Ω→R，新的能量泛函如下：

其中Φ(x)和Φ_pre(x)分别是待分割图像的水平集函数和约束图像的水平集函数，而Φ_pre(x)是粗略的手动分割的结果或者是其他方法的预分割结果；新的能量泛函的三项分别是长度项，拟合能量项和约束项；其作用分别是检测图像边缘并缩短轮廓线的长度或光滑轮廓线，驱使活动轮廓线朝着物体的边缘移动和约束轮廓线过分偏离物体的边缘；约束项在本文模型中是一个重要的项，因为它保证了活动轮廓在相互分割曲线上的移动，从而从根本上提高了对初始条件的鲁棒性，其中：

其中，x,y是图像中像素点的位置，参数λ₁,λ₂,σ,β和α均是大于零的参数，其值能够根据不同种类的图像做调整，使得结果更准确和快速；g和K_σ分别是边缘检测函数和高斯核函数；f₁和f₂分别是轮廓线内外的近似图像强度；

此时能量泛函是凸函数，符合应用分裂Bregman极小化的条件，因此，极小化公式(1)简化为：

其中

步骤S2包括：

本方法主要应用于2D图像分割，并引入一个向量辅助变量，因此问题转换为一个约束极小化问题，引入一个带有惩罚参数的二次惩罚函数，得到一个无约束问题，然后引入Bregman变量，极小化问题就可以通过分裂Bregman方法解决；

步骤S3包括：

约束项通过修正原始曲线条件来影响模型，考虑到这一点，选择N个圆圈circle_i(i＝1,2,...,N)表示在感兴趣区域ROI周围，确保这些圆是够大到足以覆盖感兴趣区域ROI的边界，这些圆在计算尺度上是不相关的，所以可以独立地做同样的演化；首先，需要选择一个小的Ω_i包含circle_i，每一个演化过程都是在Ω_i上进行；

在每个小区域Ω_i上，所有的演化过程完成后，得到最终的水平集函数，然后做一个简单的合并操作，并获得初步分割结果；而合并分割曲线可能不是非常光滑或准确，需要一个额外的演化步骤，以获得更平滑和更准确的分割结果，把初步分割结果为再次对整个图像域演化，呈现一个完整的和最终的分割结果，在此基础上，采用并行算法大大缩短了迭代时间，由于Ω_i比原来的区域小得多，迭代效率得到了极大的提升；

步骤S4包括：得到最终演化的水平集函数，取零水平集函数即为最终轮廓线。

2.根据权利要求1所述的基于先验约束水平集框架的鲁棒快速图像分割方法，其特征在于：在步骤S1中，建立基于先验约束水平集框架的鲁棒快速图像分割模型；在步骤S2中，应用全局凸分割方法的思想和分裂Bregman方法；在步骤S4中，得到最终演化的水平集函数，取零水平集函数即为最终轮廓线。

3.根据权利要求1所述的基于先验约束水平集框架的鲁棒快速图像分割方法，其特征在于，计算过程如下：

1)、输入待分割图像I，初始水平集函数Φ₀，约束水平集函数Φ_pre，初始Bregman变量初始辅助向量/>和迭代终止条件ν；

2)、计算初始轮廓线内外图像近似强度

3)、计算数据拟合能量项T^k；

4)、计算水平集函数Φ^k+1；

5)、计算初始辅助向量

6)、计算Bregman变量

7)、计算轮廓线内外图像近似强度

8)、得到零水平集函数Φ^k+1＝0；

9)、判断‖Φ^k+1-Φ^k‖≥υ；

10)、如果9)中条件为是，则返回3)继续计算；直到9)中条件为否，

输出最终轮廓线。