CN111105430B - 基于Landmark单纯形约束的变分水平集图像分割方法 - Google Patents

Abstract

基于Landmark单纯形约束的变分水平集图像分割方法，属于数字图像处理技术领域。本发明将图像的先验landmark特征点转换为单纯形约束，实现了Landmark特征点的水平集表达，提出了基于Landmark单纯形约束的变分水平集图像分割模型，实现轮廓与先验点的演化。针对分割模型的非线性、非凸性和非光滑性，通过引入辅助变量将非凸能量方程的求解转换为凸子问题，采用交替方向乘子法，综合使用快速投影法、广义软阈值公式和梯度下降法进行求解。实验结果表明基于Landmark单纯形约束的变分水平集图像分割方法分割性能高，能够鲁棒高效地解决含噪图像、弱边缘图像和异质图像的分割问题。得到的分割结果在主观视觉效果好，客观评价标准较优，为后续图像的特征提取、解译等应用奠定了基础。

Description

基于Landmark单纯形约束的变分水平集图像分割方法

技术领域：

本发明属于数字图像处理技术领域，具体涉及一种基于Landmark单纯形约束的变分水平集图像分割方法。

背景技术：

图像分割是计算机视觉和图像处理中的一个基本问题。分割的目的是将图像域Ω分成具有相同属性(强度，颜色或纹理等方面)K个子域的并集。现有的图像分割方法主要包括：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。专利号为CN201210091548.2的中国专利公开了一种水平集图像处理方法，该方法为一种基于阈值的分割方法，步骤包括：读取原始图像；对获取的原始图像进行预处理，得到预测目标对象；从预测目标对象中确认初始目标对象；利用获取的初始目标对象初始化水平集函数，得到在时间t＝0的模型对象扩散面；计算在时间t(t>0)的驱动力；基于上述步骤的计算结果获得在时间t(t>0)的模型对象扩散面；重复上述步骤直到满足水平集函数的终止判据。该方法可以大大减少图像分割和图像处理的时间，提高了图像分割的准确性，最大限度地避免了现有技术的方法中常见的泄漏问题；但是该方法计算过程复杂，处理效率较低。专利号为CN200510044129.3的中国专利公开了一种基于宏块内边缘信息选择分割的方法，该方法为一种基于边缘的分割方法，针对帧间图像的运动预测，利用人眼对物体边缘信息比较敏感这一特性，提出一种针对物体边缘信息的快速确定宏块的分割方法，可以有效提高运算速度、降低复杂程度。其步骤是，第一步，进行针对宏块的预分割。根据宏块中是否含有边缘信息来划分。通过预分割得到的含有边缘信息的块，继续下步处理。第二步，将可再分割的、即含有边缘信息的块，进行试探性运动估计。包括边缘像素点预判，对于像素残差绝对值之和SAD不小于预设阈值的块进行下一级的分割。若不能再分割，将确定为最终分割子块；若还可分割，对此块再进行试探性运动估计，重复上面的步骤，直至完成整个宏块的分割。该方法能够有效地减少整个视频编码的时间，解码后的图像视觉效果较佳，同时该方法也可被应用到多参考帧的场合。但是该方法主要利用基于梯度的边缘信息监督轮廓演化，并且轮廓通过弧长进行参数化，拓扑结构变形难以操作，同时，结果受到初始轮廓的严重影响。专利号为CN201510520359.6的中国专利公开了一种深度图像的分割方法和分割装置，涉及的图像处理方法属于基于区域的分割方法类别，该方法包括：获取所述深度图像中第一选取区域中的像素点的深度值；估计所述第一选取区域中的分割对象的深度值范围；确定所述第一选取区域中深度值处于所述深度值范围内的像素点，并根据所确定的像素点形成深度值导出区域；以及根据所述深度值导出区域对所述第一选取区域中的分割对象进行分割，得到所述第一选取区域中的分割对象。本公开提供的深度图像的分割方法和分割装置在分割对象与背景的深度差异较大时，能够准确地分割出所需对象。该方法能够根据拍摄过程中所获取的深度信息在图像中分割出所需的对象，在分割得到的图像中不会丢失大块有效信息，也不会出现大块冗余信息，并且图像分割的边缘更加精细。但是该方法通常全局统计信息来实现轮廓演化，因此它们对图像噪声不敏感。图像的异质性、噪声和弱边缘等特点使得图像的准确分割仍是一个挑战。

Landmark特征通常是指视觉显著的图像参考点，是显著且易区分的几何图像特征。Landmark点特征具有确定的位置，先决条件是能够通过简单特征的组合基于非最大抑制框架显式的提取Landmark点特征。Landmark特征，特别是Landmark点特征的先验使用在计算效率方面有明显优势。同时Landmark点特征能够促使主动轮廓演变经过先验特征，以更好地区分相似特征的对象。因此，通过引入Landmark点特征到活动轮廓模型能够提升含噪、弱边缘图像的分割性能。但如何将Landmark点特征结合到图像分割模型是需要解决的关键问题。

Landmark点特征稀疏地散布于图像，因此可以将Landmark点特征设计为稀疏的单纯形约束监督曲线的演变。水平集框架广泛用于图像分割轮廓曲线表达。基于水平集框架，通过简单的投影或惩罚技术能有有效地处理稀疏的单纯形约束。因此，基于变分水平集研发Landmark点特征的单纯形约束表达并将其集成到变分分割模型，构建基于Landmark单纯形约束的变分水平集图像分割方法，能够鲁棒高效地解决含噪图像、弱边缘图像和异质图像的分割问题，有良好的社会和经济价值，应用前景广阔。因此，本发明寻求设计提供一种基于Landmark单纯形约束的变分水平集图像分割方法。

发明内容：

本发明的目的在于克服现有分割技术存在先验特征无法集成的缺点，基于水平集框架，采用单纯形约束实现Landmark点特征的表达，并将其集成到现有的变分分割模型中，设计一种基于Landmark单纯形约束的变分水平集图像分割方法，实现图像的准确高效分割。

为了实现上述目的，本发明涉及的基于Landmark单纯形约束的变分水平集图像分割方法的具体操作步骤按照如下方式进行：

S1、Landmark点特征的确定：尺度不变特征变换形式(SIFT)点对图像噪声不敏感，使用SIFT简单特征基于非最大抑制框架显式的提取Landmark点特征，包括(1)使用高斯差分(DOG)函数建立高斯尺度空间；(2)尺度空间极值检测和关键点定位；

S2、Landmark点特征的变分水平集表达：基于VLSM框架，假设LM＝{lm₁,lm₂,…lm_l}为l个Landmark点特征，如果x∈LM，则掩膜函数η(x)＝1，否则η(x)＝0，水平集函数φ(x)将沿着Landmark点约束φ(x)η(x)＝0演化，再采用单纯形投影，以确保φ(x)的演化过程中一定通过Landmark点；考虑掩膜函数η(x)和Heaviside函数H(x)，Landmark点特征的变分水平集表达为以下最优化问题；

S3、Landmark点特征的变分模型集成：基于步骤S2的Landmark点特征的变分水平集表达，再将变分分割经典模型Chan-Vese(CV)模型与Landmark点先验特征集成提出新的图像分割模型；数据保真度项引入图像的噪声概率密度函数以提高分割模型的分割鲁棒性，即将图像f分割为K个子区域，其中K为大于0的整数，所提出的模型解决以下极小化问题；

其中u＝{u₁,u₂,…,u_K}是分割子域，φ＝{φ₁,φ₂,…,φ_K}是每个子域的水平集函数，α和β是正参数；表示噪声或模糊观测图像f的身份算子，数据保真度项/>控制u_i在距图像f的最短距离内的演化；

S4、变分分割模型的凸优化方法：由于总变分正则项关于φ_i的演化方程包含复杂曲率项，复杂曲率的有限差分方案会降低计算效率，采用分裂算子/>通过增广拉格朗日方法实现能量函数中的约束/>将约束/>转换为/>通过简单的投影实现分段约束和Landmark点特征约束，使上一步的非凸极小化问题转换为以下子问题的交替迭代优化问题；

其中θ_i是正惩罚参数，是向量拉格朗日乘子/> 在最小化过程中的迭代能够提高数值计算的稳定性，约束/>不需要非常大的惩罚参数θ_i；

S5、变分模型的交替方向转换：将水平集函数φ_i初始化为有符号距离函数，对偶变量能够初始化为/>而拉格朗日乘数子/>则简单地初始化为零，通过固定的拉格朗日乘子/>采用交替最小化方法计算S4中拉格朗日泛函的变量u_i ^k+1,φ_i ^k+1,/>步骤S4的极小化问题转换为以下三个子问题；

S6、子问题的快速数值求解：分别求解ε₁(u_i)，ε₂(φ_i)和的欧拉方程，ε₁(u_i)的欧拉方程的数值近似由数据保真度项/>确定,ε₂(φ_i)的欧拉方程用Gauss-Seidel迭代法和半隐式差分方案求解，/>的欧拉方程采用广义软阈值公式求解，对u_i ^{k +1},φ_i ^k+1,/>进行迭代求解，当相邻两次迭代的能量差小于设定的阈值时停止。

本发明与现有技术相比，取得的有益效果如下：得益于先验Landmark点特征，所提出的分割方法可以有效且鲁棒地处理含噪、弱边缘和异质图像；在许多合成图像和真实世界图像上进行的实验表明，与其他最新的分割模型相比，提出的分割方法具有更高的分割性能，能够获得更好的分割结果。

本发明将先验Landmark点特征成功地集成到变分分割模型中，在水平集方法的框架下，将先验Landmark点特征表达为掩膜函数和单纯形约束，并将其组合到变分模型中；为了提高效率，利用简化的SIFT描述符生成初始点标志；初始地标能够通过交互式操作进一步截断或添加；结合Landmark点特征的VLSM表达，提出一种新的分割模型；设计一种快速的综合交替最小化迭代算法来解决分割问题；同时，采用单纯形投影法来保证分割轮廓能够随着先验Landmark点演化，保证水平集函数的演化将通过点地标。

附图说明：

图1是本发明构建具有噪声和弱边缘的真实图像的分割模型流程图。

图2是本发明涉及的步骤S1的Landmark点特征的确定流程图。

图3是依据本发明步骤S2的Landmark点特征的变分水平集表达的轮廓演变原理示意图。

图4为利用本发明对含噪与拐角破损图像的两相分割结果以及与其他模型的比较原理示意图。

图5为利用本发明对弱边缘图像的分割结果以及与其他模型的比较原理示意图。

图6为利用本发明真实图像两相分割结果以及与其他模型的比较原理示意图。

图7为利用本发明真实图像多相分割结果以及与其他模型的比较原理示意图。

图8为本发明涉及的的收敛性分析原理示意图。

图4-6为本发明结果与其他模型的比较，其他模型包括传统变分CV模型、文献(Ma,Q.and D.Kong,A new variational model for joint restoration and segmentationbased on the Mumford-Shah model.Journal of Visual Communication and ImageRepresentation,2018.53:p.224-234)和文献(Cai,X.,Variational image segmentationmodel coupled with image restoration achievements.Pattern Recognition,2015.48(6):p.2029-2042)。

具体实施方式：

下面通过实施例并结合附图对本发明作进一步说明。

实施例1：

本实施例涉及的一种基于Landmark单纯形约束的变分水平集图像分割方法通过如下技术方案实现：

S1、Landmark点特征的确定：尺度不变特征变换形式(SIFT)点对图像噪声不敏感，使用SIFT简单特征基于非最大抑制框架显式的提取Landmark点特征；主要包括(1)使用高斯差分(DOG)函数建立高斯尺度空间；(2)尺度空间极值检测和关键点定位；

S2、Landmark点特征的变分水平集表达：基于VLSM框架，假设LM＝{lm₁,lm₂,…lm_l}为l个Landmark点特征，如果x∈LM，则掩膜函数η(x)＝1，否则η(x)＝0，水平集函数φ将沿着Landmark点约束φ(x)η(x)＝0演化；此外，还采用单纯形投影，以确保φ的演化过程中一定通过Landmark点；考虑掩膜函数η(x)和Heaviside函数H(x)，Landmark点特征的变分水平集表达为以下最优化问题；

S3、Landmark点特征的变分模型集成：基于上一步的Landmark点特征的变分水平集表达，将变分分割经典模型Chan-Vese(CV)模型与Landmark点先验特征集成提出新的图像分割模型，此外，数据保真度项引入图像的噪声概率密度函数以提高分割模型的分割鲁棒性，即将图像f分割为K个子区域，所提出的模型旨在尝试解决以下极小化问题；

其中u＝{u₁,u₂,…,u_K}是分割子域，φ＝{φ₁,φ₂,…,φ_K}是每个子域的水平集函数，α和β是正参数，表示噪声或模糊观测图像f的身份算子，数据保真度项/>控制u_i在距图像f的最短距离内的演化；

S4、变分分割模型的凸优化方法：由于总变分正则项关于φ_i的演化方程包含复杂曲率项，复杂曲率的有限差分方案会降低了计算效率，采用分裂算子通过增广拉格朗日方法实现能量函数中的约束/>将约束/>转换为/>通过简单的投影实现分段约束和Landmark点特征约束，这样步骤S3中非凸极小化问题转换为以下子问题的交替迭代优化问题；

其中θ_i是正惩罚参数，是向量拉格朗日乘子/> 在最小化过程中的迭代可以提高数值计算的稳定性，因此，约束/>不需要非常大的惩罚参数θ_i；

S5、变分模型的交替方向转换：将水平集函数φ_i初始化为有符号距离函数，对偶变量可以初始化为/>而拉格朗日乘数子/>则简单地初始化为零；通过固定的拉格朗日乘子/>采用交替最小化方法计算步骤四中拉格朗日泛函的变量u_i ^k+1,φ_i ^k+1,/>步骤四的极小化问题转换为以下三个子问题：

S6、步骤S5中子问题的快速数值求解：分别求解ε₁(u_i)，ε₂(φ_i)和的欧拉方程，ε₁(u_i)的欧拉方程的数值近似由数据保真度项/>确定,ε₂(φ_i)的欧拉方程可用Gauss-Seidel迭代法和半隐式差分方案求解，/>的欧拉方程采用广义软阈值公式求解；对u_i ^k+1,φ_i ^k+1,/>进行迭代求解，当相邻两次迭代的能量差小于设定的阈值时停止，具体步骤如下：

(a)固定φ_i和求解ε₁(u_i)的欧拉方程，/>的数值近似由数据保真度项确定：

(b)固定u_i ^k+1和求解ε₁(φ_i)的欧拉方程,采用Gauss-Seidel迭代法和半隐式差分方案求φ_i ^k+1：

(c)固定u_i ^k+1和φ_i ^k+1，求解的欧拉方程,采用广义软阈值公式求/>

(d)根据以下公式更新拉格朗日乘子：

Claims (1)

1.一种基于Landmark单纯形约束的变分水平集图像分割方法，其特征在于具体操作步骤按照如下方式进行：

S1、先验Landmark点特征的变分水平集表达方法，将Landmark点特征设计为稀疏的单纯形约束监督曲线的演变；基于水平集框架，通过简单的投影或惩罚技术能有效地处理稀疏的单纯形约束，假设LM＝{lm₁,lm₂,…lm_l}为Landmark点特征，如果x∈LM，则掩膜函数η(x)＝1，否则η(x)＝0，水平集函数φ将沿着Landmark点约束φ(x)η(x)＝0演化，还采用单纯形投影，以确保φ的演化过程中一定经过Landmark点，考虑掩膜函数η(x)和Heaviside函数H(x)，Landmark点特征的变分水平集表达为以下最优化问题；

S2、基于Landmark单纯形约束的变分水平集图像分割模型，基于Landmark点特征的变分水平集表达，将变分分割经典模型Chan-Vese(CV)模型与Landmark点先验特征集成提出新的图像分割模型，此外，数据保真度项引入图像的噪声概率密度函数以提高分割模型的分割鲁棒性，即将图像f分割为K个子区域，所提出的模型旨在尝试解决以下极小化问题：

其中u＝{u₁,u₂,…,u_K}是分割子域，φ＝{φ₁,φ₂,…,φ_K}是每个子域的水平集函数，α和β是正参数；表示噪声或模糊观测图像f的身份算子；数据保真度项/>控制u_i在距图像f的最短距离内的演化；

S3、基于Landmark单纯形约束的变分水平集图像分割模型的快速求解算法；采用分裂算子通过增广拉格朗日方法实现能量函数中的约束/>将约束/>转换为通过简单的投影实现分段约束和Landmark点特征约束，将基于Landmark单纯形约束的变分水平集图像分割模型转换为以下子问题的交替优化问题：

其中θ_i是正惩罚参数，是向量拉格朗日乘子/> 在最小化过程中的迭代可以提高数值计算的稳定性，因此，约束/>不需要非常大的惩罚参数θ_i；

将水平集函数φ_i初始化为有符号距离函数，对偶变量可以初始化为/>而拉格朗日乘数子/>则简单地初始化为零，通过固定的拉格朗日乘子/>采用交替最小化方法计算拉格朗日泛函的变量/>极小化问题转换为以下三个子问题：

分别求解ε₁(u_i)，ε₂(φ_i)和的欧拉方程，ε₁(u_i)的欧拉方程的数值近似由数据保真度项/>确定,ε₂(φ_i)的欧拉方程可用Gauss-Seidel迭代法和半隐式差分方案求解，/>的欧拉方程采用广义软阈值公式求解；对u_i ^k+1,φ_i ^k+1,/>进行迭代求解，当相邻两次迭代的能量差小于设定的阈值时停止。