CN106056573A - 一种活动轮廓模型中能量泛函的优化方法及其应用 - Google Patents

Abstract

本发明涉及数字图像处理技术领域，提供了一种活动轮廓模型中能量泛函的优化方法，包括如下步骤：S1、得到进行协同分割的源图像对的窄频带；S2、采用混合高斯模型对源图像对进行概率密度分布的估计；S3、采用颜色直方图方法对源图像对进行颜色相似度的估计；S4、采用上述两种方法综合度量源图像对的相似性，并得到待分割图像的轮廓的能量函数；当函数值达到最小值收敛时，得到的曲线即为目标物的轮廓曲线。采用本发明的优化方法进行图像协同分割，具有以下优点：1)鲁棒性好：能大大减小背景或光照的影响，适用于更多的图像；2)准确性高；优化了能量泛函，有利于目标物被更准确的识别。

Description

一种活动轮廓模型中能量泛函的优化方法及其应用

技术领域

本发明涉及数字图像处理技术领域，特别是涉及一种活动轮廓模型中能量泛函的优化方法及其应用。

背景技术

数字图像分割是计算机视觉及多媒体处理的基础工作。随着近些年网络上图像的海量出现及图像数据规模的不断增加，众多实际应用对图像分割的需求由小规模的单幅图像分割不断向大规模的图像间协同分割的方向发展，即图像协同分割的方向发展。

图像的协同分割是一种重要的弱监督分割方法，其目的是从一组图像中提取出共同的对象区域，在无需任何额外图像标签信息的前提下即能够获取有语义的对象区域，因此可广泛应用于多媒体处理及计算机视觉的高层应用中。

图像协同分割的概念自从2006年首次被Rother提出后，在过去的数年中研究者提出了多种协同分割的方法以从一组图像中提取单个或多个共同对象类，这些方法有基于马尔可夫随机场(MRF)的协同分割方法、基于判别聚类的协同分割方法、基于轮廓模型的协同分割方法等等。

基于马尔可夫随机场的协同分割模型的前景提取及优化依赖于多幅图像之间前景区域一致性的分割项。通常这个分割项的引入会使得模型的优化变得更加困难。为了能在改善协同分割性能的同时又能简化模型的优化，Rother首先采用范数来衡量图像前景的一致性，范数是一种重要的距离测度，定义为两幅图像的前景区域的像素灰度值之差的绝对值之和；并采用TRGC算法优化协同分割模型。Mukherjee则采用另一种范数描述图像前景的一致性，定义为两幅图像的前景区域的像素灰度值之差的平方和的二分之一次方；并采用Pseudo-Boolean算法实现模型的优化。Hochbaum采用了奖励策略来构建全局项，使得模型的优化更简单，并采用最大流算法实现模型的优化。

除了基于马尔可夫随机场的方法以外，Joulin提出了基于判别聚类的协同分割方法，该方法采用聚类策略来解决协同分割问题，将共同对象的分割问题转化为共同区域的聚类问题，通过将共同区域聚为一类的策略实现共同对象的提取。该方法采用谱聚类算法来实现局部区域的聚类，而最具判别性的聚类结果将被作为协同分割的结果。Kim提出了另外一种协同分割模型，该方法既考虑了单幅图像的分割以实现单幅图像前景和背景的提取，同时又考虑了多幅图像的分割以匹配前景一致的区域。其中，多幅图像之间通过特征点的匹配来定位出共同区域。该方法能够从一组图像中提取出多个相同的区域。

基于轮廓模型的协同分割方法(以下简称为ICRSACM)，是将活动轮廓模型和奖励策略结合起来，用颜色直方图来表示区域，用奖励策略来计算图像前景的相似度和图像背景的一致性，它通过优化能量函数使其能量函数值达到最小，从而达到协同分割的目的。这种算法对具有简单背景的图像具有较好的分割效果，然而对于具有复杂背景的图像，它的分割效果并不理想，也就是说该方法的鲁棒性不高。

发明内容

本发明的目的在于提供一种基于混合高斯模型与颜色直方图方法的图像协同分割方法。

本发明解决其技术问题采用的技术方案如下：

一种活动轮廓模型中能量泛函的优化方法，用于基于活动轮廓模型的图像协同分割中，包括如下步骤：

S1、得到进行协同分割的源图像对的窄频带；

S2、采用混合高斯模型对源图像对进行概率密度分布的估计；

S3、采用颜色直方图方法对源图像对进行颜色相似度的估计；

S4、采用上述两种方法综合度量源图像对的相似性，并得到待分割图像的轮廓的能量函数；当函数值达到最小值收敛时，得到的曲线即为目标物的轮廓曲线。

进一步的，步骤S2中，采用的混合高斯模型为：

$p\left(x\right)=\underset{i=1}{\overset{M}{\Σ}}{\mathrm{\π}}_i{p}_i(x,{\mathrm{\μ}}_i,C_i)$

其中，p_i(x,μ_i,C_i)是均值为μ_i，协方差为C_i的高斯分布，π_i为混合系数，是数据样本产生第i个高斯分布的先验概率，且满足：

p_i(x,μ_i,C_i)的概率密度函数为：

$p_i(x_k,{\mathrm{\μ}}_i,C_i)=\frac{\exp (-0.5{(x_k-{\mathrm{\μ}}_i)}^T{C_i}^{-1}(x_k-{\mathrm{\μ}}_i))}{{\left(\sqrt{2\mathrm{\π}}\right)}^n\sqrt{\left|C_i\right|}}.$

进一步的，步骤S3中，颜色直方图方法使用的公式定义如下：

$f(p,g(w\left)\right)=\underset{|p^{\′}-p|\≤\mathrm{\β}}{\Σ}h\left(p^{\′}\right)$

其中，f(p,g(w))表示像素p在图片g的区域w的相似度，h表示区域w的颜色直方图,h(p')表示p'在直方图h里的值，β表示颜色偏差阈值。因为图片颜色会有一写偏差，所以在统计颜色概率的时候，只要颜色偏差在β内(即|p’-p|<β)，都加入到p的颜色概率里面。

进一步的，步骤S4中，综合度量源图像对的相似性采用的公式如下：

$p\left(I_A\right(x,y),{\mathrm{\&epsiv;}}_B^j)=a*p\left(I_A\right(x,y\left)\right)+b*f\left(I_A\right(x,y),g_B(j\left)\right)$

其中，a为混合高斯模型度量的权值，b为颜色直方图方法的权值；I_A(x,y)为图像A在x，y处的像素值，为图A中(x,y)处像素在图B的j区域的相似度。

进一步的，步骤S4中，图像I_A的轮廓C_A的能量函数采用如下公式得出：

$\begin{array}{c}E\left(C_A\right)=\mathrm{\&alpha;}\&times;length\left(C_A\right)+\mathrm{\&beta;}\&times;area\left({\mathrm{\&epsiv;}}_A^j\right)\\ -\mathrm{\&gamma;}\&Integral;p\left(I_A\right(x,y),{\mathrm{\&epsiv;}}_B^j)dxdy\\ -\mathrm{\&lambda;}\&Integral;p\left(I_A\right(x,y),{\mathrm{\&epsiv;}}_A^k)dxdy\end{array}$

其中，公式中的第一项计算曲线的长度，第二项计算曲线所包围的面积，第三项和第四项中的由上述综合度量的方法得到；α，β，γ，λ为权值系数，控制各项参数的比重。

本发明还提供了上述活动轮廓模型中能量泛函的优化方法在图像协同分割中的应用，包括如下步骤：

S11、在源图像集中选取两幅图像作为源图像对，初始化活动轮廓模型中能量函数各个参数的系数，初始连续曲线，图像区域阈值T；

S12判断得到的连续曲线是否收敛；若不收敛，进行步骤S13；若收敛，进行步骤S14；

S13、采用所述活动轮廓模型中能量泛函的优化方法处理源图像对，得到处理后的连续曲线，返回S12；

S14、判断收敛区域是否为空；若收敛区域不为空，输出分割图像，并进行步骤S15；若收敛区域为空，则去掉收敛区域为空的图片，进行步骤S15；

S15、判断图像集中是否还有剩余未分割图片；如果有，重复步骤S11，直至所有图像分割完毕。

本发明提供的活动轮廓模型中能量泛函的优化方法，利用混合高斯模型和颜色直方图方法综合度量协同分割中源图像对的相似性。其中，混合高斯模型对源图像对进行概率密度分布的估计，颜色直方图方法对源图像对进行颜色相似度的估计。综合两种方法的估计值，能大大降低外部因素所造成的误差，可以很好地达到度量源图像对相似性的目的。进一步的，根据混合高斯模型与颜色直方图方法得到的相似度估计，改进了活动轮廓模型中建立的能量泛函，使得协同分割的结果更为精确。

本发明还提供了上述方法在图像协同分割中的应用，对基于轮廓模型的协同分割方法(ICRSACM)的能量公式中描述图像前景一致性的分割项的算法进行了改进，结合混合高斯模型和颜色直方图方法的特点，对输入的源图像对进行相似度衡量，协同分割过程中能量泛函不断迭代收敛，以实现对源图像对的协同分割，达到了更好的分割效果。

采用本发明的优化方法进行图像协同分割，具有以下优点：

1)鲁棒性好：实现了基于混合高斯模型与颜色直方图方法的图像协同分割方法，能大大减小背景或光照的影响，适用于更多的图像。

2)准确性高；利用混合高斯模型建模，以及颜色直方图方法综合度量图像相似性，优化了能量泛函，有利于目标物被更准确的识别。

附图说明

图1是使用本发明的优化方法进行图像协同分割的流程示意图。

具体实施方式

为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。

本发明提供了一种活动轮廓模型中能量泛函的优化方法，用于基于活动轮廓模型的图像协同分割中，包括如下步骤：

S1、得到进行协同分割的源图像对的窄频带。

S2、采用混合高斯模型对源图像对进行概率密度分布的估计。具体的，此处使用的混合高斯模型为：

$p\left(x\right)=\underset{i=1}{\overset{M}{\&Sigma;}}{\mathrm{\&pi;}}_i{p}_i(x,{\mathrm{\&mu;}}_i,C_i)$

其中，p_i(x,μ_i,C_i)是均值为μ_i，协方差为C_i的高斯分布，π_i为混合系数，是数据样本产生第i个高斯分布的先验概率，且满足：

p_i(x,μ_i,C_i)的概率密度函数为：

$p_i(x_k,{\mathrm{\&mu;}}_i,C_i)=\frac{\exp (-0.5{(x_k-{\mathrm{\&mu;}}_i)}^T{C_i}^{-1}(x_k-{\mathrm{\&mu;}}_i))}{{\left(\sqrt{2\mathrm{\&pi;}}\right)}^n\sqrt{\left|C_i\right|}}.$

S3、采用颜色直方图方法对源图像对进行颜色相似度的估计。具体的，颜色直方图方法使用的公式定义如下：

$f(p,g(w\left)\right)=\underset{|p^{\&prime;}-p|\&le;\mathrm{\&beta;}}{\&Sigma;}h\left(p^{\&prime;}\right)$

其中，像素p在区域w的相似性表示为，区域w中与像素p灰度相似(距离小于B)的像素数目之和；f(p,g(w))表示像素p在图片g的区域w的相似度，h表示区域w的颜色直方图,h(p')表示p'在直方图h里的值，β表示颜色偏差阈值；像素数目越多，则p与w越相似。

S4、采用上述两种方法综合度量源图像对的相似性。具体的，综合度量源图像对的相似性采用的公式如下：

$p\left(I_A\right(x,y),{\mathrm{\&epsiv;}}_B^j)=a*p\left(I_A\right(x,y\left)\right)+b*f\left(I_A\right(x,y),g_B(j\left)\right)$

其中，a为混合高斯模型度量的权值，b为颜色直方图方法的权值；I_A(x,y)为图像A在x，y处的像素值，为图A中(x,y)处像素在图B的j区域的相似度。

之后，进一步得到待分割图像的轮廓的能量函数：

$\begin{array}{c}E\left(C_A\right)=\mathrm{\&alpha;}\&times;length\left(C_A\right)+\mathrm{\&beta;}\&times;area\left({\mathrm{\&epsiv;}}_A^j\right)\\ -\mathrm{\&gamma;}\&Integral;p\left(I_A\right(x,y),{\mathrm{\&epsiv;}}_B^j)dxdy\\ -\mathrm{\&lambda;}\&Integral;p\left(I_A\right(x,y),{\mathrm{\&epsiv;}}_A^k)dxdy\end{array}$

其中，公式中的第一项计算曲线的长度，第二项计算曲线所包围的面积，第三项和第四项中的由上述综合度量的方法得到；α，β，γ，λ为权值系数，控制各项参数的比重。当函数值达到最小值收敛时，得到的曲线即为目标物的轮廓曲线。

本发明还提供了上述活动轮廓模型中能量泛函的优化方法在图像协同分割中的应用，如图1所示，包括如下步骤：

S11、在源图像集中选取两幅图像作为源图像对，初始化活动轮廓模型中能量函数各个参数的系数，初始连续曲线，图像区域阈值T；

S12判断得到的连续曲线是否收敛；若不收敛，进行步骤S13；若收敛，进行步骤S14；

S13、采用所述活动轮廓模型中能量泛函的优化方法处理源图像对，得到处理后的连续曲线，返回S12；

S14、判断收敛区域是否为空；若收敛区域不为空，输出分割图像，并进行步骤S15；若收敛区域为空，则去掉收敛区域为空的图片，进行步骤S15；

S15、判断图像集中是否还有剩余未分割图片；如果有，重复步骤S11，直至所有图像分割完毕。

上述步骤中，对基于轮廓模型的协同分割方法(ICRSACM)的能量公式中描述图像前景一致性的分割项的算法进行了改进，结合混合高斯模型和颜色直方图方法的特点，对输入的源图像对进行相似度衡量，协同分割过程中能量泛函不断迭代收敛，以实现对源图像对的协同分割，达到了更好的分割效果。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种活动轮廓模型中能量泛函的优化方法，用于基于活动轮廓模型的图像协同分割中，其特征在于，包括如下步骤：

S1、得到进行协同分割的源图像对的窄频带；

S2、采用混合高斯模型对源图像对进行概率密度分布的估计；

S3、采用颜色直方图方法对源图像对进行颜色相似度的估计；

S4、采用上述两种方法综合度量源图像对的相似性，并得到待分割图像的轮廓的能量函数；当函数值达到最小值收敛时，得到的曲线即为目标物的轮廓曲线。

2.如权利要求1所述的活动轮廓模型中能量泛函的优化方法，其特征在于，步骤S2中，采用的混合高斯模型为：

$p\left(x\right)=\underset{i=1}{\overset{M}{\&Sigma;}}{\mathrm{\&pi;}}_i{p}_i(x,{\mathrm{\&mu;}}_i,C_i)$

其中，p_i(x,μ_i,C_i)是均值为μ_i，协方差为C_i的高斯分布，π_i为混合系数，是数据样本产生第i个高斯分布的先验概率，且满足：0≤π_i≤1；

p_i(x,μ_i,C_i)的概率密度函数为：

$p_i\left(x_k,{\mathrm{\&mu;}}_i,C_i\right)=\frac{\exp \left(-0.5{\left(x_k-{\mathrm{\&mu;}}_i\right)}^T{C_i}^{-1}\left(x_k-{\mathrm{\&mu;}}_i\right)\right)}{{\left(\sqrt{2\mathrm{\&pi;}}\right)}^n\sqrt{\left|C_i\right|}}.$

3.如权利要求2所述的活动轮廓模型中能量泛函的优化方法，其特征在于，步骤S3中，颜色直方图方法使用的公式定义如下：

$f(p,g(w\left)\right)=\underset{|p^{\&prime;}-p|\&le;\mathrm{\&beta;}}{\&Sigma;}h\left(p^{\&prime;}\right)$

其中，f(p,g(w))表示像素p在图片g的区域w的相似度，h表示区域w的颜色直方图,h(p')表示p'在直方图h里的值，β表示颜色偏差阈值。

4.如权利要求3所述的活动轮廓模型中能量泛函的优化方法，其特征在于，步骤S4中，综合度量源图像对的相似性采用的公式如下：

$p\left(I_A\right(x,y),{\mathrm{\&epsiv;}}_B^j)=a*p\left(I_A\right(x,y\left)\right)+b*f\left(I_A\right(x,y),g_B(j\left)\right)$

其中，a为混合高斯模型度量的权值，b为颜色直方图方法的权值；I_A(x,y)为图像A在x，y处的像素值，为图A中(x,y)处像素在图B的j区域的相似度。

5.如如权利要求3所述的活动轮廓模型中能量泛函的优化方法，其特征在于，步骤S4中，图像I_A的轮廓C_A的能量函数采用如下公式得出：

$\begin{array}{c}E\left(C_A\right)=\mathrm{\&alpha;}\&times;length\left(C_A\right)+\mathrm{\&beta;}\&times;area\left({\mathrm{\&epsiv;}}_A^j\right)\\ -\mathrm{\&gamma;}\&Integral;p\left(I_A\left(x,y\right),{\mathrm{\&epsiv;}}_B^j\right)dxdy\\ -\mathrm{\&lambda;}\&Integral;p\left(I_A\left(x,y\right),{\mathrm{\&epsiv;}}_A^k\right)dxdy\end{array}$

其中，公式中的第一项计算曲线的长度，第二项计算曲线所包围的面积，第三项和第四项中的由上述综合度量的方法得到；α，β，γ，λ为权值系数，控制各项参数的比重。

6.如权利要求1-5任一项所述的活动轮廓模型中能量泛函的优化方法在图像协同分割中的应用，其特征在于，包括如下步骤：

S11、在源图像集中选取两幅图像作为源图像对，初始化活动轮廓模型中能量函数各个参数的系数，初始连续曲线，图像区域阈值T；

S12判断得到的连续曲线是否收敛；若不收敛，进行步骤S13；若收敛，进行步骤S14；

S13、采用所述活动轮廓模型中能量泛函的优化方法处理源图像对，得到处理后的连续曲线，返回S12；

S14、判断收敛区域是否为空；若收敛区域不为空，输出分割图像，并进行步骤S15；若收敛区域为空，则去掉收敛区域为空的图片，进行步骤S15；

S15、判断图像集中是否还有剩余未分割图片；如果有，重复步骤S11，直至所有图像分割完毕。