CN103093470A - 一种具有尺度无关特性的快速多模态图像协同分割方法 - Google Patents

Abstract

本发明公开了一种具有尺度无关特性的快速多模态图像协同分割方法，该方法包括：步骤一、打开输入的图像组文件，对当前输入图像组中图像利用SLIC算法依次提取个超像素，提取各张图像的超像素，计算所述超像素的颜色特征、区域协方差矩阵；进行图像的前景、背景区域初始化；步骤二、构建超像素多模态特征和前景区域、背景区域模型，步骤三、优化求解。本发明设计了简单实用的基于超像素的多模态特征融合与度量的方法，进一步将多模态特征引入图像协同分割的能量方程，能够在保证较高的正确率的同时，提高算法的运行速度。此外，由于多模态特征的引入，也极大地扩展了图像协同分割所能处理的场景，对复杂图像背景具有一定鲁棒性。

Description

一种具有尺度无关特性的快速多模态图像协同分割方法

技术领域

本发明属于图像处理和图像分析领域，特别是涉及一种快速而实用的具有尺度无关特性的多模态图像协同分割技术，可用于同时分割图像组中的相似图像区域。

背景技术

图像协同分割技术是在假设两幅或多幅图像中的每幅图像所包含的前景具有相似的颜色直方图的前提下，针对含有相似前景或背景的两幅或者多幅图像，使用非监督算法或者少量人机交互的监督算法，获得前景以及背景准确分割的图像分割方法。大部分现有图像协同分割方法多在像素级进行，随着图像尺寸的增大，算法时间、空间复杂度均会呈指数级上升，这一限制显然造成了像素级协同分割算法无法处理高分辨率图像的图像分割，更无法同时处理大量图像。

另外，基于随机场模型的图像协同分割方法，仍停留在基于鼓励前景区域一致性的初步阶段，图像分割中所用到一些特性如形状信息、边界信息等在协同分割中并未得到应用。多模态特征虽然在计算机视觉领域、图像处理、模式识别得到了广泛应用，但是在图像协同分割中的应用仍处于起步阶段，缺少统一的多特征融合与度量方法，其应用潜力并未得到体现。

本发明是对现有图像协同分割算法的改进，更好的考虑了现实生活中图像数据的特征，如高分辨率、特征丰富等，采用了超像素技术，使得算法运行时间独立于图像分辨率，并且给出了一套完整的统一的多特征融合与度量方法，使得多模态这一技术在图像协同分割领域得到应用。

参考文献：

[1].R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,and S.S¨usstrunk.SLIC superpixels.In EPFLTechnical Report149300,2010.

[2].O.Tuzel,F.Porikli,and P.Meer.Region covariance:A fast descriptor for detection andclassification.In ECCV,2006

[3].C.Barnes,E.Shechtman,D.Goldman,and A.Finkelstein.The generalized patchmatchcorrespondence algorithm.In ECCV,2010.

[4].C.Rother,T.Minka,A.Blake,and V.Kolmogorov.Cosegmentation of image pairs by histogrammatching-Incorporating a Global Constraint into MRF.In CVPR,2006.

[5].D.S.Hochbaum and V.Singh,"An efficient algorithm for Co-segmentation,"in Computer Vision,2009IEEE12th International Conference on,2009,pp.269-276.

[6].A.Joulin,F.Bach,and J.Ponce.Discriminative clustering for image co-segmentation.In CVPR,2010.

发明内容

基于上述现有技术及其缺陷，本发明提出一种具有尺度无关特性的快速多模态图像协同分割方法，本发明的目的是针对现有技术处理现实生活中高分辨率图像对上的不足，提供一套快速而实用的具有尺度无关特性的多模态图像协同分割技术，可以使用户方便地将高分辨率图像对更为准确地快速的进行分割。

本发明提出了一种一种具有尺度无关特性的快速多模态图像协同分割方法，该方法具体包括以下步骤：

步骤一、打开输入的图像组文件，对当前输入图像组中图像利用SLIC算法依次提取K个超像素，记为集合 $S^{\left(t\right)}=\{S_1^{\left(t\right)},S_2^{\left(t\right)},...,S_i^{\left(t\right)},...,S_k^{\left(t\right)}\},$ 其中，代表第t张图像的第i个超像素，K∈N,t＝1,2，提取各张图像的超像素，计算所述超像素的颜色特征、区域协方差矩阵；进行图像的前景、背景区域初始化，具体处理为；

对于一个给定的超像素

计算其颜色特征

${\stackrel{\‾}{c}}_p=\frac{1}{\left|S_p\right|}{\mathrm{\Σ}}_{j\∈S_p}{c}_j,$

其中，S_p为超像素p中所包含像素的集合，|S_p|为超像素p中像素的个数，c_i=[R_j，G_j，B_j]^T是像素j的RGB颜色值；

对于一个给定的超像素集合

计算其区域协方差矩阵V_P，

V_p=(F_p-μ(F_p))^T(F_p-μ(F_p))，

其中，

是超像素p的特征矩阵，f_j，p=[x_j，y_j，R_j，G_j，B_j]^T为超像素p中第j个像素的特征向量，像素坐标为(x，y)，μ(·)是特征矩阵的均值，T为向量的转置，采用PatchMatch算法，获得两幅图像中各自相应的前景区域

和背景区域

步骤二、在获得超像素的颜色特征、区域协方差矩阵的基础上，使用联合聚类方法构建超像素多模态特征和前景区域、背景区域模型，进一步使用BP算法完成图像协同分割;

对于集合S⁽¹⁾、S⁽²⁾使用非相似性度量D(p，q)进行联合聚类，形成C个簇，其中，

$D(p,q)=\mathrm{\λ}{\left|\right|\stackrel{\‾}{c_p}-\stackrel{\‾}{c_q}\left|\right|}_2+(1-\mathrm{\λ}){\left({\mathrm{\Σ}}_{f=1}^5{\ln }^2{\mathrm{\ρ}}_f(V_p,V_q)\right)}^{\frac{1}{2}},$

||·||₂为欧式距离，ρ_f(V_p，V_q)为区域协方差矩阵V_p和V_q第f个特征值，参数0≤λ≤1为权重系数，

分别代表超像素p，q的颜色均值；

以C个簇的中心作为一个字典γ={C₁，…，C_K}，将超像素

的多模态特征表示为一个基于字典γ非归一化的直方图，记为H_p；

对前景区域

和背景区域

分别统计其所包含的超像素的联合聚类的分布情况，统计前景区域和背景区域中各个超像素各自所属聚类中心形成统计直方图，分别作为前景区域模型H_fg和背景区域模型

步骤三，利用上述结果，建立一个不规则图，超像素作为不规则图的节点,结合输入图像组中每幅图像中超像素的空间邻接矩阵M^(t)，建立节点间的连接边以及边上的权重,将能量方程 $E_{\cos \mathrm{eg}}\left(X\right)={\mathrm{\Σ}}_{i=1}^2({\mathrm{\Σ}}_p{\mathrm{\ω}}_{p,i}{X}_{p,i}+{\mathrm{\Σ}}_{p~q}{\mathrm{\ω}}_{\mathrm{pq},i}|x_{p,i}-x_{q,i}\left|\right)+{\mathrm{\Σ}}_{\mathrm{global}}\left(X\right),$ 转化为不规则图的最大流/最小割问题，使用BP算法进行求解。

该方法还包括所述超像素多模态特征的统一度量的处理，具体包括以下步骤：在超像素多模态特征以及前景区域模型/背景区域模型模型均统一的表示为一个基于字典γ非归一化的直方图基础上，定义度量第i幅图像中超像素p被标记为前景区域代价为ω_p，i=β||H_p，H_fg||_emd，以及，背景区域代价ω_p，i=β||H_p，H_bg||_emd，其中，||·||_emd为两个直方图的EMD距离，H_fg为前景区域模型、H_bg背景区域模型，参数β≥0且用于调制(modulates)在公式中∑_pω_p，ix_p，i项的相对重要程度。

该方法也适用于包括多张图像的输入图像组。

与现有技术相比，本发明具有如下优点：

（1）尺度无关。本发明基于超像素空间展开算法设计，为了去除图像分辨率对算法运行时间、空间的不良影响，本发明提出了一个基于超像素的多模态特征融合与度量的方法；与现有基于像素的方法不同，本算法最终运算时间、空间独立于输入图像的分辨率。

（2）多模态系统分割。本发明设计了简单实用的基于超像素的多模态特征融合与度量的方法，进一步将多模态特征引入图像协同分割的能量方程，能够在保证较高的正确率的同时，提高算法的运行速度。此外，由于多模态特征的引入，也极大地扩展了图像协同分割所能处理的场景，对复杂图像背景具有一定鲁棒性。

附图说明

图1是本发明的算法流程图；

图2是本发明的算法错误率与结果比较图；

图3是本发明的与现有算法运行时间对比图。

具体实施方式

下面将结合附图对本发明的具体实施方式进行详细描述，这些实施方式若存在示例性的内容，不应解释成对本发明的限制。

与现有基于像素级单一特征的图像协同分割方法不同，本发明对图像组中的图像首先提取超像素，进而提取其多模态特征，并设计了一套统一的多模态特征融合与度量方法，在保证算法较高正确率以及考虑多模态特征的前提下，不仅使图像协同分割算法具有尺度无关特性，而且同时提高了图像协同分割算法运行速度。

本发明属于图像处理和图像分析领域，涉及一种快速而实用的具有尺度无关特性的多模态图像协同分割技术，包括算法初始化、模型构建求解两个部分，如图1所示，为本发明算法的整体流程图。该算法包括以下步骤：

步骤一、算法初始化：对于输入图像组，获取图像超像素颜色、区域协方差矩阵特征，同时获取图像间相似区域，完成前景、背景初始化，具体包括以下主要步骤：

（一）提取超像素：采用SLIC算法[1]，对当前输入图像组中图像依次提取K个超像素，记为集合

$S^{\left(t\right)}=\{S_1^{\left(t\right)},S_2^{\left(t\right)}..S_K^{\left(t\right)}\},$

其中，

代表第t张图像的第i个超像素K∈N，t=1，2；

（二）计算超像素颜色特征：对于一个给定的超像素

计算其颜色特征

${\stackrel{\‾}{c}}_p=\frac{1}{\left|S_p\right|}{\mathrm{\Σ}}_{j\∈S_p}{c}_j,$

其中，S_p为超像素p中所包含像素的集合，|S_p|代表超像素p中像素的个数，c_i=[R_j，G_j，B_j]^T是像素j的RGB颜色值；

（三）计算超像素协方差矩阵特征：对于一个给定的超像素

计算其区域协方差矩阵^[2]V_p，

V_p=(F_p-μ(F_p))^T(F_p-μ(F_p))，

其中，

是超像素p的特征矩阵，f_j，p=[x_j，y_j，R_j，G_j，B_j]^T；

（四）前景、背景区域初始化：采用PatchMatch算法[3]，获得图像中各自相应的前景区域

和背景区域

步骤二、模型构建：在获得超像素颜色特征、区域协方差矩阵的基础上，使用联合聚类方法构建超像素的多模态特征和前景、背景模型，进一步使用BP算法完成图像协同分割。

（一）联合聚类：对于集合S⁽¹⁾、S⁽²⁾使用非相似性度量D(p，q)进行联合聚类，形成C个簇，

$D(p,q)=\mathrm{\λ}{\left|\right|\stackrel{\‾}{c_p}-\stackrel{\‾}{c_q}\left|\right|}_2+(1-\mathrm{\λ}){\left({\mathrm{\Σ}}_{f=1}^5{\ln }^2{\mathrm{\ρ}}_f(V_p,V_q)\right)}^{\frac{1}{2}},$

其中，||·||₂为欧式距离，ρ_f(V_p，V_q)为区域协方差矩阵V_p和W_q第f个特征值，参数0≤λ≤1为权重系数；

（二）计算超像素多模态特征：以C个簇的中心作为一个字典γ={C₁，…，C_K}，将超像素

的多模态特征表示为一个基于字典γ非归一化的直方图，记为H_p；

（三）构建前景、背景模型：在前景区域

和背景区域

中分别统计其所包含的超像素的联合聚类的分布情况，并计算前景模型H_fg和背景模型

（四）统一的多模态特征度量:在超像素多模态特征以及前景/背景模型均统一的表示为一个基于字典γ非归一化的直方图基础上，定义度量超像素被标记为前景或背景代价为

ω_p，i＝β||H_p，H_fg||_emd，

ω_p，i=β||H_p，H_bg||_emd，

其中，||·||_emd为两个直方图的EMD距离，参数β≥0调制(modulates)在公式(2)中该项的相对重要程度；

（五）优化求解：利用上述结果，结合图像组中每幅图像中超像素的空间邻接矩阵M^(t)，将能量方程

$E_{\cos \mathrm{eg}}\left(X\right)={\mathrm{\Σ}}_{i=1}^2({\mathrm{\Σ}}_p{\mathrm{\ω}}_{p,i}{x}_{p,i}+{\mathrm{\Σ}}_{p~q}{\mathrm{\ω}}_{\mathrm{pq},i}|x_{p,i}-x_{q,i}\left|\right)+{\mathrm{\Σ}}_{\mathrm{global}}\left(X\right),$

转化为不规则图的最大流/最小割问题，使用BP算法进行求解。

Claims (3)

1.一种具有尺度无关特性的快速多模态图像协同分割方法，其特征在于，该方法具体包括以下步骤：

步骤一、打开输入的图像组文件，对当前输入图像组中图像利用SLIC算法依次提取K个超像素，记为集合 $S^{\left(t\right)}=\{S_1^{\left(t\right)},S_2^{\left(t\right)},...,S_i^{\left(t\right)},...,S_k^{\left(t\right)}\},$ 其中，代表第t张图像的第i个超像素，K∈N,t＝1,2，提取各张图像的超像素，计算所述超像素的颜色特征、区域协方差矩阵；进行图像的前景、背景区域初始化，具体处理为；

对于一个给定的超像素

计算其颜色特征

${\stackrel{\‾}{c}}_p=\frac{1}{\left|S_p\right|}{\mathrm{\Σ}}_{j\∈S_p}{c}_j,$

其中，S_p为超像素p中所包含像素的集合，|S_p|为超像素p中像素的个数，c_i=[R_j，G_j，B_j]^T是像素j的RGB颜色值；

对于一个给定的超像素集合

计算其区域协方差矩阵V_P，

V_p=(F_p-μ(F_p))^T(F_p-μ(F_p))，

其中，

是超像素p的特征矩阵，f_j，p=[x_j，y_j，R_j，G_j，B_j]^T为超像素p中第j个像素的特征向量，像素坐标为(x，y)，μ(·)是特征矩阵的均值，T为向量的转置，采用PatchMatch算法，获得两幅图像中各自相应的前景区域

和背景区域

步骤二、在获得超像素的颜色特征、区域协方差矩阵的基础上，使用联合聚类方法构建超像素多模态特征和前景区域、背景区域模型，进一步使用BP算法完成图像协同分割;

对于集合S⁽¹⁾、S⁽²⁾使用非相似性度量D(p，q)进行联合聚类，形成C个簇，其中，

$D(p,q)=:\mathrm{\λ}{\left|\right|\stackrel{\‾}{c_p}-\stackrel{\‾}{c_q}\left|\right|}_2+(1-\mathrm{\λ}){\left({\mathrm{\Σ}}_{f=1}^5{\ln }^2{\mathrm{\ρ}}_f(V_p,V_q)\right)}^{\frac{1}{2}},$

||·||₂为欧式距离，ρ_f(V_p，V_q)为区域协方差矩阵V_p和V_q第f个特征值，参数0≤λ≤1为权重系数，

分别代表超像素p，q的颜色均值；

以C个簇的中心作为一个字典γ={C₁，…，C_K}，将超像素

的多模态特征表示为一个基于字典γ非归一化的直方图，记为H_p；

对前景区域

和背景区域分别统计其所包含的超像素的联合聚类的分布情况，统计前景区域和背景区域中各个超像素各自所属聚类中心形成统计直方图，分别作为前景区域模型H_fg和背景区域模型

步骤三，利用上述结果，建立一个不规则图，超像素作为不规则图的节点,结合输入图像组中每幅图像中超像素的空间邻接矩阵M^(t)，建立节点间的连接边以及边上的权重,将能量方程 $E_{\cos \mathrm{eg}}\left(X\right)={\mathrm{\Σ}}_{i=1}^2({\mathrm{\Σ}}_p{\mathrm{\ω}}_{p,i}{x}_{p,i}+{\mathrm{\Σ}}_{p~q}{\mathrm{\ω}}_{\mathrm{pq},i}|x_{p,i}-x_{q,i}\left|\right)+{\mathrm{\Σ}}_{\mathrm{global}}\left(X\right),$ 转化为不规则图的最大流/最小割问题，使用BP算法进行求解。

2.如权利要求1所述的具有尺度无关特性的快速多模态图像协同分割方法，其特征在于，该方法还包括所述超像素多模态特征的统一度量的处理，具体包括以下步骤：在超像素多模态特征以及前景区域模型/背景区域模型模型均统一的表示为一个基于字典γ非归一化的直方图基础上，定义度量第i幅图像中超像素p被标记为前景区域代价为ω_p，i=β||H_p，H_fg||_emd，以及，背景区域代价ω_p，i=β||H_p，H_bg||_emd，其中，||·||_emd为两个直方图的EMD距离，H_fg为前景区域模型、H_bg背景区域模型，参数β≥0且用于调制(modulates)在公式中∑_pω_p，ix_p，i项的相对重要程度。

3.如权利要求1或2所述的具有尺度无关特性的快速多模态图像协同分割方法，其特征在于，该方法也适用于包括多张图像的输入图像组。

Images