CN104809729A - 一种鲁棒的图像显著性区域自动分割方法 - Google Patents

Abstract

本发明公开了一种鲁棒的图像显著性区域自动分割方法，包括以下步骤：首先，对图像进行超像素分割，得到图像超像素的测地距离，生成区域，边界长度，边界连通性值；然后，用HSLIC方法对原始输入图像进行超像素分割，并在此基础上使用SC方法进行全局显著性检测得到图像的显著性图；最后，使用边界连通性值和显著性图的显著性值作为图割方法的区域项，进行图像分割，输出图像的显著性区域分割结果。本发明的有益效果：将边界连通性值，图像显著性值和图割方法联系起来，通过图像自动分割技术得到图像显著性区域分割结果。

Description

一种鲁棒的图像显著性区域自动分割方法

技术领域

本发明主要用于图像处理与目标识别技术领域，具体为一种鲁棒的图像显著性区域自动分割方法。

背景技术

图像显著性区域的检测是图像处理领域研究的一个重要方向，图像显著性区域往往是最引起人们注意的部分，包含了一副图像的绝大部分信息，因此，它具有广泛的应用背景。通常，它可以用在目标识别，图像分割，自适应压缩，图像检索等领域中，一种有效的图像显著性区域的检测方法对于这些领域的发展有很大的帮助。

目前存在许多种不同的显著性区域检测方法，主要分为两个大方向：基于局部对比度的方法和基于全局对比度的方法。基于局部对比度的方法利用邻域信息计算显著性，基于局部对比度的显著性检测方法只关注了图像中相邻区域的信息，没有考虑全局的影响。而基于全局对比度的方法考虑了全局的关系及结构，它的显著性是通过每一个区域与整幅图像的差异来定义的。

一种有效的显著性检测方法是基于鲁棒的背景检测的显著性优化方法，它在图像上定义了一种边界连通性值，能够有效地将背景区域和前景区域区别出来，并且在此基础上的图像显著性优化可以得到较好的显著性图。但是该方法在图像显著性区域的完整性和边界保持上效果还不是很好。

另外，现有的一种图像分割的方法是图割方法。它采用图论中最大流最小割思想，源节点为S，汇节点为T，区域项转化为S或T到每一个像素点的权重，边缘项转化为像素点之间的权重。通过求解最大流最小割，将图像分成前景和背景区域。但是该方法大多需要手工的输入，通过人眼的主观判断以及先验知识来初步确定前景和背景。因此，该方法不够灵活，且容易受操作者主观的影响。

发明内容

本发明的目的就是为了解决上述问题，提供一种鲁棒的图像显著性区域自动分割方法，它首先进行图像的背景检测得到图像的边界连通性值，然后使用基于HSLIC(Hexagonal SimpleLinear Iterative Clustering，六边形简单线性迭代聚类)的SC(Superpixel Contrast，全局显著性检测方法)方法得到图像的显著性图，最后使用得到的图像的边界连通性值和显著性图的显著性值作为图割方法区域项的输入，自动地进行图像分割，最后输出图像的显著性区域分割结果。

为了实现上述目的，本发明采用如下技术方案：

一种鲁棒的图像显著性区域自动分割方法，包括以下步骤：

步骤(1)：对图像进行超像素分割，得到图像超像素的测地距离，生成区域，边界长度，边界连通性值；

步骤(2)：用HSLIC方法对原始输入图像进行超像素分割，并在此基础上使用SC方法进行全局显著性检测得到原始图像的显著性图；

步骤(3)：使用步骤(1)的边界连通性值和步骤(2)的显著性图中的显著性值作为图割方法的区域项，进行图像分割，输出图像的显著性区域分割结果。

所述步骤(1)包括以下步骤：

步骤(1-1)：输入原图像，对原图像进行超像素分割，并记录下超像素的相关情况；

步骤(1-2)：对步骤(1-1)分割后的图像，计算每个超像素的测地距离；

步骤(1-3)：利用步骤(1-2)得到的每个超像素的测地距离计算每个超像素的生成区域；

步骤(1-4)：利用步骤(1-3)得到的每个超像素的生成区域计算每个超像素的边界长度；

步骤(1-5)：利用步骤(1-3)、步骤(1-4)的结果计算每个超像素的边界连通性值。

所述步骤(1-1)的步骤如下：

对输入图像进行SLIC(Simple Linear Iterative Clustering,简单的线性迭代聚类)方法分割，记录下每个超像素的标记号，每个像素所属的超像素类别，超像素邻接矩阵，以及图像边界上的超像素以待后续的使用。

所述步骤(1-2)的步骤如下：

步骤(1-2-1)：对分割后的图像进行颜色空间转换，即由RGB空间转换为Lab空间；

步骤(1-2-2)：根据步骤(1-1)得到的超像素邻接矩阵，计算所有邻接超像素p_i,p_i+1在Lab空间的欧氏距离：

$d_{\mathrm{app}}(p_i,p_{i+1})=\sqrt{{(l_i-l_{i+1})}^2+{(a_i-a_{i+1})}^2+{(b_i-b_{i+1})}^2}---\left(1\right)$

其中，i的取值范围为1到N-1，N为图像超像素的个数。p_i表示第i个超像素，p_i+1表示第i+1个超像素，l_i,a_i,b_i分别是第i个超像素在Lab颜色空间的三个分量，l_i+1,a_i+1,b_i+1分别是第i+1个超像素在Lab颜色空间的三个分量。

步骤(1-2-3)：任意两个超像素的测地距离d_geo(p_i,p_j)为：从超像素p_i开始沿着一条最短的路到达超像素p_j的距离：

$d_{\mathrm{geo}}(p_i,p_j)=\underset{p_k=p_i,p_2,...,p_n=p_j}{\min }\underset{k=1}{\overset{n-1}{\mathrm{\Σ}}}{d}_{\mathrm{app}}(p_i,p_k)---\left(2\right)$

其中，p_k,p_i,p₂,...,p_n,p_j都是分割后图像的超像素，i,j取值范围均为1到N，k取值范围均为1到n-1，n代表从p_i到p_j的路径上经过的超像素个数。min表示取最小值。为了方便，当i＝j时，定义d_geo(p_i,p_j)＝0，即一个超像素和它自己的测地距离为0。

所述步骤(1-3)的步骤如下：

超像素p_i的生成区域表示的是，超像素p_i所属区域的一个软区域。该区域描述的是其他的超像素p_j(j为第j个超像素)对于超像素p_i所在区域的贡献大小。超像素p_i的生成区域Area(p_i)为：

$\mathrm{Area}\left(p_i\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\exp (-\frac{{d_{\mathrm{geo}}}^2(p_i,p_j)}{2{{\mathrm{\σ}}_{\mathrm{clr}}}^2})=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}S(p_i,p_j)---\left(3\right)$

其中，exp表示指数函数，i，j取值范围均为1到N，N为图像超像素的个数，σ_clr＝10σ_clr表示调整超像素p_j对p_i的区域影响大小的参数，S(p_i,p_j)表示超像素p_j对p_i的区域影响，d_geo ²(p_i,p_j)由公式(2)计算得到。p_j和p_i测地距离越小，它对p_i的区域贡献越大。

所述步骤(1-4)的步骤如下：

超像素p_i的边界长度描述的是图像边界上的超像素对于p_i的区域的贡献大小Len_bnd(p_i)，计算定义为：

${\mathrm{Len}}_{\mathrm{bnd}}\left(p_i\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}S(p_i,p_j)\·\mathrm{\δ}(p_j\∈\mathrm{Bnd})---\left(4\right)$

其中，Bnd是图像边界上的超像素的集合，对于图像边界上的超像素，δ(p_j∈Bnd)为1，其他为0。

所述步骤(1-5)的步骤如下：超像素p_i的边界连通性值描述的是p_i属于图像的边界的可能性大小。

边界连通性值是一个关于图像超像素边界长度和生成区域的一个函数：

$\mathrm{BndCon}\left(p_i\right)=\frac{{\mathrm{Len}}_{\mathrm{bnd}}\left(p_i\right)}{\sqrt{\mathrm{Area}\left(p_i\right)}}---\left(5\right).$

所述步骤(3)的步骤如下：

采用图割方法来进行图像分割。根据图论的思想，将超像素看成是图上的一个个节点，源节点为S，汇节点为T，区域项转化为S或T到每一个超像素的权重，边缘项转化为超像素之间的权重。通过求解最大流最小割，将图像分成前景和背景区域。在边缘项不变的情况下，使用步骤(1)得到的图像边界连通性值和步骤(2)得到的显著性图的显著性值作为区域项的权重输入，自动地进行图像分割，可以得到较好的图像显著性区域分割结果。区域项的权重为：

$\mathrm{weight}\left(p_i\right)=w*\mathrm{BonCon}\left(p_i\right)+(1-w)*\exp (-\frac{S^2\left(p_i\right)}{2*{\mathrm{\σ}}^2})---\left(6\right)$

其中，w,σ分别是两个调节参数，w,σ∈[0.3,0.6],S(p_i)为利用步骤(2)得到的超像素p_i的显著性值，BonCon(p_i),S(p_i)都归一化到[0,1]之间。

本发明的有益效果:

本发明对图像进行超像素分割，然后依次得到图像超像素的测地距离，生成区域，边界长度，边界连通性值。接着用HSLIC方法对原始输入图像进行超像素分割，并用SC方法进行显著性检测得到图像显著性图。最后用图割方法对原图像进行分割，其中区域项为图像的边界连通性值和图像显著性图的显著性值的一种组合。该方法具有如下优点：

1、学习并使用了图像的背景信息知识，且简单易懂。

2、将边界连通性值，图像显著性值和图割方法联系起来，通过图像自动分割技术得到图像显著性区域分割结果

附图说明

图1是本发明的流程示意图；

图2是测地距离的图形表示示意图；

图3(a)待处理图像：跳跃的人；

图3(b)对应于跳跃的人的标准分割图；

图3(c)对应于跳跃的人的显著性区域分割后的结果；

图4(a)待处理图像：游动的鱼；

图4(b)对应于游动的鱼的标准分割图；

图4(c)对应于游动的鱼的显著性区域分割后的结果。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图1流程图所示，本发明包括以下步骤：

步骤(1)：输入原图像，对原图像进行超像素分割，并记录下超像素的相关情况；

步骤(2)：对步骤(1)分割后的图像，计算每个超像素的测地距离；

步骤(3)：利用步骤(2)得到的每个超像素的测地距离计算每个超像素的生成区域；

步骤(4)：利用步骤(3)得到的每个超像素的生成区域计算每个超像素的边界长度；

步骤(5)：利用步骤(3)、步骤(4)的结果计算每个超像素的边界连通性值；进入步骤(7)；

步骤(6)：对原图像进行显著性检测得到显著性图；进入步骤(7)；

步骤(7)：将步骤(5)得到的边界连通性值和步骤(6)得到的显著性图应用到图割方法中，作为区域项的权重，自动地进行图像分割，得到图像显著性区域分割结果。

所述步骤(1)对图像进行过分割具体过程如下：

对输入图像进行SLIC超像素分割，记录下每个超像素的标记，每个像素所属的超像素标记，超像素邻接矩阵，以及图像边界上的超像素以待后续的使用。

所述步骤(2)计算每个超像素的测地距离的具体过程如下：

(2-1)：对图像进行颜色空间转换，即由RGB空间转换为Lab空间

(2-2)：计算所有邻接超像素p_i,p_i+1在Lab颜色空间的欧氏距离

$d_{\mathrm{app}}(p_i,p_{i+1})=\sqrt{{(l_i-l_{i+1})}^2+{(a_i-a_{i+1})}^2+{(b_i-b_{i+1})}^2}$

其中，i,i+1为超像素的下标，i的取值范围为1到N-1，p_i表示第i个超像素，p_i+1表示第i+1个超像素，l_i,a_i,b_i分别是第i个超像素在Lab颜色空间的三个分量，l_i+1,a_i+1,b_i+1分别是第i+1个超像素在Lab颜色空间的三个分量。图2是p_i和p_j测地距离的一个图形描述：从超像素p_i开始沿着一条最短的路到达超像素p_j。其中，每个方框代表了一个超像素。

(2-3)：任意两个超像素的测地距离d_geo(p_i,p_j)为，从超像素p_i开始沿着一条最短的路到达超像素p_j的距离，即：

$d_{\mathrm{geo}}(p_i,p_j)=\underset{p_k=p_i,p_2,...,p_n=p_j}{\min }\underset{k=1}{\overset{n-1}{\mathrm{\Σ}}}{d}_{\mathrm{app}}(p_i,p_k)$

其中，p_k,p_i,p₂,...,p_n,p_j都是分割后图像的超像素，i,j取值范围均为1到N，k取值范围均为1到n-1，n代表从p_i到p_j的路径上经过的超像素个数。min表示取最小值。为了方便，当i＝j时定义d_geo(p_i,p_j)＝0，即一个超像素和它自己的测地距离为0。

所述步骤(3)计算每个超像素的生成区域的具体过程如下：

超像素p_i的生成区域表示的是超像素p_i所属区域的一个软区域。它描述的是其他的超像素p_j对于超像素p_i所在区域的贡献大小。其计算定义为：

$\mathrm{Area}\left(p_i\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\exp (-\frac{{d_{\mathrm{geo}}}^2(p_i,p_j)}{2{{\mathrm{\σ}}_{\mathrm{clr}}}^2})=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}S(p_i,p_j)$

其中，i，j取值范围均为1到N，N为图像超像素的个数，σ_clr＝10。超像素p_j和p_i测地距离越小，它对p_i的区域贡献越大。

所述步骤(4)计算每个超像素的边界长度的具体过程如下：

超像素p_i的边界长度描述的是图像边界上的超像素对于p_i的区域的贡献大小，其计算定义为：

${\mathrm{Len}}_{\mathrm{bnd}}\left(p_i\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}S(p_i,p_j)\·\mathrm{\δ}(p_j\∈\mathrm{Bnd})$

其中，Bnd是图像边界上的超像素的集合，对于图像边界上的超像素，δ(p_j∈Bnd)为1，其他为0。

所述步骤(5)计算每个超像素的边界连通性值具体过程如下：

超像素p_i的边界连通性值描述的是p_i属于图像的边界的可能性大小，它是一个关于图像超像素边界长度和生成区域的一个函数：

$\mathrm{BndCon}\left(p_i\right)=\frac{{\mathrm{Len}}_{\mathrm{bnd}}\left(p_i\right)}{\sqrt{\mathrm{Area}\left(p_i\right)}}$

图像的背景与图像的边界接触的面积比较大，而图像的前景与图像的边界接触较小。

如果一个超像素的边界连通性值越大，说明它与图像边界的接触可能较多，即它越可能是背景；

如果一个超像素的边界连通性值越小，说明它与图像边界的接触可能较少，即它越可能是前景；

所以，边界连通性值可以作为一个区域是否是背景或前景的判断。

所述步骤(6)对输入的原图像进行显著性检测得到显著性图的具体过程如下：

步骤(6-1)：使用HSLIC方法对原始图像进行图像分割；

步骤(6-2)：在步骤(6-1)的基础上，使用SC方法进行图像显著性检测，得到原始图像的显著性图。

HSLIC方法是一种超像素聚类方法，该方法得到的超像素具有良好的性质，超像素紧凑几乎统一，大小相对一致，贴合物体的边缘，并且邻接关系更为均衡。SC方法是一种基于HSLIC方法的全局显著性检测方法，可以产生高质量的显著性图,并且简单快速高效。

所述步骤(7)进行图像分割的具体过程如下：

采用图割方法进行图像分割。根据图论的思想，将超像素看成是图上的一个个节点，源节点为S，汇节点为T，区域项转化为S或T到每一个超像素的权重，边缘项转化为超像素之间的权重。通过最大流最小割的求解，将图像分成前景和背景区域。在边缘项不变的情况下，使用步骤(5)得到的图像边界连通性值，和步骤(6)得到的显著性图的显著性值作为区域项的权重输入

$\mathrm{weight}\left(p_i\right)=w*\mathrm{BonCon}\left(p_i\right)+(1-w)*\exp (-\frac{S^2\left(p_i\right)}{2*{\mathrm{\σ}}^2})$

其中，w,σ分别是两个调节参数，w,σ∈[0.3,0.6],S(p_i)为利用步骤(6)得到的超像素p_i的显著性值，BonCon(p_i),S(p_i)都归一化到[0,1]之间。

下面对图像处理结果进行分析，如针对图3(a)，图4(a)给出的图片，利用上面的方法进行处理，处理结果如图3(c)，图4(c)所示。图3(b)，图4(b)为标准分割图。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种鲁棒的图像显著性区域自动分割方法，其特征是，包括以下步骤：

步骤(1)：对图像进行超像素分割，得到图像超像素的测地距离，生成区域，边界长度，边界连通性值；

步骤(2)：用HSLIC方法对原始输入图像进行超像素分割，并在此基础上使用SC方法进行全局显著性检测得到原始图像的显著性图；

步骤(3)：使用步骤(1)的边界连通性值和步骤(2)的显著性图中的显著性值作为图割方法的区域项，进行图像分割，输出图像的显著性区域分割结果。

2.如权利要求1所述的一种鲁棒的图像显著性区域自动分割方法，其特征是，所述步骤(1)包括以下步骤：

步骤(1-1)：输入原图像，对原图像进行超像素分割，并记录下超像素的相关情况；

步骤(1-2)：对步骤(1-1)分割后的图像，计算每个超像素的测地距离；

步骤(1-3)：利用步骤(1-2)得到的每个超像素的测地距离计算每个超像素的生成区域；

步骤(1-4)：利用步骤(1-3)得到的每个超像素的生成区域计算每个超像素的边界长度；

步骤(1-5)：利用步骤(1-3)、步骤(1-4)的结果计算每个超像素的边界连通性值。

3.如权利要求2所述的一种鲁棒的图像显著性区域自动分割方法，其特征是，所述步骤(1-1)的步骤如下：

对输入图像进行SLIC方法分割，记录下每个超像素的标记号，每个像素所属的超像素类别，超像素邻接矩阵，以及图像边界上的超像素以待后续的使用。

4.如权利要求2所述的一种鲁棒的图像显著性区域自动分割方法，其特征是，所述步骤(1-2)的步骤如下：

步骤(1-2-1)：对分割后的图像进行颜色空间转换，即由RGB空间转换为Lab空间；

步骤(1-2-2)：根据步骤(1-1)得到的超像素邻接矩阵，计算所有邻接超像素p_i,p_i+1在Lab空间的欧氏距离：

$d_{\mathrm{app}}(p_i,p_{i+1})=\sqrt{{(l_i-l_{i+1})}^2+{(a_i-a_{i+1})}^2+{(b_i-b_{i+1})}^2}---\left(1\right)$

其中，i的取值范围为1到N-1，N为图像超像素的个数；p_i表示第i个超像素，p_i+1表示第i+1个超像素，l_i,a_i,b_i分别是第i个超像素在Lab颜色空间的三个分量，l_i+1,a_i+1,b_i+1分别是第i+1个超像素在Lab颜色空间的三个分量；

步骤(1-2-3)：任意两个超像素的测地距离d_geo(p_i,p_j)为：从超像素p_i开始沿着一条最短的路到达超像素p_j的距离：

$d_{\mathrm{geo}}(p_i,p_j)=\underset{p_k=p_1,p_2,...,p_n=p_j}{\min }\underset{k=1}{\overset{n-1}{\mathrm{\Σ}}}{d}_{\mathrm{app}}(p_i,p_k)---\left(2\right)$

其中，p_k,p_i,p₂,…,p_n,p_j都是分割后图像的超像素，i,j取值范围均为1到N，k取值范围均为1到n-1，n代表从p_i到p_j的路径上经过的超像素个数；min表示取最小值；当i＝j时，定义d_geo(p_i,p_j)＝0，即一个超像素和它自己的测地距离为0。

5.如权利要求2所述的一种鲁棒的图像显著性区域自动分割方法，其特征是，所述步骤(1-3)的步骤如下：

超像素p_i的生成区域表示的是，超像素p_i所属区域的一个软区域；该区域描述的是其他的超像素p_j对于超像素p_i所在区域的贡献大小；超像素p_i的生成区域Area(p_i)为：

$\mathrm{Area}\left(p_i\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\exp (-\frac{{d_{\mathrm{geo}}}^2(p_i,p_j)}{{{2\mathrm{\σ}}_{\mathrm{clr}}}^2})=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}S(p_i,p_j)---\left(3\right)$

其中，exp表示指数函数，i，j取值范围均为1到N，N为图像超像素的个数，σ_clr＝10，σ_clr表示调整超像素p_j对p_i的区域影响大小的参数，S(p_i,p_j)表示超像素p_j对p_i的区域影响，d_geo ²(p_i,p_j)由公式(2)计算得到；p_j和p_i测地距离越小，它对p_i的区域贡献越大。

6.如权利要求2所述的一种鲁棒的图像显著性区域自动分割方法，其特征是，所述步骤(1-4)的步骤如下：

超像素p_i的边界长度描述的是图像边界上的超像素对于p_i的区域的贡献大小Len_bnd(p_i)，计算定义为：

${\mathrm{Len}}_{\mathrm{bnd}}\left(p_i\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}S(p_i,p_j)\·\mathrm{\δ}(p_j\∈\mathrm{Bnd})---\left(4\right)$

其中，Bnd是图像边界上的超像素的集合，对于图像边界上的超像素，δ(p_j∈Bnd)为1，其他为0。

7.如权利要求2所述的一种鲁棒的图像显著性区域自动分割方法，其特征是，所述步骤(1-5)的步骤如下：超像素p_i的边界连通性值描述的是p_i属于图像的边界的可能性大小；

边界连通性值是一个关于图像超像素边界长度和生成区域的一个函数：

$\mathrm{BndCon}\left(p_i\right)=\frac{{\mathrm{Len}}_{\mathrm{bnd}}\left(p_i\right)}{\sqrt{\mathrm{Area}\left(p_i\right)}}---\left(5\right).$

8.如权利要求1所述的一种鲁棒的图像显著性区域自动分割方法，其特征是，所述步骤(3)的步骤如下：

采用图割方法来进行图像分割；根据图论的思想，将超像素看成是图上的一个个节点，源节点为S，汇节点为T，区域项转化为S或T到每一个超像素的权重，边缘项转化为超像素之间的权重；

通过求解最大流最小割，将图像分成前景和背景区域；

在边缘项不变的情况下，使用步骤(1)得到的图像边界连通性值和步骤(2)得到的显著性图的显著性值作为区域项的权重输入，自动地进行图像分割，得到较好的图像显著性区域分割结果；

区域项的权重为：

$\mathrm{weight}\left(p_i\right)=w*\mathrm{BonCon}\left(p_i\right)+(1-w)*\exp (-\frac{S^2\left(p_i\right)}{2*{\mathrm{\σ}}^2})---\left(6\right)$

其中，w,σ分别是两个调节参数，w,σ∈[0.3,0.6]，S(p_i)为利用步骤(2)得到的超像素p_i的显著性值，BonCon(p_i),S(p_i)都归一化到[0,1]之间。