CN103020965A - 一种基于显著性检测的前景分割方法 - Google Patents

Abstract

本发明涉及一种基于显著性检测的前景分割方法，采用如下步骤：（1）输入一幅RGB格式的彩色图像；（2）对RGB格式的彩色图像进行中值滤波；（3）提取颜色、亮度和方向特征，得到颜色特征图、亮度特征图和方向特征图，构成含有8幅特征图的特征图集；（4）对特征图集的8幅图像进行多尺度采样；（5）对每幅特征图像进行高斯滤波，并计算每幅特征图像的均值；（6）计算每幅特征图的高斯模糊图像与均值之间的欧几里得距离；（7）得到颜色显著图，亮度显著图，方向显著图；（8）对以上显著图进行融合，获得综合显著图；（9）采用k均值聚类方法对综合显著图进行前景分割。能有效抑制噪声和背景对目标的干扰，并具有较好的实时性。

Description

一种基于显著性检测的前景分割方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于多尺度多特征的显著性检测的前景分割方法。

背景技术

随着数字产品和互联网的不断发展，越来越多的数字图像需要被传输、处理和利用。由于对图像中的重要区域进行前景分割，更加有利于数据的有效处理，因此如何快速、准确的找到与目标相关的潜在信息，已成为计算机视觉领域的一个研究热点，这就涉及了图像显著性区域检测的问题。

人类的视觉具有快速搜索到感兴趣的目标的能力，这种视觉注意的能力被称为视觉显著性。视觉显著性是一种感知特性，它使一个物体，人，或者像素相对于周围的东西更为突出，从而获得人们的注意。随着视觉神经解剖学和神经心理学的不断发展，人类通过对视觉机理的研究发现，人类视觉对场景中目标的选择性可分为自底向上和自顶向下两个阶段。在自底向上阶段中，人在无意识、不受经验影响下，仅依据场景的颜色、光线强度、物体形状和方向信息等客观因素，快速搜索到目标。在自顶向下阶段中，个体在经验和任务的驱动下，注意到场景中的某个目标。

实际上，场景中物体的基本特征，例如色彩，亮度，方向性等信息通常是最先引起人眼的注意的，也就是说人眼的视觉显著性通常是发生在自底向上的阶段的。在人类视觉自底向上阶段，视觉搜索到的目标通常关联到人类首先要获取的信息。视觉显著的图像区域的检测能够把有限的处理资源快速而准确地分配到显著的视觉区域上，突出了图像中的显著目标，削弱了目标周围场景对于目标的影响。使用显著性检测能够突出图像中的重要目标，从而能够实现对图像目标的快速搜索，提高获取图像中有用信息的速度。

目前显著性检测方法分为三类：空间域特征法、统计特性法和图谱算法。空间特征法是指从图像中提取像素点的颜色、亮度、方向等局部特征，并将其整合得到显著图，其中最具有代表性的是Itti在1998年提出的视觉注意模型。统计特性法是指依据图像的像素值的统计特性获得输入图像的显著图，其中最具有代表性的是Hou在2007提出的基于光谱残差的算法。图谱算法是指将图像进行分块后，依据像素块之间的颜色、方向等视觉特征的差异度量该区域的显著性的检测方法。例如由Harel在2006提出基于图搜索的显著性检测算法。现有方法通常给出的显著图分辨率较低，提取的目标轮廓不清晰，在复杂场景中适应性较差，不适用于前景分割的任务需求。

发明内容

本发明的目的在于提供一种基于显著性检测的前景分割方法，解决目标检测中感兴趣区域提取的问题，对摄像机采集的图像采用多尺度多特征的显著性检测算法，生成轮廓清晰的全尺寸的显著图，再利用k均值聚类算法进行前景分割。可广泛用于视频监控、图像检索，目标跟踪的预处理环节。

具体技术方案如下：

一种基于显著性检测的前景分割方法，采用如下步骤：

（1）输入一幅RGB格式的彩色图像；

（2）对RGB格式的彩色图像进行中值滤波；

（3）提取颜色、亮度和方向特征，得到颜色特征图、亮度特征图和方向特征图，构成含有8幅特征图的特征图集；

（4）对特征图集的8幅图像进行多尺度采样；

（5）对每幅特征图像进行高斯滤波，并计算每幅特征图像的均值；

（6）计算每幅特征图的高斯模糊图像与均值之间的欧几里得距离；

（7）得到颜色显著图，亮度显著图，方向显著图；

（8）对以上显著图进行融合，获得综合显著图；

（9）采用k均值聚类方法对综合显著图进行前景分割。

进一步地，步骤（1）（2）具体为：输入一幅RGB格式的彩色图像I（x,y），对I（x,y）进行n×n的中值滤波，滤波后图像I＇（x,y）为I＇（x,y）=median(I(i+1,y+j)),1≤i≤1,-1≤j≤1。

进一步地，步骤（3）具体为：

分别按以下规则提取颜色、亮度、方向特征：

（3-1）设r,g,b分别为图像红绿蓝三个分量，则亮度特征可以通过下式得 到I(r+g+b)/3；

（3-2）将RGB彩色空间转换到CIELAB空间，提取l,a,b三个彩色分量作为彩色特征；

（3-3）用0°，45°，90°，135°4个方向的Gabor滤波器分别对亮度图I进行滤波，得到四个方向特征；

（3-4）构成8幅特征图，用特征图集合{F_i},1≤i≤8表示。

进一步地，步骤（4）具体为：对特征图集的8幅图像进行2个尺度的间隔下采样，尺度分别为原图像的1/2和1/4，加上原始特征图集，共构成24幅3个尺度的特征图集合。

进一步地，步骤（5）具体为：

（5-1）对每幅特征图像采用3×3的高斯滤波，获得特征图的高斯模糊图像{G_i},1≤i≤24，高斯滤波器的值为：

$f=\left[\begin{array}{ccc}0.1070& 0.1131& 0.1070\\ 0.1131& 0.1196& 0.1131\\ 0.1070& 0.1131& 0.1070\end{array}\right]$ ；

（5-2）计算每幅特征图像的均值，共计24个特征值{μ_i},1≤i≤24。

进一步地，步骤（6）具体为：计算每幅特征图的高斯模糊图像与均值之间的欧几里得距离S_i=||G_i-μ_i||=(G_i-μ_i)²，分别获得颜色、亮度、方向共24幅显著图，分为8组，每组3幅，记为S_l，S_a，S_b，S_I，S_o1，S_o2，S_o3，S_o4。

进一步地，步骤（8）具体为：对所述24幅显著图的下采样部分，采用双线性插值到原始尺寸按照下式对以上显著图进行融合，获得综合显著图S

$\left\{\begin{array}{c}{S}_C=\frac{1}{9}\underset{s=1}{\overset{3}{\mathrm{\Σ}}}(S_l\left(s\right)+S_a\left(s\right)+S_b\left(s\right))\\ S_L=\frac{1}{3}\underset{s=1}{\overset{3}{\mathrm{\Σ}}}{S}_I\left(s\right)\\ S_O=\frac{1}{12}\underset{s=1}{\overset{3}{\mathrm{\Σ}}}(S_{o1}\left(s\right)+S_{o2}\left(s\right)+S_{o3}\left(s\right)+S_{o4}\left(s\right))\\ S={\mathrm{\ω}}_1{S}_C+{\mathrm{\ω}}_2{S}_L+{\mathrm{\ω}}_3{S}_O\end{array}\right.$

其中，ω₁,ω₂,ω₃分别为颜色、亮度、方向的加权值，它们满足ω₁+ω₂+ω₃=1。

实验中其值分别为ω₁=0.4,ω₂=0.3,ω₃=0.3。

进一步地，步骤（9）具体为：采用k均值聚类方法对综合显著图进行前景分割，首先从综合显著图的直方图中采用爬坡法选择k个对象作为初始聚类中心，对于剩下的其它数据对象，则根据它们与这些聚类中心的相似度，分别将它们分配给与其最相似的聚类中心所代表的聚类，并反复进行以上过程，直到满足收敛条件。

进一步地，k值根据图像的复杂度设定，取3到7的整数。

与目前现有技术相比，本发明能适应复杂场景下前景分割的任务需求，不仅能给出显著区域的位置，而且能提取较为一致的目标信息，方便图像的后续处理与分析，能有效抑制噪声和背景对目标的干扰，并具有较好的实时性。

具体来说：

（1）本方法能适应复杂场景下前景分割的任务需求，不仅能给出显著区域的位置，而且能提取较为一致的目标信息，方便图像的后续处理与分析。

（2）本方法能有效抑制噪声和背景对目标的干扰，并具有较好的实时性。

附图说明

图1为本发明系统流程图

具体实施方式

下面根据附图对本发明进行详细描述，其为本发明多种实施方式中的一种优选实施例。

实施例一：

（1）对原始图像进行3×3的中值滤波，去除部分脉冲噪声对于显著性检测的影响。

（2）提取原始图像的颜色、亮度、方向特征，设原始图像为RGB格式提取方法如下,

a.设r,g,b分别为图像红绿蓝三个分量，则亮度特征可以通过下式得到I(r+g+b)/3；

b.将RGB彩色空间转换到CIELAB空间，提取l,a,b三个彩色分量作为彩色特征；

c.用0°，45°，90°，135°4个方向的Gabor滤波器分别对亮度图I进行滤波，得到四个方向特征。

这样构成8幅特征图，用特征图集合{F_i},1≤i≤8表示它们。

（3）对特征图集进行2个尺度的间隔下采样，尺度分别为原图像的1/2和1/4，加上原始特征图集，共构成24幅3个尺度的特征图集合。

（4）对每幅特征图像采用3×3的高斯滤波，获得特征图的高斯模糊版本{G_i},1≤i≤24。

（5）计算每幅特征图像的均值，共计24个特征值{μ_i},1≤i≤24。

（6）计算每幅特征图的高斯模糊版本与均值之间的欧几里得距离，即||G_i-μ_i||，分别获得颜色、亮度、方向显著图，分为8组，每组3幅，记为S_l，S_a，S_b，S_I，S_o1，S_o2，S_o3，S_o4。

（7）按照下式对以上显著图进行融合，获得综合显著图S

$\left\{\begin{array}{c}{S}_C=\frac{1}{9}\underset{s=1}{\overset{3}{\mathrm{\Σ}}}(S_l\left(s\right)+S_a\left(s\right)+S_b\left(s\right))\\ S_L=\frac{1}{3}\underset{s=1}{\overset{3}{\mathrm{\Σ}}}{S}_I\left(s\right)\\ S_O=\frac{1}{12}\underset{s=1}{\overset{3}{\mathrm{\Σ}}}(S_{o1}\left(s\right)+S_{o2}\left(s\right)+S_{o3}\left(s\right)+S_{o4}\left(s\right))\\ S={\mathrm{\ω}}_1{S}_C+{\mathrm{\ω}}_2{S}_L+{\mathrm{\ω}}_3{S}_O\end{array}\right.$

其中，ω₁,ω₂,ω₃分别为颜色、亮度、方向的加权值，它们满足ω₁+ω₂+ω₃=1。

（8）采用k均值聚类方法对综合显著图进行前景分割，首先从综合显著图的直方图中采用爬坡法选择k个对象作为初始聚类中心，对于剩下的其它数据对象，则根据它们与这些聚类中心的相似度，分别将它们分配给与其最相似的聚类中心所代表的聚类，并反复进行以上过程，直到满足收敛条件。本发明采用综合显著图和RGB颜色共同描述数据对象，图像的标记数可以根据图像的复杂度设定，通过聚类分割之后可以比较好地提取出图像中的目标。

实施例二：

图1给出了本发明所述的基于显著性检测的前景分割方法的流程图，其主要步骤如下：

（1）输入一幅RGB格式的彩色图像I(x,y)，对I(x,y)进行3×3的中值滤波，滤波后图像I＇（x,y）为

I＇（x,y）=median(I(i+1,y+j)),1≤i≤1,-1≤j≤1

（2）分别按以下规则提取颜色、亮度、方向特征

a.设r,g,b分别为图像红绿蓝三个分量，则亮度特征可以通过下式得到I=(r+g+b)/3；

b.将RGB彩色空间转换到CIELAB空间，提取l,a,b三个彩色分量作为彩色特征；

c.用0°，45°，90°，135°4个方向的Gabor滤波器分别对亮度图I进行滤波，得到四个方向特征。

这样构成8幅特征图，用特征图集合{F_i},1≤i≤8表示它们。

（3）对特征图集的8幅图像进行2个尺度的间隔下采样，尺度分别为原图像的1/2和1/4，加上原始特征图集，共构成24幅3个尺度的特征图集合，尺度变换是为了更好地检测大小不一的显著区域。

（4）对每幅特征图像采用3×3的高斯滤波，获得特征图的高斯模糊图像{G_i},1≤i≤24。高斯滤波器的值为

$f=\left[\begin{array}{ccc}0.1070& 0.1131& 0.1070\\ 0.1131& 0.1196& 0.1131\\ 0.1070& 0.1131& 0.1070\end{array}\right]$

（5）计算每幅特征图像的均值，共计24个特征值{μ_i},1≤i≤24。

（6）计算每幅特征图的高斯模糊图像与均值之间的欧几里得距离，

S_i=||G_i-μ_i||=(G_i-μ_i)²

即高斯模糊图像中每个像素点减去均值后的平方，分别获得颜色、亮度、方向共24幅显著图，分为8组，每组3幅，记为S_l，S_a，S_b，S_I，S_o1，S_o2，S_o3，S_o4。

（7）对以上24幅显著图的下采样部分，采用双线性插值到原始尺寸按照下式对以上显著图进行融合，获得综合显著图S

$\left\{\begin{array}{c}{S}_C=\frac{1}{9}\underset{s=1}{\overset{3}{\mathrm{\Σ}}}(S_l\left(s\right)+S_a\left(s\right)+S_b\left(s\right))\\ S_L=\frac{1}{3}\underset{s=1}{\overset{3}{\mathrm{\Σ}}}{S}_I\left(s\right)\\ S_O=\frac{1}{12}\underset{s=1}{\overset{3}{\mathrm{\Σ}}}(S_{o1}\left(s\right)+S_{o2}\left(s\right)+S_{o3}\left(s\right)+S_{o4}\left(s\right))\\ S={\mathrm{\ω}}_1{S}_C+{\mathrm{\ω}}_2{S}_L+{\mathrm{\ω}}_3{S}_O\end{array}\right.$

其中，ω₁,ω₂,ω₃分别为颜色、亮度、方向的加权值，它们满足ω₁+ω₂+ω₃=1。

实验中其值分别为ω₁=0.4,ω₂=0.3,ω₃=0.3。

（8）采用k均值聚类方法对综合显著图进行前景分割，首先从综合显著图的直方图中采用爬坡法选择k个对象作为初始聚类中心，对于剩下的其它数据对象，则根据它们与这些聚类中心的相似度，分别将它们分配给与其最相似的聚类中心所代表的聚类，并反复进行以上过程，直到满足收敛条件。本发明采用综合显著图和RGB颜色共同描述数据对象，可有效保留目标边缘，k值可以根据图像的复杂度设定，一般取3到7的整数，本实施例取5。

本方法基于多尺度多特征显著性检测实现一种前景分割的方法，通过k均值聚类分割之后可以比较好地提取出图像中的目标，可适用于复杂场景下实时地检测感兴趣区域，利于下一步的图像分析与处理。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进直接应用于其它场合的，均在本发明的保护范围之内。

Claims (9)

1.一种基于显著性检测的前景分割方法，其特征在于，采用如下步骤：

（1）输入一幅RGB格式的彩色图像；

（2）对RGB格式的彩色图像进行中值滤波；

（3）提取颜色、亮度和方向特征，得到颜色特征图、亮度特征图和方向特征图，构成含有8幅特征图的特征图集；

（4）对特征图集的8幅图像进行多尺度采样；

（5）对每幅特征图像进行高斯滤波，并计算每幅特征图像的均值；

（6）计算每幅特征图的高斯模糊图像与均值之间的欧几里得距离；

（7）得到颜色显著图，亮度显著图，方向显著图；

（8）对以上显著图进行融合，获得综合显著图；

（9）采用k均值聚类方法对综合显著图进行前景分割。

2.如权利要求1所述的基于显著性检测的前景分割方法，其特征在于，步骤（1）（2）具体为：输入一幅RGB格式的彩色图像I(x,y)，对I(x,y)进行n×n的中值滤波，滤波后图像I＇(x,y)为I＇(x,y)=median(I(x+i,y+j)),1≤i≤1,-1≤j≤1。

3.如权利要求1或2所述的基于显著性检测的前景分割方法，其特征在于，步骤（3）具体为：

分别按以下规则提取颜色、亮度、方向特征：

（3-1）设r,g,b分别为图像红绿蓝三个分量，则亮度特征可以通过下式得 到I=(r+g+b)/3；

（3-2）将RGB彩色空间转换到CIELAB空间，提取l,a,b三个彩色分量作为彩色特征；

（3-3）用0°，45°，90°，135°4个方向的Gabor滤波器分别对亮度图I进行滤波，得到四个方向特征；

（3-4）构成8幅特征图，用特征图集合{F_i},1≤i≤8表示。

4.如权利要求1-3中任一项所述的基于显著性检测的前景分割方法，其特征在于，步骤（4）具体为：对特征图集的8幅图像进行2个尺度的间隔下采样，尺度分别为原图像的1/2和1/4，加上原始特征图集，共构成24幅3个尺度的特征图集合。

5.如权利要求1-4中任一项所述的基于显著性检测的前景分割方法，其特征在于，步骤（5）具体为：

（5-1）对每幅特征图像采用3×3的高斯滤波，获得特征图的高斯模糊图像{G_i},1≤i≤24，高斯滤波器的值为：

$f=\left[\begin{array}{ccc}0.1070& 0.1131& 0.1070\\ 0.1131& 0.1196& 0.1131\\ 0.1070& 0.1131& 0.1070\end{array}\right]$ ；

（5-2）计算每幅特征图像的均值，共计24个特征值{μ_i},1≤i≤24。

6.如权利要求1-5中任一项所述的基于显著性检测的前景分割方法，其特征在于，步骤（6）具体为：计算每幅特征图的高斯模糊图像与均值之间的欧几里得距离S_i=||G_i-μ_i||=(G_i-μ_i)²，分别获得颜色、亮度、方向共24幅显著图，分为8组，每组3幅，记为S_l，S_a，S_b，S_I，S_o1，S_o2，S_o3，S_o4。

7.如权利要求1-6中任一项所述的基于显著性检测的前景分割方法，其特征在于，步骤（8）具体为：对所述24幅显著图的下采样部分，采用双线性插值到原始尺寸按照下式对以上显著图进行融合，获得综合显著图S

$\left\{\begin{array}{c}{S}_C=\frac{1}{9}\underset{s=1}{\overset{3}{\mathrm{\Σ}}}(S_l\left(s\right)+S_a\left(s\right)+S_b\left(s\right))\\ S_L=\frac{1}{3}\underset{s=1}{\overset{3}{\mathrm{\Σ}}}{S}_I\left(s\right)\\ S_O=\frac{1}{12}\underset{s=1}{\overset{3}{\mathrm{\Σ}}}(S_{o1}\left(s\right)+S_{o2}\left(s\right)+S_{o3}\left(s\right)+S_{o4}\left(s\right))\\ S={\mathrm{\ω}}_1{S}_C+{\mathrm{\ω}}_2{S}_L+{\mathrm{\ω}}_3{S}_O\end{array}\right.$

其中，ω₁,ω₂,ω₃分别为颜色、亮度、方向的加权值，它们满足ω₁+ω₂+ω₃=1。

实验中其值分别为ω₁=0.4,ω₂=0.3,ω₃=0.3。

8.如权利要求1-7中任一项所述的基于显著性检测的前景分割方法，其特征在于，步骤（9）具体为：采用k均值聚类方法对综合显著图进行前景分割，首先从综合显著图的直方图中采用爬坡法选择k个对象作为初始聚类中心，对于剩下的其它数据对象，则根据它们与这些聚类中心的相似度，分别将它们分配给与其最相似的聚类中心所代表的聚类，并反复进行以上过程，直到满足收敛条件。

9.如权利要求8所述的基于显著性检测的前景分割方法，其特征在于，k值根据图像的复杂度设定，取3到7的整数。

Images