CN102968782B - 一种彩色图像中显著对象的自动抠取方法 - Google Patents

Abstract

本发明公开了一种彩色图像中显著对象的自动抠取方法，其特征在于，将图像从RGB颜色空间变换至HSV颜色空间，从色调、亮度以及暖色增益三个方面计算目标的显著性；根据显著度图，获得包围显著区域的矩形框，并进行矩形框扩展，扩展后的矩形框包围的图像作为后续处理的图像；用改进的分水岭算法对输入图像内容进行预分割，以预分割后的形成的超级像素子区域代替像素点构造图切分的赋权图，采用最大流-最小切策略进行分割，直至能量函数收敛，获得切割后的图像。本发明提供了一种自动的抠像技术，可以快速有效地抠取场景中的显著物体，在抠像效率、质量等方面有显著性的提高。

Description

一种彩色图像中显著对象的自动抠取方法

技术领域

本发明涉及图像的分割问题，具体涉及对彩色图像中的显著对象或区域进行自动分割、抠取的方法。

背景技术

在人类对外界的所有感知中，视觉是最重要的一种手段，通过视觉，人和动物能够感知外界物体的大小、明暗、颜色，获得对机体生存具有重要意义的各种信息。据统计，人类感知外界的信息有80%来自于视觉，比如图像、图形、视频以及文本等等。自从有了计算机以后，如何利用计算机模拟人类的机制，来合理地处理分析这些信息，从而达到为人类服务的目标，一直是本领域重点关注的问题。

图像分割是从图像处理到图像分析的关键步骤。它将图像表示为有实际物理意义的区域的集合，是进行图像分析的第一步工作，也是图像分析的重点和难点，图像分割质量的好坏直接决定着后期的处理效果，比如特征提取，目标的检测识别等，快速精确的图像分割技术能够为基于内容的图像检索、图像语义标注、计算机视觉目标分析等抽象出有用的信息，从而使更高层的图像理解成为可能。

图像分割的应用领域非常广泛，在以下领域都有着重要的应用价值：

军事安全领域：通过图像分割方法把图像或视频中感兴趣的目标分割出来，以便进行特征提取，实现目标识别、目标跟踪等目的，比如监控视频中的异常行为检测。

智能交通：通过图像分割方法实现交通监控图像的分割，将道路与车辆目标分割出来，从而达到牌照识别、车辆跟踪等目的，近年来，智慧城市的发展成为一个热点，也随之带动了智能交通的发展。

医学领域：医学图像的分割、融合等，比如特定CT图像的分割，能够将病变部位直接呈现给医生观察，判断病情。

图像压缩：利用图像分割方法，可以将图像分割成若干子区域，提高压缩率。

图像分类与检索：通过图像分割进行语义标注，从而判断图像内容所属的类别，进行大型图像数据库的分类与检索。

计算机视觉：现代机器人技术、自动驾驶技术都离不开计算机视觉，然而计算机视觉识别对象的第一步就是对图像的分割。

现有技术中，较为成熟的图像分割方法通常用于灰度图像的分割。例如，灰度阈值分割法是一种最常用的并行区域技术，其通过将灰度图像中像素的灰度值与阈值进行比较，分割前景和背景。基于边缘的分割方法通过检测灰度级中具有突变的地方来获取边缘，进行图像分割。

近年来，随着互联网与数码产品的普及，彩色图像的数量急剧增加，随之而来的彩色图像分割需求也与日俱增。与灰度图像相比，彩色图像不仅包含亮度信息，而且还具有色调、饱和度等信息，人们对色彩的感知比对亮度的感知更敏感。将彩色图像转化为灰度图像进行分割的方法，虽然能够利用现有的成熟的灰度图像分割技术，但是其忽略了颜色信息等对图像关注对象的影响，分割效果并不理想。

目前，研究较多的彩色图像分割方法是聚类分析方法，其一般选择RGB空间作为颜色空间，聚类中使用的参数阈值一般需要人工干预，难以实现自动分割。《测绘科技情报》2004年第4期第6-11页彩色图像分割一文公开了一种自动的彩色图像分割方法，其通过将图像的颜色量化成10～20种颜色，映射出灰度级的J-影像，再进行区域生长法进行分割。该方法有3个参数需要使用者指定，并非完全的自动分割。《软件导刊》2010年第7期第171-172页公开了一种基于HSV空间的彩色图像分割方法，将彩色图像从RGB空间变换到HSV空间，然后经过H分割对绿色信息进行提取，得到分割结果。该方法实现较为简单，但是，由于仅针对绿色信息提取，其可应用的分割对象受到较大限制。

可见，目前仍然没有一种通用的彩色图像分割算法，可以对所有图像均取得精确的分割结果。基于彩色图像分割的不确定性及分割任务的重要性，对彩色图像分割技术的研究具有广阔的前景和极其重要的意义。

发明内容

本发明的发明目的是提供一种彩色图像中显著对象的自动抠取方法，基于视觉注意机制和图切分，自动获取彩色图像中人们关注的显著对象的抠取，以加快图像分割速度，减少运算时间。

为达到上述发明目的，本发明采用的技术方案是：一种彩色图像中显著对象的自动抠取方法，包括：

(1)输入待处理的图像，将所述图像从RGB颜色空间变换至HSV颜色空间，得到各特征分图，即色调分图H、暖色增益分图S₁(x,y)、亮度分图I，其中，获得亮度分图I时，设定亮度阈值，将低于亮度阈值的像素的值设为0，所述亮度阈值为图像中所有像素的亮度最大值的5%～12%，S₁是暖色增益分图，通过HSV颜色空间中S和V合成获得；x和y分别指像素点所在的行、列坐标；

 (2)对步骤(1)获得的各特征分图H、S₁(x,y)、I分别进行去除均值处理；

(3)对各特征分图作如下处理，获得各显著分图：

，

其中，，表示高斯滤波器，为傅里叶逆变换，为傅里叶变换后的对数谱，为幅度谱，为均值滤波；

将三幅显著分图按下式融合得到粗略的显著度图S_map，

，

利用颜色直方图以及空间分布信息获得背景的颜色分布BKG_color，据此得到显著对象的空间位置约束图像BKG_map，

，

将S_map和BKG_map归一化到[0,1]后，按照下式融合得到显著度图，

；

(4)根据步骤(3)的显著度图，获得包围显著区域的矩形框，并按下式进行矩形框扩展：

，

式中，W_white、W_Image、W_black表示扩展前的矩形、原图像、扩展后的矩形的宽度，H_white、H_Image、H_black表示扩展前的矩形、原图像、扩展后的矩形的高度，所述扩展以扩展前的矩形为中心进行，扩展后的矩形框包围的图像作为后续处理的图像；

(5) 预分割：对图像进行高斯滤波，计算滤波后的图像中每个像素与其最近的非零像素的欧氏距离，并将得到的结果做一次分水岭变换，得到边缘图像；利用高斯滤波后的图像、边缘图像和局部最大值重新构造分水岭算法的梯度图；再次进行分水岭变换，得到预分割图像；

(6)迭代图切分：用步骤(5)的预分割图像中的预分割区域作为节点，构造图切分赋权图，以步骤(4)中扩展前的矩形和扩展后的矩形之间的部分为背景集，采用图论分割中的最大流-最小切策略进行分割，直至能量函数收敛，获得切割后的图像。

上文中，步骤（1）中因为RGB颜色空间的三个分量高度相关，不适于图像处理和分析，而人眼对暖色增益更为敏感，因此将图像变换至HSV颜色空间，利用色调和暖色增益等特征提取显著度图。其中，因为图像中亮度很小的区域一般不会引起人的视觉注意，所以设定亮度阈值小于阈值的区域舍去，以加快后续处理速度；步骤(2)的操作目的是消弱背景部分的影响；步骤（4）中利用显著区域的扩展，对输入图像做了裁剪，简化了图像内容，加快了后续算法的分割速度；步骤（5）中对分水岭算法进行了改进，传统的分水岭算法能够得到单像素并且封闭的边缘，但是该算法易受噪声的影响，在梯度图中造成许多虚假的局部最小值，由此造成过分割现象，因此本发明首先对图像进行高斯滤波，削弱噪声的影响，然后计算边缘像素与其他像素的欧氏距离，以此重新构造分水岭算法的梯度图；步骤（6）中为了加快分割速度，用步骤（5）获得的预分割区域代替像素点，构造后续图切分的赋权图，并用FCM进行初始聚类，获得输入图像的初始混合高斯分布，在后续迭代的过程中，进一步更新节点分布信息，直至收敛。

上述技术方案中，步骤(1)中，图像从RGB颜色空间变换至HSV颜色空间，获得的色调分图H、暖色增益分图S₁(x,y)、亮度分图I特征分量为，

，

式中，r,g,b是该像素点在RGB颜色空间中的值，S和V分别为HSV颜色空间中的饱和度（saturation）和色调（value），x、y是像素点所在坐标。

步骤(5)中，用高斯滤波器对输入图像I进行高斯滤波，得到图像Image，滤波器大小取9×9，sigma=2.5；利用Sobel算子计算高斯滤波图像Image的梯度图G，Sobel算子有两个，一个检测水平边缘，另一个检测垂直边缘，分别为

及其转置，

，

G表示经高斯滤波后的图像Image的梯度图。

步骤(6)中，迭代图切分的方法是，

在预分割的图像中，用超级像素块代替像素作为节点构造赋权图；

定义背景集为扩展前的矩形和扩展后的矩形之间的部分，前景集，未知区域为扩展前的矩形框内的部分；

利用模糊C均值聚类方法（FCM）分别对和进行模糊聚类，获得出入部分的初始分布，取K=2；

计算超级像素块与每一类的距离，用最大流-最小切策略获得初始分割，更新每一类的高斯分布及参数，继续循环，直至前后两次迭代的能量值基本达到一个不变的值时收敛。

优选的技术方案，步骤(1)中，所述亮度阈值为图像中所有像素的亮度最大值的1/10。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

1、本发明通过视觉显著性计算、遮罩自动生成、基于子图像的超像素分割以及基于图切分的显著对象自动提取，克服了现有抠像技术中人工交互的问题，提供了一种自动的抠像技术。

2、较之其他抠像方法，本发明提出的方法可以更加快速有效地抠取场景中的显著物体，在抠像效率、质量等方面有显著性的提高。

附图说明

图1是本发明实施例的方法流程图；

图2和图3是实施例中显著区域提取的示意图；

图4是实施例中显著区域扩展的示意图；

图5是实施例中图像的处理及分水岭算法的结果对比示意图；

图6是实施例中分割结果的对比示意图；

图7为采用改进的分水岭算法与原分水岭算法下的迭代次数对比；

图8是本算法与lazy snapping算法的分割时间对比；

图9是实施例中分割结果的细节放大图。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例：参见附图1所示，一种彩色图像中显著对象的自动抠取方法，包括：

1、显著区域的获得：

输入待处理的图像，将所述图像从RGB颜色空间变换至HSV颜色空间，得到各特征分图：

通过公式（1）、（2）、（3）的颜色模型变换之后，对图像的色度和亮度等特征进行去除均值处理，获得相应的特征图，并利用光谱剩余假说对各特征图作如下处理：

              （4）

其中，表示高斯滤波器，为傅里叶逆变换，为傅里叶变换后的对数谱，为幅度谱，为均值滤波，。将三幅特征分图按下式融合得到粗略的显著度图S_map。

                  （5）

然后利用颜色直方图以及空间分布信息获得背景的颜色分布（BKG_color），并据此得到显著目标的空间位置约束图像（BKG_map）

        （6）

将S_map和BKG_map归一化到[0,1]之后，按照下式融合得到显著度图，

              （7）

结果如附图2、3所示。

2、显著区域的扩展，包括以下步骤

根据实施例一中的二值显著度图像，获得包围显著区域的矩形框；

按照公式（8）进行扩展

      （8）

如图4中所示，其中，W_white、W_Image、W_black表示白色矩形、原图像、黑色矩形的宽度，H_white、H_Image、H_black表示白色矩形、原图像、黑色矩形的高度。

3、改进的分水岭预分割算法，具体步骤如下，

(1)用高斯滤波器对输入图像I进行高斯滤波，得到图像Image。滤波器大小取9×9，sigma=2.5；

(2)常用的sobel算子有两个，一个检测水平边缘，另一个检测垂直边缘。分别为

及其转置，

，

 (3) 计算Image中每个像素与其最近的非零像素的欧氏距离，并将得到的结果做一次分水岭变换，得到边缘图像；

(4) 计算Image的局部最大值，利用G，边缘图像和局部最大值重构梯度图；

(5) 此时得到的区域数目是非常少的，经过实验测试，用于后续的迭代分割反而不能取得较好的分割效果，因此再次进行分水岭变换，作为最终的预分割图像。

结果如图5所示，图中，从左到右为：原图像；标注后的图像；裁剪后的图像；原分水岭算法的结果图；改进后的分水岭算法的结果图。

4、最终的迭代图切分阶段，具体步骤如下

(1)利用改进的分水岭算法将图像进行预分割，用超级像素块代替像素作为节点构造赋权图；

(2)定义背景集为白色矩形框与黑色矩形框之间的部分，前景集，未知区域为白色方框内的部分；

(3)利用FCM分别对和进行模糊聚类，获得出入部分的初始分布。因为剪裁后的图像简化了图像内容，所以此处取K=2；

(4)计算超级像素块与每一类的距离，用最大流最小切策略获得初始分割，更新每一类的高斯分布及参数，继续循环，直至前后两次迭代的能量值基本达到一个不变的值时收敛。

结果如图6所示，图中，从左到右为：原图像；标注后的图像；本算法分割结果；标准分割图像。从图中可以看出，采用本发明的分割方法，获得的分割结果更为准确。

5、性能比较

实验数据来自MSRA图像数据库，为了获得较为精确的分割结果，在后期的图切分阶段采用了迭代处理。图7和图8为实验中得到的部分统计数据：图7为采用改进的分水岭算法与原分水岭算法下的迭代次数对比，图8是本算法与lazy snapping算法的分割时间对比。lazy snapping采用传统的分水岭算法作为预分割手段，从左图可以看出经过处理之后的分水岭算法，在减少了预分割子区域的基础之上，降低了后续图切分算法带权图的节点数目，因此大大减少了后期的迭代次数，平均迭代次数仅为原分水岭预分割算法下的46.8%，由此可以为后续分割节省大量时间；经过实验统计，由于本发明方法在预分割阶段针对梯度图做了处理，所以预分割阶段的平均速度约为原算法的1.3倍，但却为后续分割阶段节省了大约65.95%的时间，具有更快的处理速度。

经过改进的分水岭预分割算法和后期迭代处理，能够获得相对较为完整的显著分割对象，提高了分割精度。图9是细节放大图，从左至右为：原分水岭算法下的显著对象抠取结果；原分水岭算法下的抠取对象细节图；改进分水岭算法下的显著对象抠取结果；改进分水岭算法下的抠取对象细节图。从细节放大图可以看出，发明中的预分割手段使得分割边缘更加精细，与原分水岭算法相比，取得了更好的分割结果。

本实施例利用视觉注意机制对场景的高度信息抽取方式，从色调、亮度以及暖色增益三个方面计算目标的显著性；利用显著图的数学形态学的运算自动生成显著对象遮罩，从而自动获得显著对象的粗定位；为了保证抠取的显著对象的完整性，对于粗定位的显著对象遮罩区域进行适当扩展，并对扩展后的显著对象区域进行裁剪，缩小输入图像的内容；然后用改进的分水岭算法对输入图像内容进行预分割，以预分割后的形成的超级像素子区域代替像素点构造图切分的赋权图，获得准确而完整的显著对象的抠取。该方法加快了图像分割速度，大大减少了算法的运行时间。

Claims (5)

1.一种彩色图像中显著对象的自动抠取方法，其特征在于，包括：

(1)输入待处理的图像，将所述图像从RGB颜色空间变换至HSV颜色空间，得到各特征分图，即色调分图H、暖色增益分图S₁(x,y)、亮度分图I，其中，获得亮度分图I时，设定亮度阈值，将低于亮度阈值的像素的值设为0，所述亮度阈值为图像中所有像素的亮度最大值的5%～12%，S₁是暖色增益分图，通过HSV颜色空间中S和V合成获得；x和y分别指像素点所在的行、列坐标；

(2)对步骤(1)获得的各特征分图H、S₁(x,y)、I分别进行去除均值处理；

(3)对各特征分图作如下处理，获得各显著分图：

，

其中，，表示高斯滤波器，为傅里叶逆变换，为傅里叶变换后的对数谱，为幅度谱，为均值滤波；

将三幅显著分图按下式融合得到粗略的显著度图S_map，

，

利用颜色直方图以及空间分布信息获得背景的颜色分布BKG_color，据此得到显著对象的空间位置约束图像BKG_map，

，

将S_map和BKG_map归一化到[0,1]后，按照下式融合得到显著度图，

；

(4)根据步骤(3)的显著度图，获得包围显著区域的矩形框，并按下式进行矩形框扩展：

，

式中，W_white、W_Image、W_black表示扩展前的矩形、原图像、扩展后的矩形的宽度，H_white、H_Image、H_black表示扩展前的矩形、原图像、扩展后的矩形的高度，所述扩展以扩展前的矩形为中心进行，扩展后的矩形框包围的图像作为后续处理的图像；

(5) 预分割：对图像进行高斯滤波，计算滤波后的图像中每个像素与其最近的非零像素的欧氏距离，并将得到的结果做一次分水岭变换，得到边缘图像；利用高斯滤波后的图像、边缘图像和局部最大值重新构造分水岭算法的梯度图；再次进行分水岭变换，得到预分割图像；

(6)迭代图切分：用步骤(5)的预分割图像中的预分割区域作为节点，构造图切分赋权图，以步骤(4)中扩展前的矩形和扩展后的矩形之间的部分为背景集，采用图论分割中的最大流-最小切策略进行分割，直至能量函数收敛，获得切割后的图像。

2.根据权利要求1所述的彩色图像中显著对象的自动抠取方法，其特征在于：步骤(1)中，图像从RGB颜色空间变换至HSV颜色空间，获得的色调分图H、暖色增益分图S₁(x,y)、亮度分图I特征分量为，

，

式中，r,g,b是该像素点在RGB颜色空间中的值，S和V分别为HSV颜色空间中的饱和度和色调，x、y是像素点所在坐标。

3.根据权利要求1所述的彩色图像中显著对象的自动抠取方法，其特征在于：步骤(5)中，高斯滤波器对输入图像进行高斯滤波，得到图像Image，滤波器大小取9×9，sigma=2.5；利用Sobel算子计算高斯滤波图像Image的梯度图G，Sobel算子有两个，一个检测水平边缘，另一个检测垂直边缘，分别为

及其转置，

，

G表示经高斯滤波后图像Image的梯度图。

4.根据权利要求1所述的彩色图像中显著对象的自动抠取方法，其特征在于：步骤(6)中，迭代图切分的方法是，

在预分割的图像中，用超级像素块代替像素作为节点构造赋权图；

定义背景集为扩展前的矩形和扩展后的矩形之间的部分，前景集，未知区域为扩展前的矩形框内的部分；

利用模糊C均值聚类方法分别对和进行模糊聚类，获得出入部分的初始分布，取K=2；

计算超级像素块与每一类的距离，用图论分割中的最大流-最小切策略获得初始分割，更新每一类的高斯分布及参数，继续循环，直至能量值在后续迭代过程中与前一次的能量值相比基本达到一个不变的值时判断为迭代收敛。

5.根据权利要求1所述的彩色图像中显著对象的自动抠取方法，其特征在于：步骤(1)中，所述亮度阈值为图像中所有像素的亮度最大值的1/10。