CN103679173B

CN103679173B - 图像显著区域检测方法

Info

Publication number: CN103679173B
Application number: CN201310646388.8A
Authority: CN
Inventors: 王好谦; 张春龙; 邵航; 戴琼海
Original assignee: Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Graduate School Tsinghua University
Priority date: 2013-12-04
Filing date: 2013-12-04
Publication date: 2017-04-26
Anticipated expiration: 2033-12-04
Also published as: CN103679173A

Abstract

本发明涉及一种图像显著区域检测方法，包括如下步骤：U1、滤波处理，对图像进行滤波处理以减小噪声；U2、局部处理：针对步骤U1处理后的待检测图像，按局部处理方式计算图像中各像素点的第一显著性值；U3、对步骤U2得到的各像素点的第一显著性值进行归一化操作：U4、显著性值的优化处理；U5、全局处理：对生成的第一显著性灰度图进行再一次全局修正。本发明的图像显著区域检测方法基于图像三通道内部分析对比检测方法，由于综合利用了在局部矩形窗口中计算得到的显著性值和全局分块划分后计算得到的显著性值，得到的灰度图像比单一局部处理方法或单一全局处理方法更为准确。

Description

图像显著区域检测方法

技术领域

本发明涉及计算机图像处理领域，特别是涉及一种图像显著区域检测方法。

背景技术

人类的视觉机理和反射条件具有一定的共性，这会使图像中一定的显著性区域，如图像的边缘、色差梯度较大的图像区域，总会引起人们的注意。基于这种原理，可以对图像中的显著性的区域进行检测，提取出显著性值的灰度图像，从而广泛的应用于计算机视觉领域，包括对兴趣目标物体的图像分割，目标识别，自适应压缩，内容感知图像编辑，和图像检索等。同时，对图像的显著性区域的检测研究反过来对研究人类视觉系统的信息加工也有帮助。

显著性这个词最早由Tsotsos et al.[2]以及Olshausen et al.[3]等人提出，在Itti[1]等人的文章中首次对显著性区域做了快速的场景分析，来获得显著性图，显著性检测（saliency detection）通常也被叫做视觉关注（visual attention）区域的检测。显著性估计的方法可以广泛的概括为以生物学为基础的方法，纯计算的方法，或者是二者结合的方法。一般的所有的方法都会通过检测图像不同区域与其周围信息的对比度来实现，通过检测亮度、色彩、梯度、纹理等特征来实现。

Itti[1]等人提出的方法是通过生物学的基本理论驱动的，他们的算法的基本思路是对比在高斯金字塔下不同尺度的图像中，周围与中心的对比度（center-surrounddifferences）关系来实现的，选取的特征十分全面，包括了梯度亮度颜色等信息。由于做了降维处理，所以Itti的方法产生的显著性图只有原图尺寸大小的1/256。在Itti等人的启发下，Frintrop[4]等人计算中心和四周的对比度在一个矩形窗口，在积分图像上加速计算完成。其他的方法是纯计算的方法，没有依据生物学的视觉准则。Ma和Zhang[5]估计显著性利用局域center-surround的特征距离，他们在LUV色彩空间上计算每一个单元的和其周围区域的对比度来估计显著性，之后利用区域的模糊增长的方法来实现显著性区域的拓展提取。Harel等人[6]通过将Itti等人的特征图归一化来突出显著部分，并且可以和其他显著图像结合。这里利用了图论的思想建立了马尔科夫随机场模型，通过获取的特征对边界赋值后计算平均分布来获得每一节点的显著性值，归一化后合并后的最终的结果。Liu等人[7]通过将高斯金字塔的对比度线性组合，提出了多尺度对比度的方法。最近，Goferman等人[8]同时对局部底层线索、全局考虑、视觉组织规划以及表层特征进行建模来突出显著性物体。这些利用局部对比度的方法倾向于在边缘部分突出显著性值，而不是均匀地突出整个物体。

基于全局对比度的显著性区域计算方法用一个区域和整个图像的对比度来计算显著性值。Zhai和Shah[9]定义了基于每个图像和其余像素点对比度的像素级别显著性。Achanta[10]等人提出了频率协调的方法，此方法用某个像素和整个图像的平均色的色差来直接定义显著性值。但它只考虑了一阶平均颜色，不足以分析复杂多变的自然图像。此外这些方法忽略了图像各部分之间的空间关系，而这个因素对可靠地显著性检测来说很重要，因此MM-Cheng等人[11]提出了同时考虑空间因素以及全局颜色对比度的显著性估计方法，并用直方图进行加速运算。

图像显著区域检测方法即是要得到待处理的图像中每一像素点的显著性值，根据显著性值得到对应的显著性灰度图。现有的图像显著区域检测方法中，有基于全局的计算方法计算显著性值的，也有基于局部窗口计算显著性值的，但上述两种方法各自突出待检测图像中不同的特性，全局计算方法得到的显著性值灰度图像突出的是待检测图像的主体部分的显著性，而局部处理计算方法得到的显著性值灰度图像突出的是待检测图像中的边缘以及纹理较强处的信息。以人脸图像为例说明，采用全局计算方法得到的各像素点显著性值，能识别出人脸图像的主体部分，但对于脸部轮廓处、眼睛、鼻子、嘴部边缘处却不能很好体现；而采用局部计算方法得到的各像素点显著性值，对轮廓边缘处能很好地体现，但对于脸部主体部分却不能很好地体现。这样两种方法得到的灰度图结果均不能较准确的反应待检测图像的显著性值。

发明内容

本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种图像显著区域检测方法，使得到的显著性值灰度图像更加精确。

为此，本发明提出的图像显著区域检测方法包括如下步骤：U1、滤波处理，对图像进行滤波处理以减小噪声；U2、局部处理：针对上述步骤U1处理后的待检测图像，按局部处理方式计算图像中各像素点的显著性值，定义为第一显著性值；U3、对步骤U2得到的各像素点的第一显著性值进行归一化操作：将各个像素点的显著性值最终转换成各个取值在指定区间的灰度值，由该多个灰度值即可得到待检测图像的第一显著性值的灰度图像；U4、显著性值的优化处理：在特殊单一色彩占据较大图像空间时，进行必要的修正，视为远景区域，赋值为较小的显著性值；并对局部的奇异点进行修正；U5、全局处理：对生成的第一显著性灰度图进行再一次全局修正。

优选地，本发明还包括如下特征：

在步骤U2中，局部处理方式为：以当前待计算的像素点R为中心，在m×n的矩形窗口中，计算像素点R的第一显著性值S₁（R），其中m、n为自然数。

某一像素点的第一显著性值为：以这一像素点为中心的矩形框内，计算RGB三通道像素的平均像素值，找出其中的最大值与最小值，其差值为这一像素点的第一显著性值；即依据下述公式计算得到当前待计算的像素点R的第一显著性值S₁（R）：

S₁(R)＝MAX(I_R,I_G,I_B)-MIN(I_R,I_G,I_B)

其中，N表示矩形窗口中像素点的个数，N=m×n；I（k）表示第k个像素点的对应通道的像素值，则I_R表示m×n的矩形窗口中N个像素点的R通道平均像素值；m×n的矩形窗口中N个像素点的G和B通道平均像素值I_G,I_B的计算方法与I_R计算方法相同;，RGB分别表示红绿蓝三个颜色。

局部处理方式计算各个像素点的第一显著性值时，按照三种尺度选取矩形窗口，每一尺度矩形窗口下均可计算得到当前像素点的一个第一显著性值，按照窗口由小到大分别得到像素点R的三个第一显著性值S_1a（R），S_1b（R），S_1c（R），则像素点R的第一显著性值S₁（R）由S_1a（R），S_1b（R），S_1c（R）加权求和取平均得到：其中，a、b和c分别为设定的加权系数。

归一化操作即是将得到的各显著性值转化成相应的灰度值，得到灰度图。归一化操作运用线性函数转换的方法，本具体实施方式中依据如下公式进行：

y＝255×(x-MinValue)/(MaxValue-NinValue);

步骤U3中进行归一化操作的方法如下：将步骤U2待转换的各个像素点的显著性值分别作为x代入下述公式：

y＝255×(x-MinValue)/(MaxValue-MinValue)

y表示转换后像素块的显著性值对应于灰度图像中的灰度值，Max Value和MinValue分别为各像素点中的最大显著性值和最小值显著性值。

步骤U4中，对特殊单一色彩占据较大图像空间时，进行必要的修正的方法是：计算步骤U2中的选取的矩形块的每一通道方差，如方差值较大，不做修正；如方差值较小，则赋值为较小的显著性值；对局部的奇异点进行修正的方法是：用双边滤波进行处理。

步骤U5中，全局处理的方法包括如下步骤：求取已生成的第一显著性灰度图像的全局灰度均值；逐像素点计算每一像素点灰度值与均值的欧氏距离作为新的深度值；

归一化化深度值至指定的区间；滤波平滑处理生成最终的显著性深度图。

以显著性值作为图像部分的深度值，进而形成单幅静态图像的深度图。

本发明与现有技术对比的有益效果是：

本发明的图像显著区域检测方法基于图像三通道内部分析对比检测方法，结合局部处理和全局处理方式，由于综合利用了在局部矩形窗口中计算得到的显著性值和全局分块划分后计算得到的显著性值，以前者为基础，后者为参考修正后的灰度值作为显著性图的灰度值。得到的灰度图像中，即能突出待检测图像中边缘、纹理较强处区域的显著性值（局部处理方式），也能突出待检测图像中主体部分的显著性值（全局处理方式），因此得到的显著性值灰度图像比单一局部处理方法或单一全局处理方法更为准确。同时，由于局部处理时采取矩形窗口进行计算，计算量较小，全局处理时按照分块划分后计算像素块显著性值得到像素点显著性值，计算量也较小，因此本发明的图像显著区域检测方法在提高结果准确性的同时，计算量并没有增大。

附图说明

图1是本发明具体实施方式中的图像显著区域检测方法的流程图；

图2是本发明具体实施方式中的去窗口选取示意图。

具体实施方式

下面结合具体实施方式并对照附图对本发明做进一步详细说明。

如图1所示，为本具体实施方式中的图像显著区域检测方法的流程图。

U1）滤波处理：对图像以5*5为算子进行高斯滤波处理。

对图像进行滤波处理以达到减小噪声的目的。本具体实施方式中，采用高斯滤波器，高斯滤波器是一种低通滤波器，对图像的数字信号进行平滑处理，以去掉高频噪声。高斯滤波处理是一种成熟滤波技术，具体处理方式在此不做详细介绍。

U2）局部处理：针对上述步骤U1）处理后的待检测图像，按局部处理方式计算图像中各像素点的显著性值，定义为第一显著性值。其中，局部处理方式为：以当前待计算的像素点R为中心，在m×n的矩形窗口中，计算像素点R的显著性值S₁（R）。m×n的矩形窗口越小，最终得到的灰度图像突出边界信息就越清楚，计算结果越精确。按照矩形窗口为计算区域计算窗口中心像素点的显著性值，计算量较小。图2中，101、102、302是选取窗口的几个示意区域，x，y为图像的两个维度。

在单幅静态图像中，一般情况下，图像的前景区域纹理、色彩十分清晰，而背景区域往往比较模糊（由于对焦原因）。根据这一普遍的现象，我们可以分析得到前景区域的亮度往往不统一（由于光照、阴影等因素），而背景区域（或者较远的部分）由于模糊的特性，亮度色彩等特征往往比较近似。因此反映在图像数据中的特征一般为在RGB三个通道（或YUV三通道）中，前景（或比较靠前的区域）往往存在一个通道或者两个通道数值较低，而背景区域中三通道的数值较为接近，或者说一般不会出现某一通道数值为零的极限情况。根据以上的分析，我们提出一种基于局部RGB通道（或YUV通道）数据特征估计图像显著性值的方法，具体过程为：某一像素点的显著性值为：以这一像素点为中心的矩形框内，计算RGB三通道像素的平均像素值，找出其中的最大值与最小值，其差值为这一像素点的显著性值，并归一化化到0～255。

本具体实施方式中，按照局部矩形窗口计算像素点显著性值时，依据公式1计算得到当前待计算的像素点R的显著性值S₁（R），公式1为：

S₁(R)＝MAX(I_R,I_G,I_B)-MIN(I_R,I_G,I_B)

其中，N表示矩形窗口中像素点的个数，N=m×n；I（k）表示第k个像素点的对应通道的像素值，则I_R表示m×n的矩形窗口中N个像素点的R通道平均像素值。I_G,I_B分别表示m×n的矩形窗口中N个像素点的G和B通道平均像素值，计算方法与I_R计算方法类似。

优选地，上述局部处理方式计算各个像素点的显著性值时，按照三种尺度（例如20×25,30×35，40×45三种尺度，或者20×20,30×30，40×40三种尺度）选取矩形窗口，每一尺度矩形窗口下均可计算得到当前像素点的一个显著性值，按照窗口由小到大分别得到像素点R的三个显著性值S_1a（R），S_1b（R），S_1c（R），则像素点R的显著性值S₁（R）由显著性值S_1a（R），S_1b（R），S_1c（R）加权求和取平均得到：其中，a、b和c分别为设定的加权系数，窗口越小，边界信息就越清楚，计算结果越精确，加权系数越大，反之窗口越大，边界信息越模糊，计算结果越粗糙，相应的权值也就越小。本具体实施方式中a设为1，b设为1/2，c设为1/3。按照取3种尺度的方式计算局部窗口中的中心像素点的显著性值，由于采用的是多尺度加权求平均，因此可从多尺度融合的角度进一步提高局部计算得到的显著性值的精确度。需要说明的是，采用3种尺度相比采用2种尺度，对结果精确度的提升较显著，而如果将尺度选为4种、5种或更多，则计算量会增大，但结果精确度的提升却并不显著，因此计算时采用3种尺度是最佳的多尺度。

U3）对步骤U2）得到的各像素点的第一显著性值进行归一化操作，得到待检测图像的第一显著性值的第一灰度图像。

进行归一化操作即是将得到的各显著性值转化成相应的灰度值，得到灰度图。归一化操作运用线性函数转换的方法，本具体实施方式中依据公式3进行：

公式3为：y＝255＝(x-DinValue)/(MaxValue-MinValue);

其中，将步骤U2）待转换的各个像素点的显著性值分别作为x代入公式3，y表示转换后像素块的显著性值对应于灰度图像中的灰度值，Max Value和Min Value分别为各像素点中的最大显著性值和最小值显著性值。经过归一化，即各个像素点的显著性值最终转换成各个取值在0-255之间的灰度值，由该多个灰度值即可得到显著性值对应的灰度图（即“显著性灰度图”）。

U4）显著性值的优化处理：上述方法计算的显著性值主要是针对室外的自然景观与室内对焦后的图片。分析可知，只要图像形成了局部对焦，一般情况下不易产生错误，但是天空，草地等特殊单一色彩占据较大图像空间时，错误判断显而易见（处于远景区域并且单通道数值突出）。针对这一特殊情况要进行必要的修正。天空主要为蓝色，即B通道数值较高，即计算U2）步骤中的选取的矩形块的每一通道方差，如方差值较大，说明为离散情况，未出现单一色块较大区域，不做修正。如方差值较小，则说明像素所属色块出现单一色彩区域，可能出现天空等特殊情况，视为远景区域，赋值为较小的显著性值（比如可以定值为50以内）。

另，显著性的变化在同一物体中整体应保持一致，不同物体之间根据远近关系需渐进变化。因此，应对局部的奇异点进行修正，在进行归一化化后生成的显著性灰度图中，我们首先使用低通滤波器进行平滑处理，为了归一化边缘，再次用双边滤波进行处理。

U5）全局处理：这里，视整张图片为所有像素的“局部”信息，首先求取已生成的显著性灰度图的全局灰度均值，由于在显著性灰度图中，往往真正受视觉所注意的区域占图像较小区域，大部分为背景区域。因此我们利用这一性质对生成的显著性灰度图进行再一次的全局修正。

具体步骤为：1.计算全局灰度均值；2.逐像素点计算每一像素点灰度值与均值的欧氏距离作为新的深度值：其中D(i,j)为最新的深度值，R、G、B分别代表R通道、G通道、B通道的像素灰度值，下标i时为选取点的灰度值，下标j时为全局灰度均值；3.归一化深度值至0～255；4.滤波平滑处理生成最终的显著性深度图。

由于本具体实施方式中图像显著区域检测方法，综合了局部处理方式与全局处理方式，因此得到的灰度图像中既能突出待检测图像的主体部分的显著性值，又能突出待检测图像中边缘轮廓部分的显著性值，得到的灰度图像比单一局部处理方法只能突出边缘轮廓显著性值，或单一全局处理方法只能突出主体部分显著性值都更为准确。同时，局部处理按照矩形窗口为计算区域计算窗口中心像素点的显著性值，计算量较小；即本具体实施方式中的图像显著区域检测方法得到的深度图结果更为准确，且计算量并没有增大太多。进一步地，采用多尺度取矩形窗口，将各尺度得到的显著性值加权求和取均值，可从多尺度的角度进一步提高显著性值计算的精确度。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims

1.一种图像显著区域检测方法，其特征是包括如下步骤：

U1、滤波处理，对图像进行滤波处理以减小噪声；

U2、局部处理：针对上述步骤U1处理后的待检测图像，按局部处理方式计算图像中各像素点的显著性值，定义为第一显著性值；依据下述公式计算得到当前待计算的像素点R的第一显著性值S₁(R)：S₁(R)＝MAX(I_R,I_G,I_B)-MIN(I_R,I_G,I_B)，其中，N表示以当前待计算的像素点R为中心的m×n的矩形窗口中像素点的个数，N＝m×n；I(k)表示第k个像素点的对应通道的像素值，则I_R表示m×n的矩形窗口中N个像素点的R通道平均像素值；m×n的矩形窗口中N个像素点的G和B通道平均像素值I_G,I_B的计算方法与I_R计算方法相同，RGB分别表示红绿蓝三个颜色；

U3、对步骤U2得到的各像素点的第一显著性值进行归一化操作：将各个像素点的显著性值最终转换成各个取值在指定区间的灰度值，由该多个灰度值即可得到待检测图像的第一显著性值的灰度图像；

U4、显著性值的优化处理：在特殊单一色彩占据较大图像空间时，进行必要的修正，视为远景区域，赋值为较小的显著性值；并对局部的奇异点进行修正；

U5、全局处理：对生成的第一显著性灰度图进行再一次全局修正；全局处理的方法包括如下步骤：求取已生成的第一显著性灰度图像的全局灰度均值；逐像素点计算每一像素点灰度值与均值的欧氏距离作为新的深度值：

其中D(i，j)为最新的深度值，R、G、B分别代表R通道、G通道、B通道的像素灰度值，下标i时为选取点的灰度值，下标j时为全局灰度均值；归一化深度值至指定的区间；滤波平滑处理生成最终的显著性深度图。

2.如权利要求1所述的图像显著区域检测方法，其特征是，局部处理方式计算各个像素点的第一显著性值时，按照三种尺度选取矩形窗口，每一尺度矩形窗口下均可计算得到当前像素点的一个第一显著性值，按照窗口由小到大分别得到像素点R的三个第一显著性值S_1a(R)，S_1b(R)，S_1c(R)，则像素点R的第一显著性值S₁(R)由S_1a(R)，S_1b(R)，S_1c(R)加权求和取平均得到：

其中，a、b和c分别为设定的加权系数；

归一化操作即是将得到的各显著性值转化成相应的灰度值，得到灰度图；归一化操作运用线性函数转换的方法，依据如下公式进行：

y＝255×(x-MinValue)/(MaxValue-MinValue)。

3.如权利要求1所述的图像显著区域检测方法，其特征是，步骤U3中进行归一化操作的方法如下：将步骤U2待转换的各个像素点的显著性值分别作为x代入下述公式：

y＝255×(x-MinValue)/(MaxValue-MinValue)

y表示转换后像素块的显著性值对应于灰度图像中的灰度值，MaxValue和MinValue分别为各像素点中的最大显著性值和最小值显著性值。

4.如权利要求1所述的图像显著区域检测方法，其特征是，步骤U4中，对特殊单一色彩占据较大图像空间时，进行必要的修正的方法是：计算步骤U2中的选取的矩形块的每一通道方差，如方差值较大，不做修正；如方差值较小，则赋值为较小的显著性值；对局部的奇异点进行修正的方法是：用双边滤波进行处理。