CN102592291A - 一种基于摄影元素的图像重要性检测方法 - Google Patents

Abstract

本发明公开了一种基于摄影元素的图像重要性检测方法，该方法包括以下步骤：(1)色彩分析；(2)景深分析；(3)结构分析；最后，将反映图像每个像素引人注意程度的重要性图输出。本发明具有以下有益效果：1.提供了一种反映摄影者拍摄当时场景时，对该场景理解的方法，可以有效解决以往重要性图检测方法无法处理浅景深图像的缺点。2.提出的图像景深分类方法，相比于以往的方法，有分类准确率高，分类速度快的优点。3.本发明方法具有广泛的应用前景，可以应用于基于内容的图像检索、图像对象的自动分割以及于视频对象的自动监控与跟踪等领域。

Description

一种基于摄影元素的图像重要性检测方法

技术领域

本发明涉及图像处理技术领域，具体地说是一种基于摄影元素的图像重要性检测方法。

背景技术

基于摄影元素的图像重要性检测方法，属于计算机视觉与认知领域，图像重要性检测具有广泛的应用前景，例如应用在基于内容的图像检索中，可以提高其检索的准确率，减少计算量；当作为输入时，可以进行图像对象的自动图像分割；同样，还可以应用于视频监控领域，用于物体的自动跟踪等。然而，目前研究图像重要性计算的方法还不是很多，特别是当前没有研究利用摄影元素去反映照片拍摄者思路的方法。

发明内容

本发明所要解决的是现在技术存在的上述问题，目的是提供一种基于摄影元素的图像重要性检测方法，它通过考虑颜色、景深以及构图等摄影元素，反映摄影者拍摄照片时的思路，能够生成反映图像上各个区域重要性的重要性图。为此本发明采用以下技术方案，一种基于摄影元素的图像重要性检测方法，该方法包括以下步骤：

(1)色彩分析：根据颜色的空间分布，以及不同颜色间的相对重要性，计算得到反映每个像素敏感度的初始重要性图；

(2)景深分析：对输入图像进行景深分析，若图像为长景深图像(即图像中所有部分都较为清晰)，则直接进入第三个步骤；若图像为浅景深图像(即焦点集中于个别物体，其余物体虚化)，计算图像的焦点，根据焦点位置，修正上一个步骤得到的重要性图；

(3)结构分析：对图像进行结构分析，根据图像的结构特征，进一步修正重要性图；

最后，将反映图像每个像素引人注意程度的重要性图输出。

基于摄影元素的图像重要性检测方法，第一个步骤为颜色重要性检测，目前已有颜色重要性检测方法主要通过计算图像的局部颜色对比度完成，但这类方法由于没有考虑全局颜色信息，所以往往效果不佳；本方法采用全局的颜色空间分布特征，在此基础上考虑不同颜色之间的相对重要性，得到了较好的颜色重要性检测结果。

由于单反的普及，浅景深图像越来越多，但是传统的重要性检测方法处理浅景深图像时效果不佳，所以本方法对图像景深进行分类，从输入图像中找出浅景深图像进行特别处理。以往的图像景深分类方法采用较为复杂的特征，使用SVM分类器进行分类，其分类准确率较低，而且速度较慢，本方法可以通过训练朴素贝叶斯分类器，使准确率较之以往的方法略有提高，在分类速度上则进步很大。

以往的重要性检测方法忽略了对图像结构信息的分析，输出的重要性图缺乏语义信息，本方法则充分分析和利用了图像的结构信息，使得输出结果更加可靠。

由于采用本发明的技术方案，本发明以图像为输入，不需要任何用户交互，得到一张反映图像上各个区域重要性的重要性图，本发明同时还具有以下有益效果：

1.提供了一种反映摄影者拍摄当时场景时，对该场景理解的方法，可以有效解决以往重要性图检测方法无法处理浅景深图像的缺点。

2.提出的图像景深分类方法，相比于以往的方法，有分类准确率高，分类速度快的优点。

3.本发明方法具有广泛的应用前景，可以应用于基于内容的图像检索、图像对象的自动分割以及于视频对象的自动监控与跟踪等领域。

附图说明

图1为本发明所提供的方法的总体流程图。

图2为本发明所提供的方法制作的一个例子，(a)为原始图像，(b)为方法输出的重要性图，颜色越亮表示越重要。

图3为本发明所提供的方法制作的另一个例子，(a)为原始图像，(b)为方法输出的重要性图，颜色越亮表示越重要。

具体实施方式

首先定义在接下来说明中要用到的缩写：景深(Depth of Field)缩写为DOF，高斯偏差边缘检测方法(Difference of Gaussian)，缩写为DOG。

图1是本发明的基本流程图，本发明以图像作为输入，不需要任何用户交互，得到一张反映图像上各个区域重要性的重要性图，下面对本发明的各个流程进行详细说明：

1.色彩分析

颜色能够影响人的视觉注意力，过去关于颜色重要性的研究大多集中于颜色对比度的计算上，很少有研究关注颜色间的重要性区别。事实上，摄影师经常使用亮色(比如红色)去吸引人的注意力。

我们将颜色敏感度模型建立在HSV颜色空间上，首先我们通过用户调研确定了HSV空间六个主色调之间的颜色重要性差别：我们，将六个主色调画成圆形，放在画布上，并且请了10个志愿者将六种颜色按照从敏感到不敏感的顺序进行排序，排第一的颜色得6分，第二的得5分，以此类推。这样我们就统计得到了每种颜色的累积重要性：红(59)，黄(46)，绿(41)，蓝(30)，紫(23)，青(11)；然后这些数值被归一化到[0.5，1]的区间里面来。这就是我们得到的色调重要性：S_h(h)。色调环上的其他色调(0-360)的重要性可以通过线性插值得到。

颜色重要性同样和饱和度与亮度相关，对于一种颜色，其相对重要性可以如下计算：

S_h＝k_vS_v+k_tS_t

其中，K_v和K_t为相对权重；Sv是亮度重要性：

S_v＝v^0.6

S_t可以如下计算得到：

S_t(h，s，v)-S_v(v)S_h(h)s^0.6

我们将我们定义的颜色相对重要性作用于颜色空间分布，得到每个像素的颜色重要性值：

S_c＝f(x)·S₁(x)

其中f(x)是颜色空间分布值，S₁(x)是之前定义的颜色相对重要性。由此可以输出初步的重要性图。

2.景深分析

由于单反的普及，浅景深图像越来越多，但是传统的重要性检测方法处理浅景深图像时效果不佳。本步骤将输入图像分为浅景深和长景深两个类别，长景深图像可以直接跳过本步骤的其余内容，直接进入第三个步骤，浅景深的图像则需要进一步处理。

通常来说，模糊的图像对低通滤波器更不敏感，而浅景深图像的大部分区域较为模糊，所以可以利用这个特性。本发明方法对图像进行高斯滤波，并且分别计算滤波前和滤波后图像的梯度平方和：

$g=\underset{p}{\mathrm{\Σ}}\{g_x{\left(p\right)}^2+g_y{\left(p\right)}^2\}$

分别记为：g和g′，我们使用α＝g/g′来描述图像的模糊程度。因为清晰图像包含更多的细节，滤波前与滤波后的差别会比模糊的图像大，所以对于长景深图像α值会较大，对于部分模糊的浅景深图像，α值较小。

所以可以使用α值来区分图像的景深，我们使用朴素贝叶斯分类器：

$\mathrm{\τ}=\frac{P\left(\mathrm{Low}\right|\mathrm{\α})}{P\left(L\arg e\right|\mathrm{\α})}=\frac{P\left(\mathrm{\α}\right|\mathrm{Low})P\left(\mathrm{Low}\right)}{P\left(\mathrm{\α}\right|L\arg e)P\left(L\arg e\right)}$

$\mathrm{\τ}=\frac{P\left(\mathrm{\α}\right|\mathrm{Low})}{P\left(\mathrm{\α}\right|L\arg e)}$

其中，P(Low|α)表示给定α值的情况下将图像分类为浅景深的概率。似然度P(α|Low)和P(α|Large)通过500张图像训练而成。该分类器的分类准确率可以达到80％左右，相比原来的景深分类方法略有提升，并且在分类速度上有较大提高。

分类完毕之后，对浅景深图像在上个步骤中得到的初始重要性图进行修正。首先对浅景深图像原图使用DOG边缘检测方法，提取边缘，使用积分图的思路找出图像中边缘最密集的矩形区域，矩形区域的中心视为图像的焦点。根据各个像素与焦点的距离d修正初始重要性图：

$S(i,j)=S(i,j){\mathrm{Ae}}^{-\frac{d}{2\mathrm{\σ}}}$

其中，A和σ为调整重要性图过渡速度的参数。该公式的意义在于，离焦点越近的像素给其越重要的重要性值。

本步骤输出经过修正的重要性图。

3.结构分析

图像的结构对于影响观察者的视觉注意力非常重要，比如，根据摄影艺术中的一些原则：图像可以被四条直线等分成九个部分，重要的物体一般放在四条直线的四个交点上(三分点)，所以离四个交点较近的区域被赋予更高的重要性值；面积较大的区域一般为重要性较低的背景区域；与图像边界交汇较多的区域一般重要性较低。以上述这些原则为依据，进一步修正之前得到的重要性图。

首先用图像分割算法将图像分割为不同的区域。

如果某个区域的大小大于图像面积的一半，那么我们按照函数减小该区域的重要性值，其中A_r是该区域的面积，A_i是图像的面积；

如果一个区域与图像边界有交点，那么我们同样减少这个区域的重要性值：

其中n是该区域与图像边界重合的像素个数，m是图像边界上的像素个数；

另外对每一个区域，我们计算与之最近的三分点的距离d，通过公式

来修正该区域的重要性值；

总体来说，对于一个区域r，其重要性值S_r修正如下：

$S_r=S_r{e}^{-\frac{A_r}{A_i{\mathrm{\σ}}_1}-\frac{n}{m{\mathrm{\σ}}_2}-\frac{d}{{\mathrm{\σ}}_3}}$

这样我们就可以得到最终的重要性图输出，图2和3展示了两个根据我们的发明制作的例子，颜色越亮的部分表示图像中越重要越吸引人注意力的内容。

Claims (5)

1.一种基于摄影元素的图像重要性检测方法，其特征在于该方法包括以下步骤：

(1)色彩分析：根据颜色的空间分布，以及不同颜色间的相对重要性，计算得到反映每个像素敏感度的初始重要性图；

(2)景深分析：对输入图像进行景深分析，若图像为长景深图像，则直接进入第三个步骤；若图像为浅景深图像，计算图像的焦点，根据焦点位置，修正上一个步骤得到的重要性图；

(3)结构分析：对图像进行结构分析，根据图像的结构特征，进一步修正重要性图；

最后，将反映图像每个像素引人注意程度的重要性图输出。

2.根据权利要求1所述的一种基于摄影元素的图像重要性检测方法，其特征在于所述色彩分析方法定义了不同颜色之间的相对重要性，将其作为加权项，作用于颜色空间分布：在图像上分布较广的颜色被认为是不重要的颜色，分布较为集中的颜色被认为是重要的颜色，从而得到初始颜色重要性图。

3.根据权利要求1所述的一种基于摄影元素的图像重要性检测方法，其特征在于所述景深分析步骤采用高斯滤波器对图像进行滤波，分别计算滤波前和滤波后图像的梯度平方和，以这两个数值的比作为特征值，使用朴素贝叶斯分类器将图分为长景深与浅景深两类，对浅景深图像进行进一步处理。

4.根据权利要求3所述的一种基于摄影元素的图像重要性检测方法，其特征在于得到浅景深图像后，对其使用DOG边缘检测方法，提取边缘，找出图像中边缘最密集的矩形区域，矩形区域的中心视为图像的焦点，根据各个像素与焦点的位置修正重要性图：离焦点越近的像素越重要。

5.根据权利要求1所述的一种基于摄影元素的图像重要性检测方法，其特征在于在结构分析步骤中，首先用图像分割算法将图像分割为不同的区域，根据以下原则，进一步修正之前得到的重要性图：

图像被四条直线等分成九个部分，重要的物体一般放在四条直线的四个交点上，所以离四个交点较近的区域被赋予更高的重要性值；面积较大的区域一般为重要性较低的背景区域；与图像边界交汇较多的区域一般重要性较低。

Images