CN101432775B - 基于对象的视觉注意力模型的显著性评估方法 - Google Patents

Abstract

本发明提供一种基于对象的视觉注意力模型的显著性评估方法。该方法包括以下步骤：将图像分割成复数个待评估的对象；对每个被分对象提取特征地图；基于提取的特征地图，计算每个被分对象在该对象中心像素周围定义的一系列圆中的显著性；以及将每个被分对象在所有圆中的显著性结合，从而实现每个被分对象的总体显著性的评估。本发明更符合人类视觉，且计算复杂性低。

Description

基于对象的视觉注意力模型的显著性评估方法

技术领域

本发明涉及一种评估图像显著性的方法，尤指一种基于对象的视觉注意力模型的显著性评估方法。

技术背景

以神经生物学概念来讲，注意力意味着通过细致仔细的观察，将精神集中在一个物体上。注意区域是指一个画面中倾向于吸引人们更多注意力的区域。设计用于自动探测画面中的注意区域的系统称为注意力模型。探测到的注意区域被广泛用于许多种应用中，例如积累注意区域中的有限资源，引导检索/查找，简化分析等。

图1显示了一种最常用的注意力模型的总体结构。首先，将待评估的图像输入注意力模型中。然后，在提取特征步骤之后获取强度、颜色、方向等特征。在第三步骤中评估所述特征的显著性。最终在图像融合和后处理步骤之后得出注意区域。

不同于在最早的机器视觉系统中使用的注意模块，其基于以宏模块(MB)为基本单元的空间位置假设来驱动注意力，其他引导视觉注意的模块是由对象驱动的，因此称为基于对象的视觉注意力模型。

正如1998年11月L.Itti等人在IEEE《图形分析和机器智能》学刊的第20期，第11篇提出的“一种快速场景分析的基于显著性的视觉注意力模型”和Y.F.Ma等人在2002年12月出版的《ACM多媒体》02集中第533至542页提出的“一种视频摘要的用户注意力模型”，建立了大量有关基于MB(宏模块)空间的视觉注意力的研究。然而，基于对象的视觉注意却由于其固有的困难没有被广泛研究。2003年5月Y.Sun等人在《人工智能》第77至123页“计算机视觉的基于对象的视觉注意力”中提出了基于对象的视觉注意力的构架。2005年6月另一基于对象的视觉注意力模型由F.Orabona等人在关于计算视觉的注意力和性能的第三次国际研讨会上提出。两个基于对象的视觉注意力方案仍旧都遵循了图1所示的注意力模型的总体结构。除了“显著性评估”，其他所有的处理都直接从Itti的基于MB空间的视觉注意力模型继承。

无论在基于MB空间还是在基于对象的视觉注意力模型中，首先提取低层的空间/时间特征，然后对于每个显著性(区别于、突出于其周围环境的；或者说更具吸引力的)在整个画面上评估每个单元的特征地图，随后主“显著性地图”通过以纯粹的自底向上的方式填充所有特征地图来生成。

与基于对象的视觉注意力模型相比，基于MB空间视觉注意力模型是一个更简单，更快速的创新。然而，其具有几个固有的缺陷：

1)注意区域打破了自然物体的边界；

2)每个宏模块可能覆盖许多自然物体。

因此，宏模块中所提取的特征是所有这些自然物体的混合特性，从而降低了注意区域探测的精确性。

上述基于对象的视觉注意力模型的关键点在两个方面：一是在提取特征前对对象进行分组，二是每一对象相对于图像中所有对象的特定有效显著性评估。正如Y.Sun等人所提出的，目前采用的显著性评估方案的中心思想是以高斯距离测量(Gauss distance measure)为基础的。

用x表示被评估显著性的对象，y_i(i＝1，2，...，n)表示所有背景对象，w表示输入图像的最大宽度和高度，以及//x-y_i//表示x和y_i间的物理距离，因此将高斯距离定义为公式(1)，

$d_{\mathrm{gauss}}(x,y_i)={(1-\frac{\left|\right|x-y_i\left|\right|}{w-1})}^{e^{-\frac{1}{{2\mathrm{\σ}}^2}{\left|\right|x-y_i\left|\right|}^2}}---\left(1\right)$

标度σ设为w/ρ，其中ρ为正整数且通常1/ρ可以设为w的百分数2％，4％，5％或20％，25％，50％等。

用S_F(x，y_i)表示对象x和y_i在特征F方面的绝对误差，显著性评估S_F(x)即对象x特征F面的总体显著性可表示为公式(2)。

$S_F\left(x\right)=\frac{{\mathrm{\Σ}}_{i=1}^n{S}_F(x,y_i)\·d_{\mathrm{gauss}}(x,y_i)}{{\mathrm{\Σ}}_{i=1}^n{d}_{\mathrm{gauss}}(x,y_i)}---\left(2\right)$

通过显著性评估的定义，可总结如下：

1.对象和其周围环境间差别越大，该对象越显著。

2.对象和与其有特征差别的环境之间距离越小，该对象越显著。即随着距离增加，人类视觉区分差别的能力下降。衰减系数由d_gauss衡量，其与视觉生理学理论是一致的。

这确保了S_F(x)在F特征方面是有用的显著性评估。遗憾的是，S_F(x)没有考虑一些重要的人类感官特性。

图2a为一待评估的滑冰的原始图像，图3a为使用传统基于对象的视觉注意力模型后图2a的显著性评估结果。

图2b为待评估的海岸警卫队的原始图像，图3b为使用传统基于对象的视觉注意力模型后图2b的显著性评估结果。

在图3a和图3b中，白色表示一个非常突出的对象，而黑色表示一个非显著的对象，介于白色和黑色间的灰度代表显著程度。

从图3a我们可以看到，观众被认为是显著的，因为其颜色与其相邻物有很大的差别，但实际上观众部分不包含细节。电视观众通常不聚焦在观众上并认为其是“视频纹理”.

亦在图3a中，女舞者的头部左边有一小的灰色方块。该方块由被男舞者的黑色衣服和女舞者的皮肤包围的一片滑冰场组成，其在该局部区域显著。但归根到底，这片滑冰场只是大滑冰场的一部分，不吸引电视观众的注意力。这被称为“局部效应”。由于局部效应，在该对象和其相邻物间的累积差别大，因此其被认为是“显著”的。

从上述描述中我们可以看到，传统的基于对象的视觉注意力模型不够有效，许多人类的视觉特性没有被考虑：

1.对象尺寸——评估对象尺寸对显著程度的影响是一个复杂的问题。例如，(a)如果所有相邻对象y_i具有相同尺寸s且对象x的尺寸从s到0递减，因此x的显著性(S_F(x))也将逐步递减；(b)如果所有相邻对象y_i具有相同尺寸s且对象x的尺寸从s₁到s₂递减(s₁＞＞s，且s₁＞s₂＞s)，S_F(x)将逐步递增。因此我们知道对象尺寸和显著性的关系是非单调的。当对象具有任意尺寸该问题会更复杂。

2.局部效应——如果一个对象在其相邻物(局部区域)中非显著而该远处相邻物与该物体非常不同，那么存在两个可能原因：(a)该对象在整个图像中根本不显著；(b)局部区域作为一整体在具有作为该局部区域一部分的对象的图像中显著。无论在哪种情况中，该对象的显著性都与所定义的不符合。

3.视频纹理——假设一图像的对象特征一律是随机的，人类通常会忽略整个图像的细节，图像中没有对象是显著的，而以上定义的S_F(x)对于该图像中的任何对象都是一个大数字。

由于所有的这些限制，传统的基于对象的视频注意力模型都与应用性相悖。因此期望一种改善的基于对象的视频注意力模型。

发明内容

本发明提供一种基于对象的视频注意力模型的评估方案，采用一种能够降低计算复杂性以及提高应用性的多层同心圆方案。

一方面，本发明提供了一种评估图像显著性的方法。其包括以下步骤：将图像分割成复数个待评估的对象；对每个被分割对象提取特征地图；基于提取的特征地图，计算每个被分割对象在该对象的中心像素周围定义的一系列圆中的显著性；以及将每个被分割对象在所有圆中的显著性结合，从而得出每个被分割对象的总体显著性的评估。根据一个较佳实施例，该提取特征地图的步骤基于图像颜色变化的量度。根据另一较佳实施例，计算每个被分割对象的显著性的步骤包括比较待评估对象和定义在该待评估对象周围的每个圆中任何其他对象的颜色特征的分步骤。

有利的是，本发明的建立在多层同心圆的显著性评估方案基础上的基于对象的视觉注意力模型显示了一个高效的构架来建立一个计算复杂性低及更符合人类视觉的基于对象的视觉注意力模型。

本发明的其他特点及优点将通过借助附图阐明的本发明一非限制性实施例的描述变得更为清晰。

附图说明

图1显示了通常使用的注意力模型的总体结构；

图2a显示了待显著性评估的滑冰的原始图像；

图2b显示了待显著性评估的海岸警卫队的原始图像；

图3a为使用传统基于对象的模块视觉注意力模型后图2a的显著性评估结果；

图3b为使用传统基于对象的模块视觉注意力模型后图2b的显著性评估结果；

图4显示了根据本发明的一个较佳实施例的显著性评估的多层同心圆方案；

图5显示了本发明的texture(.)的一个定义实例；

图6a为根据本发明的一个较佳实施例的图2a分割结果的一个实例；

图6b为根据本发明的一个较佳实施例的图2b分割结果的另一实例；

图7a显示了使用根据本发明的一个较佳实施例的显著性评估方案后图2a所评估的显著性结果；以及

图7b显示了使用根据本发明的一个较佳实施例的显著性评估方案后图2b所评估的显著性结果。

具体实施方式

本发明的技术特征将进一步参照实施例描述。该实施例仅仅是不对本发明进行限制的优选实例。其将通过以下结合附图的详细描述更好地被理解。

从先前的描述中我们可以看出，显著性评估的过程可被表示为：

输入：一图像I＝{p_i|i＝1...w*h}，其中w为宽度，h为高度；

输出：显著性地图sal[1...w*h]，其中sal[i]为图像中像素p_i的显著性。

本发明的方法主要包括以下三个步骤：

步骤1——预处理(图像分割)

首先，在该步骤中将一图像I分解成一系列的对象I＝{o₁，o₂，…，o_n}。基于图像的分割和分组在人类视觉感官中起着强大的作用，该领域中已进行了许多研究。在本发明中我们采用1998年6月P.F.Felzenszwalb等人在关于计算机视觉及图形识别的IEEE计算机学会大会上提出的“利用局部变化的图像分割”中的对象分割方案，其是基于图像颜色变化的量度。以下给出该方案的简单描述。

在处理前，基于图像I定义一无向图H＝(V，E)，I的每个像素p_i具有一相应的顶点v_i∈V，和连接顶点v_i和v_j的边际(v_i，v_j)∈E。哪些像素由E中的边际连接的精确定义取决于表达式(1-1)。

E＝{(v_i，v_j)|||p_i-p_j||≤d}                            (1-1)

对于某一给定距离d，边际的加权函数weight(.)提供了一些单个顶点v_i和v_j间的非负相似性度量(或差别度量)。将weight(.)定义为表达式(1-2)，

$\mathrm{weight}\left((v_i,v_j)\right)=\left\{\begin{array}{cc}|\mathrm{Color}\left(v_i\right)-\mathrm{Color}\left(v_j\right)& (v_i,v_j)\∈E\\ \∞& \mathrm{otherwise}\end{array}\right.---(1-2)$

其中color(v_i)为图像中像素p_i的颜色。

S＝{C_i}表示V的分割，每个C_i对应一个被分割的对象。将C的内部变化定义为方程(1-3)，

$\mathrm{Int}\left(C\right)=\underset{e\∈\mathrm{MST}(C,E)}{\max }\mathrm{weight}\left(e\right)---(1-3)$

其中MST(C，E)为关于整个E集合中的C的最小生成树。

将两个对象C₁和C₂的外部变化定义为方程(1-4)。

$\mathrm{Ext}(C_1,C_2)=\underset{v_i\∈C_1,v_j\∈C_2}{\min }\mathrm{weight}\left((v_i,v_j)\right)---(1-4)$

进行分割处理是使任意两个被分割对象满足表达式(1-5)：

Ext(C₁，C₂)≤min(Int(C₁)+k/|C₁|，Int(C₂)+k/|C₂|)   (1-5)

其中k在我们的实施中是设为100的常数。用Int(C)+k/|C|表示对象C中扩展内部变化。

为了得到分割结果，首先将E通过非减边际加权排序成π＝(e₁，e₂，…，e_m)，并初始地将图像分割成w*h个单个像素对象，然后对于每个e_q＝(v_i，v_j)(q＝1，2，…，m)重复以下步骤；如果v_i和v_j属于不同对象且weight(v_i，v_j)不大于其所属的两个对象的扩展内部变化(Int(C)+k/|C|)，那么合并两个对象以形成一个新的单个对象。

可以看到，上述给出了一种不会占用太多计算资源的高效的对象分割方案。在实施中，用8连通邻域建立E，即d＝1。图6a和图6b分别提供了图2a和图2b的分割结果。

步骤2——预处理(特征提取)

用y_i，r_i，g_i，b_i分别表示像素p_i的亮度、红、绿、蓝信道，以下我们提取在步骤1中每个被分割对象的特征。

考虑扩展内部变化Int(C)+k/|C|的定义，其中k/|C|是内部变化的附加部分，因为低估内部变化不利于防止各组份变大。因此不考虑其内部变化，小对象更容易变大。例如，在图6a的滑冰实例中，虽然黑色衣服最大的部分主要是由黑色像素组成，但仍然有一些例外的白色像素。

为了在上述情况下解决特征提取问题，在对象o＝{v₁，v₂，…，v_t}的特征地图F＝f(v_i)中定义算子Major(f，o)。Major(f，o)的返回值是对象o的代表特征，定义对象o满足(d₁，d₂和η在我们的实施中是分别设为2、64和95％的常数)：

(1)如果存在范围[min，max]满足表达式max-min+1≤d₁，，且存在特征百分比即在范围[min，max]中该特征值占整个特征地图F＝{f(v₁)，f(v₂)，…，f(v_t)}不小于η，那么将Major(f，o)定义为值在范围[min，max]的那些特征的平均值。

(2)否则，如果一对象尺寸大于常数d₂，那么用步骤1中的处理方法将该对象分成子对象，然后对于每个子对象跳过上述步骤；否则如果该对象过小，那么就定义Major(f，o)为所有特征的平均值。

将算子Major(f，o)，Y_i，R_i，G_i，B_i及Y_i定义为对象o_i的亮度、红、绿、蓝、黄信道(负值设为0)：

Y_i＝Major(y，o_i)

R_i＝Major(r，o_i)-(Major(g，o_i)+Major(b，o_i))/2

G_i＝Major(g，o_i)-(Major(r，o_i)+Major(b，o_i))/2

B_i＝Major(b，o_i)-(Major(r，o_i)+Major(g，o_i))/2

Y_i＝(Major(r，o_i)+Major(g，o_i))/2-|Major(r，o_i)-Major(g，o_i)|/2-Major(b，o_i)。

强度特征如方程(2-1)提取。

I_i＝Y_i    (2-1)

基于“颜色双分量”的颜色特征如方程(2-2)，(2-3)提取。

RG_i＝R_i-G_i    (2-2)

BY_i＝B_i-Y_i    (2-3)

在基于对象的模块视觉注意力模型中，方向是具有一定复杂性的特征。既然根据颜色变化分割了所有对象，那么除了该对象的边界，对象本身并不包含方向信息。由于被分割对象的特殊属性，在实施中我们不考虑方向。

与方向相比，由于目前光流技术越来越成熟，运动将更可能是一个附加特征。

但为了简化，本发明只考虑三种特征地图I_i，RG_i和BY_i。

步骤3——显著性评估

在上述二步骤后，图像I被分割成对象I＝(o₁，o₂，…，o_n)且三个特征地图I_i，RG_i和BY_i(i＝1…n)被提取。剩下的问题是如何对每个特征地图F(F∈{I，RG，RY})评估显著性地图，表示为Sal_F(o_i)。

对于图像的任一对象o_i，将s_i表示为尺寸(对象中像素的数量)，将c_i＝(X_i，Y_i)表示为对象的中心像素。X_i和Y_i如方程(3-1)所描述。

$X_i=\frac{1}{s_i}\underset{j=1}{\overset{s_i}{\mathrm{\Σ}}}{x}_j;$ $Y_i=\frac{1}{s_i}\underset{j=1}{\overset{s_i}{\mathrm{\Σ}}}{y}_j---(3-1)$

在显著性评估处理中，无差别地认为o_i的每个像素与中心像素相同，因此如图4所示，认为该对象是s_i个中心像素的复制。

基于该假设，于此说明评估o_i显著性的多层同心圆方案。在该方案的第一步中，环绕对象的中心像素定义一系列的同心圆，C₁…C_t(C_j为具有水平半径和垂直半径的椭圆，并称为j层圆)从中心像素c_i的较近相邻区域向较远相邻区域分布。对于每个j层圆，评估C_j中o_i的显著性，且表示为SalC_F(o_i，C_j)，因此o_i总体评估的显著性定义为方程(3-2)，其中k_t为线性结合的常数。

${\mathrm{Sal}}_F\left(o_i\right)=\underset{j=1}{\overset{i}{\mathrm{\Σ}}}{k}_t\·{\mathrm{SalC}}_F(o_i,C_j)---(3-2)$

然后，假设一区域C_j和一从C_j中提取的具有特征F的C_j中的对象o_i，如何考虑人类的视觉特性来评估C_j中o_i的显著性？于此我们首先给运算符SalC_F定义：

(1)设S为在C_j中具有中心像素的一系列对象。

(2)对于S中每个对象o_u，定义F’_u＝abs(F_u-F_i)。然后使用以下方程计算S中的加权平均数F’_u。

${\mathrm{avgF}}^{\′}=\frac{{\mathrm{\Σ}}_{\∀u,c_u\∈S}{F^{\′}}_u\·s_u}{{\mathrm{\Σ}}_{\∀u,c_u\∈S}{s}_u}---(3-3)$

(3)定义ρ为F’_u不环大于avgF’时S中像素的百分数：

$\mathrm{\ρ}=\frac{{\mathrm{\Σ}}_{\∀u,c_u\∈S}\mathrm{bool}({F^{\′}}_u\≤{\mathrm{avgF}}^{\′})\·s_u}{{\mathrm{\Σ}}_{\∀u,c_u\∈S}{s}_u}---(3-4)$

其中当判断式exp为真时，bool(exp)返回1；否则返回0。

(4)如图5所示为检测函数texture(.)的定义，SalC_F为如下，

SalC_F(o_i，C_j)＝avgF′×texture(ρ)    (3-5)

其中texture(.)为用于检测“观众区域”的ρ的经验函数，即具有随机特征，如观众席，期望不被认为是注意区域。该检测函数texture(ρ)满足ρ的值越小，texture(ρ)的值越大，这样该区域更有可能被认为是“观众区域”即图像的视频纹理。通过使用该检测函数texture(.)，降低了区域中非注意对象被认为是注意物的可能性。

我们可以从以上描述对显著性评估总结如下：

(a)对图像中的每一对象o_i定义一系列的同心圆C_j(j＝1…t)。

(b)根据上述SalC_F的定义，计算SalC_F(o_i，C_j)。

(c)根据表达式(3-2)，结合所有C_j的显著性评估从而得到总体评估的显著性。

图7a和图7b分别显示了通过使用根据本发明的显著性评估方案后图2a和图2b的显著性评估实验结果。通过使用本显著性评估方法，图2a中的观众和图2b中的背景被认为是非显著的，且图3a中女舞者头部左边的小方块也从图7a中消除。本发明能够解决局部效应和视频纹理，并且更具应用性。

同时先前的描述中也已叙述了本发明的较佳实施例和各方面，本领域的技术人员能够理解的是许多在设计或结构上的细节变化是不脱离本发明的。本发明延伸至所有揭露的个别特征和其所有可能的排列、组合。

建立在多层同心圆的显著性评估方案基础上的基于对象的视频注意力模型使图像理解得更精确、计算得更高效，其具有如下优点：

1.本发明揭示了一个建立基于对象的视觉注意力模型的高效构架。且其计算复杂性低。

2.所揭示的结构更符合人类视觉。且很好地解决了在传统方案中未被考虑的人类视觉属性(如对象尺寸、局部效应及视频纹理)。

3.该构架是可以延伸的。

Claims (6)

1.一种图像显著性评估方法，包括步骤：

-将图像分割成复数个待评估的对象；

-对每个分割对象提取其特征地图；

其特征在于，该方法还包括步骤：

-基于提取的特征地图，计算每个被分割对象在该对象的中心像素周围定义的一系列圆中的显著性；以及

-将每个被分割对象在所有圆中的显著性结合，从而得出每个被分割对象的总体显著性的评估，

所述定义在每个被分割对象中心像素周围的一系列圆为同心圆。

2.根据权利要求1所述的方法，其特征在于，所述提取特征地图的步骤是基于图像颜色变化的量度。

3.根据权利要求1至2中任一项所述的方法，其特征在于，在计算每个被分割对象的显著性的步骤中还包括比较待评估对象和定义在该待评估对象周围的每个圆中任何其他对象的颜色特征的分步骤。

4.根据权利要求3中任一项所述的方法，其特征在于，所述比较步骤通过计算待评估对象和定义在待评估对象周围的每个圆中任何其他对象间颜色特征的绝对差别来执行。

5.根据权利要求1所述的方法，其特征在于，在计算每个被分割对象的显著性的步骤中，一检测函数被用于检测图像的视频纹理。

6.根据权利要求1所述的方法，其特征在于，一对象的显著性总体评估是该对象在所有圆中的显著性的线性组合。

Images