CN104463917A - 基于除法归一化的图像视觉显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于除法归一化的图像视觉显著性检测方法，属于自底向上视觉显著性的自动计算领域。该方法利用各个像素的颜色和亮度特征来计算其视觉显著性，采用除法归一化计算模拟了初级视觉皮层中具有同类检测特征神经元的相互抑制作用，具有生物合理性。和传统的显著性计算方法相比，本发明计算简单高效，能准确检测到颜色差异引起的视觉显著性，且显著区域的显著值得到整体增强，获取的图像视觉显著图具有清晰的形状。

Description

基于除法归一化的图像视觉显著性检测方法

技术领域

本发明属于自底向上视觉显著性的自动计算领域，具体涉及一种基于除法归一化的图像视觉显著性检测方法。

背景技术

人脑的神经资源是有限的，它无法同时处理所有的视觉感知信息。视觉注意是一种重要的视觉信息处理机制，它只允许少量的视觉感知信息进入高级皮层进行处理，如短期记忆、视觉意识、识别和学习等。视觉显著性(Visual saliency)是一种视觉感知特性，它能够让一个显著的目标或区域从复杂的视觉场景当中凸显出来，从而可以引起我们的视觉注意。有的视觉注意形成于场景依赖的或称自底向上的视觉显著性，而有的视觉注意受控于任务依赖的或称自顶向下的视觉显著性。

视觉显著图(Visual saliency map)被广泛的应用于许多计算机视觉应用当中，如感兴趣物体分割、物体识别、自适应图像压缩、内容敏感的图像缩放、图像检索等。视觉显著图中各像素灰度级的大小代表了视觉场景中对应位置显著性的强弱。Itti等人于1998年提出了“Amodel of saliency-based visual attention for rapid scene analysis”。该方法在计算结构上模仿人脑中视觉显著性形成的神经机制，可以计算出输入场景图像的视觉显著图。近来出现了一类显著性检测方法是从信息理论的角度来计算视觉显著性的，这类方法包括Bruce等人于2005年提出的“Saliency based on information maximization”，以及Harel等人于2006年提出的“Graph-based visual saliency”。尽管这类算法具有较好的显著性检测性能，但它们计算量很大，仍然不能实时处理。

另一类视觉显著性计算方法是在频域里进行计算的。Hou等人于2007年提出了“Saliencydetection：a spectral residual approach”，该方法利用输入图像傅立叶变换幅度谱和自然图像的幅度谱均值之间的残差来计算输入图像的视觉显著性。Yu等人于2009年提出了“Pulse discretecosine transform for saliency-based visual attention”，该方法通过归一化输入图像离散余弦变换的变换域系数来计算图像的视觉显著图。基于频域的显著性计算方法计算复杂度低，计算速度非常快，能够应用于实时处理系统，但它们的显著图分辨率较低，不能提供清晰的物体形状。

目前大多数的显著性计算方法仅能获得低分别率的视觉显著图，而且计算代价昂贵。有些算法只能检测到显著目标的边缘，而不能检测出完整的显著目标。Achanta等人于2009年提出了“Frequency-tuned salient region detection”，该方法利用每个像素的颜色值与整幅图像的颜色均值之间的欧氏距离来计算视觉显著图。尽管该方法步骤很简单，而且可以获得全分辨率的显著图，但它不是按照视觉显著性的形成机制设计出来的，因此其显著图与人的视觉感知差距较大。

发明内容

本发明的目的在于提出一种基于除法归一化的图像视觉显著性检测方法，可以使得图像中重要物体区域被均匀地凸显出来。

为达到本发明的上述目的，本发明提供的基于除法归一化的图像视觉显著性检测方法，具体包括以下步骤：

1)将大小为M×N像素的彩色输入图像从RGB颜色空间变换到CIE1976 L*a*b*颜色空间。输入图像经过变换后会产生三个具有生物合理性的颜色通道，其中亮度通道L、绿/红对立通道A和蓝/黄对立通道B；

2)将绿/红对立通道A分解为两个子通道：A_-和A₊，其中，A_-是将矩阵A的所有正值元素置0而得到，而A₊是将矩阵A的所有负值元素置0而得到；将蓝/黄对立通道B分解为两个子通道：B_-和B₊，其中，B_-是将矩阵B的所有正值元素置0而得到，而B₊是将矩阵B的所有负值元素置0得到，将矩阵A_-、A₊、B_-和B₊看作四个颜色通道，分别对应绿、红、蓝、黄四种颜色；

3)计算出绿、红、蓝、黄和亮度通道的能量，其中，E_g、E_r、E_b、E_y和E_L分别对应绿、红、蓝、黄和亮度5个特征通道的能量；

4)对绿、红、蓝、黄和亮度通道矩阵的每个元素都除以该通道的能量，做除法归一化；

5)将做了除法归一化的绿、红、蓝、黄四个颜色通道重新合并为两个颜色对立通道，利用除法归一化的特征通道和构成除法归一化图像，该图像中每一个像素视为三维空间里的一个点，某一个像素与所有像素均值之间的欧氏距离就是该像素的显著值。

其中，在第三步中，计算出绿、红、蓝、黄和亮度通道的能量，这里的通道能量定义为通道矩阵中所有元素的绝对值之和，具体计算公式如下：

$E_g=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|A_{-}(x,y)\right|,$

$E_r=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|A_{+}(x,y)\right|,$

$E_b=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|B_{-}(x,y)\right|,$

$E_y=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|B_{+}(x,y)\right|,$

$E_L=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|L(x,y)\right|,$

其中，E_g、E_r、E_b、E_y和E_L分别对应绿、红、蓝、黄和亮度5个特征通道的能量。

其中，在第四步中，除法归一化是将通道矩阵的每个元素都除以该通道的能量，即除以该通道矩阵所有元素的绝对值之和，具体计算公式如下：

${\tilde{A}}_{-}(x,y)=\frac{A_{-}(x,y)}{E_g},$

${\tilde{A}}_{+}(x,y)=\frac{A_{+}(x,y)}{E_r},$

${\tilde{B}}_{-}(x,y)=\frac{B_{-}(x,y)}{E_b},$

${\tilde{B}}_{+}(x,y)=\frac{B_{+}(x,y)}{E_y},$

$\tilde{L}(x,y)=\frac{L(x,y)}{E_L},$

其中，和分别是做了除法归一化的绿、红、蓝、黄和亮度5个特征通道。经过上述除法归一化计算以后，每个颜色通道的能量均等于1。这意味着，如果某一颜色通道的能量很小，那么经过除法归一化后其所有元素的绝对值(幅度)就会相对放大。也就是说，能量较弱的颜色通道相对得到加强，能量较强的颜色通道相对被减弱。对于那些在除法归一化之前能量非常小(低于M×N×128的1％～5％之间)的颜色通道，在除法归一化处理后需要对其进行抑制或置零，以防这种人眼几乎感知不到的弱信号在除法归一化后被极度放大。这是因为，人是感觉不到能量很弱的颜色特征的，这种弱信号可视为图像噪声。

其中，在第五步中，将做了除法归一化的绿、红、蓝、黄四个颜色通道两两重新合并为两个颜色对立通道，具体计算公式如下：

$\tilde{A}={\tilde{A}}_{-}+{\tilde{A}}_{+},$

$\tilde{B}={\tilde{B}}_{-}+{\tilde{B}}_{+}.$

其中，分别是除法归一化的绿/红对立通道和除法归一化的蓝/黄对立通道。

利用除法归一化的特征通道和来计算输入图像的显著图。算法的基本思想如下：在由和构成的除法归一化图像中，每一个像素都可以视为三维空间里的一个点，某一个像素与所有像素均值之间的欧氏距离就是该像素的显著值。如果分解在三个颜色通道中进行计算，那么在给定颜色通道中，某一像素的通道显著值可以定义为该像素的值与通道均值的差的绝对值。计算出每个像素对应的三个通道显著值以后，可将其整合成一张显著图S(其尺寸仍然是M×N的)。显著图中某一位置的显著值就是该位置的三个通道显著值的欧几里德范数(Euclidean Norm)，具体计算公式为：

$S(x,y)=\sqrt{{[{\mathrm{\ω}}_1\·(\tilde{L}(x,y)-m_{\tilde{L}})]}^2+{[{\mathrm{\ω}}_2\·(\tilde{A}(x,y)-m_{\tilde{A}})]}^2+{[{\mathrm{\ω}}_3\·(\tilde{B}(x,y)-m_{\tilde{B}})]}^2},$

其中，和分别表示除法归一化特征通道和各自的均值。注意在上面公式中加入了三个参数ω₁、ω₂和ω₃，这是为了可以灵活的调整各个通道显著值在计算中所占的权重。一般地，可以设置ω₁＝1，而设置ω₂＝ω₃＝2.55。最后，还需要将获得的显著图S归一化到灰度级范围[0,255]。

本发明所提出的图像视觉显著性计算方法利用各个像素的颜色和亮度特征来计算其视觉显著性，采用的除法归一化计算模拟了初级视觉皮层中具有同类检测特征神经元的相互抑制作用，具有生物合理性。和传统的显著性计算方法相比，本方法具有如下四个优点：1、计算简单高效；2、能准确检测到颜色差异引起的视觉显著性；3、能获得全分辨率的显著图；4、显著区域的显著值得到整体增强，具有清晰的形状。本方法在多种视觉显著性测试模板和自然图像测试集上取得了明显优于其他传统方法的结果。

附图说明

图1是本发明实施列的基于除法归一化的图像视觉显著性检测方法流程图；

图2是视觉显著性测试模板的示例；

其中：(a)测试模板；(b)对应每张测试模板计算得到的视觉显著图；

图3是大目标显著区域自然图像的示例；

其中：(a)自然图像；(b)对应每张自然图像计算得到的视觉显著图；

图4是小目标显著区域自然图像的示例；

其中：(a)自然图像；(b)对应每张自然图像计算得到的视觉显著图。

具体实施方式

下面通过实例对本发明做进一步说明。需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

图1是本发明基于除法归一化的图像视觉显著性计算方法的处理流程图，包括：

第一步，将输入图像变换到CIE1976 L*a*b*颜色空间

将大小为M×N像素的彩色输入图像从RGB颜色空间变换到CIE1976 L*a*b*颜色空间。输入图像经过变换后会产生三个具有生物合理性的颜色通道，即亮度通道L、绿/红对立通道A和蓝/黄对立通道B。

第二步，计算绿、红、蓝、黄四个颜色通道

将绿/红对立通道A分解为两个子通道：A_-和A₊，其中，A_-是将矩阵A的所有正值元素置0而得到，而A₊是将矩阵A的所有负值元素置0而得到。相似地，将蓝/黄对立通道B分解为两个子通道：B_-和B₊，其中，B_-是将矩阵B的所有正值元素置0而得到，而B₊是将矩阵B的所有负值元素置0得到。根据L*a*b*颜色空间的定义，可以将矩阵A_-、A₊、B_-和B₊看作四个颜色通道，分别对应绿、红、蓝、黄四种颜色。

第三步，计算绿、红、蓝、黄和亮度通道的能量

计算出绿、红、蓝、黄和亮度通道的能量，这里的通道能量定义为通道矩阵中所有元素的绝对值之和，具体计算公式如下：

$E_g=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|A_{-}(x,y)\right|,$

$E_r=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|A_{+}(x,y)\right|,$

$E_b=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|B_{-}(x,y)\right|,$

$E_y=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|B_{+}(x,y)\right|,$

$E_L=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|L(x,y)\right|,$

其中，E_g、E_r、E_b、E_y和E_L分别对应绿、红、蓝、黄和亮度5个特征通道的能量。

第四步，对绿、红、蓝、黄和亮度通道做除法归一化

除法归一化是将通道矩阵的每个元素都除以该通道的能量，即除以该通道矩阵所有元素的绝对值之和，具体计算公式如下：

${\tilde{A}}_{-}(x,y)=\frac{A_{-}(x,y)}{E_g},$

${\tilde{A}}_{+}(x,y)=\frac{A_{+}(x,y)}{E_r},$

${\tilde{B}}_{-}(x,y)=\frac{B_{-}(x,y)}{E_b},$

${\tilde{B}}_{+}(x,y)=\frac{B_{+}(x,y)}{E_y},$

$\tilde{L}(x,y)=\frac{L(x,y)}{E_L},$

其中，和分别是做了除法归一化的绿、红、蓝、黄和亮度5个特征通道。经过上述除法归一化计算以后，每个颜色通道的能量均等于1。这意味着，如果某一颜色通道的能量很小，那么经过除法归一化后其所有元素的绝对值(幅度)就会相对放大。也就是说，能量较弱的颜色通道相对得到加强，能量较强的颜色通道相对被减弱。

第五步，对能量很弱的颜色通道进行抑制

对于原本能量非常小(例如，低于可能的最大能量值M×N×128的3％)的颜色通道，在除法归一化处理后需要对其进行抑制或置零，以防这种人眼几乎感知不到的弱信号在除法归一化后被极度放大。这是因为，人是感觉不到能量很弱的颜色特征的，这种弱信号可视为图像噪声。

第六步，将除法归一化的绿、红、蓝、黄四个颜色通道合并为两个颜色对立通道

将做了除法归一化的绿、红、蓝、黄四个颜色通道两两重新合并为两个颜色对立通道，具体计算公式如下：

$\tilde{A}={\tilde{A}}_{-}+{\tilde{A}}_{+},$

$\tilde{B}={\tilde{B}}_{-}+{\tilde{B}}_{+},$

其中，分别是除法归一化的绿/红对立通道和除法归一化的蓝/黄对立通道。

第七步，利用除法归一化的特征通道来计算输入图像的显著图

利用除法归一化的特征通道和来计算输入图像的显著图。算法的基本思想如下：在由和构成的除法归一化图像中，每一个像素都可以视为三维空间里的一个点，某一个像素与所有像素均值之间的欧氏距离就是该像素的显著值。如果分解在三个颜色通道中进行计算，那么在给定颜色通道中，某一像素的通道显著值可以定义为该像素的值与通道均值的差的绝对值。计算出每个像素对应的三个通道显著值以后，可将其整合成一张显著图S(其尺寸仍然是M×N的)。显著图中某一位置的显著值就是该位置的三个通道显著值的欧几里德范数(Euclidean Norm)，具体计算公式为：

$S(x,y)=\sqrt{{[{\mathrm{\ω}}_1\·(\tilde{L}(x,y)-m_{\tilde{L}})]}^2+{[{\mathrm{\ω}}_2\·(\tilde{A}(x,y)-m_{\tilde{A}})]}^2+{[{\mathrm{\ω}}_3\·(\tilde{B}(x,y)-m_{\tilde{B}})]}^2},$

其中，和分别表示除法归一化特征通道和各自的均值。注意在公式中加入三个参数ω₁、ω₂和ω₃，这是为了可以灵活的调整各个通道显著值在计算中所占的权重。一般地，可以设置ω₁＝1，而设置ω₂＝ω₃＝2.55。最后，还需要将获得的显著图S归一化到灰度级范围[0,255]。

如图2所示为上述处理过程处理一组视觉显著性测试模板时的示例图。图2(a)所示为4张视觉显著性测试模板，在每一张图像中，只有一个显著的目标，它具有唯一的颜色，而且从第一张图像到第四张图像，目标的视觉显著性在逐渐的减弱。在图2(b)所示的本方法计算得到的视觉显著图中，目标与干扰物体显著值的差别在逐渐的减弱，这与人的视觉感知正好相吻合。该示例说明，本方法对颜色细微变化的检测也非常准确，且与人的视觉感知情况相吻合。

如图3所示为上述处理过程处理一组大目标显著区域自然图像的示例。图3(a)所示为7张自然图像，每张图像中包含着较大的显著目标区域。在图3(b)所示的本方法计算得到的视觉显著图中，显著图是全分辨率的，显著目标具有清晰的轮廓，而且显著目标的显著值是整体增强的。

如图4所示为上述处理过程处理一组小目标显著区域自然图像的示例。图4(a)所示为7张自然图像，每张图像中包含着较小的显著目标区域。在图4(b)所示的本方法计算得到的视觉显著图中，显著图是全分辨率的，显著目标具有清晰的轮廓，显著区域的显著值得到整体提高。

本发明公开的图像显著性计算方法，仅利用输入图像各个像素的颜色和亮度特征来计算图像中各个位置的视觉显著性，采用的除法归一化具有生物合理性，它能够模拟人脑初级视觉皮层中同类特征相互抑制的过程，方法简单、高效，能获得全分辨率的显著图。本发明在多种视觉显著性测试模板和自然图像测试集上取得了明显优于其他传统方法的结果。本发明能够自动计算出图像中各个像素的视觉显著性，在计算得到的显著图中，显著区域具有清晰的形状，其结果可以应用于重要目标分割、物体识别、自适应图像压缩、内容敏感的图像缩放和图像检索等应用领域。

虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (7)

1.一种基于除法归一化的图像视觉显著性检测方法，具体包括以下步骤：

1)将大小为M×N像素的彩色输入图像从RGB颜色空间变换到CIE1976L*a*b*颜色空间，输入图像经过变换后会产生三个具有生物合理性的颜色通道，其中亮度通道L、绿/红对立通道A和蓝/黄对立通道B；

2)将绿/红对立通道A分解为两个子通道：A_-和A₊，其中，A_-是将矩阵A的所有正值元素置0而得到，而A₊是将矩阵A的所有负值元素置0而得到；将蓝/黄对立通道B分解为两个子通道：B_-和B₊，其中，B_-是将矩阵B的所有正值元素置0而得到，而B₊是将矩阵B的所有负值元素置0得到，将矩阵A_-、A₊、B_-和B₊看作四个颜色通道，分别对应绿、红、蓝、黄四种颜色；

3)计算出绿、红、蓝、黄和亮度通道的能量，其中，E_g、E_r、E_b、E_y和E_L分别对应绿、红、蓝、黄和亮度5个特征通道的能量；

4)对绿、红、蓝、黄和亮度通道矩阵的每个元素都除以该通道的能量，做除法归一化；

5)将做了除法归一化的绿、红、蓝、黄四个颜色通道重新合并为两个颜色对立通道，利用除法归一化的特征通道和构成除法归一化图像，该图像中每一个像素视为三维空间里的一个点，某一个像素与所有像素均值之间的欧氏距离就是该像素的显著值。

2.如权利要求1所述的基于除法归一化的图像视觉显著性检测方法，其特征在于，步骤3)中通道能量的具体计算公式如下：

$E_g=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|A_{-}(x,y)\right|,$

$E_r=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|A_{+}(x,y)\right|,$

$E_b=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|B_{-}(x,y)\right|,$

$E_y=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|B_{+}(x,y)\right|,$

$E_L=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\left|L(x,y)\right|.$

3.如权利要求1所述的基于除法归一化的图像视觉显著性检测方法，其特征在于，步骤4)中除法归一化的具体计算公式如下：

${\tilde{A}}_{-}(x,y)=\frac{A_{-}(x,y)}{E_g},$

${\tilde{A}}_{+}(x,y)=\frac{A_{+}(x,y)}{E_r},$

${\tilde{B}}_{-}(x,y)=\frac{B_{-}(x,y)}{E_b},$

${\tilde{B}}_{+}(x,y)=\frac{B_{+}(x,y)}{E_y},$

$\tilde{L}(x,y)=\frac{L(x,y)}{E_L}.$

4.如权利要求1所述的基于除法归一化的图像视觉显著性检测方法，其特征在于，步骤4)中对在做除法归一化前能量低于M×N×128的1％～5％的颜色通道进行抑制或置零。

5.如权利要求1所述的基于除法归一化的图像视觉显著性检测方法，其特征在于，步骤5)中将做了除法归一化的绿、红、蓝、黄四个颜色通道两两合并，具体计算公式如下：

$\tilde{A}={\tilde{A}}_{-}+{\tilde{A}}_{+},$

$\tilde{B}={\tilde{B}}_{-}+{\tilde{B}}_{+}.$

6.如权利要求1所述的基于除法归一化的图像视觉显著性检测方法，其特征在于，步骤5)中某一像素的显著值的具体计算公式为：

$S(x,y)=\sqrt{[{\mathrm{\ω}}_1\·{(\tilde{L}(x,y)-m_{\tilde{L}})]}^2+{[{\mathrm{\ω}}_2\·(\tilde{A}(x,y)-m_{\tilde{A}})]}^2+{[{\mathrm{\ω}}_3\·(\tilde{B}(x,y)-m_{\tilde{B}})]}^2},$

其中，和分别表示除法归一化特征通道和各自的均值；ω₁、ω₂和ω₃分别为特征通道和的计算参数。

7.如权利要求6所述的基于除法归一化的图像视觉显著性检测方法，其特征在于，所述ω₁：ω₂：ω₃＝1：2.55：2.55。