CN103679718A - 一种基于显著性的快速场景分析方法 - Google Patents

Abstract

本发明提出了一种基于显著性的快速场景分析方法，所述方法借鉴人类视觉系统的神经机制来设计计算机视觉模型，提供了一种自底向上、各个特征图可并行计算的机制，并且将多种特征在多尺度下进行融合，最后合成一张综合的视觉显著图。通过两层的胜者为王神经网络得到显著性区域,最后通过禁止返回机制,抑制当前显著性区域,转而寻找下一个显著性区域，直到遍历所有显著性区域。该方法模拟了人类视觉注意力系统智能地处理图像信息，在一幅图像中快速提取人眼所能观察到的引人注意的区域。

Description

一种基于显著性的快速场景分析方法

技术领域

本发明属于计算机视觉领域，具体指的是一种基于显著性的快速场景分析方法。

背景技术

现代人类视觉系统的研究发现，人类视觉系统能够在复杂场景中迅速地将注意力集中在少数几个显著的视觉对象上，这就是视觉选择注意。在计算机视觉研究方面，依据人类视觉选择注意的基本原理，开发能够进行智能图像信息处理的计算机视觉注意模型就成为我们的一大任务。神经生理学家证明了神经元是如何适应自己来更好的感知感兴趣的物体。计算神经科学家已经构建了现实的神经网络模型来模拟和解释注意力行为。生物科学，脑科学及注意的认知等方面的研究发现，人类的视觉注意过程包括两个方面，一方面是对自底向上的初级视觉特征的加工，另一方面是由自顶向下的任务指导，两方面结合共同完成了视觉的选择性注意。

发明内容

本发明所要解决的技术问题是为了克服现有技术的不足，提出一种快速场景分析方法。所述方法能够模拟人类视觉注意力系统智能地处理图像信息，在一幅图像中快速提取人眼所能观察到的引人注意的区域。

为了解决上述技术问题，本发明所采用的技术方案是：

一种基于显著性的快速场景分析方法，包括如下步骤：

步骤A，采集彩色图像；

步骤B，对步骤A得到的彩色图像，使用线性滤波器提取初级视觉特征，所述初级视觉特征包括颜色，亮度和方向三个特征维度，再根据所述初级视觉特征构建N个初级特征通道；

步骤C，对步骤B得到的每个初级视觉特征通道构建一个九层的高斯金字塔；

步骤D，对步骤C得到的每个高斯金字塔，使用中央周边差操作产生M幅特征图，共计N*M幅特征图；

步骤E，将步骤D得到的N*M幅特征图合并成一幅显著图；

步骤F，根据步骤E得到的显著图，使用胜者为王竞争网络寻找其中存在的显著性最高的关注焦点，定位该关注焦点的区域，采用禁止返回机制来确保注意力不返回已经关注过的区域，使注意力依照显著性降序地关注图像的不同区域。

所述中央周边差操作是指：将大尺度的图像和小尺度的图像进行跨尺度减操作，得到局部中心和周边背景信息之差。

步骤E中，所述显著图生成的过程如下：

步骤E-1，对步骤D得到的不同特征维度的N*M幅特征图中的每一幅特征图，采用迭代标准化方法突出各个特征维度的显著点，同时抑制噪声；

步骤E-2，将经过步骤E-1迭代标准化操作后，得到的不同尺度上的亮度、颜色和方向的特征图叠加起来，形成各个特征维度对应的关注图；

步骤E-3，对步骤E-2得到的不同特征维度下的关注图做加权叠加得到一幅显著图。

所述初级特征通道的个数N=7；所述每个高斯金字塔产生的特征图个数M=6。

本发明的有益效果是：本发明提出了一种快速场景分析方法，所述方法借鉴人类视觉系统的神经机制来设计计算机视觉模型，提供了一种自底向上、各个特征图可并行计算的机制，并且将多种特征在多尺度下进行融合，最后合成一张综合的视觉显著图。通过两层的胜者为王神经网络得到显著性区域,最后通过禁止返回机制,抑制当前显著性区域,转而寻找下一个显著性区域，直到遍历所有显著性区域。该方法模拟了人类视觉注意力系统智能地处理图像信息，在一幅图像中快速提取人眼所能观察到的引人注意的区域。

附图说明

图1是本发明的基于显著性的快速场景分析方法的流程图。

具体实施方式

下面结合附图，对本发明提出的一种快速场景分析方法进行详细说明：

如图1所示，本发明的一种快速场景分析方法，其步骤如下

步骤101，输入彩色图像；

步骤102，对步骤101得到的彩色图像提取初级视觉特征，包括颜色，亮度和方向等共计三个特征维度的七个子特征。

步骤103，对步骤102得到的每个初级视觉特征通道构建一个九层高斯金字塔；

步骤104，对步骤103得到的高斯金字塔，使用中央周边差操作提取特征图；

步骤105，对步骤104得到的不同特征维度的多幅特征图合并成一幅显著图；

步骤106，寻找步骤105得到的显著图中存在的最显著的点，定位关注焦点的区域，引导注意焦点跳转。

1.初级视觉特征提取

对输入的一幅彩色图像，通过线性滤波提取其颜色、亮度、方向三个维度的初级视觉特征，其中颜色特征维度包括两个子特征通道，即红绿（RG）对比通道及蓝黄（BY）对比通道，亮度特征维度只包含一个特征通道，方向特征维度包含四个子特征通道，即θ={0°,45°,90°,135°}四个方向的特征，因此初级视觉特征一共是三个特征维度的七个子特征通道。下面详细介绍这三个特征维度的初级视觉特征提取的具体算法。

对于颜色特征维度，通过计算红绿（RG）对比通道以及蓝黄（BY）对比通道的颜色差图像来突出不同颜色通道产生的反差效果，颜色差可由式（1）和（2）计算：

$M_{\mathrm{RG}}=\frac{r-g}{\max (r,g,b)}---\left(1\right)$

$M_{\mathrm{BY}}=\frac{b-\min (r,g)}{\max (r,g,b)}---\left(2\right)$

其中r,g,b分别表示输入彩色图像的红、绿、蓝三色值，M_RG表示红绿对比通道，M_BY表示蓝黄对比通道。

亮度特征直接使用彩色图像的灰度即可，其值使用式（3）计算：

$M_I=\frac{r+g+b}{3}---\left(3\right)$

其中r,g,b分别表示输入彩色图像的红、绿、蓝三色值，M_I表示亮度通道值。

方向特征主要是使用Gabor滤波器对图像的亮度特征在θ={0°,45°,90°,135°}四个主要方向上进行滤波得到。二维Gabor滤波器可以同时在空域、频域和方向上获得最佳的分辨率，可以在不同尺度、不同方向上提取相关的特征，具有很好的时空域局部化特点。因此，Gabor滤波器可以很好地模拟人类视皮层简单细胞的信号处理特点，其结果直接体现了图像局部方向特征的信息。在Gabor滤波器某个方向的滤波结果中，给定区域的能量可以反映该区域灰度图在该方向的特征是否强烈，即反映了区域内的该方向的直接或者规则纹理的朝向特征是否明显。因此，方向特征的提取可以直接使用几个方向的Gabor滤波器进行滤波得到。理论上可以设置任意数目的方向进行方向特征的提取，但是很多的方向对模型性能表现并无明显改进。因此，这里设置四个主要方向进行Gabor滤波，由此获得方向维度的四个特征通道。

2.高斯金字塔的生成

提取到图像三个特征维度的七个子特征通道图像之后，需要生成高斯金字塔以便进一步模拟生物感受野的中央与周边背景的对比计算。高斯金字塔是由一组不同尺度的图像组成的金字塔。这里采用如下下方式生成高斯金字塔：将原始尺度的各个特征通道图与高斯低通滤波器进行卷积(高斯平滑)，然后对获得的滤波结果以2为步长进行横行和纵向的降采样操作，从而获得第二个尺度的图像(比原始尺度横向尺寸和纵向尺寸均减半)，依次迭代进行高斯平滑和降采样操作生成第三尺度、第四尺度等尺度图像。在该方法中，对每个特征通道生成九个尺度的图像，即高斯金字塔的层数为9，其中，尺度1代表该尺度图像和原始图像的像素面积比例为1:1，尺度9代表原始图像经过8次高斯平滑和8次降采样操作后的结果图像，与原始图像的像素面积比例为1:256。

3．中央周边差操作

中央周边差操作是根据人眼生理结构设计的。人眼感受野对于视觉信息输入中反差大的特征反应强烈，例如中央亮周边暗的情况、中央是绿色周边是红色的情况等，这都属于反差较大的视觉信息。在高斯金字塔中，尺度较大的图像细节信息较多，而尺度较小的图像由于高斯平滑和降采样操作使得其更能反映出局部的图像背景信息，因而将尺度较大的图像和尺度较小的图像进行跨尺度减操作，能得到局部中心和周边背景信息的反差信息，这种跨尺度减操作即为中央周边差操作。

中央周边差操作的具体算法如下：通过将代表周边背景信息的较小尺度的图像进行线性插值，使之与代表中心信息的较大尺度的图像具有相同大小，然后进行点对点的减操作，即为中央周边差操作。对每个特征通道的高斯金字塔进行中央周边差操作，依此检测图像中的特征不连续性，即中心和周边背景信息反差对比强烈的区域，很好地模仿了视网膜上探测突出目标的生理机制。在本方法中，代表中心信息的图像尺度c取c∈{2,3,4}，代表周边背景信息的图像尺度s取s=c+δ，其中δ∈{3,4}，从而在每个特征通道里可以产生6个尺度对，即{2-5,2-6,3-6,3-7,4-7,4-8}，在每个特征通道可以产生6张中央周边差结果图，所以7个通道共产生42张中央周边差结果图。中央周边差结果图在下文中简称为特征图。

4．显著图的生成

在基于显著性的快速场景分析方法中，关注焦点应在一张二维显著图的指导下进行定位和转移。显著图反映了图像中不同位置的不同维度特征的显著性，因此需要合并多个特征维度下的特征图，才能使最终的显著图反映出每个特征维的显著性。由于不同特征维度下的特征并无一致的度量方式，因此如何衡量颜色、亮度或者方向特征图中的显著点的重要性非常重要。例如，显著目标可能在某一通道对应的特征图中引起强烈的响应，但是这种响应往往会被其它特征通道中的噪声所湮没。因此使用合适的策略来合并特征图，能凸现不同特征维中真正的显著目标，有效地抑制噪声。迭代标准化方法可以很好的抑制噪声，突出各个特征维的显著点，使合并特征图后的显著图可以直观地反映图像不同位置的显著性。

用迭代标准化处理特征图的算法如下：首先为了避免由于特征提取方法不同造成的特征强度差异，将每张特征图的特征值归一化到设定的0至1的数值区间，假设所得值为M；然后将M与一个大的DoG滤波器进行卷积，将结果和输入进行叠加，将产生的负值设置为零；迭代上述过程。其中，DoG滤波器可以达到激励局部中央区域并抑制周边邻域的效果，在本方法中DoG滤波器的具体定义如式(4)所示：

$\mathrm{DoG}(x,y)=\frac{{C_{\mathrm{ex}}}^2}{{{2\mathrm{\π\σ}}_{\mathrm{ex}}}^2}{e}^{-(x^2+y^2)/\left({{2\mathrm{\σ}}_{\mathrm{ex}}}^2\right)}-\frac{{C_{\mathrm{inh}}}^2}{{{2\mathrm{\π\σ}}_{\mathrm{inh}}}^2}{e}^{-(x^2+y^2)/\left({{2\mathrm{\σ}}_{\mathrm{inh}}}^2\right)}---\left(4\right)$

其中，DoG(x,y)是二维高斯差分函数，(x,y)是像素坐标，σ_ex和σ_inh是兴奋和抑制带宽(实际使用中取经验值，分别为输入图像宽度的2%和25%)，C_ex和C_inh为兴奋和抑制常量(实际使用中取经验值，分别为0.5和1.5)。对单张特征图进行上述操作，迭代几次之后发现，本方法可以有效地突出单张特征图中的较强响应，抑制噪声影响。进而对每张特征图进行迭代标准化后再进行合并时，噪声可以得到控制，可以有效突出各个特征维度中的强响应，即能有效地突出各个特征维度的显著点。理论上迭代标准化的次数可以是任意的。然而对于输入的二维非空特征图，过多的迭代次数最终导致在特征图中形成一个单峰，而过少的迭代次数，则会造成激励和抑制不足，目标突出和噪声抑制不明显。因此实际使用中一般当特征图中大多数位置的值收敛接近于0时即停止迭代。

经过迭代标准化操作后，将不同尺度上的亮度、颜色和方向的特征图叠加起来，形成各个特征维度对应的关注图。最后，将不同特征维度下的关注图做加权叠加得到显著图，默认情况下每个特征维度的权值取相同值。

5．关注焦点的定位与转移

显著图是对场景中突出特征的反映，关注焦点在显著图的指导下定位到图像中的显著位置，并按照显著性降序在图像中进行跳转。通过胜者为王神经竞争网络，能够使关注焦点自动选择定位到最显著特征所在的位置。当出现若干显著度相同的显著点时，关注焦点将依照Gestalt原则中的“临近原则”转向距离上一次关注焦点最近的显著位置。另外，通过引入禁止返回的神经机制可以避免重复关注同一个显著位置，使得关注焦点可以顺利从最显著位置转移到次显著位置。从工程应用角度来讲使用禁止返回机制也是合理的，可以节省计算资源和时间。

通过上述实施方式，可见本发明具有如下优点：

（1）本方法能够以良好的性能处理复杂的自然场景。验证了灵长类动物从早期视觉处理输入所得到的独特显著性图能够引导自下而上的注意的观点。采用从自然的室内场景到显著交通标识的自然场景再到艺术绘画等真实图像来对该方法进行检测，大部分注意位置是感兴趣物体，如人脸，旗帜，建筑物或车辆。

（2）本方法对噪声的鲁棒性很好，特别是当噪声的特性（如颜色）不直接破坏目标的主要特征的时候。该模型能复制人的处理大量弹出任务能力。当目标以它自己的独特方向、颜色、亮度或尺寸和大量的周围干扰物不同时，不管干扰物的数量如何，目标总是第一个被注意到。

（3）本方法能够大规模并行实现，不仅是早期特征提取阶段的大量运算，而且对注意聚焦系统也可以。

Claims (4)

1.一种基于显著性的快速场景分析方法，其特征在于，包括如下步骤：

步骤A，采集彩色图像；

步骤B，对步骤A得到的彩色图像，使用线性滤波器提取初级视觉特征，所述初级视觉特征包括颜色，亮度和方向三个特征维度，再根据所述初级视觉特征构建N个初级特征通道；

步骤C，对步骤B得到的每个初级视觉特征通道构建一个九层的高斯金字塔；

步骤D，对步骤C得到的每个高斯金字塔，使用中央周边差操作产生M幅特征图，共计N*M幅特征图；

步骤E，将步骤D得到的N*M幅特征图合并成一幅显著图；

步骤F，根据步骤E得到的显著图，使用胜者为王竞争网络寻找其中存在的显著性最高的关注焦点，定位该关注焦点的区域，采用禁止返回机制来确保不返回已经关注过的区域。

2.根据权利要求1所述的一种基于显著性的快速场景分析方法，其特征在于，所述中央周边差操作是指：将大尺度的图像和小尺度的图像进行跨尺度减操作，得到局部中心和周边背景信息之差。

3.根据权利要求1所述的一种基于显著性的快速场景分析方法，其特征在于，步骤E中，所述显著图生成的过程如下：

步骤E-1，对步骤D得到的不同特征维度的N*M幅特征图中的每一幅特征图，采用迭代标准化方法突出各个特征维度的显著点，同时抑制噪声；

步骤E-2，将经过步骤E-1迭代标准化操作后，得到的不同尺度上的亮度、颜色和方向的特征图叠加起来，形成各个特征维度对应的关注图；

步骤E-3，对步骤E-2得到的不同特征维度下的关注图做加权叠加得到一幅显著图。

4.根据权利要求1或3所述的一种基于显著性的快速场景分析方法，其特征在于，所述初级特征通道的个数N=7；所述每个高斯金字塔产生的特征图个数M=6。

Images