CN101980248B - 基于改进视觉注意力模型的自然场景目标检测方法 - Google Patents

Abstract

本发明公开了一种基于改进视觉注意力模型的自然场景目标检测方法，主要解决现有基于视觉注意力模型目标检测中检测正确率低、误检率高的问题，其步骤是：(1)输入待检测图像，利用Itti的视觉注意力模型提取亮度、颜色和方向特征显著性图；(2)对原始图像提取谱特征显著性图；(2)对亮度、颜色、方向、谱特征显著性图和实验者的注意力图进行数据采样及标记，形成最终的粗糙集信息表；(4)根据粗糙集信息表，构造属性重要性，并通过聚类得到特征图的最优权值；(5)对特征子图进行加权，得到原始图像的显著性图，该显著性图对应的显著性区域即为目标位置区域。本发明能更有效的检测到自然场景中的视觉注意力区域并对其中的目标进行定位。

Description

基于改进视觉注意力模型的自然场景目标检测方法

技术领域

本发明属于图像处理技术领域，涉及目标识别，可用于道路标志检测、视频监控、自然场景识别与分类。

背景技术

目标检测是计算机视觉和模式识别系统中非常关键的技术之一，目标检测的效果直接影响着整个系统的可靠性和有效性，是近年来研究的热点。随着技术的发展，人们日益发现现有的基于图像处理、机器学习等简单的方法并不能够完全适用于大多数的图像。因此，研究者们开始关注人类视觉注意机制，研究人类眼睛是如何搜寻、查找和检测自然场景中的目标的。

视觉注意机制，是灵长目类动物视觉系统的一个内在的属性。它是一种将人目光注视引导到场景中感兴趣物体的机制。通常，进入人们视野的视觉信息是海量的，但是从这些海量的信息中，人们依然能够搜寻到想要的信息。

基于此，心理学专家根据心理学的很多研究实验成果，模拟出了很多人类大脑感知事物的模型，而这些模型大都仅仅适用于解释某些心理物理学实验的结果，并不能直接用于自然图像处理中的目标检测。因此，如何利用计算机视觉和图像处理等理论和知识建立可用于自然图像处理的视觉注意计算模型已经成为世界各国亟待解决的热门课题。

现有最著名的视觉注意计算模型就是视觉显著性计算模型，视觉注意是与周围环境完全与众不同的目标物会自动的从视野环境中“跳出”并且吸引注意力的关注。选择性注意力机制可以将人们的视觉关注引导到在场景中称之为“显著性区域”的那一部分。视觉的显著性计算模型提供了关于这些可能吸引观测者注意力的预测区域。这些模型在图像本身能够提供稍许语义信息以及人们在不需要执行特定观测任务的前提下，检测效果良好。Fisher在文章中“A Object-based visual attention for computer vision，ArtificialIntelligence，2003，v146(1)：77-123.”利用“groupings”来针对基于目标和基于位置视觉注意的通用模型。对于这种手工的预处理的图像上，他们的模型可以整个复制出人类对于人工以及自然场景的注视行为。Koch和Ullman在其文章中“Shifts in selective visualattention：Towards the underlying neural circuitry，Hum.Neurobiol.1985，4：219-297.”根据已有的视觉生理和心理物理实验结果基础上提出了一个计算模型，用于模拟生物体“自底向上”选择性注意机制。随后Itti和Koch在文章“A model of saliency-based visual attentionfor rapid scene analysis，IEEE Trans.Pattern Anal.Mach.Intell.1998，20：1254-1259.”中进一步完善了这个模型，并将它用于包含自然物、交通及军事目标的检测。Koch和Itti的模型将多尺度拓扑“特征图”在亮度、色度以及方向空间上检测到的图像局部空间的不连续性来作为早期基本的视觉注意特征，最后对带有不同动态范围且来自不同视觉形态的特征进行整合，得到最后的“显著性图”。该模型不需要任何先验知识，处理结果完全由输入图像的初级视觉特征决定。现在很多的基于视觉注意力模型的目标检测中，其中视觉注意力模型都是在Itti这个模型的基础之上改进的。这些模型在对目标检测的过程中，它将所有的特征等同对待，而很多时候，图像某些区域，如边界处的物体并不能引起人脑真正的视觉关注，但是由于其具有非常显著的颜色等单一特征值，因此，在最终得到的显著性图中其显著性区域是最为明显的。这和人脑真正的视觉关注是不相吻合的，且对目标的检测造成很大的误差。进一步地，有证据显示特征越多并不一定会增强显著性区域的显著性，有时候反而会导致更多的误检。因此，有必要去确定哪些特征对最后的显著图的生成起主要作用。文献“Feature combination strategies for saliency-based visualattention systems.Journal of Electronic Imaging，2001，10(1)：161-169，”中，Itti等已比较了四种不同的特征整合策略。在这四种策略中，简单线性加和的方法给所有特征都赋予了正权值，这种线性加和的方法并不适合人眼的视觉习惯；学习权值的线性合成方法是无监督的学习方法，它需要关于训练图像的显著区域的先验知识；而另一个迭代的非线性局部竞争策略可以用来克服全局非线性标准化方法的缺陷。但是这些方法对于不同类型的自然场景图像均存在目标检测准确率低的不足。

发明内容

本发明的目的在于克服上述方法的不足，提出了基于改进视觉注意力模型的自然场景目标检测方法及系统，提高视觉注意力模型的准确性和可靠性的基础上，进一步的提高不同类型自然场景图像场景中目标检测的准确率。

实现本发明目的技术思路是：利用不同权值对特征的显著性图进行整合，用变精度模糊粗糙加权c-modes算法对每个特征的显著性图分配权值，实现对现有视觉注意力模型的改进；提取视觉注意力模型的各个特征的显著性图，用从特征的显著性图得到的采样数据构成粗糙集信息表，根据该信息表构建属性重要性，并进行加权聚类得到各个通道特征的显著性图的权值，并通过线性加和得到原始图像的显著性图，根据显著性图判断得到目标区域。其具体实现方案如下：

一，本发明基于改进视觉注意力模型的自然场景目标检测方法，包括如下步骤：

(1)利用Itti的视觉注意力模型对原始图像提取初始的颜色、亮度和方向的特征图，并对这些特征图进行多尺度几何分解、合并及归一化，得到颜色

亮度

和方向三个通道特征的显著性图；

(2)对原始图像做傅里叶变换，计算谱残差和相位谱PH的和，并对其做逆傅立叶变换F^-1，得到特征图，再用高斯滤波器平滑该特征图，得到第四个通道特征的显著性图SR；

(3)计算每个通道特征的显著性图的最优权值：

3a)对上述四个通道特征的显著性图分别进行数据采样，并将采样结果分别与各个通道特征的显著性图作对比，构建每个特征通道下的初始粗糙集信息表数据集合；

3b)根据心理学实验结果，将不同实验者测试得到的注意力点图进行叠加，生成原始的眼动数据图，对该眼动数据图进行与四个通道特征的显著性图同位置的采样，将采样结果与原始眼动数据图作对比，构建粗糙集信息表的决策属性集合；

3c)将初始粗糙集信息表的数据集合和粗糙集信息表的决策属性集合并列在一起，形成最终的粗糙集信息表；

3d)计算最终粗糙集信息表中数据的属性重要性，作为每个通道特征的显著性图的初始权值；

3e)根据初始权值，利用变精度模糊粗糙c-modes聚类公式，对粗糙集信息表中的数据进行聚类，通过交替更新聚类中心Z和划分矩阵W，使得目标函数值达到最小，此时所对应的权值ω_l即为每个通道特征的显著性图的最优权值，该c-modes聚类公式为：

$\min J(W,Z)=\underset{l=1}{\overset{c}{\mathrm{\Σ}}}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\μ}}_{\mathrm{li}}^{\mathrm{\λ}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\ω}}_l^{\mathrm{\β}}\mathrm{\δ}(x_{\mathrm{jl}},z_{\mathrm{jl}})$

其中J(W，Z)为聚类的目标函数，W为划分矩阵，c为类别个数，Z表示c个类别下的c个模式中心的集合，z_jl表示第j个特征在第l类下的聚类中心，x_jl为第j个特征在第l个类的样本，n为样本个数，m为数据集中特征的个数，μ_li表示为第i个样本x划分到第l类的隶属度函数，0≤μ_li≤1，为第l个特征显著性图的最优权值，β为精度系数，β＝0.5，

1≤l≤c，1≤i≤n，δ(·)表示两个样本之间的相异匹配测度，定义为

x_j和y_j分别表示第j个分类属性下的取值；

(4)利用上述得到的最优权值ω_l，l＝1，2，3，4，，对特征的显著性图进行线性加和，得到原始图像的显著性图：

其中，

是亮度特征的显著性图，

是颜色特征的显著性图，

是方向特征的显著性图，SR是谱特征的显著性图；

(5)将上述显著性图对应的显著性区域作为图像中目标的位置区域，并输出。

二、本发明基于改进视觉注意力模型的自然场景目标检测系统，包括：

提取颜色、亮度和方向特征显著性图模块，用于利用Itti的视觉注意力模型对原始图像提取初始的颜色、亮度和方向的特征图，并对这些特征图进行多尺度几何分解、合并及归一化，得到颜色

亮度和方向

三个通道特征的显著性图；

提取谱特征显著性图模块，用于对原始图像做傅里叶变换，计算谱残差

和相位谱PH的和，并对其做逆傅立叶变换F^-1，得到特征图，再用高斯滤波器平滑该特征图，得到第四个通道特征的显著性图SR；

数据采样子模块，用于对上述四个通道的特征的显著性图分别进行数据采样，并将采样结果分别与各个通道特征的显著性图做对比，构建每个特征通道下的初始粗糙集信息表数据集合；

原始眼动数据图生成子模块，用于根据心理学实验结果，将不同实验者测试得到的注意力点图进行叠加，生成原始的眼动数据图，对该眼动数据图进行与四个通道同位置的采样，将采样结果与原始眼动数据图做对比，构建粗糙集信息表的决策属性集合；

合并子模块，用于将初始粗糙集信息表的数据集合和粗糙集信息表的决策属性集合并列在一起，形成最终的粗糙集信息表；

属性重要性计算子模块，用于计算最终粗糙集信息表中数据的属性重要性，作为每个通道特征的显著性图的初始权值；

聚类子模块，用于根据初始权值，利用变精度模糊粗糙c-modes聚类公式，对粗糙集信息表中的数据进行聚类，通过交替更新聚类中心Z和划分矩阵W，使得目标函数值达到最小，此时所对应的权值ω_l即为每个通道特征的显著性图的最优权值，该c-modes聚类公式为：

$\min J(W,Z)=\underset{l=1}{\overset{c}{\mathrm{\Σ}}}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\μ}}_{\mathrm{li}}^{\mathrm{\λ}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\ω}}_l^{\mathrm{\β}}\mathrm{\δ}(x_{\mathrm{jl}},z_{\mathrm{jl}})$

其中J(W，Z)为聚类的目标函数，W为划分矩阵，Z表示c个类别下的c个模式中心的集合，z_jl表示第j个特征在第l类下的聚类中心，x_jl为第j个特征在第l个类的样本，c为类别个数，n为样本个数，m为数据集中特征的个数，μ_li表示为第i个样本x划分到第l类的隶属度函数，0≤μ_li≤1，为第l个特征通道下的最优权值，β为精度系数，β＝0.5，

其中1≤l≤c，1≤i≤n，δ(·)表示两个样本之间的相异匹配测度，定义为

x_j和y_j分别表示第j个分类属性下的取值；

线性加和模块，用于利用上述得到的最优权值ω_l，l＝1，2，3，4，，对特征的显著性图进行线性加和，得到原始图像的显著性图：

其中，

是亮度特征的显著性图，

是颜色特征的显著性图，

是方向特征的显著性图，SR是谱特征的显著性图；

输出模块，用于将上述显著性图对应的显著性区域作为图像中目标的位置区域，并输出。

本发明与现有技术相比具有如下优点：

本发明由于在特征显著性图提取阶段提取了谱特征，增加了视觉注意力模型中特征描述的准确性；同时由于利用数据采样和注意力点图，构造出粗糙集信息表，为聚类提供了初始权值，此外由于本发明采用粗糙集与c-modes聚类相结合，构造特征分配函数，为每个特征显著性图进行动态分配权值，增强了有效特征的贡献，提高了显著性图中显著性位置区域检测的准确率，使得目标更能凸显出来。

附图说明

图1是本发明的流程图；

图2是本发明构造粗糙集信息表及计算特征显著性图权值的子流程图；

图3是本发明的系统示意图；

图4是本发明与现有Itti方法在没有明显目标的自然场景图像上的对比实验结果图；

图5是本发明与现有Itti方法在自然场景图像上含有目标的对比实验结果图。

具体实施方式

参照图1，本发明基于改进视觉注意力模型的目标检测方法，包括如下步骤：

步骤一，通过Itti的视觉注意力模型提取原始图像的特征显著性图。

1.1)通过Itti的视觉注意力模型对原始图像提取颜色C、亮度I和方向O各分量特征图，利用金字塔模型对各个特征图进行多尺度分解，得到不同尺度大小的分解图像；

1.2)对不同尺度大小的分解图像，进行尺度间的图像合并，得到对比特征映射图：

1.3)将对比特征映射图进行归一化计算，得到亮度特征的显著性图颜色特征的显著性图和方向特征的显著性图

步骤二，提取原始图像的谱特征显著性图。

2.1)求原始图像的傅立叶变换F[I]，如果原始图像为彩色图像，则将彩色图像转化为灰度图像I，再对变换后的灰度图像求傅立叶变换F[I]；

2.2)求傅立叶变换后图像的幅度谱：A(f)＝Amplitude(F[I])，其中f为图像频率，Amplitude为提取傅立叶变换后图像幅度的运算符号；

2.3)求傅立叶变换后图像的相位谱：PH(f)＝Angle(F[I])，其中Angle为提取图像傅立叶变换后图像相位的运算符号；

2.4)计算谱残差：

其中，L(f)＝log(A(f))，h_n(f)为局部平均滤波器，n＝3，*为卷积符号；

2.5)对谱残差

和相位谱PH(f)的和做逆傅立叶变换F^-1，得到特征图，再用高斯滤波器平滑该特征图，最后得到原始图像的谱特征显著性图，具体公式如下：

g为高斯滤波器函数。

步骤三，计算每个通道特征的显著性图的最优权值。

参照图2，本步骤的具体实现如下：

3.1)对亮度、颜色、方向和谱特征的显著性图分别进行数据采样，并将采样结果分别与各个通道特征的显著性图作对比，构建每个特征通道下的初始粗糙集信息表数据集合：

3.1a)选择4×4大小的方形作为采样块，用该采样块分别对颜色、亮度、方向和谱特征显著性图进行随机采样，采样率为200；

3.1b)将落在特征显著性图的显著性区域之内的采样块标记为0，将落在显著性区域之外的采样块标记为1；将落在显著性区域边界处的采样块标记为2；

3.1c)将颜色、亮度、方向和谱特征显著性图的200×4个采样数据块作为初始粗糙集信息表的四个列，各列中的元素值对应其相应的标记值，形成初始粗糙集信息表数据集合；

3.2)根据心理学实验结果，将不同实验者测试得到的注意力点图进行叠加，生成原始的眼动数据图，对该眼动数据图进行与四个通道同位置的采样，将采样结果与原始眼动数据图作对比，构建粗糙集信息表的决策属性集合：

3.2a)用EyelinkII眼动记录仪，记录实验者人眼观看图像后的注意力点；

3.2b)将所有实验者在同一幅图像上的注意力点叠加在一起，形成每幅图像的注意力点图，即每幅图像的原始眼动数据图；

3.2c)对原始眼动数据图进行与颜色特征显著性图同位置的采样，采样块的大小为4×4，采样率为200；将落在原始眼动数据图注意力区域内的采样块标记为0；将落在原始眼动数据图注意力区域外的采样块标记为1；将落在原始眼动数据图注意力区域边界上的采样块标记为2；

3.2d)将原始眼动数据图的200个采样数据块作为初始粗糙集信息表的一个列，列中的元素值为原始眼动数据图采样块的标记值，形成初始粗糙集信息表的决策属性集合；

3.3)将初始粗糙集信息表的数据集合和粗糙集信息表的决策属性集合并列在一起，形成最终的粗糙集信息表；

3.4)计算最终粗糙集信息表中数据的属性重要性，作为每个通道特征的显著性图的初始权值，属性重要性的计算公式如下：

${\mathrm{\ω}}^{\mathrm{\β}}=\underset{Y\∈U/Q}{Y}{\underset{\‾}{P}}_{\mathrm{\β}}\left(Y\right)/\left|n\right|$

其中P和Q分别是粗糙集中的条件属性和决策属性，Pβ(X)是P依赖于Q的β下近似，β为精度系数，β＝0.5，U是数据的非空有限集合，

R为自然数集合，X为U在P下的划分，记为U/P，Y为U在Q下的划分，记为U/Q，|·|表示一个集合的基数，n为样本个数。

3.5)根据初始权值，利用变精度模糊粗糙c-modes聚类公式，对粗糙集信息表中的数据进行聚类，通过交替更新聚类中心Z和划分矩阵W，使得目标函数值达到最小，此时所对应的权值ω_l即为第l个特征显著性图的最优权值，该c-modes聚类公式为：

$\min J(W,Z)=\underset{l=1}{\overset{c}{\mathrm{\Σ}}}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\μ}}_{\mathrm{li}}^{\mathrm{\λ}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\ω}}_l^{\mathrm{\β}}\mathrm{\δ}(x_{\mathrm{jl}},z_{\mathrm{jl}})$

其中J(W，Z)为聚类的目标函数，W为划分矩阵，Z表示c个类别下的c个模式中心的集合，z_jl表示第j个特征在第l类下的聚类中心，x_jl为第j个特征在第l个类的样本，c为类别个数，n为样本个数，m为数据集中特征的个数，μ_li表示为第i个样本x划分到第l类的隶属度函数，0≤μ_li≤1，

为各个特征通道下的最优权值，β为精度系数，β＝0.5，

其中1≤l≤c，1≤i≤n，δ(·)表示两个样本之间的相异匹配测度，定义为

x_j和y_j分别表示第j个分类属性下的取值。

步骤四，生成原始图像的显著性图。

利用上述得到的最优权值ω_l，l＝1，2，3，4，，对特征的显著性图进行线性加和，得到原始图像的显著性图：

其中，

是亮度特征的显著性图，

是颜色特征的显著性图，是方向特征的显著性图，SR是谱特征的显著性图。

步骤五，将上述显著性图对应的显著性区域作为图像中目标的位置区域，并输出。

参照图3，本发明基于改进视觉注意力模型的自然场景目标检测系统，包括提取颜色、亮度和方向特征显著性图模块、提取谱特征显著性图模块、特征显著性图的最优权值计算模块、线性加和模块和输出模块。其中：

提取颜色、亮度和方向特征显著性图模块，利用Itti的视觉注意力模型对原始图像提取颜色C、亮度I和方向O各分量特征图，并将这三个分量的特征图经过金字塔模型分解后，得到各个特征下不同尺度的分解图像，对这些分解图像依次进行尺度间的合并、归一化计算和合并，最终得到亮度特征的显著性图

颜色特征的显著性图和方向特征的显著性图

提取谱特征显著性图模块，对原始图像进行傅里叶变换，得到原始图像的幅度谱A和相位谱PH，利用公式：计算出谱残差

其中，L＝log(A)，A为傅立叶变换后图像的幅度谱，h_n为局部平均滤波器，n＝3，*为卷积符号；再利用公式：计算得到第四个特征的显著性图SR，其中g为高斯滤波器；

特征的显著性图的最优权值计算模块，它包括数据采样子模块、原始眼动数据图生成子模块、合并子模块、属性重要性计算子模块和聚类子模块。该数据采样子模块，对四个通道的特征显著性图分别进行采样，采样大小为4×4，采样率为200，将落在特征显著性图的显著性区域之内的采样块标记为0，将落在显著性区域之外的采样块标记为1，将落在显著性区域边界处的采样块标记为2；将采样数据及其标记共同形成每个特征下初始粗糙集信息表的数据集合；该原始眼动数据图生成子模块，将不同实验者测试得到的注意力点图进行叠加，生成原始的眼动数据图，对该眼动数据图进行与上述四个通道特征的显著性图同位置的采样，采样大小为4×4，采样率为200，将落在原始眼动数据图注意力区域之内的采样块标记为0，将落在注意力区域之外的采样块标记为1，将落在注意力区域边界处的采样块标记为2；将采样数据及其标记共同形成粗糙集信息表的决策属性集合；该合并子模块，将初始粗糙集信息表的数据集合和粗糙集信息表的决策属性集合并列在一起，形成最终的粗糙集信息表；该属性重要性计算子模块，利用公式：计算最终粗糙集信息表中数据的属性重要性，作为每个通道特征的显著性图的初始权值，其中P和Q分别是粗糙集中的条件属性和决策属性，P _β(X)是P依赖于Q的β下近似，β为精度系数，β＝0.5，U是数据的非空有限集合，

R为自然数集合，X为U在P下的划分，记为U/P，Y为U在Q下的划分，记为U/Q，|·|表示一个集合的基数，n为样本个数；该聚类子模块，根据得到的初始权值，利用变精度模糊粗糙c-modes聚类公式对粗糙集信息表中的数据进行聚类，公式为：

$\min J(W,Z)=\underset{l=1}{\overset{c}{\mathrm{\Σ}}}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\μ}}_{\mathrm{li}}^{\mathrm{\λ}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\ω}}_l^{\mathrm{\β}}\mathrm{\δ}(x_{\mathrm{jl}},z_{\mathrm{jl}})$

当通过交替更新聚类中心Z和划分矩阵W使得目标函数值达到最小时，此时对应的权值ω_l为第l个特征显著性图的最优权值，其中J(W，Z)为聚类的目标函数，Z表示c个类别下的c个模式中心的集合，z_jl表示第j个特征在第l类下的聚类中心，x_jl为第j个特征在第l个类的样本，c为类别个数，n为样本个数，m为数据集中特征的个数，μ_li表示为第i个样本x划分到第l类的隶属度函数，0≤μ_li≤1，为第l个特征显著性图的最优权值，β为精度系数，β＝0.5，

1≤l≤c，1≤i≤n，δ(·)表示两个样本之间的相异匹配测度，定义为

x_j和y_j分别表示第j个分类属性下的取值；

线性加和模块，利用公式：

对亮度特征的显著性图

颜色特征的显著性图

方向特征的显著性图

和谱特征的显著性图SR进行线性加和，得到原始图像的显著性图，式中ω_l为最优权值，l＝1，2，3，4；

输出模块，将原始图像的显著性图对应的显著性区域作为图像中目标的位置区域，输出含有目标位置区域的二值图像。

本发明的效果通过以下仿真实验进一步说明：

仿真实验方法：

采用对比实验的形式，选择具有代表性的视觉注意力模型的方法在同样的图像上进行测试。实验选择的方法是Itti等人提出的视觉注意力模型的方法，参考文献“L.Itti，C.Koch，and E. Niebur.A model of saliency-based visual attention for rapid scene analysis.IEEETrans.Pattern Anal.Mach.Intell，1998，20：1254-1259.”。

仿真内容及结果

利用两组测试实验，将本发明与Itti等人提出的视觉注意力模型的方法进行对比。

第一组测试实验选取伦敦大学感知神经科学研究所提供的没有明显目标的自然场景图像库，第二组测试实验选取iLab实验室提供的含有明显目标的自然场景图像库。

1)利用第一组不含有明显目标的自然场景图像进行仿真实验，实验结果如图4和表1所示，其中，图4(a)、图4(b)和图4(c)是三幅自然场景图像；图4(d)、图4(e)和图4(f)是用Itti方法分别对图4(a)、图4(b)和图4(c)三幅图像的检测结果；图4(g)、图4(h)、图4(i)是用本发明方法分别对图4(a)、图4(b)和4(c)三幅图像的检测结果。

对于图4(a)的自然场景图像，在图中黑板右下角有个红色的通告，从Itti视觉注意力模型方法得到的显著性图中，这个区域是一个高亮的区域，原因是在彩色特征显著性图中，这个红色部分占主要成分，且经过线性加和，它的显著性被加强，进而在显著性图中表现为高亮。但是在实验者的注意力中，实验者并没有关注这个红色通告区域，因此，Itti模型方法检测到的显著性图中的高亮显示是与人类真正的视觉关注不一致的。然而，由本发明中计算的彩色特征显著性图的权值等于0，进而，本发明得到的显著性图中该红色区域并没有被高亮显示，因此，本发明的检测是与人类视觉习惯一致的。对于图4(b)的自然场景图像，本发明经过对特征显著性图加权，增强了视觉注意力区域，削弱了误检的区域。对于图4(c)的自然场景图像，图中没有确定的目标，实验者的注意力点不能集中在一个注意力区域上，本发明为每个特征的显著性图得到相同的权值，这个与Itti视觉注意力模型的结果相同。实验结果表明，本发明较现有的视觉注意力模型的目标检测方法无论是在有明显目标还是在没有明显目标的检测当中，均可以检测到更有效的注意力区域，尤其可以过滤掉很多“假”注意力区域，对自然场景图像具有明显的效果。

表1给出了现有Itti视觉注意力模型方法和本发明对不含有明显目标的自然场景图像的对比检测结果。

表1现有Itti视觉注意力模型方法和本发明方法的对比检测结果

其中HR为正确率，FAR为误检率，分别由如下公式定义：

式中：正确检出数，是指即在显著性图的显著性区域中也在注意力点图中注意力区域中的像素数目的总和；

漏检数，是指即在注意力点图中的注意力区域中而不在显著性图的显著性区域中的像素数目的总和；

误检数，是指在显著性图的显著性区域中而不在注意力点图的注意力区域中的像素数目的总和。

表1结果表明，本发明的方法对视觉注意力区域的检查具有更高的正确率和较低的误检率，能检测出更多的人类视觉关注区域，即能更有效的检测出目标。

2)利用第二组含有目标的自然场景图像进行仿真实验，结果如图5所示。其中图5(a)和图5(d)是两幅含有目标的自然场景图像；图5(b)和图5(e)是Itti方法分别对图5(a)和图5(d)的检测结果；图5(c)和图5(f)是本发明分别对图5(a)和图5(d)的检测结果。

从图5的实验结果中可以看出，本发明对自然场景中的目标有很好的定位检测能力。

Claims (4)

1.基于改进视觉注意力模型的自然场景目标检测方法，包括如下步骤：

（1）利用Itti的视觉注意力模型对原始图像提取初始的颜色、亮度和方向的特征图，并对这些特征图进行多尺度几何分解、合并及归一化，得到颜色 

亮度 

和方向 

三个通道特征的显著性图；

（2）对原始图像做傅里叶变换，计算谱残差 

和相位谱PH的和，并对其做逆傅立叶变换F^-1，得到特征图，再用高斯滤波器平滑该特征图，得到第四个通道特征的显著性图SR，即谱特征显著性图；

（3）计算每个通道特征显著性图的最优权值：

3a）对上述四个通道的特征显著性图分别进行数据采样，并将采样结果分别与各个通道的特征显著性图做对比，并按如下步骤构建初始粗糙集信息表特征属性集合：

3a1）选择4×4大小的方形作为采样块patch，用该采样块分别对颜色、亮度、方向和谱特征的显著性图进行随机采样，采样率为200；

3a2）将落在特征显著性图的显著性区域之内的采样块patch标记为0；将落在显著性区域之外的采样块patch标记为1；将落在显著性区边界处的采样块patch标记为2；

3a3）将颜色、亮度、方向和谱特征显著性图的200×4个采样数据块作为初始粗糙集信息表的四个列，各列中的元素值对应其相应的标记值，形成初始粗糙集信息表数据集合；

3b）根据心理学实验结果，将不同实验者测试得到的注意力点图进行叠加，生成原始的眼动数据图，对该眼动数据图进行与四个通道特征的显著性图同位置的采样，将采样结果与原始眼动数据图做对比，并按如下步骤构建粗糙集信息表的决策属性集合：

3b1）用EyelinkII眼动记录仪，记录实验者人眼观看图像后的注意力点；

3b2）将所有实验者在同一幅图像上的注意力点叠加在一起，形成每幅图像的注意力点图，即每幅图像的原始眼动数据图；

3b3）对原始眼动数据图进行与颜色特征显著性图同位置的采样，采样块patch的大小为4×4，采样率为200；将落在原始眼动数据图注意力区域内的采样块标记为0；将落在原始眼动数据图注意力区域外的采样块标记为1；将落在原始眼动数据图注意力区域边界上的采样块标记为2；

3b4）将原始眼动数据图的200个采样数据块作为初始粗糙集信息表的一个列，列 中的元素值为原始眼动数据图采样块的标记值，形成初始粗糙集信息表的决策属性集合；

3c）将初始粗糙集信息表的数据集合和粗糙集信息表的决策属性集合并列在一起，形成最终的粗糙集信息表；

3d）计算最终粗糙集信息表中特征的属性重要性，作为每个通道特征显著性图的初始权值；

3e）根据初始权值，利用变精度模糊粗糙c-modes聚类公式，对粗糙集信息表中的数据进行聚类，通过交替更新聚类中心Z和划分矩阵W，使得目标函数值达到最小，此时所对应的权值ω_l即为第l个特征显著性图的最优权值，该c-modes聚类公式为：

其中J(W，Z)为聚类的目标函数，W为划分矩阵，c为类别个数，Z表示c个类别下的c个模式中心的集合，z_jl表示第j个特征在第l类下的聚类中心，n为样本个数，m为数据集中特征的个数，μ_li表示为第i个样本x划分到第l类的隶属度函数，0≤μ_li≤1， 

为第l个特征显著性图的最优权值，β为精度系数，β=0.5， 

其中1≤l≤c，1≤i≤n，δ(·)表示两个样本之间的相异匹配测度，定义为 

其中，x_j和y_j分别表示第j个分类属性下的取值；

（4）利用上述得到的最优权值ω_l，l＝1,2,3,4,对特征的显著性图进行线性加和，得到原始图像的显著性图： 其中， 

是亮度特征的显著性图， 

是颜色特征的显著性图， 

是方向特征的显著性图，SR是谱特征的显著性图；

(5)将上述显著性图对应的显著性区域作为图像中目标的位置区域，并输出。

2.根据权利要求1所述的自然场景目标检测方法，其中步骤（2）所述的对原始图像提取谱特征显著性图，按如下步骤进行：

2a）如果原始图像为灰度图像I，则直接对该原始图像作傅立叶变换F[I]，如果原始图像为彩色图像，则将彩色图像转化为灰度图像I，再对变换后的灰度图像求傅立叶变换F[I]； 

2b）求傅立叶变换后图像的幅度谱：A(f)=Amplitude(F[I])，其中f为图像频率，Amplitude为提取傅立叶变换后图像幅度的运算符号；

2c）求傅立叶变换后图像的相位谱：PH(f)=Angle(F[I])，其中Angle为提取图像傅立叶变换后图像相位的运算符号；

2d）计算谱残差： 其中，L(f)=log(A(f))，h_n(f)为局部平均滤波器，n＝3，*为卷积符号；

2e）对谱残差 

和相位谱PH(f)的和做逆傅立叶变换F^-1，得到特征图，再用高斯滤波器平滑该特征图，最后得到原始图像的谱特征显著性图。

3.根据权利要求1所述的自然场景目标检测方法，其中步骤3d）所述的计算最终粗糙集信息表中数据的属性重要性，按如下公式计算：

其中P和Q分别是粗糙集中的条件属性和决策属性，P _β(X)是P依赖于Q的β下近似，β＝0.5，U是数据的非空有限集合， R为自然数集合，X为U在P下的划分，记为U/P,Y为U在Q下的划分，记为U/Q，|·|表示一个集合的基数，n为样本个数。

4.基于改进视觉注意力模型的自然场景目标检测系统，包括：

提取颜色、亮度和方向特征的显著性图模块，用于利用Itti的视觉注意力模型对原始图像提取初始的颜色、亮度和方向的特征图，并对这些特征图进行多尺度几何分解、合并及归一化，得到颜色 

亮度 

和方向 

三个通道特征的显著性图；提取谱特征显著性图模块，用于对原始图像做傅里叶变换，计算谱残差 

和相位谱PH的和，并对其做逆傅立叶变换F^-1，得到特征图，再用高斯滤波器平滑该特征图，得到第四个通道特征的显著性图SR；

特征图的最优权值计算模块，它包括：

数据采样子模块，用于对上述四个通道特征的显著性图分别进行数据采样，并将采样结果分别与各个通道特征的显著性图作对比，构建每个特征通道下的初始粗糙集信息表数据集合，即选择4×4大小的方形作为采样块patch，用该采样块分别对颜色、亮度、方向和谱特征的显著性图进行随机采样，采样率为200；将落在特征显著性图的显著性区域之内的采样块patch标记为0；将落在显著性区域之外的采样块patch标记为1；将落在显著性区边界处的采样块patch标记为2；将颜色、亮度、方向和谱特征显著性图的200×4个采样数据块作为初始粗糙集信息表的四个列，各列中的元素值对应其相应 的标记值，形成初始粗糙集信息表数据集合；

原始眼动数据图生成子模块，用于根据心理学实验结果，将不同实验者测试得到的注意力点图进行叠加，生成原始的眼动数据图，对该眼动数据图进行与四个通道特征的显著性图同位置的采样，将采样结果与原始眼动数据图做对比，构建粗糙集信息表的决策属性集合，即用EyelinkII眼动记录仪，记录实验者人眼观看图像后的注意力点；将所有实验者在同一幅图像上的注意力点叠加在一起，形成每幅图像的注意力点图；对原始眼动数据图进行与颜色特征显著性图同位置的采样，采样块patch的大小为4×4，采样率为200；将落在原始眼动数据图注意力区域内的采样块标记为0；将落在原始眼动数据图注意力区域外的采样块标记为1；将落在原始眼动数据图注意力区域边界上的采样块标记为2；将原始眼动数据图的200个采样数据块作为初始粗糙集信息表的一个列，列中的元素值为原始眼动数据图采样块的标记值，形成初始粗糙集信息表的决策属性集合；

合并子模块，用于将初始粗糙集信息表的数据集合和粗糙集信息表的决策属性集合并列在一起，形成最终的粗糙集信息表；

属性重要性计算子模块，用于计算最终粗糙集信息表中特征的属性重要性，作为每个通道特征的显著性图的初始权值；

聚类子模块，用于根据初始权值，利用变精度模糊粗糙c-modes聚类公式，对粗糙集信息表中的数据进行聚类，通过交替更新聚类中心Z和划分矩阵W，使得目标函数值达到最小，此时所对应的权值ω_l即为l个特征显著性图的最优权值，该c-modes聚类公式为：

其中J(W，Z)为聚类的目标函数，W为划分矩阵，c为类别个数，Z表示c个类别下的c个模式中心的集合，z_jl表示第j个特征在第l类下的聚类中心，x_jl为第j个特征在第l类中的样本，n为样本个数，m为数据集中特征的个数，μ_li表示为第i个样本x划分到第l类的隶属度函数，0≤μ_li≤1， 

为第l个特征显著性图的最优权值，β为精度系数，β=0.5， 

其中1≤l≤c，1≤i≤n，δ(·)表示两个样本之间的相异匹配测度，定义为

其中，x_j和y_j分别表示第j个分类属性下的取值； 线性加和模块，用于利用上述得到的最优权值ω_l，l＝1,2,3,4,对特征图进行线性加和，得到原始图像的显著性图： 

其中， 

是亮度特征的显著性图， 

是颜色特征的显著性图， 

是方向特征的显著性图，SR是谱特征的显著性图；

输出模块，用于将上述显著性图对应的显著性区域作为图像中目标的位置区域，并输出。

Images