CN105678735A - 一种用于雾天图像的目标显著性检测方法 - Google Patents

Abstract

本发明公开一种用于雾天图像的目标显著性检测方法，该方法利用码书构建了基于雾等级分类的雾天图像自适应显著性检测模型。在雾等级自动分类的基础上，针对不同等级的选取相应的显著性检测算法。对于轻雾图像，直接采用经典方法进行显著性检测。对于中雾图像，在图像去雾的基础上结合外观和颜色信息进行多特征融合的显著性检测。对浓雾图像，将浓雾图像中残存的外观信息转换为区域协方差矩阵，通过对比计算获取图像中的显著区域。

Description

一种用于雾天图像的目标显著性检测方法

技术领域

本发明涉及一种图像处理技术领域的方法，具体是一种用于雾天图像的目标显著性检测方法。

背景技术

作为图像处理领域内一个新兴的研究方向，图像显著性检测参考了人类视觉注意机制，即对图像中的区域按重要性的强弱分为不同的区域，对于重要的区域进行优先处理，并给予较多的计算资源，而对于非重要区域进行压缩处理，从而有权重的分配有限的计算资源。在这一过程中计算机集中处理的、较为重要的区域，即图像的显著区域。

图像显著性研究始于20世纪八十年代，随着近几年许多新的显著性理论和方法的出现，目前已形成了一个热门课题，国内外许多重要的视觉处理实验室均将视觉显著性作为专门课题加以研究。视觉显著性模型应用领域广泛，较为成熟的有目标检测和分割、视频分析等等，显著性检测结果的好坏对这些应用起到了至关重要的作用。

显著性问题与人类视觉系统紧密相关，视觉系统能够快速的对场景进行理解和分析，那么它是如何高效完成此复杂过程的呢？Neisser提出了一个广为认可的机制，他将视觉处理过程分为两个阶段：预注意处理阶段(Pre-attentiveStage)与注意处理阶段(AttentiveStages)；之后MIT的DavidC.Marr进一步提出了视觉处理会将进入的光线转化为各种特征的表示，编码以形成对场景的最初的表示，这些表示最终能够让视觉系统进行分析和识别；他们的工作对后来的视觉处理研究产生了深远影响。

显著性检测理论根据处理图像域的不同可分为空间域和变换域两大类。Treisman和Gelade最早提出了空域检测的特征综合理论，1985年Koch和Ullman进一步发展了这一理论并在研究视觉注意的Buttom-to-Up(自底向上)机制中首次使用显著图来描述场景的显著性，1998年Itti等人把Koch和Ullman提出的生物合理性架构应用在计算机视觉中，构建了相应的显著性检测模型，该模型提取了颜色、亮度和方向的多尺度特征，并对比计算中心和周围区域的尺度特征差异，从而得到同一特征下的多张不同尺度特征图，并利用多尺度融合得到对应每个特征的单张特征图，最后进行多特征的归一化和线性叠加获得最终的显著图。基于像素级的对比度计算使得该方法实效性较差，而且部分参数的选择对结果有很大影响，这些缺陷都限制了该方法在实时系统中的应用。2000年，Itti等将神经学融入之前的算法，重新分析并完善了该算法，自底向上的显著性算法从此开始被广泛接受。

显著性检测理论经过多年的快速发展，大致可分成以下三种类型：生物学的方法，纯计算的方法，生物学和计算相结合的方法。这些方法大都基于自底向上机制的。

第一种方法：显著性检测早期的工作大多使用的是生物学的方法。

Itti算法提出后，出现了很多改进方法，取得了更好的效果，但由于均是在Itti算法基础上完成的工作，故将这些方法归为此类。如Frintrop利用矩形滤波器来计算中心-周围区域对比度，并且采用图像积分的方法进一步提高了计算效率。YiqunHu首先生成各种不同类型的显著性图，然后采用导引函数筛除包含了非显著性区域的显著图，保留了对显著性贡献较大的显著性图，该方法较好的避免了由于归一化带来的影响。

第二种方法：纯计算的方法是近年来研究的热点。主要涵盖了以下几个方面：

①基于能量和信息论的方法

Shokoufandeh首次尝试使用局部能量的观点对显著目标区域进行提取；Gilles从局部香农熵的角度来描述目标显著性；Kadir和Brady针对局部能量算法在单一尺度下可能出现的问题，利用多尺度的自相似交叉尺度原理来获得优化的显著图；Bruce和Tsotsos提出了基于自信息的显著性度量机制，通过信息最大化来获得显著图。

②基于局部对比度的方法

Ma和Zhang、Achanta等人均利用中心-周围区域对比度原理计算显著性。Ma和Zhang的方法由于仅使用了LUV颜色特征，所以该方法并不适用于颜色和显著度相关性较弱的图像。Achanta使用了更符合人眼注意机制的CIELab颜色特征，取得了更好的效果。

③基于全局对比度的方法

Zhai和Shah把每个像素点和其它所有像素点的差值之和作为该像素点的显著度，该方法计算量大、执行效率低，而且只采用了图像的亮度信息，所以鲁棒性较差。

④基于频域分析的方法

Hou和Zhang突出了基于残余谱的方法，利用图像的傅里叶变换，并对幅度谱进行滤波，抑制冗余信息。其缺陷是抑制非显著性区域的同时也抑制了显著性区域，造成目标内部空洞。C.Guo在傅里叶变换的基础上，利用相位谱信息对残余谱的算法进行了改进，加入了颜色、灰度、运动等多个特征。

当然，近年来越来越多的方法更多的采用了多方法的融合。文献[18]提出的算法既利用了区域的显著性提取，又使用了全局信息，与之前的工作相比，该算法更好的区分了前景和背景，并在图像缩放和目标分割中取得了良好的效果。

第三种方法：前两种方法的结合。

Harel提出基于马尔可夫链的平衡态理论的方法，将从图像中提取的每个特征都看作是一个马尔可夫链，然后利用曲线图进行归一化，并通过融合获取最终的显著图，该方法能更好的定位视觉关注点，实验表明该方法得到的显著点与眼动仪得到的结果更为接近，但是最终获得的是显著点图，而且计算量大。

与自底向上的算法相比，传统的自顶向下(Up-to-Bottom)算法主要考虑了任务、经验等高级特征的影响因素。例如，Cerf在Harel的基础上，应用人脸这样的高级特征，Qiu考虑了摄像机运动对显著性造成的影响。与传统的自顶向下算法相比，现在更多的方法是利用先验知识，通过在图像库上部分或者全部图像的学习获得显著性检测算法，然后利用这些学习到的知识进行显著性区域检测。例如，Kienzle等人利用眼动数据学习显著点检测算子，并将图像作为输入信号，用检测算子对他们进行滤波操作，从而获得显著性区域。Navalpkkam等人过学习获得任务目标的模板，并用该模板来设置各种自顶向下方法提取的特征的权重，利用与任务目标模板相似度作为区域显著性度量的标准。Liu等人利用条件随机场来学习计算显著度用到的各种特征的权重，并利用权重计算每个像素点的整体显著度，从而实现显著性目标的提取。

大部分视觉显著性的研究仍然是集中在显著性目标的检测和分割领域，并且方法还是沿用了经典算法框架，只是在建模或者特征选择上进行了改进和新的探讨。现有的算法不足主要有以下几方面：现有的算法对特征的分析还不够深入、现有的算法对视觉认知的机理不够透彻、现有的算法很多较难直接应用，或者局限于有限的数据集。

除了上述视觉显著性研究本身存在的问题外，一个更为重要的问题是现有的显著性检测算法基本上是围绕良好成像条件下的拍摄图像(清晰图像)展开的，少有不良天候条件下图像目标显著性检测的研究。

发明内容

本发明涉及三个方面的主要内容：

(1)针对现有方法难以解决中雾条件下的图像显著性检测问题，发明了结合外观和颜色信息的显著性检测算法。该算法综合分析中雾图像特点，将图像中目标位置和外观信息以及图像中目标细节的颜色信息相互融合，有效地实现了中雾条件下目标的显著性检测。

(2)发明了针对浓雾条件的基于协方差矩阵的图像显著性检测算法。将浓雾图像中残存的外观信息转换为区域协方差矩阵，通过对比计算获取图像中的显著区域，实验证明该算法较经典算法更好地适应浓雾图像中的目标显著性检测。

(3)利用码书发明了基于雾等级分类的雾天图像自适应显著性检测方法。在雾等级自动分类的基础上，针对不同等级的选取相应的显著性检测算法。实验证明该方法具有良好的雾天场景下图像显著性检测的实用性和可拓展性。

附图说明

附图1是本发明的一种基于多特征融合的中雾图像显著性检测算法流程图

附图2是本发明的一种基于区域协方差矩阵的浓雾图像显著性检测算法流程图

附图3是本发明的一种雾天图像自适应显著性检测方法流程图

具体实施方式

一种适合雾天图像的目标显著性检测方法，包含以下几个步骤：雾等级分类和轻、中、浓雾图像的目标显著性检测。

(1)雾等级分类

分类方法利用自然场景统计特征对雾的等级进行分类，而自然场景统计特征采用AnishMittal等在2012年提出的BRISQUE算法中使用的MSCN系数来表示。同时采用GGD和AGGD模型来构建雾天图像MSCN系数的分布模型，其中每个模型分别提取一个18维的特征参数，总共由36维的特征向量来构建雾天图像的失真情况。

(2)轻雾图像的目标显著性检测

采用经典的GMR算法直接进行显著性检测。

(3)中雾图像的目标显著性检测

将图像中的显著区域定义为那些在外观和颜色上都与周围差异明显的像素点。对于复杂的自然场景尤其是雾浓度较高的图像将外观差异和颜色(中雾条件下颜色特征被湮没了一部分，但其余部分对检测仍有至关重要的作用)差异相结合是必不可少的。外观差异由图像中像素块之间的内在联系决定，通常显著的图像块不能用其周围的像素块进行解释。外观差异构成本算法基本的显著图之一，在此基础上，为了增加显著性检测的准确性，进一步引入了颜色差异，先对中雾图像进行去雾，将去雾后的图像再利用显著性检测算法进行显著性检测。

(4)浓雾图像的目标显著性检测

对单个特征如亮度、梯度、位置、对比度等提取特征显著图，并基于单特征显著图采取线性或非线性拟合手段将单特征显著图融合成完整的显著图。

Claims (3)

1.针对现有方法难以解决中雾条件下的图像显著性检测问题，提出了结合外观和颜色信息的显著性检测算法，该算法综合分析中雾图像特点，将图像中目标位置和外观信息以及图像中目标细节的颜色信息相互融合，有效地实现了中雾条件下目标的显著性检测。

2.提出了针对浓雾条件的基于协方差矩阵的图像显著性检测算法，将浓雾图像中残存的外观信息转换为区域协方差矩阵，通过对比计算获取图像中的显著区域。

3.利用码书构建了基于雾等级分类的雾天图像自适应显著性检测模型，在雾等级自动分类的基础上，针对不同等级的选取相应的显著性检测算法。