CN109934103A - 基于暗通道先验和区域协方差检测图像中显著物体的方法 - Google Patents

Abstract

本发明涉及一种基于暗通道先验和区域协方差检测图像中显著物体的方法。本发明主采用局部和全局估计来定义每个超像素的显著性。对于显著对象检测的准确性直接受特征提取的影响，特征提取是将视觉刺激转化为视觉信息进行处理的关键步骤，我们通过暗信道和协方差特征两个描述符计算每个超像素的显著性。为了优化显著性图，利用图模型来增强视觉效果。在雾图像数据集上验证了所提出的显著性模型的整体性能为了证明该模型的鲁棒性以及检测低对比度图像中显著目标的优势。本发明能够很好地处理具有挑战性的雾天图像。这意味着本模型能更加均匀的显示前景对象，并且能更充分地抑制雾天背景，这证明了所提出的模型的优越性。

Description

基于暗通道先验和区域协方差检测图像中显著物体的方法

技术领域

本发明涉及通过暗通道先验和区域协方差描述在雾天图像中检测显著物体的方法，属于图像处理领域，能够为安全监控、雨雾、阴霾环境目标定位等热点问题提供理论和技术基础。

背景技术

根据公安部的统计报告，超过10％的道路交通事故与恶劣天气直接相关，如雾霾，这些场景的能见度明显下降。在光学上，原因是由于空气中的漂浮颗粒吸收并散射出大量光线。为了解决这个问题，近几十年来开发了大量的去雾算法。通过利用图像去雾技术，可以在一定程度上恢复雾天图像的颜色和可见度。虽然去雾处理可以基本上增加显著区域的识别，但是背景信息也得到增强。但目前最先进的显著性模型还是不能正确地检测雾天图像中的真实显著对象。

通常，雾天图像具有低对比度和低分辨率的特点，这导致一般系统难以提取视觉特征。雾天图像中的显著性检测面临几个问题：1) 传统特征提取方法无法保证显著性结果的准确性，因为大多数特征在低能见度条件下会变得无效。2)在雾天图像中难以区分前景和背景之间的差异，这导致提取过程会缺少边缘和轮廓信息。通过模拟人类视觉注意机制，可以合理地为图像处理和计算机视觉中的各种应用分配一定的信息处理能力，如图像压缩，图像分割，对象识别，图像检索，图像匹配等。

传统的显著性方法主要遵循Itti的模型，它基于多尺度特征和中心周边的对比度。根据人类视觉系统HVS(human visual system)的感知机制，其图像对比度在视觉显著性计算中起着关键作用。当前模型通过从局部或全局角度计算对比度来估计每个图像区域的显著性。局部方法计算每个图像区域与其局部邻域之间的显著性，通过局部稀疏编码提取图像特征来构造显著图或通过使用局部自适应块来模拟网格显著性。这些模型倾向于突出边缘附近的显著物体而不是整个区域。全局方法是估计每个区域与整个图像之间的显著性差异，有基于非局部各向异性扩散方程的显著性模型或基于全局对比度的显著性检测方法。这些全局模型可以获得统一的显著性区域。

发明内容

本发明的目的是针对现有技术的不足，采用局部和全局估计来定义每个超像素的显著性。因为显著对象检测的准确性直接受特征提取的影响，特征提取是将视觉刺激转化为视觉信息进行处理的关键步骤，通过暗信道和协方差特征两个描述符计算每个超像素的显著性。为了优化显著性图，利用图的模型来增强视觉效果。在雾天图像数据集上验证了所提出的显著性模型的整体性能。

本发明解决其技术问题所采用的技术方案具体包括如下步骤：

步骤1、用超像素分割的方法对输入图像进行重构造；

步骤2、通过暗通道来提取图像的深度信息；

步骤3、基于图的流形排序；

步骤4、通过找到的特征来计算区域协方差；

步骤5、基于区域协方差来进行显著性估计。

步骤6、对图像进行基于扩散的显著性优化。

步骤1中，通过简单线性迭代聚类SLIC(simple linear iterative clustering)算法创建超像素。其具体步骤为：

首先将输入图像分成超像素SP(i)，其中i＝1,···,N和N＝300足以保证良好的边界召回率。

将输入图像分割成超像素后，构造节点为N的图G＝(V,E)用以表示输入图像，其中V是节点集合，每个节点对应一个超像素；E是边集合并由亲和度矩阵加权A＝[a_ij]_N×N得到。给出图G和显著性种子 s＝[s₁,s₂,···,s_N]^T，扩散过程基于最优亲和度矩阵通过显著性种子s在图 G上传播得到。显著性扩散集S′＝[S′₁、S′₂、...、S′_N、]^T通过以下方式计算：

S′＝d^*s (1)

其中，d^*表示扩散矩阵，它等同于公式(5)中的(I-βΛ)^-1。S′反映每个节点的显著性。

步骤2通过暗通道来提取重构后图像的深度信息，其具体步骤为：

通过暗通道先验的方法对输入的图像中去除雾的干扰。根据对室外图像的观察，这些像素或区域通常至少有一个强度非常低的颜色通道。这意味着图像像素的暗通道主要由暗区或特殊区域产生的，但这些区域通常是显著对象出现的位置。因此图像的暗通道可以用来估计超像素的显著性。对于图像中的每个像素点I(x,y)，暗通道的定义为：

其中，是在暗通道中像素I(x,y)在其局部邻域块p(x,y)中的中心位置。这里每个超像素之前的暗通道的超像素I_dark(SP(i))计算方法如下：

其中，num(SP(i))是超像素SP(i)内的像素点的个数；

暗通道计算可以有效地识别雾天图像中的低强度区域。因此，通过暗通道从图像中挑选出暗区域，彩色表面或特定对象。同时，这些因素也是显著物体的一部分。因此，暗通道属性可以很好地估计感兴趣区域ROI(regions of interest)。

步骤3中基于图结构的流形排序的具体步骤为：

多级排序的目标是计算图中每个节点的排名。通过流形排序就能够更准确地描述图表G中超像素之间的相似性。特定的图G是通过最小化能量函数来计算最佳排序，计算方法是：

其中，μ用来平衡平滑度和拟合之间的约束关系，d_ii＝∑_ja_ij是度矩阵D＝diag{d₁₁,···,d_NN}的元素，排序函数的定义如下：

S^*＝(I-βΛ)^-1s, (5)

其中，这里的I是图G的单位矩阵，参数β＝1/(1+μ)用来控制流形排序中一元和二元对势的平衡，Λ＝D^-1/2AD^-1/2是归一化的拉普拉斯矩阵。

步骤4通过视觉特征来计算区域协方差的具体步骤为：

所提出的模型使用图像超像素的协方差矩阵作为显著性估计的源特征。区域协方差可以更好地捕获结构信息并以非线性方式集成特征。

提取输入图像的视觉特征，包括亮度、方向、清晰度和频谱。

亮度特征：亮度是人类视觉感知的最基本信息；人眼可以感知的其他视觉特征在很大程度上基于亮度特征。亮度特征(表示为L(x,y)我们使用的是从Lab颜色空间中的亮度分量得到的，因为颜色信息会在单个雾霾图像中淡化，所以图像的发光量是衡量物体显著性的重要指标。

方向特征：对人体视觉系统注意机制的研究表明，视觉系统的神经元对固定角度的图像信号有明显的响应。引入方向特征来描述图像信号在某些特定方向上的方向属性。为了提高算法的效率，主要测量图像在水平和垂直方向上的梯度值。其中I(x,y)表示输入图像，水平梯度(表示为)和垂直梯度(表示为)是强度图像的一阶导数的范数，它可以表示边缘方向信息。梯度幅度反映了特定方向上像素的亮度变化，因此可以突出雾天场景中亮度的分布和差异。

清晰度特征：清晰度与像素及其相邻像素之间的图像灰度和纹理复杂度的变化成正比例。清晰度特征(表示为Shar(x,y))通过灰度图像的卷积在垂直和水平方向上的高斯一阶导数来计算。

其中，g(x,y)表示灰度图像。和表示分别在垂直和水平方向上的高斯一阶导数。σ是高斯滤波器的比例。

频谱特征：图像的频率是一个指标，可以表示图像灰度变化的程度。对于雾天图像，背景区域的幅度谱比对象区域更锐利，因此可以通过去除幅度谱中的峰值来突出显著的对象。频谱特征(表示为 Spec(x,y))通过对数谱和振幅之间的差异来测量，其受图像对比度的影响较小，对噪声更具鲁棒性。

基于这些功能，图像将转换为五维特征向量：

对于每个超像素SP(i)内F，它可以表示为5×5协方差矩阵：

这里{f_i(x,y)}i＝1,···,n表示SP(i)内部五维特征点和μ^*这些点的平均值。

协方差矩阵可以自然地融合可能相关的多个特征。两个协方差矩阵之间的差异表示为：

其中，{λ_d(C₁,C₂)}_{d＝1,···,5}是C₁和C₂的广义特征值。

步骤5中基于区域协方差来进行显著性估计的具体步骤为：给定输入的雾天图像，本发明将其抽象为超像素并构造图模型。对于每个超像素SP(i),i＝1,···,N，定义其超像素区域的局部显著性R_i为R_i，通过加协方差之间的协方差R_i及其周围区域(表示为R_j,j＝1,···,M_i)的对比度来计算；对于局部显著性估计，根据其亲和力矩阵找到局部显著性R_i。局部显著性R_i的计算如下：

其中，M_i是R_i的亲和力矩阵数，d(R_i,R_j)为R_i和R_j之间的差异，计算为：

其中ρ(C_i,C_j)表示C_i和C_j之间的协方差矩阵，c^*(i)和c^*(i)分别R_i和R_j的中心。

对于全局显著性估计，选择全局显著性R_I作为R_i的周围地区，R_i和R_I之间的差异d′(R_i,R_I)通过下式来获得：

其中，ρ(C_i,C_I)为C_I和R_I之间的协方差矩阵，c^*(i)是图像中心。

步骤6中对图像进行基于扩散的显著性优化的具体步骤为：

在计算所有超像素区域的显著性之后，我们获得种子矢量s，其中包含每个图节点的显著性值。然后使用由公式(1)给出的扩散过程和由公式(3)给出的暗通道先验来优化结果。超像素的显著性值SP(i)由以下构成：

S_saliency(SP(i))＝d^*×s(SP(i))×I_dark(SP(i)), (13)

最后，两个不同的显著性图通过局部和全局方法得到的S_local和 S_global来获得，这些方法彼此互补。最后通过加权几何平均值来整合这两个显著性图，计算如下：

S_map＝S_local ^ε×S_global ^1-ε, (14)

其中，0≤ε≤1，且ε＝0.5通常会提供良好的性能；

最终产生的显著性图S_map，将其归一化在[0,1]区间，归一化显著图的计算如下：

该显著图在雾天图像显著对象检测中具有突出的性能。

本发明有益效果如下：

本发明所提出的模型产生的显著性图最接近真实显著图，并且可以很好地处理具有挑战性的雾天图像。这意味着本模型能更加均匀的显示前景对象，并且能更充分地抑制雾天背景，这证明了所提出的模型的优越性。

本发明暗通道处理器可以更好地抑制雾天背景的影响。协方差特征可以稳健地处理低对比度雾天图像。

附图说明

图1.通过去雾方法比较雾天图像(a)和预处理图像(e)之间的显著性。(bd)分别通过BL模型，SC模型和提出的显著性模型获得的雾天图像的显著性。(fh)通过图像去雾的预处理图像的显著性。

图2.本发明方法的基本流程图。

图3.使用本发明的显著性模型与雾天图像中的九种最先进模型包括低秩矩阵恢复(LR)模型，上下文感知(CA)模型，块差异(PD)模型，基于图的流形排序(GBMR)模型，显著性优化(SO)模型，细胞自动机(BSCA)模型，引导学习(BL)模型，空间背景(SC)模型，以及基于扩散的(GP)模型，精确度、召回率和F-measure的性能

图4.与雾天图像中的九个模型包括低秩矩阵恢复(LR)模型，上下文感知(CA)模型，块差异(PD)模型，基于图的流形排序(GBMR) 模型，显著性优化(SO)模型，细胞自动机(BSCA)模型，引导学习(BL) 模型，空间背景(SC)模型，以及基于扩散的(GP)模型。(a)测试雾天图像，(b)地真实显著图，(ck)由九个最先进的显著性模型获得的显著性图，(1)由本专利所提出的模型获得的显著性图。

具体实施方式

下面结合附图对本发明所述技术方案的实施方式作进一步的详细描述。

如图1-4所示，基于暗通道先验和区域协方差检测图像中显著物体的方法，具体实现如下：

如图2所示，首先用超像素分割的方法来进行图像的重构造；

如图2所示，通过暗通道来提取图像的深度信息；

基于图的流形排排序；

如图2所示，通过找到的特征来计算区域协方差。

如图2所示，基于区域协方差来进行显著性估计

对图像进行基于扩散的显著性优化。

步骤1中，通过简单线性迭代聚类SLIC(simple linear iterative clustering)算法创建超像素。其具体步骤为：

首先将输入图像分成超像素SP(i)，其中i＝1,···,N和N＝300足以保证良好的边界召回率。

将输入图像分割成超像素后，构造节点为N的图G＝(V,E)用以表示输入图像，其中V是节点集合，每个节点对应一个超像素；E是边集合并由亲和度矩阵加权A＝[a_ij]_N×N得到。给出图G和显著性种子s＝[s₁,s₂,···,s_N]^T，扩散过程基于最优亲和度矩阵通过显著性种子s在图 G上传播得到。显著性扩散集S′＝[S′₁、S′₂、...、S′_N、]^T通过以下方式计算：

S′＝d^*s (1)

其中，d^*表示扩散矩阵，它等同于公式(5)中的(I-βΛ)^-1。S′反映每个节点的显著性。

步骤2通过暗通道来提取重构后图像的深度信息，其具体步骤为：

通过暗通道先验的方法对输入的图像中去除雾的干扰。根据对室外图像的观察，这些像素或区域通常至少有一个强度非常低的颜色通道。这意味着图像像素的暗通道主要由暗区或特殊区域产生的，但这些区域通常是显著对象出现的位置。因此图像的暗通道可以用来估计超像素的显著性。对于图像中的每个像素点I(x,y)，暗通道的定义为：

其中，是在暗通道中像素I(x,y)在其局部邻域块p(x,y)中的中心位置。这里每个超像素之前的暗通道的超像素I_dark(SP(i))计算方法如下：

其中，num(SP(i))是超像素SP(i)内的像素点的个数；

暗通道计算可以有效地识别雾天图像中的低强度区域。因此，通过暗通道从图像中挑选出暗区域，彩色表面或特定对象。同时，这些因素也是显著物体的一部分。因此，暗通道属性可以很好地估计感兴趣区域ROI(regions of interest)。

步骤3中基于图结构的流形排序的具体步骤为：

多级排序的目标是计算图中每个节点的排名。通过流形排序就能够更准确地描述图表G中超像素之间的相似性。特定的图G是通过最小化能量函数来计算最佳排序，计算方法是：

其中，μ用来平衡平滑度和拟合之间的约束关系，d_ii＝∑_ja_ij是度矩阵D＝diag{d₁₁,···,d_NN}的元素，排序函数的定义如下：

S^*＝(I-βΛ)^-1s, (5)

其中，这里的I是图G的单位矩阵，参数β＝1/(1+μ)用来控制流形排序中一元和二元对势的平衡，Λ＝D^-1/2AD^-1/2是归一化的拉普拉斯矩阵。

步骤4通过视觉特征来计算区域协方差的具体步骤为：

所提出的模型使用图像超像素的协方差矩阵作为显著性估计的源特征。区域协方差可以更好地捕获结构信息并以非线性方式集成特征。

提取输入图像的视觉特征，包括亮度、方向、清晰度和频谱。

亮度特征：亮度是人类视觉感知的最基本信息；人眼可以感知的其他视觉特征在很大程度上基于亮度特征。亮度特征(表示为L(x,y)我们使用的是从Lab颜色空间中的亮度分量得到的，因为颜色信息会在单个雾霾图像中淡化，所以图像的发光量是衡量物体显著性的重要指标。

方向特征：对人体视觉系统注意机制的研究表明，视觉系统的神经元对固定角度的图像信号有明显的响应。引入方向特征来描述图像信号在某些特定方向上的方向属性。为了提高算法的效率，主要测量图像在水平和垂直方向上的梯度值。其中I(x,y)表示输入图像，水平梯度(表示为)和垂直梯度(表示为)是强度图像的一阶导数的范数，它可以表示边缘方向信息。梯度幅度反映了特定方向上像素的亮度变化，因此可以突出雾天场景中亮度的分布和差异。

清晰度特征：清晰度与像素及其相邻像素之间的图像灰度和纹理复杂度的变化成正比例。清晰度特征(表示为Shar(x,y))通过灰度图像的卷积在垂直和水平方向上的高斯一阶导数来计算。

其中，g(x,y)表示灰度图像。和表示分别在垂直和水平方向上的高斯一阶导数。σ是高斯滤波器的比例。

频谱特征：图像的频率是一个指标，可以表示图像灰度变化的程度。对于雾天图像，背景区域的幅度谱比对象区域更锐利，因此可以通过去除幅度谱中的峰值来突出显著的对象。频谱特征(表示为 Spec(x,y))通过对数谱和振幅之间的差异来测量，其受图像对比度的影响较小，对噪声更具鲁棒性。

基于这些功能，图像将转换为五维特征向量：

对于每个超像素SP(i)内F，它可以表示为5×5协方差矩阵：

这里{f_i(x,y)}i＝1,···,n表示SP(i)内部五维特征点和μ^*这些点的平均值。

协方差矩阵可以自然地融合可能相关的多个特征。两个协方差矩阵之间的差异表示为：

其中，{λ_d(C₁,C₂)}_{d＝1,···,5}是C₁和C₂的广义特征值。

步骤5中基于区域协方差来进行显著性估计的具体步骤为：给定输入的雾天图像，本发明将其抽象为超像素并构造图模型。对于每个超像素SP(i),i＝1,···,N，定义其超像素区域的局部显著性R_i为R_i，通过加协方差之间的协方差R_i及其周围区域(表示为R_j,j＝1,···,M_i)的对比度来计算；对于局部显著性估计，根据其亲和力矩阵找到局部显著性R_i。局部显著性R_i的计算如下：

其中，M_i是R_i的亲和力矩阵数，d(R_i,R_j)为R_i和R_j之间的差异，计算为：

其中ρ(C_i,C_j)表示C_i和C_j之间的协方差矩阵，c^*(i)和c^*(i)分别R_i和R_j的中心。

对于全局显著性估计，选择全局显著性R_I作为R_i的周围地区，R_i和R_I之间的差异d′(R_i,R_I)通过下式来获得：

其中，ρ(C_i,C_I)为C_I和R_I之间的协方差矩阵，c^*(i)是图像中心。

步骤6中对图像进行基于扩散的显著性优化的具体步骤为：

在计算所有超像素区域的显著性之后，我们获得种子矢量s，其中包含每个图节点的显著性值。然后使用由公式(1)给出的扩散过程和由公式(3)给出的暗通道先验来优化结果。超像素的显著性值SP(i)由以下构成：

S_saliency(SP(i))＝d^*×s(SP(i))×I_dark(SP(i)), (13)

最后，两个不同的显著性图通过局部和全局方法得到的S_local和 S_global来获得，这些方法彼此互补。最后通过加权几何平均值来整合这两个显著性图，计算如下：

S_map＝S_local ^ε×S_global ^1-ε, (14)

其中，0≤ε≤1，且ε＝0.5通常会提供良好的性能；

最终产生的显著性图S_map，将其归一化在[0,1]区间，归一化显著图的计算如下：

该显著图在雾天图像显著对象检测中具有突出的性能。

本发明方法与现有的9种先进的模型包括：低秩矩阵恢复(LR) 模型，上下文感知(CA)模型，块差异(PD)模型，基于图的流形排序 (GBMR)模型，显著性优化(SO)模型，细胞自动机(BSCA)模型，引导学习(BL)模型，空间背景(SC)模型，以及基于扩散的(GP)模型根据四个指标进行评估。第一个指标比较真实阳性率(TPR)和误报率(FPR)。

这里Bs表示二值显著图，其使用一组固定阈值对显著性图进行二值化，并且表示与真实显著图GT相反的图。图3(a)显示了提出的显著性模型与上述显著性模型进行比较的TPR-FPR曲线。

第二个指标比较精度、召回率和F-measure。精度测量为得到显著图的精度，其计算方法为|Bmap∩G_T|和Bmap(表示二值化显著图)的显著像素数的比率。召回测量检测到的是显著对象的完整性，其计算方法为Bmap∩G_T|和G_T显著像素的数量的比率。F-measure计算方法为精度和召回之间的加权调和平均值：

这里α＝0.3用于侧重精度而不是召回率。各种显著性模型的定量比较可以在图3(b)中看到，这表明所提出的模型明显优于其他模型。

第三个度量比较AUC(曲线下面积)的值，其值为TPR-FPR曲线下的面积。完美的显著性模型的值接近1。

第四个度量比较平均绝对误差(MAE)的值，该分数用于评估真实的显著性分配。MAE分数计算的是显著性图S_map和真实显著图G_T之间的差异。

这里|I|是输入图像的像素数。显著图的MAE越小，越接近真实显著图 G_T。

表1中列出了AUC和MAE分数。显然，本专利的模型在雾天图像数据集上实现了相对更好的性能分数。表1中还比较了十个显著性模型的平均计算时间，这些是在具有IntelPentium G20202.90GHz CPU 和12GB RAM的PC机上测量的。所有这十个模型都是使用MATLAB 实现的。在这些模型中，GBMR、SO和BSCA运行速度很快，但性能很差。本专利的代码未经过优化，测试每幅图像的平均时间只需要 9.8337秒，比其他模型具有更令人满意的性能。

表1.雾天图像中各种显著性模型的性能比较。

通过这些不同的显著性模型获得的显著性图的视觉比较如图4所示。从图4中可以直观地观察到，由所提出的模型产生的显著性图最接近真实显著图，并且可以很好地处理具有挑战性的雾天图像。这意味着本模型能更加均匀的显示前景对象，并且能更充分地抑制雾天背景，这证明了所提出的模型的优越性。

综上所述，本发明提出了一种基于暗通道先验和区域协方差描述符检测雾天图像中检测显著物体的方法。暗通道处理器可以更好地抑制雾天背景的影响。协方差特征可以稳健地处理低对比度雾天图像。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管按照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上描述了本发明的基本原理和主要特征以及本发明的优点。本行业技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (6)

1.基于暗通道先验和区域协方差检测图像中显著物体的方法，其特征在于包括如下步骤：

步骤1、用超像素分割的方法对输入图像进行重构造；

步骤2、通过暗通道来提取图像的深度信息；

步骤3、基于图的流形排序；

步骤4、通过找到的特征来计算区域协方差；

步骤5、基于区域协方差来进行显著性估计；

步骤6、对图像进行基于扩散的显著性优化。

2.根据权利要求1所述的基于暗通道先验和区域协方差检测图像中显著物体的方法，其特征在于：

步骤1通过简单线性迭代聚类SLIC算法创建超像素的具体步骤为：

首先将输入图像分成超像素SP(i)，其中i＝1,···,N和N＝300；

将输入图像分割成超像素后，构造节点为N的图G＝(V,E)用以表示输入图像，其中V是节点集合，每个节点对应一个超像素；E是边集合并由亲和度矩阵加权A＝[a_ij]_N×N得到；给出图G和显著性种子s＝[s₁,s₂,···,s_N]^T，扩散过程基于最优亲和度矩阵通过显著性种子s在图G上传播得到；显著性扩散集S′＝[S′₁、S′₂、...、S′_N、]^T通过以下方式计算：

S′＝d^*s (1)

其中，d^*表示扩散矩阵，它等同于公式(5)中的(I-βΛ)^-1；S′反映每个节点的显著性；

步骤2通过暗通道来提取重构后图像的深度信息，其具体步骤为：

通过暗通道先验的方法对输入的图像中去除雾的干扰；图像的暗通道I～能够用来估计超像素的显著性；对于图像中的每个像素点I(x,y)，暗通道的定义为：

其中，是在暗通道中像素I(x,y)在其局部邻域块p(x,y)中的中心位置；这里每个超像素之前的暗通道的超像素I_dark(SP(i))计算方法如下：

其中，num(SP(i))是超像素SP(i)内的像素点的个数。

3.根据权利要求2所述的基于暗通道先验和区域协方差检测图像中显著物体的方法，其特征在于：

步骤3中基于图结构的流形排序的具体步骤为：

多级排序的目标是计算图中每个节点的排名；通过流形排序就能够更准确地描述图表G中超像素之间的相似性；特定的图G是通过最小化能量函数来计算最佳排序，计算方法是：

其中，μ用来平衡平滑度和拟合之间的约束关系，d_ii＝∑_ja_ij是度矩阵D＝diag{d₁₁,…,d_NN}的元素，排序函数的定义如下：

S^*＝(I-βΛ)^-1s, (5)

其中，这里的I是图G的单位矩阵，参数β＝1/(1+μ)用来控制流形排序中一元和二元对势的平衡，Λ＝D^-1/2AD^-1/2是归一化的拉普拉斯矩阵。

4.根据权利要求3所述的基于暗通道先验和区域协方差检测图像中显著物体的方法，其特征在于：

步骤4通过视觉特征来计算区域协方差的具体步骤为：

所提出的模型使用图像超像素的协方差矩阵作为显著性估计的源特征；提取输入图像的视觉特征，包括亮度、方向、清晰度和频谱；

亮度特征L(x,y)：从Lab颜色空间中的亮度分量得到；

方向特征：测量图像在水平和垂直方向上的梯度值；

清晰度特征：清晰度特征Shar(x,y)通过灰度图像的卷积在垂直和水平方向上的高斯一阶导数来计算；

其中，g(x,y)表示灰度图像；和表示分别在垂直和水平方向上的高斯一阶导数；σ是高斯滤波器的比例；

频谱特征：频谱特征Spec(x,y)通过对数谱和振幅之间的差异来测量；

基于视觉特征，图像将转换为五维特征向量：

对于每个超像素SP(i)内F，它表示为5×5协方差矩阵：

这里{f_i(x,y)}i＝1,…,n表示SP(i)内部五维特征点和μ^*这些点的平均值；

两个协方差矩阵之间的差异表示为：

其中，{λ_d(C₁,C₂)}_d＝1,…,5是C₁和C₂的广义特征值。

5.根据权利要求4所述的基于暗通道先验和区域协方差检测图像中显著物体的方法，其特征在于：

步骤5中基于区域协方差来进行显著性估计的具体步骤为：

给定输入的雾天图像，将其抽象为超像素并构造图模型；对于每个超像素SP(i),i＝1,…,N，定义其超像素区域的局部显著性R_i为R_i，通过加协方差之间的协方差R_i及其周围区域R_j的对比度来计算，j＝1,…,M_i；对于局部显著性估计，根据其亲和力矩阵找到局部显著性R_i；局部显著性R_i的计算如下：

其中，M_i是R_i的亲和力矩阵数，d(R_i,R_j)为R_i和R_j之间的差异，计算为：

其中ρ(C_i,C_j)表示C_i和C_j之间的协方差矩阵，c^*(i)和c^*(i)分别R_i和Rj的中心；

对于全局显著性估计，选择全局显著性R_I作为R_i的周围地区，R_i和R_I之间的差异d′(R_i,R_I)通过下式来获得：

其中，ρ(C_i,C_I)为C_I和R_I之间的协方差矩阵，c^*(i)是图像中心。

6.根据权利要求5所述的基于暗通道先验和区域协方差检测图像中显著物体的方法，其特征在于：

步骤6中对图像进行基于扩散的显著性优化的具体步骤为：

在计算所有超像素区域的显著性之后获得种子矢量s，其中包含每个图节点的显著性值；然后使用由公式(1)给出的扩散过程和由公式(3)给出的暗通道先验来优化结果；超像素SP(i)的显著性值由以下构成：

S_saliency(SP(i))＝d^*×s(SP(i))×I_dark(SP(i)), (13)

两个不同的显著性图通过局部和全局方法得到的S_local和S_global来获得；最后通过加权几何平均值来整合这两个显著性图，计算如下：

S_map＝S_local ^ε×S_global ^1-ε, (14)

其中，0≤ε≤1，且ε＝0.5通常会提供良好的性能；

最终产生的显著性图S_map，将其归一化在[0,1]区间，归一化显著图的计算如下：

该显著图在雾天图像显著对象检测中具有突出的性能。