CN105787930A - 基于锐利度的针对虚化图像的显著性检测方法及系统 - Google Patents

Abstract

本发明提供了一种基于锐利度的针对虚化图像的显著性检测方法及系统，通过提取锐利度地图来确定清晰前景的位置，然后在清晰前景区域进行第一层显著性地图提取，进一步采用一种对分辨率变化不敏感的算法来计算模糊背景的显著性地图，最后采用一定的融合准则将两层显著性地图进行融合得到最终的显著性地图。大量实验表明，本发明可以达到非常好的检测效果，为虚化图像的压缩、增强、分割、检索等应用提供了指导。

Description

基于锐利度的针对虚化图像的显著性检测方法及系统

技术领域

本发明涉及显著性检测技术领域，具体地，涉及一种精确的基于锐利度的针对虚化图像的显著性检测方法及系统。

背景技术

显著性检测是图像处理领域一个经典的话题。显著性模型旨在检测给定图像中人眼感兴趣的区域，在过去的十几年中，几十种显著性模型已经被提出并且广泛地应用到了计算机视觉、计算机图形学和机器人学等领域。显著性模型已经经过了二十七年的发展，1998年，LaurentItti的一篇文章《基于显著性的迅速场景分析视觉模型》将显著性模型的研究带入了新的时代，这篇文章奠定了显著性模型的基本框架。随后，显著性模型开始了蓬勃发展，至今已经涌现出了四十余种显著性模型，并且被成功应用到了图像分割、质量评价、图像匹配、图像与视频压缩、图像重建、图像与视频压缩、场景分类、目标检测以及机器人视觉等领域。关于显著性的进一步研究意义重大。

显著性模型的目的是设计某种方法，并利用计算机将原图片进行处理，从而自动得到一幅显著性地图。显著性地图是一副灰度图像，在这幅灰度图像中，值越高的像素点显著性越强。显著性是衡量人眼对某个区域感兴趣程度的概念，显著性地图的值越大，该区域对人眼的吸引力越强。随着越来越多的显著性检验模型的提出，同一副原始图片可以通过不同的显著性模型得到多个不同的显著性地图(SaliencyMap)，为了衡量这些显著性地图的质量，多种评价准则也应运而生，最为常用的是AUC、CC以及NSS评价准则。

Itti&Koch模型由LaurentItti等人在1998年提出，堪称现代显著性模型的基础，这种较为完善的显著性模型的结构主要包括：(1)中心-周边偏差和正规化；(2)在颜色、光强度和方向三个主要的特征频道中提取出子地图；(3)规模交叉结合和正规化；(4)“胜者为王”(Winner-take-all)机制；(5)利用一定的融合规则将子地图融合为最终的综合显著性地图。这个模型创建了基于二值化高斯金字塔的多规模显著性地图，利用了图像处理领域中的高斯金字塔的图片下采样方法，并且结合了低通滤波器来提取子地图。

Torralba模型是由AntonioTorralba等人于2003年提出的，这个模型强调的是全局显著性区域的检测和由上下文作为线索的检测。这个模型结合了自底向上(bottom-up)显著性理论、场景语义和自顶向下(top-down)显著性理论来进行图片的预处理，能够在多种类型的图片上取得较好的效果。

AIM模型是由NeilD.B和JohnK.Tsotsos在2005年提出的，这个方法含有下采样函数，AIM采用了一种新颖的信息最大化机制来监测显著性区域，这主要基于神经网络的模型和人眼视觉系统(HVS)之间的强相关性。

GBVS模型是一个自底向上的模型，这个模型在2006年提出，这是一个多尺度的显著性模型，它只能用来处理大于128×128像素的图片。GBVS中主要的操作是在各个特征频道建立激活地图并且采用强调一致性的正规化函数。

ImageSignature模型是由XiaodiHou等人在2012年提出的，这个模型中默认设置是输入图片必须被下采样为64×64像素的矩阵。下采样后的函数被分为前景部分和背景部分，这两部分可以在离散余弦变换中分开。这个模型在近似预测镶嵌在极端稀疏的背景中的稀疏前景中可以获得很好的性能。所以我们在两个颜色空间内详细探究了这个模型在多空间分辨率中的性能。

SUN模型是由LingyunZhang等人在2008年提出的，这个模型是基于贝叶斯框架和自然图片统计规律的模型。自底向上的显著性区域被看做是自信息而总体的显著性区域被看做互信息。SUN模型在预测自由视角下的人眼关注点的测试中表现很好。

AWS模型是由AntonGarcia-Diaz等人在2010年提出的，这个模型提供了控制下采样的参数，它采用了视觉显著性量级、分层次光学变量结构来生成显著性地图。

Murray模型是由NailaMurray等人在2011年提出的，这个模型主要关注的是空间信息合成和参数最优化。交叉规模的合成规则在这个方法中是通过基于规模权重值的反小波变化来进行的。

RARE2012模型是NicolasRiche等人提出的，该模型在NSS性能评价体系中表现很好。

随着单反相机、高性能拍照手机的普及，越来越多的背景虚化图片进入人们的生活，背景虚化是一种常见的拍照技术，这种技术能够提升人眼对图片的主观感受，突出图片的主题，增加图片的艺术性和美感，该类图片的特点是背景部分被不同程度地虚化(虚化相当于对图像的一部分进行模糊处理)，而前景部分则保持清晰。如何计算这种图片的显著性地图是一个全新的问题。

综上所述，虚化的实质是图片的局部模糊，而且虚化图片显著性建模的难点和重点是未虚化区域的提取以及显著性计算，为此设计一种全新的适用于虚化图片的显著性方法是很有意义的。

发明内容

虚化图像的显著性模型之前一直没有得到系统的研究，而传统的模型也无法满足需求。

根据本发明的第一个目的，提供一种基于锐利度的针对虚化图像的显著性检测方法，以解决上述问题。

具体的，所述基于锐利度的针对虚化图像的显著性检测方法，包括以下步骤：

步骤一：获取原始图像的锐利度地图：采用基于频谱、基于空域以及基于边缘相结合的方法来计算锐利度地图；

步骤二：阈值分割：基于步骤一得到的原始图像的锐利度地图，通过二分法进行阈值分割，找到锐利度符合设定条件的像素，然后算出这部分像素区域的中心坐标，即为清晰前景区域的中心；

步骤三：获取前景显著性地图：采用Center-Surround滤波器来进行处理，得到初步的显著性地图，然后利用步骤二中得到的中心坐标进行虚化偏移，即采用一个以中心坐标为中心的高斯核对初步显著性地图进行加权，得到前景显著性地图；

步骤四：获取模糊背景的显著性地图：采用显著性模型GBVS来计算模糊背景的显著性地图；

步骤五：将步骤三和步骤四中得到的显著性地图进行融合，形成最终的显著性地图。

本发明步骤一中：采用频域方法、空域方法和边缘方法相结合的算法来提取锐利度地图，以保证锐利度地图的准确性和完整性，其中，频域方法和空域方法来自S3模型中提供的方法，边缘检测提供了边缘区域的特殊锐利像素点，保证了检测的完整性。

本发明步骤三中：采用Itti&Koch模型来进行前景显著性地图的提取，原因是该模型计算方便快捷，而且能够保证计算的准确性。通过Itti&Koch的显著性模型来计算清晰前景显著性地图，然后对得到的前景显著性地图进行高斯加权偏移，突出前景区域对人眼注意力的强烈吸引。

本发明步骤二中采用二分法进行快速阈值分割，从而快速、准确地定位清晰的前景区域。

本发明步骤三中采用一个以清晰前景的中心坐标为中心的高斯函数对清晰前景区域进行加权偏移。由于高斯函数能够很好地模拟人眼对清晰前景注意力集中的特性，从而突出清晰前景对人眼的吸引力。

本发明步骤四中：采用GBVS显著性模型对模糊背景进行显著性检测，通过系统的实验测试发现，GBVS模型是对低分辨率最鲁棒的显著性算法，从而保证虚化背景的显著性区域也能被完整地检测出来。

本发明步骤五中：采用线性加权模型池化两个显著性地图，得到最终的检测结果。这种池化方式能够取得很好的性能。

根据本发明的第二个目的，提供一种基于锐利度的针对虚化图像的显著性检测系统，所述系统包括：

原始图像的锐利度地图获取模块：该模块采用基于频谱、基于空域以及基于边缘相结合的方法来计算锐利度地图；

阈值分割模块：该模块基于原始图像的锐利度地图获取模块得到的原始图像的锐利度地图，通过二分查找来找到锐利度最大的前百分之十的像素，然后算出这部分区域的中心坐标，即为清晰前景区域的中心；

前景显著性地图获取模块：该模块采用Center-Surround滤波器来进行处理，得到初步的显著性地图，然后利用阈值分割模块得到的中心坐标进行虚化偏移，即采用一个以中心坐标为中心的高斯核对初步显著性地图进行加权，得到前景显著性地图；

模糊背景的显著性地图获取模块：该模块采用对低分辨率更鲁棒的显著性模型GBVS来计算模糊背景的显著性地图；

融合模块：该模块将前景显著性地图获取模块和模糊背景的显著性地图获取模块得到的显著性地图进行融合，形成最终的显著性地图。

与现有技术相比，本发明具有以下有益效果：

本发明采用锐利度来区分前景和背景区域，通过提取锐利度地图来确定清晰前景的位置，然后在清晰前景区域进行第一层显著性地图(前景显著性地图)提取，进一步采用一种对分辨率变化不敏感的算法来获取模糊背景的显著性地图，最后将两层显著性地图进行融合得到最终的显著性地图。大量实验表明，可以达到非常好的检测效果，为虚化图像的压缩、增强、分割、检索等应用提供了指导。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明方法的实施流程图；

图2为本发明系统的原理框图。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

当前经典的显著性模型都是以全清晰的自然图片为参考进行建模，但是在生活中，这种全清晰的图片只是一种理想的条件，在一些特定的场合，要想得到全清晰图片是不可能的。另一方面，虚化图片也凭借自身优势得到了越来越多人们的青睐：主题鲜明，艺术感强，蕴含丰富的深度信息，能够实现镜头语言的充分表达，因此设计了一种全新的适用于虚化图片的显著性模型。

虚化是一种十分常见并且深受广大摄影爱好者喜欢的摄影形式，即通过对降低背景区域的分辨率来突出图像的前景主题。生活中存在着大量的虚化图像。我们首先建立了一个包含162张图像的虚化数据库SJTUBokehDatabase。虚化图像具有主题鲜明，艺术感强，表现力强的特点。虚化图像的显著性模型之前一直没有得到系统的研究，而传统的模型也无法满足需求。

如图1所示，为本发明一种针对虚化图像的基于锐利度的针对虚化图像的显著性检测方法流程图，包括：

步骤一：获取原始图像的锐利度地图：采用基于频谱、基于空域以及基于边缘相结合的方法来计算锐利度地图；

步骤二：阈值分割：基于步骤一得到的原始图像的锐利度地图，通过二分法进行阈值分割，找到锐利度符合设定条件的像素，然后算出这部分像素区域的中心坐标，即为清晰前景区域的中心；

步骤三：获取前景显著性地图：采用Center-Surround滤波器来进行处理，得到初步的显著性地图，然后利用步骤二中得到的中心坐标进行虚化偏移，即采用一个以中心坐标为中心的高斯核对初步显著性地图进行加权，得到前景显著性地图；

步骤四：获取模糊背景的显著性地图：采用显著性模型GBVS来计算模糊背景的显著性地图；

步骤五：将步骤三和步骤四中得到的显著性地图进行融合，形成最终的显著性地图。

如图2所示，对应于上述方法步骤，一种基于锐利度的针对虚化图像的显著性检测系统，包括：

原始图像的锐利度地图获取模块：该模块采用基于频谱、基于空域以及基于边缘相结合的方法来计算锐利度地图；

阈值分割模块：该模块基于原始图像的锐利度地图获取模块得到的原始图像的锐利度地图，通过二分查找来找到锐利度最大的前百分之十的像素，然后算出这部分区域的中心坐标，即为清晰前景区域的中心；

前景显著性地图获取模块：该模块采用Center-Surround滤波器来进行处理，得到初步的显著性地图，然后利用阈值分割模块得到的中心坐标进行虚化偏移，即采用一个以中心坐标为中心的高斯核对初步显著性地图进行加权，得到前景显著性地图；

模糊背景的显著性地图获取模块：该模块采用对低分辨率更鲁棒的显著性模型GBVS来计算模糊背景的显著性地图；

融合模块：该模块将前景显著性地图获取模块和模糊背景的显著性地图获取模块得到的显著性地图进行融合，形成最终的显著性地图。

上述的各个步骤和其对应的模块，其具体的实现细节如下：

本发明中，锐利度的提取是十分关键的步骤，决定方法的准确性，因此必须全方位考虑能够对锐利度造成影响的因素，包括空域，频域以及像素级边缘对锐利度的影响。

本发明方法采用分级处理，可分为两个级别，第一级为局部计算，第二级为全局计算。局部计算的目的是将虚化图片中的清晰前景区域找出来，并在这一区域中进行第一级显著性地图计算。为分析清晰前景和虚化背景之间的区别，本发明采用锐利度作为重要特征来区分二者。

现有的锐利度计算方式主要有频域方法、空域方法和边缘方法。频域方法首先将图片通过DCT或者DFT变换，得到对应的DCT或DFT系数，然后根据频谱的相位能量密度谱峰值来估计锐利度；空域方法的原理是通过计算图像相邻像素之间的方差来估计锐利度；边缘方法首先计算出图像的边缘，然后计梯度方向上的边缘宽度以及灰度值对比度来估计锐利度。现有的算法中比较有效的计算锐利度的算法是S3算法，这种算法结合了频域和空域的方法来评估锐利度，本发明在S3方法上进行了改进，在空域方法和频域方法之外又结合了边缘方法，最终生成了更加精确和鲁棒的锐利度地图。

其中，频域锐利度地图生成：

S3方法在频域上计算锐利度时，首先将大小为m×n的图片进行DFT变换得到Y(f，θ)，其中f为径向频率，θ为方向，二者的计算公式如下：

$f=\[{\left(\frac{u}{m/2}\right)}^2+{\left(\frac{v}{n/2}\right)}^2\]---\left(1\right)$

$\mathrm{\θ}=\arctan \left(\frac{v}{u}\right)---\left(2\right)$

其中，m和n分别为图像像素点的高度和宽度，u和v为图像经过DFT变换后得到的DFT指数。得到f和θ之后，计算所有方向上的幅度谱总和Z：

Z＝∑_θ|Y(f,θ)|(3)

最后，画出log(Z)和log(f)之间的关系图，称为Z-f曲线，用一条直线去拟合Z-f曲线，最终求出的拟合直线的斜率可以用来评估锐利度S₁。

空域锐利度地图生成：

S3方法在空域上计算大小为2×2的像素块之间的方差，然后取总体方差的最大值来代表空域的锐利度：

$v\left(x\right)=\frac{1}{255}{\mathrm{\Σ}}_{i,j}\left|x_i-x_j\right|---\left(4\right)$

$S_2=\frac{1}{4}\max \left(v\right(x\left)\right)---\left(5\right)$

其中，对图像中每一个2×2的子块，i和j分别代表该子块中的两个不同的像素点，相应地，x_i和x_j分别为像素i和j对应的像素值，v(x)代表的是该2×2的子块的方差，S₂代表空域锐利度地图。

边缘锐利度地图生成：

在得到空域和频域锐利度之后进一步计算边缘锐利度。首先用canny算子计算出图像的所有边缘，由韦伯—费西纳定律可知，人类的感觉与刺激强度之间的关系是这样的：人的所有感觉，包括视觉、听觉、触觉、味觉、嗅觉、电击感觉，是与刺激强度的对数成正比，而不是与刺激强度成线性关系，因此本发明提出了这样的模型：

$S_e=A\×\frac{log\left(I\right)}{\log \left(W\right)}---\left(6\right)$

其中，S_e是边缘锐利度，I是边缘处梯度正方向上的像素点与梯度负方向上的像素点之间的亮度差，W是对应的边缘宽度，对I和W取对数是基于生理学研究成果，A为自由参数，在本发明的部分实施例中设置为1，可以取得较好的效果。本发明对边缘进行像素级别的处理，通过寻找与领域像素之间的联系将其归一化为0°、45°、90°、135°、180°、225°、270°、315°八个方向，然后在梯度正方向上长度为3的像素范围内找一个灰度值最大的点P1(x₁，y₁)，在梯度反方向上找一个灰度值最小的点P2(x₂，y₂)，I_P1和I_P2分别是P1和P2的灰度值，那么有：

$I=\frac{I_{P_1}}{I_{P_2}}---\left(7\right)$

W＝(x₁-x₂)²+(y₁-y₂)²(8)

在得到S₁、S₂、S_e之后，采用类似于S3模型中的融合方式将三种锐利度进行融合，得到最终的锐利度地图S：

$S={S_1}^{\frac{1}{3}}\×{S_2}^{\frac{1}{3}}\×{S_{\mathrm{\θ}}}^{\frac{1}{3}}---\left(9\right).$

对于步骤二，将会通过阈值分割提取清晰前景区域。

清晰前景定位方法：

在得到锐利度地图后，本发明通过阈值分割的方法来提取锐利度地图中最锐利的部分，也就是虚化图片中的清晰前景部分。阈值分割是图像分割的常用手段，在一实施例中本发明采用迭代二分法来提取锐利度地图中最锐利的前百分之十的锐利度值所对应的区域：

(1)计算锐利度地图的平均锐利度值S₀，统计锐利度地图中锐利值非负的像素点的总个数N₀；

(2)令S_a＝S₀，以S_a为阈值进行分割，大于阈值的像素点被标定为正，小于阈值的像素点被标定为负，统计正像素点的总个数，记为N_i；

(3)如果结束，否则，其中S_max为锐利度最大值；

(4)得到锐利度地图中最锐利的前百分之十的点，即图像清晰前景的位置，这时得到全新的锐利度地图记为S_f；

对于步骤三，计算清晰前景的显著性地图：

本发明以锐利度作为线索得到了最锐利的前景区域的位置，又由于背景虚化图片往往聚焦于一个较小的、集中度很高的区域，根据之前得到的锐利度地图S_f中非零点的位置信息，计算其横纵坐标的算数平均数，得到清晰前景位置的坐标中心[X,Y]。离中心坐标越近的位置，越接近清晰前景，而远离坐标中心的部分明显是虚化背景，因此本发明提出一个计算距离信息的算子：

$D_{(i,j)}=\exp \[-\frac{{(i-X)}^2+{(j-Y)}^2}{2{\mathrm{\δ}}^2}\]---\left(10\right)$

其中，[X,Y]是清晰前景的中心坐标，(i,j)是图像待处理像素点的坐标，δ是自由参数，在本发明一实施例中取δ＝0.5，可以取得很好的效果，D_(i，j)是像素点(i,j)与坐标中心的距离度量。本发明采用指数模型的原因是考虑到了虚化技术的特点：位于集中的、小范围的清晰区域内的景物对人眼视觉显著性有强烈的引导作用，一旦偏离这个区域，显著性急剧下降，甚至不会引起人眼注意，这一点符合指数函数的特征，离中心坐标较近的区域内的距离度量缓慢下降，而远离中心坐标的区域的距离度量急剧下降甚至趋于零。本发明得到的距离度量准则可以作为掩模对第一级显著性地图进行加权，从而统一加强清晰前景部分并且显著抑制虚化背景部分。

在第一级显著性计算(前景的显著性地图)中，采用的是Itti等人的方法：从颜色、光强、方向等三个特征频道出发，进行空域显著性建模，然后根据距离度量和中心-周围偏差算子得到显著性子地图，最后通过融合得到第一级显著性地图：

$M_{local}=D\×(\frac{1}{3}\×C+\frac{1}{3}\×I+\frac{1}{3}\×O)---\left(11\right)$

其中，D为公式(10)中计算得到的距离信息掩膜，C，I和O分别为Itti&Koch模型中所用到的颜色，光强度以及方向特征。

对于步骤四：对模糊背景进行第二层显著性地图检测：

第二级显著性计算将会重点检测虚化背景区域的显著性地图。由于不同的图片有不同的虚化程度，因此对分辨率最鲁棒的显著性模型是最合理的选择。本发明采用GBVS来对图像全局进行显著性地图计算，得出了第二级显著性地图M_global(背景的显著性地图)。

为了对本发明进行科学有效的测试，建立了一个标准化的虚化图像数据库。图像虚化程度取决于主观条件和客观条件，其中主观条件为相机的焦距、光圈和快门快慢设置，焦距越长、光圈越大、快门越快，对应的虚化程度越大，客观条件为绝对景深和相对景深，绝对景深为拍摄环境的层次感，即背景的距离；相对景深为聚焦点所在的前景物体与背景之间的距离，绝对景深和相对景深越大，对应的虚化程度越强。我们首先建立了一个虚化数据库，这个数据库包含两组数据，一组为81张480×720像素的背景虚化的自然图片，包含了不同景深、不同中心偏差的图片；另一组为对照组，由81张480×720像素的全清晰的相同场景图片组成。采用CannonEOS5DⅢ相机拍摄图片，在拍摄过程中严格控制主观条件：保持快门时间、焦距不变，只调节光圈大小来改变图像的虚化程度。此外，前景虚化往往会集中在前景中一个非常集中的区域，这个区域内所有景物的分辨率是一致的(均保持原始分辨率)，而虚化背景的分辨率相比原始分辨率严重降低，因此分级显著性模型的关键问题在于如何定位到前景清晰的区域，并且重点计算其显著性，与此同时还需确保在模糊背景上也能取得较好的显著性检测效果。

针对虚化图像数据库，需要采集相应的眼动数据作为真实参考值，因此在一实施例中，通过TobiiT60&T120眼动仪采集了15个测试者的眼动数据，得到了相应的人眼关注地图，完善了数据库的信息。

对于步骤五：最终将两级显著性地图进行融合得到最终的显著性地图M，采用的融合规则如下：

M＝α×M_local+(1-a)×M_global(12)

公式中的α是一个介于0到1之间的数，它控制两级显著性地图的权重，在本发明中采用α＝0.7作为其取值，取得了较好的效果。

将本发明提出的方法与其他当前最主流的方法进行性能对比：

表1显著性模型的AUC，CC，NSS性能得分

通过计算分级模型和其余十二种经典的显著性模型的AUC，NSS，CC分数，并且进行了性能比较。定量比较结果在表格1中进行了详细展示。注意到传统模型在虚化测试数据库上的性能相比在标准数据库例如MIT300数据库上的性能有了明显的下降，这个结果说明传统的显著性方法并不适用于虚化图片的显著性检测。相比传统的方法在标准库和虚化库上的性能，本发明提出的方法在虚化库上得到了最好的AUC，CC和NSS分数。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于锐利度的针对虚化图像的显著性检测方法，其特征在于，包括以下步骤：

步骤一：获取原始图像的锐利度地图：采用基于频谱、基于空域以及基于边缘相结合的方法来计算锐利度地图；

步骤二：阈值分割：基于步骤一得到的原始图像的锐利度地图，通过二分法进行阈值分割，找到锐利度符合设定条件的像素，然后算出这部分像素区域的中心坐标，即为清晰前景区域的中心；

步骤三：获取前景显著性地图：采用Center-Surround滤波器来进行处理，得到初步的显著性地图，然后利用步骤二中得到的中心坐标进行虚化偏移，即采用一个以中心坐标为中心的高斯核对初步显著性地图进行加权，得到前景显著性地图；

步骤四：获取模糊背景的显著性地图：采用显著性模型GBVS来计算模糊背景的显著性地图；

步骤五：将步骤三和步骤四中得到的显著性地图进行融合，形成最终的显著性地图。

2.根据权利要求1所述的一种基于锐利度的针对虚化图像的显著性检测方法，其特征在于，步骤一中：采用频域方法、空域方法和边缘方法相结合的算法来提取锐利度地图，以保证锐利度地图的准确性和完整性，其中，频域方法和空域方法来自S3模型中提供的方法，边缘检测提供了边缘区域的特殊锐利像素点，保证了检测的完整性。

3.根据权利要求2所述的一种基于锐利度的针对虚化图像的显著性检测方法，其特征在于，所述采用频域方法、空域方法和边缘方法相结合的算法，其中：频域方法首先将图片通过DCT或者DFT变换，得到对应的DCT或DFT系数，然后根据频谱的相位能量密度谱峰值来估计锐利度；空域方法通过计算图像相邻像素之间的方差来估计锐利度；边缘方法首先计算出图像的边缘，然后计梯度方向上的边缘宽度以及灰度值对比度来估计锐利度；最终生成更加精确和鲁棒的锐利度地图。

4.根据权利要求3所述的一种基于锐利度的针对虚化图像的显著性检测方法，其特征在于，所述步骤一，实现操作如下：

频域锐利度地图生成：

S3方法在频域上计算锐利度时，首先将大小为m×n的图片进行DFT变换得到Y(f，θ)，其中f为径向频率，θ为方向，二者的计算公式如下：

$f=\[{\left(\frac{u}{m/2}\right)}^2+{\left(\frac{v}{n/2}\right)}^2\]---\left(1\right)$

$\mathrm{\θ}=\arctan \left(\frac{v}{u}\right)---\left(2\right)$

其中，m和n分别为图像像素点的高度和宽度，u和v为图像经过DFT变换后得到的DFT指数；得到f和θ之后，计算所有方向上的幅度谱总和Z：

Z＝Σ_θ|Y(f，θ)|(3)

最后，画出log(Z)和log(f)之间的关系图，称为Z-f曲线，用一条直线去拟合Z-f曲线，最终求出的拟合直线的斜率可以用来评估锐利度S₁；

空域锐利度地图生成：

S3方法在空域上计算大小为2×2的像素块之间的方差，然后取总体方差的最大值来代表空域的锐利度：

$v\left(x\right)=\frac{1}{255}{\Σ}_{i,j}\left|x_i-x_j\right|---\left(4\right)$

$S_2=\frac{1}{4}\max \left(v\right(x\left)\right)---\left(5\right)$

其中，对图像中每一个2×2的子块，i和j分别代表该子块中的两个不同的像素点，相应地，x_i和x_j分别为像素i和j对应的像素值，v(x)代表的是该2×2的子块的方差，S₂代表空域锐利度地图；

边缘锐利度地图生成：

在得到空域和频域锐利度之后进一步计算边缘锐利度，首先用canny算子计算出图像的所有边缘：

$S_e=A\×\frac{\log \left(I\right)}{\log \left(W\right)}---\left(6\right)$

其中，S_e是边缘锐利度，I是边缘处梯度正方向上的像素点与梯度负方向上的像素点之间的亮度差，W是对应的边缘宽度，对I和W取对数是基于生理学研究成果，A为自由参数，A设置为1；

对边缘进行像素级别的处理，通过寻找与领域像素之间的联系将其归一化为0°、45°、90°、135°、180°、225°、270°、315°八个方向，然后在梯度正方向上长度为3的像素范围内找一个灰度值最大的点P1(x₁，y₁)，在梯度反方向上找一个灰度值最小的点P2(x₂，y₂)，I_P1和I_P2分别是P1和P2的灰度值，那么有：

$I=\frac{I_{P_1}}{I_{P_2}}---\left(7\right)$

W＝(x₁-x₂)²+(y₁-y₂)²(8)

在得到S₁、S₂、S_e之后，采用类似于S3模型中的融合方式将三种锐利度进行融合，得到最终的锐利度地图S：

$S={S_1}^{\frac{1}{3}}\×{S_2}^{\frac{1}{3}}\×{S_{\mathrm{\θ}}}^{\frac{1}{3}}---\left(9\right).$

5.根据权利要求1-4任一项所述的一种基于锐利度的针对虚化图像的显著性检测方法，其特征在于，步骤二中：找到锐利度符合设定条件的像素，是指：通过二分查找来找到锐利度最大的前百分之十的像素，从而提取清晰前景区域。

6.根据权利要求5所述的一种基于锐利度的针对虚化图像的显著性检测方法，其特征在于，所述通过二分查找来找到锐利度最大的前百分之十的像素，从而提取清晰前景区域，是指：

1)计算锐利度地图的平均锐利度值S₀，统计锐利度地图中锐利值非负的像素点的总个数N₀；

2)令S_a＝S₀，以S_a为阈值进行分割，大于阈值的像素点被标定为正，小于阈值的像素点被标定为负，统计正像素点的总个数，记为N_i；

3)如果结束，否则，其中S_max为锐利度最大值；

4)得到锐利度地图中最锐利的前百分之十的点，即图像清晰前景的位置，这时得到全新的锐利度地图记为S_f。

7.根据权利要求6所述的一种基于锐利度的针对虚化图像的显著性检测方法，其特征在于，根据得到的锐利度地图S_f中非零点的位置信息，计算其横纵坐标的算数平均数，得到清晰前景位置的中心坐标[X,Y]，离中心坐标越近的位置，越接近清晰前景，而远离坐标中心的部分明显是虚化背景，像素点(i,j)与坐标中心的距离度量采用以下算子计算：

$D_{(i,j)}=\exp \[-\frac{{(i-X)}^2+{(j-Y)}^2}{2{\mathrm{\δ}}^2}\]---\left(10\right)$

其中，[X,Y]是清晰前景的中心坐标，(i,j)是图像待处理像素点的坐标；δ是自由参数，取δ＝0.5，D_(i，j)是像素点(i,j)与坐标中心的距离度量。

8.根据权利要求1所述的一种基于锐利度的针对虚化图像的显著性检测方法，其特征在于，步骤五中：显著性地图进行融合得到最终的显著性地图M，采用的融合规则如下：

M＝α×M_local+(1-α)×M_global(12)

公式中：M_local、M_global分别是步骤三、步骤四中得到的显著性地图，α是一个介于0到1之间的数。

9.根据权利要求8所述的一种基于锐利度的针对虚化图像的显著性检测方法，其特征在于，α＝0.7。

10.一种用于实现权利要求1-9任一项所述方法的基于锐利度的针对虚化图像的分层结构显著性检测系统，其特征在于，包括：

原始图像的锐利度地图获取模块：该模块采用基于频谱、基于空域以及基于边缘相结合的方法来计算锐利度地图；

阈值分割模块：该模块基于原始图像的锐利度地图获取模块得到的原始图像的锐利度地图，通过二分查找来找到锐利度最大的前百分之十的像素，然后算出这部分区域的中心坐标，即为清晰前景区域的中心；

前景显著性地图获取模块：该模块采用Center-Surround滤波器来进行处理，得到初步的显著性地图，然后利用阈值分割模块得到的中心坐标进行虚化偏移，即采用一个以中心坐标为中心的高斯核对初步显著性地图进行加权，得到前景显著性地图；

模糊背景的显著性地图获取模块：该模块采用对低分辨率更鲁棒的显著性模型GBVS来计算模糊背景的显著性地图；

融合模块：该模块将前景显著性地图获取模块和模糊背景的显著性地图获取模块得到的显著性地图进行融合，形成最终的显著性地图。