CN104463855A - 一种基于频域和空域结合的显著区域检测方法 - Google Patents

Abstract

本发明一种基于频域和空域结合的显著区域检测方法，包括如下步骤：步骤1、对原图像分别在频域中和空域中进行不同的分块处理；步骤2、从频率域和空间域两个方面，计算每一个图像块的显著性，并求出显著图；步骤3、将图像在频域的显著图与空域的显著图通过加权几何平均融合成一张最终的显著图。本发明分别在频域和空域中分块和处理，获取图像的频域显著图和空域显著图，再融合生成最终的显著图，实时性比较高，能快速得到显著图，而且复杂度低、简单易行。

Description

一种基于频域和空域结合的显著区域检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于频域和空域结合的显著区域检测方法。

背景技术

视觉显著性是使一个对象，人或像素相对其邻域脱颖而出从而吸引他人的注意力的感知质量。图像的显著区域检测就是寻找图像中可能引起人眼视觉注意的区域。人类能够迅速观察到图像中较为引人注意的重要部分，并把注意力集中到自己感兴趣的目标，从而可以很容易判断出图像中的显著性区域。同时，在一些不利条件下(如高度杂乱的场景)，人类仍具有相对卓越的对象识别能力。显著区域检测可以有效地用于自动缩放“有趣的”区域或自动裁剪图像中“重要的”区域。对象识别算法可以借助于显著性检测的结果，迅速定位视觉上突出的候选显著区域，这样能够有效减少杂乱背景的影响，从而提高显著物体识别的性能。

通过对人类视觉系统注意机制的分析将显著区域检测主要分为两大类别：一类是基于自底向上的视觉注意机制，其视觉信息处理过程完全由底层数据驱动，与高层知识无关，根据图像的低级特性(如边缘、亮度、颜色、方向)来计算图像区域的显著性。另一类是基于自顶向下的视觉注意机制，是一种与任务相关的控制加工过程，由高层知识的观察任务所驱动，针对图像的特定高级特征来计算图像区域的显著性。利用视觉注意力模型提取图像的显著性区域，为进一步实现对基于人类感兴趣区域的图像检索奠定了基础。

尽管在过去多年的研究中，业界对图像的低层特征和高层特征进行了广泛的研究，然而图像的显著性特征依旧复杂而难以确定。因此，有必要进行开发研究，以提供一种实时性比较高，能快速得到显著图，而且复杂度低、简单易行的方案。

发明内容

为解决上述问题，本发明的目的在于提供一种基于频域和空域结合的显著区域检测方法，其实时性比较高，能快速得到显著图，而且复杂度低、简单易行。

为实现上述目的，本发明的技术方案为：

一种基于频域和空域结合的显著区域检测方法，包括如下步骤：

步骤1、对原图像分别在频域中和空域中进行不同的分块处理；

步骤2、从频率域和空间域两个方面，计算每一个图像块的显著性，并求出显著图；

步骤3、将图像在频域的显著图与空域的显著图通过加权几何平均融合成一张最终的显著图。

进一步地，步骤1中，在频域显著性的计算中将原始图像划分成具有75％重叠的32×32的图像块；在空域显著性的计算中则将图像划分成具有50％重叠的8×8的图像块。

进一步地，步骤2中，计算频域显著性，具体步骤为：

1)首先将图像转化为灰度图像，再对划分后的每一个图像块进行二维离散傅里叶变换转换到频率域：

$B(u,v)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}b(x,y)e^{-j2\mathrm{\π}(\frac{\mathrm{ux}}{M}+\frac{\mathrm{vy}}{N})}---\left(10\right)$

其中b(x,y)和B(u,v)分别表示图像块中的每个像素点在空间域和频率域中的位置，N和M是图像的高度和宽度。

2)求取频域中图像块的傅里叶振幅谱：

A(x,y)＝[R(x,y)²+I(x,y)²]^1/2    (11)

其中R(x,y)和I(x,y)分别表示傅里叶频谱的实部和虚部。

3)变换图像的傅里叶振幅谱，将频域中图像块的每个幅度值减去该图像块的幅度均值：

A(x,y)＝|A(x,y)-mean(A(x,y))|    (12)

4)求取每个图像块b的频域显著性S₁(b)：

$S_1\left(b\right)=\left\{\begin{array}{cc}|a\left(b\right)-m\left(G\right)|,& \mathrm{\Δ}\left(b\right)\≤T_1\mathrm{or\μ}\left(b\right)\≤T_2,\\ 0,& \mathrm{else},\end{array}\right.---\left(13\right)$

其中a_(b)为每个块b的振幅谱均值，m_(G)为整幅图像G的频域均值，

Δ(b)＝max(L(b))-min(L(b))    (14)

μ(b)＝mean(L(b))    (15)

分别代表亮度值块L(b)＝(h+kb)^η最大值与最小值之间的差值以及其平均值，在L(b)的计算中h＝0.7656，k＝0.0364和η＝2.2，为RGB色彩空间的显示条件。对于阈值T1，T2，假设输入图像块所包含的象素值在0到255的范围内，由经验可选择T1＝5和T2＝2。

进一步地，步骤2中，计算空域显著性，具体步骤为：

a)首先将图像转化为灰度图像，再对划分后的每一个图像小块p^(k)求取像素点之间的差异值：

$D_{\left(k\right)}\left(p\right)=\frac{1}{255}|\max \left(p_{\left(k\right)}\right)-\min \left(p_{\left(k\right)}\right)|---\left(16\right)$

其中k＝{1,2,…,n}，n是在8×8的图像块b中所包含的所有2×2小块p的数目。

b)在图像块b所划分的n个小图像块中，选取具有最大像素差异值的块，将该块的像素差异值作为图像块b的显著值，求得每个图像块b的空域显著性S₂(b)：

S₂(b)＝max{D₍₁₎(p),D₍₂₎(p),…,D_(k)(p),…,D_(n)(p)}    (17)

进一步地，步骤3中，由每个图像块b的频域显著性S₁(b)和空域显著性S₂(b)求得图像G的频域显著图S₁(G)与空域显著图S₂(G)，再通过加权几何平均融合成一张最终的显著图S₃(G)：

S₃(G)＝S₁(G)^ε×S₂(G)^1-ε    (18)

其中0≤ε≤1，且ε＝0.5。

本发明基于频域和空域结合的显著区域检测方法对输入图像分别在频域和空域中分块和处理，获取图像的频域显著图和空域显著图，再融合生成最终的显著图，实时性比较高，能快速得到显著图，而且复杂度低、简单易行。本发明方法的准确率要高于其他方法，同时可以突出整个显著物体。并且对于一些背景较复杂的图像，能够很好的提取出与人类视觉系统观察规律相一致显著性目标。

附图说明

图1为本发明方法流程图示。

图2为使用本发明方法完成图像中显著区域检测的一实例图示，其中：

(a)为原图像，(b)为灰度图像，(c)为频域显著图，(d)为空域显著图，(e)为融合后的最终显著图，(f)为显著图的二值图。

图3为使用本发明方法完成显著区域检测的显著图与现有的图像显著性检测方法所得到的显著图的对比图示，其中：

(a)为原图像，(b)为与原图相对应的用矩形标出显著物体的图像，(c-h)分别为采用本发明方法、SR方法、NP方法、S3方法、GBVS方法、Itti方法所得到的显著图。

图4为使用本发明方法完成显著区域检测的效果与现有的图像显著性检测方法的效果的ROC曲线对比图，其中：各曲线分别表示本发明方法、SR方法、NP方法、S3方法、GBVS方法、Itti方法的ROC曲线。

具体实施方式

本发明实施例提供了一种基于频域和空域结合的显著区域检测方法，对输入图像分别在频域和空域中分块和处理，获取图像的频域显著图和空域显著图，再融合生成最终的显著图，实时性比较高，能快速得到显著图，而且复杂度低、简单易行。本发明方法的准确率要高于其他方法，同时可以突出整个显著物体。并且对于一些背景较复杂的图像，能够很好的提取出与人类视觉系统观察规律相一致显著性目标。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本发明的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

以下分别进行详细说明。

本发明一种基于频域和空域结合的显著区域检测方法，首先对待处理的图像分别在频域和空域中进行分块，然后计算图像的频域显著性和空域显著性，再通过加权几何平均将频域的显著图与空域的显著图融合成一张最终的显著图。

参照图1所示，本发明一种基于频域和空域结合的显著区域检测方法包括如下步骤：

步骤1、对原图像分别在频域中和空域中进行不同的分块处理；

具体地，步骤1中，对图像分块处理的方法具体参数为：在频域显著性的计算中将原始图像划分成具有75％重叠的32×32的图像块；在空域显著性的计算中则将图像划分成具有50％重叠的8×8的图像块。

步骤2、从频率域和空间域两个方面，对每一个图像块计算其显著性，并求出显著图；

步骤2中，频域显著性计算的具体步骤为：

1)首先将图像转化为灰度图像，再对划分后的每一个图像块进行二维离散傅里叶变换转换到频率域：

$B(u,v)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}b(x,y)e^{-j2\mathrm{\π}(\frac{\mathrm{ux}}{M}+\frac{\mathrm{vy}}{N})}---\left(10\right)$

其中b(x,y)和B(u,v)分别表示图像块中的每个像素点在空间域和频率域中的位置，N和M是图像的高度和宽度。

2)求取频域中图像块的傅里叶振幅谱：

A(x,y)＝[R(x,y)²+I(x,y)²]^1/2    (11)

其中R(x,y)和I(x,y)分别表示傅里叶频谱的实部和虚部。

3)变换图像的傅里叶振幅谱，将频域中图像块的每个幅度值减去该图像块的幅度均值：

A(x,y)＝|A(x,y)-mean(A(x,y))|    (12)

4)求取每个图像块b的频域显著性S₁(b)：

$S_1\left(b\right)=\left\{\begin{array}{cc}|a\left(b\right)-m\left(G\right)|,& \mathrm{\Δ}\left(b\right)\≤T_1\mathrm{or\μ}\left(b\right)\≤T_2,\\ 0,& \mathrm{else},\end{array}\right.---\left(13\right)$

其中a_(b)为每个块b的振幅谱均值，m_(G)为整幅图像G的频域均值，

Δ(b)＝max(L(b))-min(L(b))    (14)

μ(b)＝mean(L(b))    (15)

分别代表亮度值块L(b)＝(h+kb)^η最大值与最小值之间的差值以及其平均值，在L(b)的计算中h＝0.7656，k＝0.0364和η＝2.2，为RGB色彩空间的显示条件。对于阈值T1，T2，假设输入图像块所包含的象素值在0到255的范围内，由经验可选择T1＝5和T2＝2。

步骤2中，空域显著性计算的具体步骤为：

a)首先将图像转化为灰度图像，再对划分后的每一个图像小块p^(k)求取像素点之间的差异值：

$D_{\left(k\right)}\left(p\right)=\frac{1}{255}|\max \left(p_{\left(k\right)}\right)-\min \left(p_{\left(k\right)}\right)|---\left(16\right)$

其中k＝{1,2,…,n}，n是在8×8的图像块b中所包含的所有2×2小块p的数目。

b)在图像块b所划分的n个小图像块中，选取具有最大像素差异值的块，将该块的像素差异值作为图像块b的显著值，求得每个图像块b的空域显著性S₂(b)：

S₂(b)＝max{D₍₁₎(p),D₍₂₎(p),…,D_(k)(p),…,D_(n)(p)}    (17)

步骤3、将图像在频域的显著图与空域的显著图通过加权几何平均融合成一张最终的显著图。

步骤3中，由每个图像块b的频域显著性S₁(b)和空域显著性S₂(b)求得图像G的频域显著图S₁(G)与空域显著图S₂(G)，再通过加权几何平均融合成一张最终的显著图S₃(G)：

S₃(G)＝S₁(G)^ε×S₂(G)^1-ε    (18)

其中0≤ε≤1，且ε＝0.5时通常会产生最好的融合效果。

如图2所示，图2(a)为原始图像，图2(b)为该原始图像所对应的灰度图像，图2(c)为频域显著性计算所得的频域显著图，图2(d)为空域显著性计算所得的空域显著图，图2(e)为将频域显著图和空域显著图融合后所得的最终显著图，图2(f)为最终显著图经过二值化后所得二值图。

将本发明方法所得的显著图与现有的图像显著性检测方法所得到的显著图的检测效果对比，结果如图3所示，其中图3(a)为原始图像，图3(b)与原始图相对应的人工矩形的正确的视觉显著物体，图3(c)分别为本发明方法所求得的显著图，图3(d)为X.Hou等人所提出的SR方法的检测结果，图3(e)为N.Murray等人所提出的NP方法的检测结果，图3(f)为C.T.Vu等人所提出的S3方法的检测结果，图3(g)为J.Harel等人所提出的GBVS方法，图3(h)为L.Itti等人所提出的Itti方法的检测结果。将这些方法所检测出的显著物体与图3(b)所标记的显著物体对比，重合度越高，表明显著性检测的质量越高。

如图4所示，各曲线分别表示本发明的方法、SR方法、NP方法、S3方法、GBVS方法、Itti方法的ROC(Receiver Operating Characteristic Curve)曲线。ROC曲线能很好反映出显著性检测中命中率与误报率之间的关系，曲线下的面积越大，则可以反应出检测的准确性越高，可以看出本专利的结果要由于其他五种方法的结果。各显著性检测方法所花费的时间如表1所示。

表1.本发明与五种显著性检测方法所花费的时间对比(单位：秒)。

本发明方法	SR方法	NP方法	S3方法	GBVS方法	Itti方法
						0.85	0.25	1.69	8.61	2.68	0.94

可见，本发明提高了传统显著性检测的鲁棒性，能够高效的获得更加准确的图像显著图，同时对于一些背景较复杂的图像，也能够很好的提取出显著性目标。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于频域和空域结合的显著区域检测方法，其特征在于，包括如下步骤：

步骤1、对原图像分别在频域中和空域中进行不同的分块处理；

步骤2、从频率域和空间域两个方面，计算每一个图像块的显著性，并求出显著图；

步骤3、将图像在频域的显著图与空域的显著图通过加权几何平均融合成一张最终的显著图。

2.如权利要求1所述基于频域和空域结合的显著区域检测方法，其特征在于：步骤1中，在频域显著性的计算中将原始图像划分成具有75％重叠的32×32的图像块；在空域显著性的计算中则将图像划分成具有50％重叠的8×8的图像块。

3.如权利要求2所述基于频域和空域结合的显著区域检测方法，其特征在于：步骤2中，计算频域显著性，具体步骤为：

1)首先将图像转化为灰度图像，再对划分后的每一个图像块进行二维离散傅里叶变换转换到频率域：

$B(u,v)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}b(x,y)e^{-j2\mathrm{\π}(\frac{\mathrm{ux}}{M}+\frac{\mathrm{vy}}{N})}---\left(10\right)$

其中b(x,y)和B(u,v)分别表示图像块中的每个像素点在空间域和频率域中的位置，N和M是图像的高度和宽度。

2)求取频域中图像块的傅里叶振幅谱：

A(x,y)＝[R(x,y)²+I(x,y)²]^1/2  (11)

其中R(x,y)和I(x,y)分别表示傅里叶频谱的实部和虚部。

3)变换图像的傅里叶振幅谱，将频域中图像块的每个幅度值减去该图像块的幅度均值：

A(x,y)＝|A(x,y)-mean(A(x,y))|  (12)

4)求取每个图像块b的频域显著性S1(b)：

$S_1\left(b\right)=\left\{\begin{array}{cc}|a\left(b\right)-m\left(G\right)|,& \mathrm{\Δ}\left(b\right)\≤T_1\mathrm{or\μ}\left(b\right)\≤T_2,\\ 0,& \mathrm{else},\end{array}\right.---\left(13\right)$

其中a_(b)为每个块b的振幅谱均值，m_(G)为整幅图像G的频域均值，

Δ(b)＝max(L(b))-min(L(b))  (14)

μ(b)＝mean(L(b))  (15)

分别代表亮度值块L(b)＝(h+kb)^η最大值与最小值之间的差值以及其平均值，在L(b)的计算中h＝0.7656，k＝0.0364和η＝2.2，为RGB色彩空间的显示条件。对于阈值T1，T2，假设输入图像块所包含的象素值在0到255的范围内，由经验可选择T1＝5和T2＝2。

4.如权利要求3所述基于频域和空域结合的显著区域检测方法，其特征在于：步骤2中，计算空域显著性，具体步骤为：

a)首先将图像转化为灰度图像，再对划分后的每一个图像小块p(k)求取像素点之间的差异值：

$D_{\left(k\right)}\left(p\right)=\frac{1}{255}|\max \left(p_{\left(k\right)}\right)-\min \left(p_{\left(k\right)}\right)|---\left(16\right)$

其中k＝{1,2,…,n}，n是在8×8的图像块b中所包含的所有2×2小块p的数目。

b)在图像块b所划分的n个小图像块中，选取具有最大像素差异值的块，将该块的像素差异值作为图像块b的显著值，求得每个图像块b的空域显著性S₂(b)：

S₂(b)＝max{D₍₁₎(p),D₍₂₎(p),…,D_(k)(p),…,D_(n)(p)}  (17)

5.如权利要求4中所述基于频域和空域结合的显著区域检测方法，其特征在于：

步骤3中，由每个图像块b的频域显著性S₁(b)和空域显著性S₂(b)求得图像G的频域显著图S₁(G)与空域显著图S₂(G)，再通过加权几何平均融合成一张最终的显著图S₃(G)：

S₃(G)＝S₁(G)^ε×S₂(G)^1-ε  (18)

其中0≤ε≤1，且ε＝0.5。