CN104537681A - 一种谱分离的视觉显著区域提取方法及系统 - Google Patents

Abstract

本发明涉及一种谱分离的视觉显著区域提取方法及系统，所述方法包括：图像变换模块对图像进行FFT变换，并提取图像的二维幅度谱和二维相位谱；中值滤波模块对图像的二维幅度谱进行中值滤波运算，并将中值滤波后的幅度谱和原相位谱相加；图像逆变换模块对所述相加后的图像谱进行傅里叶逆变换，得到视觉显著图；显著区域处理模块对所述显著图进行显著候选区域的分割和聚合。本方案通过谱分离的方法，完整保留了图像在结构及灰度方面的显著信息，得到了图像的显著图；并通过形态学的方法对显著图进行分割和增强，将图像的显著区域提取出来，提高了视觉显著区域提取的准确性。

Description

一种谱分离的视觉显著区域提取方法及系统

技术领域

本发明涉及图像处理领域，尤其涉及一种谱分离的视觉显著区域提取方法及系统。

背景技术

视觉显著性广泛应用在目标识别，目标跟踪，图像配准等领域。根据图像处理的域不同，视觉显著模型可以分为基于空间域和基于变换域的。目前经典的视觉显著模型一是对视觉注意机制直接建模的Itti模型，该模型由于从人眼视觉注意的生理机制出发建立，模型比较复杂，处理的实时性差；另外一类是基于变换域的，经典的算法有PCT脉冲余弦变换(Pulsed Cosine Transform，PCT)法、谱残余(Spectral Residual,SR)法和相位谱傅立叶变换(Phase Speetrum ofFourier Transform,PFT)方法。但上述几种变换域的方法都存在一个共同点，那就是以不同的形式或方法舍弃或大部分舍弃了幅度谱信息，所以，上述几种视觉注意算法经常突出物体的轮廓以及纹理密集的高频区域，因此适用于边缘和纹理丰富的一大类图像。但对于另一类图像，它们的边缘和纹理信息非常模糊，但灰度层次多，对比度强，对这类图像，上述方法提取的显著图效果均不理想。实际上，图像的幅度谱包含了另一类重要信息—灰度信息。在图像的频域特征中，图像的相位谱保留的是图像重要的结构特征信息，即相位谱含较多纹理和结构信息；而幅度谱含有的是图像的灰度信息，对于灰度信息丰富的图像，这部分信息是不能去除的。因此对于此种图像，应该研究适合的视觉显著区域提取算法。

发明内容

针对背景技术中出现的问题，本发明提出一种谱分离的视觉显著区域提取方法，包括显著图的生成、分割和增强，所述方法包括以下步骤：

图像变换模块对图像进行FFT变换，并提取图像的二维幅度谱和二维相位谱；

中值滤波模块对图像的二维幅度谱进行中值滤波运算，并将中值滤波后的幅度谱和原相位谱相加；

图像逆变换模块对所述相加后的图像谱进行傅里叶逆变换，得到视觉显著图；

显著区域处理模块对所述显著图进行显著候选区域的分割和聚合。

优选的是，所述对图像进行FFT变换方法如下：

$F(u,v)=\frac{1}{M*N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}f(x,y)e^{\frac{-j2\mathrm{\πux}}{M}}{e}^{\frac{-j2\mathrm{\πvy}}{N}}=\left|F(u,v)\right|e^{\mathrm{j\φ}(u,v)};$

|F(u,v)|＝[R²(u,v)+I²(u,v)]^1/2；

$\mathrm{\φ}(u,v)=\arctan \left(\frac{I(u,v)}{R(u,v)}\right).$

在上述任一方案中优选的是，所述中值滤波运算方法：S(u,v)＝G*|F(u,v)|。

在上述任一方案中优选的是，所述中值滤波模板G采用3*3或5*5大小。

在上述任一方案中优选的是，所述中值滤波后的幅度谱和原相位谱相加计算方法为：

D(u,v)＝S(u,v)*cos(φ(u,v))+j*S(u,v)*sin(φ(u,v))。

在上述任一方案中优选的是，对所述相加后的图像谱进行傅里叶逆变换得到显著图的计算公式：

$\mathrm{SM}(x,y)=\mathrm{IFFT}\left(D(u,v)\right)=\frac{1}{M*N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}D(u,v)e^{\frac{j2\mathrm{\πux}}{M}}{e}^{\frac{j2\mathrm{\πvy}}{N}}.$

在上述任一方案中优选的是，所述对显著图进行显著候选区域的分割包括以下步骤：

对已计算出的目标显著性增强图进行自适应阈值分割获得二值图；

得到初始的二值目标候选区域集合。

在上述任一方案中优选的是，所述对显著图进行显著候选区域的聚合包括：采用形态学二值闭操作进行聚合。

本发明还提供了一种谱分离的视觉显著区域提取系统，包括显著图的生成、分割和增强，所述系统包括以下模块：

图像变换模块，用于对图像进行FFT变换，并提取图像的二维幅度谱和二维相位谱；

中值滤波模块，用于对图像的二维幅度谱进行中值滤波运算，并将中值滤波后的幅度谱和原相位谱相加；

图像逆变换模块，用于对所述相加后的图像谱进行傅里叶逆变换，得到视觉显著图；

显著区域处理模块，用于对所述显著图进行显著候选区域的分割和聚合。

优选的是，所述对图像进行FFT变换公式如下：

$F(u,v)=\frac{1}{M*N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}f(x,y)e^{\frac{-j2\mathrm{\πux}}{M}}{e}^{\frac{-j2\mathrm{\πvy}}{N}}=\left|F(u,v)\right|e^{\mathrm{j\φ}(u,v)};$

|F(u,v)|＝[R²(u,v)+I²(u,v)]^1/2；

$\mathrm{\φ}(u,v)=\arctan \left(\frac{I(u,v)}{R(u,v)}\right).$

在上述任一方案中优选的是，所述中值滤波运算公式：S(u,v)＝G*|F(u,v)|。

在上述任一方案中优选的是，所述中值滤波模板G采用3*3或5*5大小。

在上述任一方案中优选的是，所述中值滤波后的幅度谱和原相位谱相加计算公式：

D(u,v)＝S(u,v)*cos(φ(u,v))+j*S(u,v)*sin(φ(u,v))。

在上述任一方案中优选的是，对所述相加后的图像谱进行傅里叶逆变换得到显著图的计算公式：

$\mathrm{SM}(x,y)=\mathrm{IFFT}\left(D(u,v)\right)=\frac{1}{M*N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}D(u,v)e^{\frac{j2\mathrm{\πux}}{M}}{e}^{\frac{j2\mathrm{\πvy}}{N}}.$

在上述任一方案中优选的是，所述显著区域处理模块包括：分割模块，用于对已计算出的目标显著性增强图进行自适应阈值分割获得二值图，得到初始的二值目标候选区域集合。

在上述任一方案中优选的是，所述显著区域处理模块包括：聚合模块，用于完成形态学二值闭操作。

本发明提供的技术方案从图像的场景特点出发，通过分离图像的幅度谱和相位谱，既保留了图像的结构信息又保留了有用的灰度信息，并通过形态学的方法将其进行分割，提高了视觉显著区域提取的准确度、降低了虚警率。具体来说：通过将图像的二维幅度谱和二维相位谱分离，完全保留了图像的相位谱，即保留了图像的结构信息；同时，对二维幅度谱进行中值滤波，有效去除了图像灰度中的冗余信息，使得视觉显著图更加完整。即提取的显著图不仅包括显著目标的边缘，还包括边缘内部的内容，也就是图像幅度谱包含的内容。

本发明采用的FFT/IFF算法、中值滤波算法等，算法成熟且复杂度较低，实时性和稳定性都较高以及采用形态学的方法对视觉显著图先后进行提取和增强，实验证明，先提取再增强比先增强再提取，分割得到的显著区域的准确性更高，虚警率也更低。可见，本发明通过谱分离的方法，完整保留了图像在结构及灰度方面的显著信息，得到了图像的显著图；并通过形态学的方法对显著图进行分割和增强，将图像的显著区域提取出来，提高了视觉显著区域提取的准确性。

附图说明

图1是按照本发明的基于谱分离的视觉显著区域提取方法一优选实施例的流程图。

图2是按照本发明的基于谱分离的视觉显著区域提取方法另一实施例的流程图。

具体实施方式

下面参照附图结合示例性的实施例对本发明进行详细描述。

实施例1：

如图1所示，本实施例提供了一种谱分离的视觉显著区域提取方法，包括显著图的生成、分割和增强，所述方法包括以下步骤：

图像变换模块对图像进行FFT变换，并提取图像的二维幅度谱和二维相位谱；中值滤波模块对图像的二维幅度谱进行中值滤波运算，并将中值滤波后的幅度谱和原相位谱相加；图像逆变换模块对所述相加后的图像谱进行傅里叶逆变换，得到视觉显著图；显著区域处理模块对所述显著图进行显著候选区域的分割和聚合。

本实施例所述方案通过谱分离的方法，完整保留了图像在结构及灰度方面的显著信息，得到了图像的显著图；并通过形态学的方法对显著图进行分割和增强，将图像的显著区域提取出来，提高了视觉显著区域提取的准确性。

实施例2：

如图2所示，视觉显著区域的提取包括显著图的生成和显著图的分割和增强，包含如下步骤：对图像进行FFT变换，提取图像的二维幅度谱和二维相位谱；对图像的二维幅度谱进行中值滤波；将中值滤波后的幅度谱和原相位谱相加；对相加后的图像谱进行傅里叶逆变换，得视觉显著图；显著候选区域的分割；显著候选区域聚合。针对灰度信息丰富的一类图像，本发明通过分离幅度谱和相位谱，既保留了图像的结构信息，又利用中值滤波去除了图像灰度中的冗余信息，不仅提高了视觉显著区域提取的准确性，而且可以提高视觉显著区域提取的速度。

具体而言，本实施例中：

(1)对图像进行FFT变换，提取图像的幅度谱和相位谱。图像的傅里叶变换的计算方法如下：

$F(u,v)=\frac{1}{M*N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}f(x,y)e^{\frac{-j2\mathrm{\πux}}{M}}{e}^{\frac{-j2\mathrm{\πvy}}{N}}=\left|F(u,v)\right|e^{\mathrm{j\φ}(u,v)}$   (式1)

|F(u,v)|＝[R²(u,v)+I²(u,v)]^1/2  (式2)

$\mathrm{\φ}(u,v)=\arctan \left(\frac{I(u,v)}{R(u,v)}\right)$   (式3)

其中，f(x,y)表示像素(x,y)的灰度值，M*N为图像的大小，|F(u,v)|为傅里叶变换后图像的幅度谱(Amplitude Speetrum)，φ(u,v)为图像的相位谱(Phase Speetrum)。利用二维傅里叶变换将输入图像从空间域变换到频率域，得到图像的两种频域特征：幅度谱和相位谱。

(2)对图像的二维幅度谱进行中值滤波，方法如下：

S(u,v)＝G*|F(u,v)|  (式4)

式4中，G代表中值滤波模板，一般采用3*3或5*5大小的滤波模板。

(3)将中值滤波后的图像S和相位相结合：

D(u,v)＝S(u,v)*cos(φ(u,v))+j*S(u,v)*sin(φ(u,v))  (式5)

(4)通过傅里叶逆变换得到所谓的显著图：

$\mathrm{SM}(x,y)=\mathrm{IFFT}\left(D(u,v)\right)=\frac{1}{M*N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}D(u,v)e^{\frac{j2\mathrm{\πux}}{M}}{e}^{\frac{j2\mathrm{\πvy}}{N}}$   (式6)

式6中IFFT(·)代表傅里叶逆变换。SM(x,y)就是得到的显著图。

本发明采用“先提取再增强”的方法。首先通过自适应阈值分割的方法得到显著区域，因为显著图SM不是二值图像，而是灰度图像，灰度值反映的是图像中各像素点的显著性程度；然后除去面积过小的零散区域和过大的区域；最后经过膨胀，填充区域的孔和洞，得到最终的显著区域。概括起来，本发明将显著区域SM_B的增强及提取过程表示如下：

SM_B＝CL(B(SM))  (式7)

其中，SM_B是二值的显著图，B(·)表示Otsu自适应阈值分割方法，CL(·)表示形态学二值闭操作。其中，自适应阈值分割和形态学二值运算的具体方法如：

(5)显著候选区域的分割。对已计算出的目标显著性增强图SM_Tile进行自适应阈值分割获得二值图SMB_Tile。自适应门限由T_B＝u-σ计算得到，其中，u及σ分别表示SM_Tile的灰度均值及标准差。同时，得到初始的二值目标候选区域集合为：表示其中第i个二值连通区域的面积。根据任务或经验，可将其限制于去除面积尺寸不合理的目标候选区域。

(6)显著候选区域聚合。由于图像自身灰度分布的不均匀性，经过上一步骤输出的二值图像中，对应于同一显著物的像素区域往往不能形成连通区域，给目标信息的提取带来了困难。为将属于同一显著物的区域尽量连通，先采用形态学二值闭操作对其进行聚合，使得许多“断裂”区域能得到连通，部分“空洞”也得到填补。

本实施例提供的技术方案从图像的场景特点出发，通过分离图像的幅度谱和相位谱，既保留了图像的结构信息又保留了有用的灰度信息，并通过形态学的方法将其进行分割，提高了视觉显著区域提取的准确度、降低了虚警率。

实施例3：

本实施例提供了一种谱分离的视觉显著区域提取系统，包括显著图的生成、分割和增强，所述系统包括以下模块：图像变换模块，用于对图像进行FFT变换，并提取图像的二维幅度谱和二维相位谱；中值滤波模块，用于对图像的二维幅度谱进行中值滤波运算，并将中值滤波后的幅度谱和原相位谱相加；图像逆变换模块，用于对所述相加后的图像谱进行傅里叶逆变换，得到视觉显著图；显著区域处理模块，用于对所述显著图进行显著候选区域的分割和聚合。所述对图像进行FFT变换公式如下：

$F(u,v)=\frac{1}{M*N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}f(x,y)e^{\frac{-j2\mathrm{\πux}}{M}}{e}^{\frac{-j2\mathrm{\πvy}}{N}}=\left|F(u,v)\right|e^{\mathrm{j\φ}(u,v)};$

|F(u,v)|＝[R²(u,v)+I²(u,v)]^1/2；

$\mathrm{\φ}(u,v)=\arctan \left(\frac{I(u,v)}{R(u,v)}\right).$

所述中值滤波运算公式：S(u,v)＝G*|F(u,v)|。

所述中值滤波模板G采用3*3或5*5大小。所述中值滤波后的幅度谱和原相位谱相加计算公式：

D(u,v)＝S(u,v)*cos(φ(u,v))+j*S(u,v)*sin(φ(u,v))。

对所述相加后的图像谱进行傅里叶逆变换得到显著图的计算公式：

$\mathrm{SM}(x,y)=\mathrm{IFFT}\left(D(u,v)\right)=\frac{1}{M*N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}D(u,v)e^{\frac{j2\mathrm{\πux}}{M}}{e}^{\frac{j2\mathrm{\πvy}}{N}}.$

所述显著区域处理模块包括：分割模块，用于对已计算出的目标显著性增强图进行自适应阈值分割获得二值图，得到初始的二值目标候选区域集合。所述显著区域处理模块包括：聚合模块，用于完成形态学二值闭操作。

本实施例所述方案从图像的场景特点出发，通过分离图像的幅度谱和相位谱，既保留了图像的结构信息又保留了有用的灰度信息，并通过形态学的方法将其进行分割，提高了视觉显著区域提取的准确度、降低了虚警率。具体来说：通过将图像的二维幅度谱和二维相位谱分离，完全保留了图像的相位谱，即保留了图像的结构信息；同时，对二维幅度谱进行中值滤波，有效去除了图像灰度中的冗余信息，使得视觉显著图更加完整。即提取的显著图不仅包括显著目标的边缘，还包括边缘内部的内容，也就是图像幅度谱包含的内容。

其自身采用的FFT/IFF算法、中值滤波算法等，算法成熟且复杂度较低，实时性和稳定性都较高以及采用形态学的方法对视觉显著图先后进行提取和增强，实验证明，先提取再增强比先增强再提取，分割得到的显著区域的准确性更高，虚警率也更低。可见，本方案通过谱分离的方法，完整保留了图像在结构及灰度方面的显著信息，得到了图像的显著图；并通过形态学的方法对显著图进行分割和增强，将图像的显著区域提取出来，提高了视觉显著区域提取的准确性。

实施例4：

本实施例中，提供了一种基于边缘显著度的EFMT异源图像配准方法，所述方法包括以下步骤：步骤a.边缘提取模块提取参考图像和待配准图像的边缘图像；步骤b.计算模块将所述边缘图像变换到对数－极坐标域，并计算所述对数－极坐标域图像的相位相关，得到图像的旋转角度和尺度因子；步骤c.图像变换模块根据所述旋转角度和尺度因子对所述待配准图像进行图像变换，边缘提取模块提取所述变换后图像的边缘图像；步骤d.计算模块计算步骤c中所述边缘图像和步骤a中参考图像的边缘图像的相位相关，得到图像平移参数。其中，所述边缘图像的提取方法包括时域边缘检测法，所述边缘图像指二值边缘图像。所述步骤b中计算模块将所述边缘图像变换到对数－极坐标域后，进一步包括：对所述对数－极坐标域的图像进行互功率谱运算(即相位相关运算)；计算图像的旋转角度和尺度因子；计算扶正图像的边缘图像；计算扶正图像的边缘图像同参考图像的边缘图像的相位相关，得到平移参数；根据平移参数对扶正图像进行平移变换得到配准后的图像。本实施例所述方案同传统的FMT配准算法相比，其参与相位相关计算的不是高通滤波后的对数—极坐标图像，而是边缘的对数—极坐标图像。由于边缘图像相比高通滤波，包含了更详细的图像结构信息，因此进一步提高图像配准的精度；同时，由于参与运算的是二值边缘图像，参与运算的图像数据大大减少，配准的速度也得到进一步提高。

实施例5：

本实施例提供了一种异源图像配准系统，所述系统包括以下模块：边缘提取模块，用于提取参考图像和待配准图像的边缘图像以及变换后图像的边缘图像；计算模块，用于将边缘图像变换到对数－极坐标域，并计算所述对数－极坐标域的相位相关，得到图像的旋转角度和尺度因子以及计算得到图像的平移参数；图像变换模块，所述图像变换模块根据所述旋转角度和尺度因子对所述待配准图像进行图像旋转和尺度变换以及根据平移参数对图像进行平移变换。其中，所述边缘提取模块进一步包括时域边缘检测模块，所述边缘图像包括二值边缘图像。所述计算模块进一步用于：对所述对数－极坐标域的图像进行互功率谱运算；计算图像的旋转角度和尺度因子；所述边缘提取模块进一步用于计算扶正图像的边缘图像；所述图像变换模块进一步用于根据参数对扶正图像进行平移变换得到配准后的图像。本实施例所述方案提高了图像配准的精度，同时，由于参与运算的是二值边缘图像，参与运算的图像数据大大减少，配准的速度也得到进一步提高。

为了更好地理解本发明，以上结合具体实施例对本发明作了详细说明。但是，显然可对本发明进行不同的变型和改型而不超出权利要求限定的本发明更宽的精神和范围。因此，以上实施例具有示例性而没有限制的含义。

Claims (10)

1.一种谱分离的视觉显著区域提取方法，包括显著图的生成、分割和增强，其特征在于，所述方法包括以下步骤：

图像变换模块对图像进行FFT变换，并提取图像的二维幅度谱和二维相位谱；

中值滤波模块对图像的二维幅度谱进行中值滤波运算，并将中值滤波后的幅度谱和原相位谱相加；

图像逆变换模块对所述相加后的图像谱进行傅里叶逆变换，得到视觉显著图；

显著区域处理模块对所述显著图进行显著候选区域的分割和聚合。

2.根据权利要求1所述的视觉显著区域提取方法，其特征在于，所述对图像进行FFT变换方法如下：

$F(u,v)=\frac{1}{M*N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}f(x,y)e^{\frac{-j2\mathrm{\πux}}{M}}{e}^{\frac{-j2\mathrm{\πvy}}{N}}=\left|F(u,v)\right|e^{\mathrm{j\φ}(u,v)};$

$\left|F(u,v)\right|={[R^2(u,v)+I^2(u,v)]}^{1/2};$

$\mathrm{\φ}(u,v)=\arctan \left(\frac{I(u,v)}{R(u,v)}\right).$

3.根据权利要求1所述的视觉显著区域提取方法，其特征在于，所述中值滤波运算方法：S(u,v)＝G*|F(u,v)|。

4.根据权利要求3所述的视觉显著区域提取方法，其特征在于，所述中值滤波模板G采用3*3或5*5大小。

5.根据权利要求1所述的视觉显著区域提取方法，其特征在于，所述中值滤波后的幅度谱和原相位谱相加计算方法为：

D(u,v)＝S(u,v)*cos(φ(u,v))+j*S(u,v)*sin(φ(u,v))。

6.根据权利要求1所述的视觉显著区域提取方法，其特征在于，对所述相加后的图像谱进行傅里叶逆变换得到显著图的计算公式：

$\mathrm{SM}(x,y)=\mathrm{IFFT}\left(D(u,v)\right)=\frac{1}{M*N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}D(u,v)e^{\frac{j2\mathrm{\πux}}{M}}{e}^{\frac{j2\mathrm{\πvy}}{N}}.$

7.根据权利要求1所述的视觉显著区域提取方法，其特征在于，所述对显著图进行显著候选区域的分割包括以下步骤：

对已计算出的目标显著性增强图进行自适应阈值分割获得二值图；

得到初始的二值目标候选区域集合。

8.根据权利要求1所述的视觉显著区域提取方法，其特征在于，所述对显著图进行显著候选区域的聚合包括：采用形态学二值闭操作进行聚合。

9.一种谱分离的视觉显著区域提取系统，包括显著图的生成、分割和增强，其特征在于，所述系统包括以下模块：

图像变换模块，用于对图像进行FFT变换，并提取图像的二维幅度谱和二维相位谱；

中值滤波模块，用于对图像的二维幅度谱进行中值滤波运算，并将中值滤波后的幅度谱和原相位谱相加；

图像逆变换模块，用于对所述相加后的图像谱进行傅里叶逆变换，得到视觉显著图；

显著区域处理模块，用于对所述显著图进行显著候选区域的分割和聚合。

10.根据权利要求1所述的视觉显著区域提取系统，其特征在于，所述对图像进行FFT变换公式如下：

$F(u,v)=\frac{1}{M*N}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}f(x,y)e^{\frac{-j2\mathrm{\πux}}{M}}{e}^{\frac{-j2\mathrm{\πvy}}{N}}=\left|F(u,v)\right|e^{\mathrm{j\φ}(u,v)};$

$\left|F(u,v)\right|={[R^2(u,v)+I^2(u,v)]}^{1/2};$

$\mathrm{\φ}(u,v)=\arctan \left(\frac{I(u,v)}{R(u,v)}\right).$