CN103679170B

CN103679170B - 一种基于局部特征的显著区域检测方法

Info

Publication number: CN103679170B
Application number: CN201210345641.1A
Authority: CN
Inventors: 张为华; 吕超
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2012-09-17
Filing date: 2012-09-17
Publication date: 2017-04-12
Anticipated expiration: 2032-09-17
Also published as: CN103679170A

Abstract

本发明属于图像/视频检索技术领域，具体涉及一种基于局部特征的显著区域检测方法。本发明中将寻找显著区域的问题转化为定位图像中局部特征的密集区域，并可通过分割图像的方式定位多个局部特征的密集区域，其包括步骤：利用局部特征算法，获得特征检测阶段的图像特征点分布；检测图像是否存在多个显著区域，并以此将图像分割为多个区块；分别计算各个图像区块中局部特征的几何中心，从而获得图像的显著区域。本发明在准确度上与同类显著区域检测算法接近的情况下，可以获得上千倍的加速。

Description

一种基于局部特征的显著区域检测方法

技术领域

本发明属于图像/视频检索技术领域，具体涉及一种基于图像局部特征的显著区域检测方法。

背景技术

图像/视频检索技术已广泛应用于各个领域。随着图像数据爆炸式的增长，如何对海量的图像/视频数据进行高效检索受到了越来越多的关注。作为图像/视频检索的基础，图像的局部特征提取算法能有效提取图像的特征信息以供图像或视频做检索，在多媒体检索、网络内容过滤等系统中被广泛使用。

现有技术公开了图像/视频的检索算法通常可以分成如下两个阶段：特征提取阶段和特征匹配阶段。其中，特征提取阶段将图像的特征，包括图像的颜色特征，纹理特征，或是图像中的特征点等提取出来；特征匹配阶段通过比较两幅图像/视频帧的特征来判断两幅图像或视频帧是否匹配。但是，研究实践中发现，对于整张图像作局部特征提取将产生大量特征信息，大量的特征信息虽然保证了准确性，但是也带来一些缺点，如：一方面提取算法需要把这些点描述成具有不变特性的多维向量，特征点的数目过多会造成对这些点进行描述的过程需要更多的时间，同时更多的点也导致许多额外的存储开销；与此同时，特征点数目过多也造成图像匹配阶段需要对大量特征点进行比较，从而导致处理时间过长。由于人们通常只对图像中部分关键的区域感兴趣，而忽略非关键区域，因此常用的实现过程是：首先利用图像显著区域检测算法检测出图像的显著区域，再对图像显著区域上的特征进行提取，以此减少局部特征提取算法产生的特征信息。但由于常用的图像显著区域检测技术本身复杂度较高，虽然能够有效减少特征信息，但会造成在局部特征提取阶段的额外时间开销，其引入的时间开销有时会超过特征提取算法本身的计算开销。因此，该技术领域中，需要设计一种高效的显著区域检测技术，在引入较小时间开销的前提下有效检测出图像的关键区域。

通常，对于人脑或是计算机，对比度属性是最重要和最基本的特征。因此，研究者认为，可以根据对比度来检测及删选特征点。另一方面，不论是显著区域检测技术还是局部特征提取算法，本质上都是在图像金字塔上计算对比度特征，因此，本发明拟提供一种新的技术避免这样的重复计算以减小显著区域检测的开销。

发明内容

本发明的目的在于克服现有技术的缺陷，提供一种基于局部特征的显著区域检测方法，尤其是一种高效的基于图像局部特征的显著区域检测算法。

本发明提供的基于图像局部特征的显著区域检测算法，一方面通过显著区域计算，避免图像局部特征提取算法对整张图像做计算，以减少特征提取算法产生的特征信息，提高处理速度和减少存储开销；另一方面，利用这种技术能在损失较小的准确度的条件下快速检测出图像的显著区域，避免了引入其他显著区域检测算法而造成的额外计算开销。

本发明的基于局部特征的显著区域检测方法，其特征在于，利用图像局部特征的检测算法，获得图像局部特征点分布；检测图像是否存在多个显著区域，并以此将图像分割为多个区块；计算各个图像区块中局部特征在水平和垂直坐标轴上的平均坐标以及方差,从而获得显著区域的中心点和形状；其包括步骤：

[1]依据局部特征的分布对图像进行分割，

使用启发式的算法，分布从图像水平、垂直坐标轴的中心点开始，同时往前后两个方向扫描可能的图像分割，选出图像在水平和垂直方向上的分割点；

本发明中，目标分割需要至少满足以下两个条件；与图像中心位置尽可能的接近；分割上不可以存在局部特征，即局部特征是不可分割的；

[2]检测局部特征密集区域，

从数学上来看，平面上一簇点的算术平均值正是它们的几何中心，而从这个几何中心出发可以形成它们的中心区域；

本发明中，局部特征的中心区域非常接近图像的显著区域，因此图像显著区域的检测可以近似的转化为定位这些局部特征中心区域的问题。

本发明中，从时间复杂度上来看，实现中只涉及局部特征点的平均值和方差的计算，复杂度为O(N)；而当单张图像的局部特征点保持在一千到两千的范围时，实际系统中这部分的计算可忽略不计。

本发明中，在具体实施过程中，可以采用多种图像局部特征提取算法，一般采用SURF，SIFT或其变种。

本发明的优点在于：

1）本发明提供并实现了一种快速的显著区域检测技术；本发明在准确度上与同类显著区域检测算法接近的情况下，可以获得上千倍的加速；

2）本发明利用了局部特征提取算法中特征检测阶段产生的中间结果，避免引入其他显著区域算法造成的额外开销；

3）本发明中的算法可以处理多显著区域的情况。

为了便于理解，以下将通过具体的附图和实施例对本发明的基于局部特征的显著区域检测方法进行详细地描述。需要特别指出的是，具体实例和附图仅是为了说明，显然本领域的普通技术人员可以根据本文说明，在本发明的范围内对本发明做出各种各样的修正和改变，这些修正和改变也纳入本发明的范围内。

附图说明

图1为本发明所述基于局部特征的显著区域检测方法的计算过程示意图。

具体实施方式

实施例1采用图像局部特征提取算法

按下述步骤实现，

步骤1、计算局部特征点

使用当前主流的局部特征提取算法，如SURF算法或SIFT算法，作为图像局部特征提取算法，利用这些图像局部特征提取算法检测图像或视频帧的特征点的分布，之后进行显著区域计算，获得特征点的分布矩阵；

步骤2、依据局部特征点分布分割图像

经过步骤1，得到图像的局部特征点分布，基于这些特征点的分布，引入一个启发式的算法进行分割图像，以处理多显著区域的情况，具体步骤如下：1）分别从图像水平、垂直坐标轴的中心点开始，同时往前后两个方向扫描可能的图像分割；2）判断当前分割是否满足以下两个条件：当前分割上不存在任意局部特征；当前分割与图像中心的距离不超过一个常数（一般取图像边长的四分之一即可）；3）若找到满足条件的分割，算法停止并记录下相关的分割点，但若达到离图像中心的最大距离时依然未找到满足条件的分割，即认为此图像在水平或垂直方向不存在分割；

步骤3、计算局部特征的中心区域

依据上一步骤的区域划分，在各个图像区域中计算局部特征的中心区域，如之前所述，本实施例中使用特征点的几何中心近似计算局部特征的密集区域，具体包括：

[1]计算几何中心，局部特征的几何中心即所有特征点坐标的算术平均值，按公式（1），其中C(x，y)为中心坐标，P_i(x，y)为每个局部特征点的坐标；

[2]扩展为中心区域，得到中心坐标点后，进一步计算中心区域在水平坐标轴和垂直坐标轴上的方差σ_x和σ_y，并以此为依据得到中心区域的长宽比例σ_x/σ_y，水平坐标轴上的方差计算见公式（2），垂直坐标轴的计算同理，其中x_c即上一步中计算出的中心坐标；

依照计算出的中心区域长宽比例，逐步扩展中心区域，当中心区域包含的局部特征点达到一个阀值（如局部特征点总数的50％）即停止扩展，得到所求的局部特征密集区域，即图像的显著区域；

步骤4、显著区域的筛选

由于图像分割的关系，一些并不足够显著的区域会在图像的某个分块中被检测为整个图像的显著区域，因此，对步骤3找出的显著区域进行筛选，最终筛选出的显著区域应满足以下两个条件：1）区域中的局部特征点数量应大于一阀值（如进行图像特征点匹配要求的最小匹配点数）；2）区域中的局部特征点数不应远小于同一张图片中其他显著区域的特征点数，否则不足以作为整张图片的显著区域（例如找到的分割数为N，则每个区域中的特征点数不应小于各区域中最大特征点数的1/N）。

测试结果显示，本发明提供了一个基于SURF局部特征提取算法的具体实现，并在一台Intel Core2 Quad Q6600 2.4GHz的平台上，通过运行标准的1000张图片测试集获得表1中的测试结果；经与当下最先进的显著区域检测算法（IG算法，Radhakrishna Achantaetc,CVPR’2009）进行比较，如表1所示，通过向原SURF算法中增加显著区域检测阶段，可以将局部特征点减少到原数量的50％以下，并在SURF算法的特征点描述阶段获得2倍以上的性能加速；而同为显著区域检测算法的IG算法虽然在特征点过滤和精确度上稍高，但其引入的额外的显著区域检测开销远远大于本发明（接近一千倍），从而无法加速SURF算法的总运行时间，因此，本发明在时间开销和算法精度上更适宜于加速局部特征检测。

表1为SURF算法增加显著区域检测后的效果

Claims

1.一种基于局部特征的显著区域检测方法，其特征在于，利用图像局部特征的检测算法，获得图像局部特征点分布；检测图像是否存在多个显著区域，并以此将图像分割为多个区块；计算各个图像区块中局部特征点在水平和垂直坐标轴上的平均坐标以及方差,获得显著区域的中心点和形状；其包括步骤：

(1)依据局部特征点的分布对图像进行分割，

使用启发式的算法，分别从图像水平、垂直坐标轴的中心点开始，同时往前后两个方向扫描可能的图像分割，选出图像在水平和垂直方向上的分割点；

(2)检测局部特征点密集区域，

选平面上一簇点的算术平均值为几何中心，从该几何中心出发形成中心区域；覆盖局部特征点最密集的中心区域，即为图像的显著区域。

2.按权利要求1所述的基于局部特征的显著区域检测方法，其特征在于，所述步骤(1)中，目标分割需要至少满足两个条件：与图像中心位置尽可能的接近；任意局部特征点只属于一个区域。

3.按权利要求1所述的基于局部特征的显著区域检测方法，其特征在于，所述步骤(2)中，图像显著区域的检测近似的转化为计算局部特征点的中心区域的计算。

4.按权利要求1所述的基于局部特征的显著区域检测方法，其特征在于，所述方法中使用显著区域检测算法加速局部特征的描述和匹配算法，所述的局部特征是局部特征点构成的集合，

其中，通过消除特征区域外的局部特征点，加速局部特征描述；通过只保留显著区域内局部特征点的方式，减少局部特征点匹配的开销。