CN102609911B - 基于边缘的图像显著性检测 - Google Patents

Abstract

本发明涉及基于边缘的图像显著性检测方法、装置和计算机程序产品。在本发明中，通过显著点和边缘点的检测来确定显著物体在图像中的区域，从而提高检测目标物体的性能。

Description

基于边缘的图像显著性检测

联合研究

本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金(No.61103113)。

技术领域

本发明涉及基于边缘的图像显著性检测方法、装置和计算机程序产品。

背景技术

在这个互联网信息时代，每天都有大量的图片信息被分享，面对如此多的信息，面向目标物体的图像检索技术越来越受到重视。图像显著性检测就是解决这个问题的一个有效途径。图像显著性检测和目标提取是计算机视觉和模式识别领域的一个重要问题，同时涉及许多其它科学领域。

基于计算机的视觉显著性检测的研究很早以前就开始了。视觉显著性通常发生在自底向上的图像特征驱动模型中，它的机理首先由Koch和Ullman阐述，并描述了在计算机上实现显著性检测的体系结构。接着Itti使用金字塔图像不同级交叉相减的方法，求得图像hsI三个通道的显著图，最后通过叠加三个通道的显著图而形成最后的显著图。它能突出显示一些图像的显著区域。Hou X.D.等使用傅里叶变换图像，然后计算图像光残普差，再通过反变换获得图像显著图。

除了区域显著性以外，还有通过显著点检测实现面向目标物体的图像检索方法。Lowe D G提出了一种鲁棒性很好的尺度不变特征描述方法SIFT，首先通过高斯差分滤波器构建高斯金字塔图像，它通过对高斯金字塔图像进行极值检测，确定极值点位置并为极值点指定主方向参数，最后形成关键点描述向量。通过这种方法也可以准确的进行图像匹配。但是这种方法计算数据量大、时间复杂度高。针对这些缺陷，Bay等人在此基础上提出了SURF方法提取特征点，它结合积分图像和hessian矩阵的优点，降低了算法的时间复杂度，而且运算量也减小了很多，达到的效果跟sift基本上保持一致。这些方法有一个共同点-他们利用各种办法去除边缘响应点和曲率较大的点。因为在多尺度显著点检测中这些点是不稳定的。但是对于一般的图像检索来说，人们往往不关注图像的精确匹配，而是跟目标图像相关的那些图像。所以这种情况下图像的边缘点也显得很重要了。

因此，本发明的目的在于在图像显著性检测过程中同时考虑图像中边缘，以达到更佳的检测效果。本文采用的方法就是通过显著点和边缘点的检测来确定显著物体在图像中的区域。通过这种方法可以更加准确的提取图像中显著物体的底层特征信息。相比于全局特征信息，显著区域特征信息更有利于面向物体的图像检索。

附图说明

图1示出了根据本发明的一个实施例的图像处理系统；

图2示出了根据本发明的一些实施例的基于边缘的图像显著性检测的流程图；

图3示出了根据本发明的一些实施例的基于边缘的图像显著性检测装置；以及

图4示出了根据一些实施例的一种基于边缘的图像显著性检测装置的细节。

具体实施方式

现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。

如在本申请中所使用的，术语“组件”、“模块”、“系统”等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行体(executable)、执行线程、程序、和/或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数据分组的信号，例如，来自于借助于信号与本地系统、分布式系统中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他系统交互的一个组件的数据。

图1示出了根据本发明的一个实施例的图像处理系统100。装置101为图像采集设备，用于依据现有技术中已知的任何图像采集技术来获取待处理的图像，所采集的图像可以经由通信装置直接传送给图像处理装置103，或者可以存储在存储装置105中以待后续处理。在本发明的一个实施例中，图像采集装置101直接在用户所访问的网页上获取与网页相关联的图像。

由图像采集设备101所采集到的图像通过通信装置102以有线和/或无线的方式传送至图像处理装置103，该图像处理装置103对接收到的图像进行基于边缘的图像显著性检测，以检测图像中的显著物体或其他显著区域。但是应该理解，图像处理装置103还可以对输入图像进行其它各种处理，例如图像去噪、图像配准、模式识别等等。

图像处理装置103可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合，来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种结构。另外，至少一个处理器可以包括可操作以执行上述的一个或多个步骤和/或操作的一个或多个模块。

当用ASIC、FPGA等硬件电路来实现图像处理装置103时，其可以包括被配置为执行各种功能的各种电路块。本领域技术人员可以根据施加在整个系统上的各种约束条件来以各种方式设计和实现这些电路，来实现本发明所公开的各种功能。例如，用ASIC、FPGA等硬件电路实现的图像处理装置103可以包括图像显著性检测电路及/或其它电路模块，其用来依据本文公开的各种图像显著性检测方案来对输入图像执行图像显著性检测。本领域技术人员应该可以理解和认识到，本文所述的图像处理装置103可选地可以包括除图像显著性检测电路之外的其它任何可用电路模块，例如被配置为进行边缘检测、图像配准、模式识别的任何电路模块。以下结合图3的流程图详细描述了滤波器电路所实现的功能。

图像存储装置105可以耦合至图像采集设备101及/或图像处理装置103，以存储图像采集设备101所采集的原始数据及/或经过图像处理装置103处理后的输出图像。

图2示出了根据本发明的一些实施例的基于边缘的图像显著性检测的流程图。

在步骤201中，输入待处理的二维图像。在实施例中，待输入的二维图像可以来自图像采集装置101或图像存储装置105。

在步骤202中，对二维图像进行角点检测。

具体而言，首先，对所述二维图像进行高斯滤波，以去除噪声干扰。高斯滤波是本领域公知技术，因此在此不详细论述以避免混淆本发明。

随后，利用以下公式，计算经过高斯滤波后的二维图像的R图像：

R(x，y)＝λ₁λ₂-α(λ₁+λ₂)²

其中λ₁，λ₂为矩阵 $\left[\begin{array}{cc}{I}_x^2& I_{\mathrm{xy}}\\ I_{\mathrm{yx}}& I_y^2\end{array}\right]$ 的特征值，其中I_x和I_y分别为经过高斯滤波后的二维图像在x、y方向一阶方向导数， I_xy、I_yx为二阶方向导数，α为经验常数，在本发明中将其取值范围设定为0.04-0.06。

随后，使用σ＝1的高斯滤波器对所述R图像进行卷积，得到图像。

随后，将图像中小于t的值置零，其中t＝0.01R_max，其中R_max表示所述图像中的最大值。

随后，在经过所述置零后的图像中进行3*3邻域内的非最大值抑制，亦即在3*3邻域内仅保留最大值，而将其他值置零。通常，将该最大值设置为255，将其他非最大值设置为零。

最后，在图像中的不为零的点为检测得到的角点，

通常，可以仅在所输入的二维图像中选择满足λ₁≈λ₂的点进行分析，因为角点通常是两个特征值λ₁，λ₂都较大且近似相等的点。

但是，在本发明的一个优选实施例中，由于随后会采用边缘点进行进一步检测，因此，同时还可以考虑二维图像中满足以下情况的像素点：λ₁＞＞λ₂，λ₁＜＜λ₂。假设λ₁＞＞λ₂的情况，因为其中一个值远远大于另一个值，则λ₁-λ₂≈λ₁，λ₁+λ₂≈λ₁，但是λ₁+λ₂＞λ₁-λ₂。令则当k＞0.8时，最大值与最小值之比大于10。λ₁＜＜λ₂的情况也类似。因此，在这里可以通过k值把这两种情况筛选出来。

在步骤203中，对二维图像进行边缘检测，以得到边缘点。

边缘是图像的基本特征，传统的边缘检测方法是检测每个像素在某邻域内的梯度。边缘则是沿着梯度模值最大方向的点的集合。如典型的Sobel算子，LOG算子等，这些算子易于实现，而且实时性好，相对于这些微分算子，基于最优化的canny算子具有信噪比大和检测精度高等优点，其应用更加广泛。

在Canny算法中，首先在x和y方向求一阶导数，然后组合为四个方向导数。这些方向导数达到局部最大值的点就是组成边缘的候选点。但是canny相对于一般的边缘检测来说，它有一种新的特点，canny试图将独立的候选边缘点拼装成轮廓。Canny算子需要提够两个阈值，上限阈值和下限阈值。如果一个像素的梯度大于其上限阈值，则为边缘点；若像素值小于下线阈值，则不是边缘点；如果是介于这两者之间，只有当其与高于上限阈值的像素相邻时才会被认为是边缘点。但是这两个阈值需要自已设定。一般来说，上限与下限的比值在2～3范围内。

本发明中采用设定阈值与局部信息与之相结合的方法确定图像的边缘。在每一个像素的5×5邻域内，求出方向导数的最大值max和平均值ave，设上限阈值为0.9*max，下限阈值设为ave。如果0.9*max＜150则上限阈值设为150，如果ave＜50下限阈值设为50。

这样做不仅消除了全局变量的局限性，而且利用了局部阈值变量，可以更加准确地获取图像的边缘信息。

在步骤204中，进行角点和边缘的结合。

具体而言，在结合的过程中，我们实际上关注的是显著物体，那么一般我们检测出来的角点位于图像显著物体内部而图像边缘则均匀分布。由此可以看出，通过判定在角点5×5邻域内图像边缘点的个数。在这里设置为5。如果在在角点的5×5邻域内的边缘点个数超过5，则将角点以及相关的边缘认为是图像显著物体边缘的一部分。

图3示出了根据本发明的一些实施例的基于边缘的图像显著性检测装置。该装置的各个组件301-304的功能与以上方法中的步骤201-204类似，因此在此不再赘述。

图4示出了根据一些实施例的一种基于边缘的图像显著性检测装置的细节。图像显著性检测装置400可以包括处理电路410和存储器420。其中处理电路410可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合。处理电路410可以包含用来实现各种功能的各个电路模块。在一个实施例中，这些电路模块可以以分立组件的形式存在于处理电路410中。在另一个实施例中，这些电路模块可以是仅是电路的电子设计图中的功能模块，而并不在实际电路中存在。例如，在利用商用电子电路设计软件设计电路模块图并最终将其以电子方式写入电路中时，这些电路模块可分别地或者汇集地存在于该电子电路设计软件支持的一个或多个文件中，而在最后的电路写入阶段合并为单个设计。

在一个实施例中，处理电路410可以包括：用于获得一输入二维图像的电路模块411；用于对图像进行角点检测的电路模块413；用于进行边缘点检测的电路模块415；用于通过将角点检测和边缘点检测进行组合来进行显著区域检测的电路模块417。在一个实施例中，存储器420可以用来存储图像显著性检测装置400的输入数据、输出数据以及处理电路410的各个电路模块的中间数据。例如，在一个实施例中，处理电路410可以将进行处理后的图像存储在存储器420中以便由电路模块415取回。在另一个实施例中，处理电路410可以将经过处理的图像存储在存储420中以便由电路模块417取回。存储器220可以是各种随机存取存储器(RAM)，其包括但不限于：RAM、DRAM、DDR RAM等等。存储器220通过总线连接至处理电路210。

本发明还涵盖实现图2所述方法的计算机程序产品和处理器。

尽管前述公开文件论述了示例性方案和/或实施例，但应注意，在不背离由权利要求书定义的描述的方案和/或实施例的范围的情况下，可以在此做出许多变化和修改。而且，尽管以单数形式描述或要求的所述方案和/或实施例的要素，但也可以设想复数的情况，除非明确表示了限于单数。另外，任意方案和/或实施例的全部或部分都可以与任意其它方案和/或实施例的全部或部分结合使用，除非表明了有所不同。

Claims (5)

1.一种基于边缘的图像显著性检测的方法，包括以下步骤：

(a)输入二维图像；

(b)对所述二维图像进行角点检测；

(c)对所述二维图像进行边缘检测；

(d)将所述角点检测得到的角点和所述边缘检测中得到的边缘点进行组合，以确定所述二维图像中的图像显著物体，其中，如果在一个角点的5×5邻域内的边缘点的个数超过特定阈值，则确定该角点和所述个数的边缘点是所述图像显著物体边缘的一部分，

其中，步骤(b)包括以下子步骤：

(b.1)对所述二维图像进行高斯滤波，以去除噪声干扰；

(b.2)计算经过高斯滤波后的二维图像的R图像：

R(x，y)＝λ₁λ₂-α(λ₁+λ₂)²

其中λ₁，λ₂为矩阵 $\left[\begin{array}{cc}{I}_x^2& I_{\mathrm{xy}}\\ I_{\mathrm{yx}}& I_y^2\end{array}\right]$ 的特征值，其中I_x和I_y分别为经过高斯滤波后的二维图像在x、y方向一阶方向导数，I_xy、I_yx为二阶方向导数，α为经验常数；

(b.3)使用σ＝1的高斯滤波器对所述R图像进行卷积，得到图像；

(b.4)将图像中小于t的值置零，其中t＝0.01R_max，其中R_max表示所述图像中的最大值；

(b.5)在经过所述置零后的图像中进行3*3邻域内的非最大值抑制，最后在图像中的不为零的点为检测得到的角点，

其中，在所述角点检测中仅考虑R图像中满足以下情况之一的像素点：λ₁＞＞λ₂，λ₁＜＜λ₂和λ₁≈λ₂；

其中，步骤(c)包括：利用改进的Canny边缘检测算法获得所述二维图像的边缘点，在所述改进的Canny边缘检测算法中，通过按如下来设置上限阈值和下限阈值来引入所述二维图像中的局部信息：在每一个像素的5*5邻域中，求出各个像素的方向导数的最大值max和平均值ave，并将所述上限阈值设定为0.9*max，将所述下限阈值设定为ave。

2.如权利要求1所述的方法，其中，在步骤(d)中，所述特定阈值为5。

3.如权利要求1所述的方法，其中，

如果0.9*max＜150，则将所述上限阈值设置为150；

如果ave＜50，则将所述下限阈值设定为50。

4.如权利要求1所述的方法，其中，按以下来确定λ₁＞＞λ₂，λ₁＜＜λ₂的像素点：

令取k＞0.8的点。

5.一种基于边缘的图像显著性检测的装置，包括：

(a)用于输入二维图像的装置；

(b)用于对所述二维图像进行角点检测的装置；

(c)用于对所述二维图像进行边缘检测的装置；

(d)用于将所述角点检测得到的角点和所述边缘检测中得到的边缘点进行组合，以确定所述二维图像中的图像显著物体的装置，其中，如果在一个角点的5×5邻域内的边缘点的个数超过特定阈值，则确定该角点和所述个数的边缘点是所述图像显著物体边缘的一部分，

其中，用于对所述二维图像进行角点检测的装置包括：

(b.1)用于对所述二维图像进行高斯滤波，以去除噪声干扰的装置；

(b.2)用于计算经过高斯滤波后的二维图像的R图像的装置：

R(x，y)＝λ₁λ₂-α(λ₁+λ₂)²

其中λ₁，λ₂为矩阵 $\left[\begin{array}{cc}{I}_x^2& I_{\mathrm{xy}}\\ I_{\mathrm{yx}}& I_y^2\end{array}\right]$ 的特征值，其中I_x和I_y分别为经过高斯滤波后的二维图像在x、y方向一阶方向导数，I_xy、I_yx为二阶方向导数，α为经验常数；

(b.3)用于使用σ＝1的高斯滤波器对所述R图像进行卷积，得到图像的装置；

(b.4)用于将图像中小于t的值置零的装置，其中t＝0.01R_max，其中R_max表示所述图像中的最大值；

(b.5)用于在经过所述置零后的图像中进行3*3邻域内的非最大值抑制，最后在图像中的不为零的点为检测得到的角点的装置，

其中，在所述角点检测中仅考虑R图像中满足以下情况之一的像素点：λ₁＞＞λ₂，λ₁＜＜λ₂和λ₁≈λ₂；

其中，用于对所述二维图像进行边缘检测的装置包括：用于利用改进的Canny边缘检测算法获得所述二维图像的边缘点的装置，在所述改进的Canny边缘检测算法中，通过按如下来设置上限阈值和下限阈值来引入所述二维图像中的局部信息：在每一个像素的5*5邻域中，求出各个像素的方向导数的最大值max和平均值ave，并将所述上限阈值设定为0.9*max，将所述下限阈值设定为ave。