CN100573523C - 一种基于显著区域的图像查询方法 - Google Patents

Abstract

本发明公开了一种基于显著区域的图像查询方法，包括以下步骤：(1)将图像进行网格划分；(2)对网格进行模糊聚类，将图像分割成若干关注区域；(3)基于关注区域计算显著度；(4)将所有格点按照显著度进行排序得到显著区域；(5)进行图像查询。本发明的优点在于：简化计算，更符合视觉感知，提高检索效率和精度。

Description

一种基于显著区域的图像查询方法

技术领域

本发明涉及图像处理、计算机视觉以及模式识别技术，特别涉及一种基于显著区域的图像查询方法。

背景技术

在当今数字化和网络化的时代，图像已成为人们接触最多得的信息载体之一。图像信息有其自身的特点，一方面它的信息量大，但另一方面，它的抽象化和结构化程度很低，不利于进行有效的管理。因此快速的从大量的图像信息中获取有用的信息成为一个关注热点，如何有效的对大规模图像库进行检索已成为一个亟待解决的问题。

目前普遍的认识到，基于特定区域的检索比基于全部图像特征的检索更加高效，尤其对于应用在商业网站上的图像检索系统而言，商品往往都处于图像中比较显著的位置，而且也是用户更感兴趣的区域，其周边的背景图像往往可以被忽略。其中一个最核心的问题是如何在图像中决定哪些是最重要的、最具代表性的区域。很明显，如果每个区域中语义内容和对象已知，则这个问题很容易解决。但是，这个问题远远超过了当前的计算机视觉的发展能力。另一方面，感知注意机制在生物视觉和人类的识别中发挥了很重要的作用，它使得人们能够自动的滤除和筛选进入人眼的信息。如果这种注意机制能够模型化，它就能够用来帮助决定图像中的最重要的区域，从而服务于基于区域的图像内容检索。

传统的基于形状或基于区域的图像检索系统，严重依赖于准确的图像分割机制，后果往往是计算量很大，而且因为涉及到语义内容理解问题导致难以产生令人满意的效果。为了减少采用低级特征的缺陷，同时又能避免对语义内容的完全理解，引入了基于视觉注意模型的图像分析技术。注意是一个神经生物学概念。它指的是人们能将大脑的主要精力集中放到一个物体上的能力。计算注意模型使得人们通过较少的计算就能对图像进行分析、理解，同时又能很好的符合人们的视觉感知。

由于图像检索具有自身的特点，不同领域中的图像在对象分布上也各有规律。商业网站上的图像，比如一些在线交易网站淘宝网、当当网等，一般具有以下特点：(1)每幅图像里只有不多于三个的关注对象；(2)关注对象往往处在图像中间位置，以吸引用户注意力；(3)背景一般都不提供有用的信息，可以忽略；(4)分辨率较低。已有的方法没有将显著图技术与具体的商业图像检索的要求和特点结合起来，检索效率较低，难以实现真正的实时商业应用。

发明内容

本发明的目的是克服现有技术的缺陷，提供一种能够简化计算，突出图像中的显著区域，模拟用户的关注模式，得到更好的检索性能的基于显著区域的图像查询方法。

为了实现上述目的，本发明采取如下技术方案：

一种基于显著区域的图像查询方法，包括以下步骤：

(1)将图像进行网格划分；

(2)对网格进行模糊聚类，将图像分割成若干关注区域；关注区域是图像分割得到的每一个连通区域；

(3)基于关注区域计算显著度；

(4)将所有格点按照显著度进行排序，得到显著区域；

(5)进行图像查询。

在上述技术方案中，进一步地，所述步骤(1)将图像进行固定块数的网格划分包括以下步骤：①根据图像每个像素点的RGB(Red红，Green绿，Blue蓝)值，将颜色空间转化到HSV(Hue色度，Saturation饱和度，Value纯度)空间；②将HSV空间中的三个独立通道进行量化和融合，得到一幅彩色灰度图；③在彩色灰度图的基础上，将每幅图像划分为同等大小的网格。

在上述技术方案中，进一步地，所述步骤(2)将图像以网格为最小单位进行模糊聚类，得到粗粒度的分割结果，具体步骤如下：①提取每个网格的颜色特征和纹理特征，并将颜色和纹理特征整合成为一个特征向量；②对这些特征向量进行聚类。

在上述技术方案中，进一步地，所述步骤(3)具体步骤如下：①基于关注区域计算显著度的描述特征：颜色对比、强度对比和方向性对比等；②将多个显著度的描述特征进行融合，得到显著图；③修正显著图。

在上述技术方案中，进一步地，所述步骤③修正显著图，是根据格点到图像中心的距离产生修正权值，对显著图进行修正。

在上述技术方案中，进一步地，所述步骤(4)中，将格点根据显著度进行排序，得到显著区域，显著区域是显著度最大的点对应的关注区域。

在上述技术方案中，进一步地，步骤(5)中，用户提交目标图像后，是基于显著区域进行图像查询，采用以下步骤进行查询：①提取目标图像的显著区域和特征向量；②与图像库中的每副待查图像的显著区域的特征向量进行相似性匹配；③根据相似性进行排序，并按照设定数目输出排在前面的图像。

本发明的优点在于：

(1)将原始图像转化到HSV颜色空间，更符合人类的视觉感知；将图像固定划分为若干网格，以网格为单位来进行聚类计算，得到图像的粗粒度的关注区域分割结果，简化了计算，并将像素级的处理提升到区域级，更接近图像的语义处理；

(2)在由多个特征图进行组合得到显著图的过程中，考虑了各自显著区域的分布和位置、大小，结合先验知识指导权重的选择和调整，得到更符合视觉感知的显著图；

(3)结合显著图与商业图像检索的特点，在检索过程中，仅对显著区域进行特征匹配，突出了感兴趣的对象，提高检索效率和精度。

附图说明

图1(a)是实施例中转换为彩色灰度图后的网格划分示意图；

图1(b)是实施例中转换为彩色灰度图后的聚类结果示意图；

图2(a)是实施例中用于修正显著图的位置权重分布示意图；

图2(b)是实施例中用于修正显著图的权重-距离函数；

图3是实施例中显著区域提取方法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述：

如图3所示，为本发明的一种基于显著区域的商业图像检索方法的操作流程图。该方法的操作步骤包括：

步骤100，将图像进行网格划分；

先根据图像每个像素点的RGB值，利用转换公式，将颜色空间转化到HSV空间，使之更符合人类的视觉感知；并根据人眼对色调的感受规律，将HSV空间中的三个独立通道进行量化和融合，得到一幅彩色灰度图，如图1(a)所示；在彩色灰度图的基础上，将每幅图像按照8*8的规则划分为64个同等大小的网格。

其中RGB空间到HSV空间(也称为HIS空间)的转换公式如下：

$h=\left\{\begin{array}{cc}{\cos }^{-1}\frac{(r-g)-(r-b)}{2\sqrt{{(r-g)}^2+(r-b)(g-b)}}& b\≤g\\ 2\mathrm{\π}-{\cos }^{-1}\frac{(r-g)-(r-b)}{2\sqrt{{(r-g)}^2+(r-b)(g-b)}}& b>g\end{array}\right.$

s＝max(r，g，b)-min(r，g，b)

$i=\frac{r+g+b}{3}$

步骤200，对网格进行模糊聚类，将图像分割成若干关注区域。关注区域是图像分割得到的每一个连通区域。

基于彩色灰度图，采用FCM(Fuzzy C-means Method，简称FCM，模糊C均值方法)方法，将图像以网格为最小单位进行模糊聚类，得到粗粒度的分割结果，如图1(b)所示；这里的模糊隶属度使用高斯函数进行计算，并考虑领域网格对中心网格的影响，将具有相似颜色和纹理特征的8-连通的网格进行聚合，根据聚类结果将图像分割为若干个关注对象。

FCM的主要思想是优化目标函数，得到每个样本点对各类中心的隶属度，从而决定样本点的归属。实现方法如下：

最小化目标函数：

约束条件：

$\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}=1i=\mathrm{1,2},...,\mathrm{ij}$

这里隶属度的计算采用高斯公式：

$g(x,\mathrm{\μ},\mathrm{\Σ})=\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^d\left|\mathrm{\Σ}\right|}}\exp [-\frac{1}{2}{(x-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(x-\mathrm{\μ})]$

步骤300，基于关注区域的显著度计算；具体分为以下三个步骤310、步骤320和步骤330：

在步骤310中，采用RGB空间中的原图像计算亮度、颜色、方向等多个特征图：为了简化计算，将RGB空间的原图像分解为n*n个像素的固定分划的小块，此处n＝8，并以小块为单位进行后继处理；从图像中提取为多种视觉特征，如亮度、红色、蓝色、黄色和绿色等，各种特征和它领域内的点采取中心-外周的方式作差，表示特征在背景中的对比，对比越强，该点的显著性就越大；为了消除领域大小对对比值的影响，对比在多个尺度上进行，生成多尺度的特征图，这里多尺度的表示方式通过高斯金字塔方法实现；特征图的形成过程模拟了感受野的信息处理方式，生成的特征图和输入图像之间保持拓扑对应关系。

图像的亮度特征是由I＝(r+g+b)/3得到的，然后为其产生9个尺度的高斯金字塔。接下来在中心尺度c和外周尺度s之间用中心-外周差操作(用Θ表示)计算亮度特征图。对于6个不同尺度的亮度图，

其中：

c∈{2，3，4}，s＝c+δ，δ∈{3，4}

计算：

I(c，s)＝|I(c)ΘI(s)|

提取颜色特征图的过程为：产生四个颜色通道图，分别为红色、绿色、蓝色、黄色颜色图，四个颜色通道形成四个色度金字塔，四个颜色通道的计算公式是：

R＝r-(g+b)/2

G＝g-(r+b)/2

B＝b-(r-g)/2

Y＝(r+g)/2-|r-g|/2-b

由于人类视觉皮层中存在着红绿、绿红、黄蓝和蓝黄颜色对比对。本发明计算红绿、蓝黄对比对来表示人们对颜色的感觉特征。其中：

RG(c，s)＝|(R(c)-G(c))Θ(G(s)-R(s))

BY(c，s)＝|(B(c)-Y(c))Θ(Y(s)-B(s))：

与亮度特征图的计算类似，为每个颜色对计算颜色特征图。

方向特征图是由一个方向Gabor金字塔得到的，其中σ表示9个不同的尺度，θ表示方向，方向特征图的计算为：

O(c，s，θ)＝|O(c，θ)ΘO(s，θ)|

每幅特征图归一化后就可分别组合成三幅特征显著图，分别用I，C，O来表示，其中I表示亮度显著图，C表示色显著图，O表示方向显著图。它们的计算公式为：

$\stackrel{\‾}{I}=\underset{c=2}{\overset{4}{\⊕}}\underset{s=c-3}{\overset{c+4}{\⊕}}N\left(I(c,s)\right)$

$\stackrel{\‾}{C}=\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}[N\left(\mathrm{RG}(c,s)\right)+N\left(\mathrm{BY}(c,s)\right)]$

其中

表示特征图之间的求和运算。求和时先把特征图下采样到尺度为4的级别，然后再逐像素点求和，详细算法可参见文献：Itti，L.Koch，C.Niebur.A Modelof Saliency-Based Visual Attention for Rapid Scene Analysis.IEEE Trans.on PatternAnalysis and Machine Intelligence，Vol.20，No，11，1998.

在步骤320中，根据得到的多个显著性特征图，将它们进行融合，得到显著图。

由于不同特征图针对的视觉特征不同，各自的计算方法和量化范围都不相同，所以要先将三副特征图进行统一的归一化处理，以免叠加效果中，出现幅度较大的特征图遮盖了幅度较小特征图中显著区域的问题；考虑到不同特征图中突出的显著区域不同，而且一般而言，拥有较少显著区域的特征图中，各个显著区域更具代表性，更有可能成为用户的关注对象，因此应该增强较少显著区域的特征图的影响，而减弱拥有多个显著区域的特征图的影响，这可以通过归一化过程中赋予不同特征图不同的权重来实现，权值的计算是由每副显著图中全局最大值与所有局部最大值的平均值之差来决定的。操作的过程为：

(1)将特征图中的值归一化到[0，……，M]之间；

(2)找到特征图的全局最大值M和除全局最大值之外的局部最大值的平均值m；

(3)将特征图中的每个值乘以(M-m)²。

在步骤330中，根据启发式规则对显著图进行修正。以上通过归一化和权值调整得到的显著图仅仅考虑到自底向上的低层视觉特征，本发明中还加入了先验知识的指导。在常见的商业检索图片中，用来销售和做广告的商品图片一般具有相似的分布规律——单个商品都居于图像的正中，如果有若干个商品也是大致集中在图像的中间部分，背景图像往往可以作为噪音点不予考虑；因此可人为的对图像进行划分，得到一个线性权值，中间部分的权重最大，其余部分线性减弱。如图2(a)所示，采用棋盘距离，根据各格点到图像中心的距离函数f(d)产生修正权值，图中点a的权值为1，点b的权值为0.5；用这个主观的注意力权值对刚才得到的显著图进行修正，即将每个点的显著度乘以距离函数，得到更符合人类视觉感知的结果。

综合所有特征的显著性，并用图2(b)所示的线性权值进行修正，就得到了对应于输入图像的显著图S：

S＝w₁I+w₂C+w₃O

步骤400，将所有格点按照显著度进行排序，得到显著区域；显著度最大的点对应的关注区域称为显著区域。

步骤500中，基于显著区域进行图像的相似性查询，返回规定数目的相似图像。用户提交目标图像后，采用以下步骤进行查询：①提取目标图像的显著区域和特征向量；②与图像库中的每副待查图像的显著区域的特征向量进行相似性匹配；③根据相似性进行排序，并按照设定数目输出排在前面的图像。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1、一种基于显著区域的图像查询方法，包括以下步骤：

(1)将图像库中的图像进行网格划分；

(2)基于彩色灰度图，采用FCM方法，将所述图像以网格为最小单位进行模糊聚类，得到粗粒度的分割结果，模糊隶属度使用高斯函数进行计算，并考虑邻域网格对中心网格的影响，将具有相似颜色和纹理特征的8-连通的网格进行聚合，根据聚类结果将图像分割为若干个关注区域；

(3)基于关注区域计算显著度；具体分为以下三个步骤310、步骤320和步骤330：其中，在步骤310中，采用RGB空间中的原图像计算亮度、颜色、方向多个特征图，各种特征和它邻域内的点采取中心-外周的方式作差，表示特征在背景中的对比，对比越强，该点的显著性就越大；

在步骤320中，根据得到的多个显著性特征图，将它们进行融合，得到显著图；

通过归一化过程中赋予不同特征图不同的权重来实现，权值的计算是由每副显著图中全局最大值与所有局部最大值的平均值之差来决定的，操作的过程为：

(a)将特征图中的值归一化到[0，……，M]之间；

(b)找到特征图的全局最大值M和除全局最大值之外的局部最大值的平均值m；

(c)将特征图中的每个值乘以(M-m)²；

在步骤330中，根据启发式规则对显著图进行修正：是根据格点到图像中心的距离产生修正权值，对显著图进行修正；

(4)将所有格点按照显著度进行排序得到显著区域；

(5)基于显著区域进行图像的相似性查询，返回规定数目的相似图像；用户提交目标图像后，采用以下步骤进行查询：

①提取目标图像的显著区域的特征向量；

②与图像库中的每副待查图像的显著区域的特征向量进行相似性匹配；

③根据相似性进行排序，并按照设定数目输出排在前面的目标图像。

2、根据权利要求1所述基于显著区域的图像查询方法，其特征是，所述步骤(1)具体包括以下步骤：

①先根据所述图像每个像素点的RGB值，利用下述的转换公式，将颜色空间转化到HSV空间；其中，所述的转换公式如下：

$h=\left\{\begin{array}{cc}{\cos }^{-1}\frac{(r-g)+(r-b)}{2\sqrt{{(r-g)}^2+(r-b)(g-b)}}& b\≤g\\ 2\mathrm{\π}-{\cos }^{-1}\frac{(r-g)+(r-b)}{2\sqrt{{(r-g)}^2+(r-b)(g-b)}}& b>g\end{array}\right.$

s＝max(r，g，b)-min(r，g，b)

$i=\frac{r+g+b}{3};$

②将HSV空间中的三个独立通道进行量化和融合得到彩色灰度图；

③在彩色灰度图的基础上，将每幅图像划分为同等大小的网格。

3、根据权利要求1所述基于显著区域的图像查询方法，其特征是，所述模糊聚类具体包括如下步骤：①提取每个网格的颜色特征和纹理特征，并将颜色特征和纹理特征整合成为一个特征向量；②对特征向量进行聚类。

4、根据权利要求1所述基于显著区域的图像查询方法，其特征是，所述步骤(4)中，将格点根据显著度进行排序，显著度最大的点对应的关注区域为显著区域。

Images