CN102024029A - 基于局部视觉关注的彩色图像检索方法 - Google Patents

Abstract

本发明所述的基于局部视觉关注的彩色图像检索方法，具体涉及一种能够符合人眼视觉关注的彩色图像检索方法。第一步要用特征提取方法构建图像的特征库，第二步对于任意打开的图像进行特征提取，第三步和特征库中的特征进行比对，第四步输出相似性最近的图像从而完成检索工作；所述的要用特征提取方法构建图像的特征库中的特征提取方法具体包括：图像的重要位平面提取、感兴趣点提取、以及模糊颜色直方图计算。具体流程包括：首先对原始图像进行位平面的提取，然后选取高5位平面合成后作为重要位平面图像，此环节可减少噪声的攻击；其次对重要位平面图像进行感兴趣点的提取；最后对提取出来的感兴趣点进行模糊颜色直方图的计算。

Description

基于局部视觉关注的彩色图像检索方法

技术领域

本发明所述的基于局部视觉关注的彩色图像检索方法，属于多媒体技术的图像检索技术，具体涉及一种能够符合人眼视觉关注的彩色图像检索方法。

背景技术

目前随着计算机技术在各行各业的广泛应用，数字图像的来源正在不断扩大，图像数据的种类和数量也在与日俱增。无论是军用还是民用设备，每天都会产生相当数量的数字图像，这些数字图像包含了大量有用信息。如何从浩瀚的图像数据库中快速、准确地找到用户所需内容，如何有效地组织、管理和检索海量的多媒体信息已成为迫切需要解决的问题。图像检索技术就是其中的核心技术之一。

基于文本的图像检索技术(TBIR)沿用了传统文本检索技术，它不考虑图像本身固有的颜色、纹理、形状等内容特征，而是使用关键字来描述图像。检索的时候一般以输入关键字的形式检索相关图像。这种技术存在以下几方面缺陷：首先因为现在图像数据库规模的不断膨胀，对数据库中每一副图像进行人工标注需要耗费大量的时间和人力。其次，图像内容千差万别，使用关键字难以准确描述图像的内涵，而且在人工选取关键字的过程中会包含强烈的主观性，可能造成图像理解上的偏差，直接影响图像的检索效果。为了克服基于文本的图像检索技术带来的困难，基于内容的图像检索技术(CBIR)应运而生。它克服了传统的基于文本的检索技术的缺点，实现了自动化和智能化的特征提取和图像检索，有效提高了检索的速度和效率。与传统的基于文本的检索技术相比，基于内容的图像检索减少了人们的工作量，具有更好的客观性和通用性等优点，更适用于大规模的图像库的检索。CBIR技术受到了越来越多的重视，并得到迅速发展，它具有广阔的应用前景，已广泛应用在遥感、医学、地理信息系统、商标版权管理等领域，成为了现在图像检索技术研究的重心。其中，颜色直方图更是以其特征提取与相似度计算简单、对图像尺度与旋转变化不敏感等优点，成为图像检索系统应用最为广泛的颜色特征。然而，理论分析和实验结果表明，传统颜色直方图检索技术普遍存在丢失颜色空间分布信息、特征维数过高、无法有效检索含噪声图像等问题。针对上述现有技术中所存在的问题，研究设计一种新型的基于局部视觉关注的彩色图像检索方法，从而克服现有技术中所存在的问题是十分必要的。

发明内容

鉴于上述现有技术中所存在的问题，本发明的目的是研究设计一种新型的基于局部视觉关注的彩色图像检索方法，从而解决因为图像数据库规模不断膨胀，对数据库中每一副图像进行人工标注需要耗费大量的时间和人力；而且，图像内容千差万别，使用关键字难以准确描述图像的内涵，在人工选取关键字的过程中会包含强烈的主观性，可能造成图像理解上的偏差，直接影响图像的检索效果等问题。在进行特征描述时，不再以整幅图像为基础，而是仅刻画视觉关注点的特征，减少了非关注区域在检索时的影响，以及传统颜色直方图检索技术普遍存在丢失颜色空间分布信息、特征维数过高、无法有效检索含噪声图像等问题，有效的提高了检索的准确性。

本发明所述的基于局部视觉关注的彩色图像检索方法，第一步要用特征提取方法构建图像的特征库，第二步对于任意打开的图像进行特征提取，第三步和特征库中的特征进行比对，第四步输出相似性最近的图像从而完成检索工作；所述的要用特征提取方法构建图像的特征库中的特征提取方法具体包括：图像的重要位平面提取、感兴趣点提取、以及模糊颜色直方图计算。

本发明所述的图像的重要位平面提取方法如下：

设24位真彩色图像为I＝{I(i，j)，0≤i＜M，0≤j＜N}，I(i，j)代表原始彩色图像的第i行、第j列像素的颜色值，则真彩色图像I的位平面分解可定义为：

其中，p＝3，4…，7表示位平面(p＝3代表位平面3，p＝4代表位平面4，依此类推)；t＝1，2，3表示R，G，B三个分量；B_p，t(·)表示图像的位平面分解操作；经过以上位平面分解处理，真彩色图像I就被分解为D_p，t＝{D_p，t(i，j)，0≤i＜M，0≤j＜N}(p＝4，5，...，8；t＝1，2，3)共15个位平面，并且这些位平面都是二值的(0或1)；

考虑到真彩色图像的每个像素都是由R，G，B三个分量复合而成的，所以对图像进行位平面分解后，可将相同权值位平面对应的R，G，B三个分量重新组合成新像素，以形成新的位平面图像，这样由原来分解出的15个位平面最终转换成5个位平面图像(即重要位平面图像D_p(p＝3，4…，7)，然后将高5位平面重组成一幅新的图像。

本发明所述的感兴趣点提取的方法，步骤如下：

首先，给定尺度空间

(n＝1，2…15)和阈值T，利用多尺度Harris算子计算出侯选的彩色图像感兴趣点(其中，δ₀表示初始尺度)；

$L(x,y,{\mathrm{\δ}}_D)=\frac{1}{10}[6\·G(x,y,{\mathrm{\δ}}_D)*Y+2\·G(x,y,{\mathrm{\δ}}_D)*\mathrm{Cb}+2\·G(x,y,{\mathrm{\δ}}_D)*\mathrm{Cr}]$

然后，对于每个候选彩色图像感兴趣点，采用迭代法搜索出最终的图像感兴趣点和特征尺度，步骤如下：

(1)、设p_k为候选彩色图像感兴趣点，检验该点的LOG算子是否能在整个尺度搜索范围内获得局部极值，如果不能获得极值，则舍弃该点；尺度搜索范围限定为

其中：

t＝0.7，…，1.4；

(2)、对于LOG算子能获得极值的彩色图像感兴趣点p_k，在该点的邻域内搜索特征强度R最大的感兴趣点p_k+1，若p_k+1存在则舍弃p_k；

(3)、重复步骤(1)到(2)，直到

或p_k+1＝p_k为止。

本发明所述的模糊颜色直方图技术是利用FCM算法进行聚类，进而求得模糊颜色直方图，具体步骤如下：

[1]FCM聚类算法具体步骤如下：

1)、输入分类数目c，权重m和容忍系数τ；

2)、初始聚类中心v_i，其中1≤i≤c；

3)、输入欲聚类的图像数据X＝{x₁，x₂，...，x_n}；

4)、根据公式

1≤i≤c，，计算出第l次c个类中心值

5)、根据公式

1≤i≤c1≤k≤n.，跟新第l次的归属矩阵值U^(l)；

当||U^(l)-U^(l-1)||＞τ，l＝l+1时，回到步骤4)，否则停止并完成聚类过程；

[2]模糊颜色直方图计算见以下公式：

F(I)＝[f₁，f₂，...，f_n]其中P_j表示从图像I中任选一像素j的概率，在此P_j＝1/N。

本发明所述的基于局部视觉关注的彩色图像检索方法，就是从图像库中查找用户所需要的图像的这样一门技术。自从20世纪70年代以来，在数据库系统和计算机视觉两大研究领域的共同推动下，图像检索技术已逐渐成为一个非常活跃的研究领域。数据库和计算机视觉两大领域是从不同的角度来研究图像检索技术的，前者基于文本的，而后者是基于视觉的。图像特征的提取与表达是基于内容的图像检索技术基础，所以在基于内容的图像检索技术研究过程中，如何有效以及准确的提取特征是国内外研究的主要内容。设计良好的特征表达方式不仅能够提高检索的效果而且能大大降低检索的时间复杂度，许多学者对此进行了广泛而深入的研究。

所谓图像位平面，就是将图像中每一个像素值分解为二进制值，而把所有具有相同权值的位所构成的平面称为位平面。根据噪声攻击特点我们知道，较高位平面即重要位平面反映原始图像的主要内容，而较低位平面所携带的原始信号能量极少，即忽略较低位平面对原始图像质量没有太大影响。

视觉关注是生物视觉系统中的一个重要现象，人眼在看到一幅图像时，对图像中不同的部分会显示出不同的关注度，一般图像主要的语义区域会引起视觉系统的更高关注。对视觉关注区域的检测与分析已经成为了图像处理领域的一个重要的研究方向，它为解决图像底层内容与高层语义之间的鸿沟问题提供了重要的线索。

本发明以图像位平面理论为基础，结合局部视觉关注的颜色特征，提出一种基于局部视觉关注的彩色图像检索方法。该方法首先提取图像的位平面，然后选取重要位平面；在此基础上提取图像的感兴趣点；最后求出这些感兴趣点的模糊颜色直方图然后进行图像检索。该算法在进行特征描述时，不再以整幅图像为基础，而是仅刻画局部视觉特征，减少了非关注区域在检索时的影响，有效的提高了检索的准确性。

附图说明

本发明共有八张附图，其中：

图1：基于局部视觉关注的彩色图像检索方法流程图；

图2：彩色图像“马”的重要位平面图像的感兴趣点；

图3：彩色图像“马”的重要位平面图像的感兴趣点的模糊颜色直方图；

图4：彩色图像“马”的检索结果；

图5：平均查准率；

图6：平均查全率；

图7：平均查找时间；

图8：彩色图像“马”及其位平面图像。

具体实施方式

本发明的具体实施例如附图所示，附图1所示为基于局部视觉关注的彩色图像检索方法流程图，首先要用特征提取方法构建图像的特征库，然后对于任意打开的图像进行特征提取，最后和特征库中的特征进行比对，输出相似性最近的图像从而完成检索工作。图像的重要位平面提取，感兴趣点提取及模糊颜色直方图计算的具体步骤如下：

1图像的重要位平面提取

由位平面理论，我们知道对于一幅24位真彩色图像(RGB空间)，只需要提取其R，G，B分量的最高5个位平面(即重要位平面)就足以表达图像内容。

设24位真彩色图像为I＝{I(i，j)，0≤i＜M，0≤j＜N}，I(i，j)代表原始彩色图像的第i行、第j列像素的颜色值，则真彩色图像I的位平面分解可定义为：

其中，p＝3，4…，7表示位平面(p＝3代表位平面3，p＝4代表位平面4，依此类推)；t＝1，2，3表示R，G，B三个分量；B_p，t(·)表示图像的位平面分解操作。经过以上位平面分解处理，真彩色图像I就被分解为D_p，t＝{D_p，t(i，j)，0≤i＜M，0≤j＜N}(p＝4，5，...，8；t＝1，2，3)共15个位平面，并且这些位平面都是二值的(0或1)。

考虑到真彩色图像的每个像素都是由R，G，B三个分量复合而成的，所以对图像进行位平面分解后，可将相同权值位平面对应的R，G，B三个分量重新组合成新像素，以形成新的位平面图像，这样由原来分解出的15个位平面最终转换成5个位平面图像(即重要位平面图像D_p(p＝3，4…，7)，然后将高5位平面重组成一幅新的图像，见图8。

2感兴趣点的提取

多尺度Harris算子是以自相关矩阵(Auto-Correlation Matrix)为基础的，其能够利用自相关矩阵特征值估计特征强度，并通过阈值法选取出稳定的图像感兴趣点。然而，多尺度Harris算子并未考虑颜色信息，故只适合于求取灰度图像的感兴趣点。也就是说，为了计算彩色图像像素点的特征强度，必须结合颜色信息修改公式。为此，我们选取更加符合人眼视觉感知特性的YCbCr颜色空间，并结合数字图像相关理论(亮度Y比色差Cb、Cr更重要等)，按照6Y∶2Cb∶2Cr的比例修改公式，即

$L(x,y,{\mathrm{\δ}}_D)=\frac{1}{10}[6\·G(x,y,{\mathrm{\δ}}_D)*Y+2\·G(x,y,{\mathrm{\δ}}_D)*\mathrm{Cb}+2\·G(x,y,{\mathrm{\δ}}_D)*\mathrm{Cr}]$

即当彩色图像像素点(x，y)的特征强度R(x，y)大于某个特定阈值T且该像素点为邻域内极值点时，便可认为该像素点为彩色图像感兴趣点。

基于特征尺度的多尺度Harris彩色图像感兴趣点提取过程可描述如下：

首先，给定尺度空间

(n＝1，2…15)和阈值T，利用多尺度Harris算子计算出侯选的彩色图像感兴趣点(其中，δ₀表示初始尺度)。

然后，对于每个候选彩色图像感兴趣点，采用迭代法搜索出最终的图像感兴趣点和特征尺度。具体步骤如下：

(1)设p_k为候选彩色图像感兴趣点，检验该点的LOG算子是否能在整个尺度搜索范围内获得局部极值，如果不能获得极值，则舍弃该点。尺度搜索范围限定为

其中t＝0.7，…，1.4。

(2)对于LOG算子能获得极值的彩色图像感兴趣点p_k，在该点的邻域内搜索特征强度R最大的感兴趣点p_k+1，若p_k+1存在则舍弃p_k。

(3)重复步骤(1)到(2)，直到

或p_k+1＝p_k为止。提取感兴趣点后的图像见图2。

3模糊颜色直方图计算

模糊颜色直方图(Fuzzy Color Histogram，FCH)最先是由Ju Han等人提出并应用于多媒体领域的。目的是将每一个像素和所有的Color Bins进行颜色相似性比较，根据模糊理论的隶属度函数，将该像素分配到每一个颜色直方图的ColorBins里面。为了计算出每一个像素对Color Bins的隶属度，利用率模糊C均值聚类算法(FCM)。

FCH利用FCM聚类算法，将n个精致颜色对应到n个比较粗糙的颜色值里。而且同时也计算出两者之间所对应的隶属矩阵值，在求得归属矩阵值时，利用目标函数J_m来当作停止分类的条件，其公式定义如下：

$J_m(U,V;X)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{u}_{\mathrm{ik}}^m{\left|\right|x_k-v_i\left|\right|}_A^2,$

其中 $v_i=\frac{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left(u_{\mathrm{ik}}\right)}^m{x}_k}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left(u_{\mathrm{ik}}\right)}^m},1\≤i\≤c,---\left(1\right)$

$u_{\mathrm{ik}}=\frac{1}{{\left(\frac{{\left|\right|x_k-v_i\left|\right|}_A^2}{{\left|\right|x_k-v_j\left|\right|}_A^2}\right)}^{\frac{1}{m-1}}},1\≤i\≤c1\≤k\≤n.---\left(2\right)$

FCM聚类算法具体步骤如下：

1)输入分类数目c，权重m和容忍系数τ。

2)初始聚类中心v_i，其中1≤i≤c。

3)输入欲聚类的图像数据X＝{x₁，x₂，...，x_n}。

4)根据公式(1)，计算出第l次c个类中心值

5)根据公式(2)，跟新第l次的归属矩阵值U^(l)。

6)当||U^(l)-U^(l-1)||＞τ，l＝l+1时，回到步骤4)，否则停止并完成聚类过程。

模糊颜色直方图计算见以下公式：

F(I)＝[f₁，f₂，...，f_n]其中

P_j表示从图像I中任选一像素j的概率，在此P_j＝1/N。

图3给出了彩色图像“马”的重要位平面图像的感兴趣点的模糊颜色直方图图像。我们利用直方图进行检索得到图4。为了验证本专利的工作性能及有效性，我们从Corel图像库中抽取10类，每类抽取20幅图像，总共构成200次查询。每次查询选取前20幅最相似的图像作为检索结果。对于每类图像而言，计算其20次查询结果的查准率平均值、查全率平均值和查找时间的平均值，并将其作为该类图像的平均查准率、平均查全率和平均查找时间，如图5、6、7。

Claims (4)

1.一种基于局部视觉关注的彩色图像检索方法，第一步要用特征提取方法构建图像的特征库，第二步对于任意打开的图像进行特征提取，第三步和特征库中的特征进行比对，第四步输出相似性最近的图像从而完成检索工作；其特征在于所述的要用特征提取方法构建图像的特征库中的特征提取方法具体包括：图像的重要位平面提取、感兴趣点提取、以及模糊颜色直方图计算。

2.根据权利要求1所述的基于局部视觉关注的彩色图像检索方法，其特征在于所述的图像的重要位平面提取方法如下：

设24位真彩色图像为I＝{I(i，j)，0≤i＜M，0≤j＜N}，I(i，j)代表原始彩色图像的第i行、第j列像素的颜色值，则真彩色图像I的位平面分解可定义为：

其中，p＝3，4…，7表示位平面(p＝3代表位平面3，p＝4代表位平面4，依此类推)；t＝1，2，3表示R，G，B三个分量；B_p，t(·)表示图像的位平面分解操作；经过以上位平面分解处理，真彩色图像I就被分解为D_p，t＝{D_p，t(i，j)，0≤i＜M，0≤j＜N}(p＝4，5，...，8；t＝1，2，3)共15个位平面，并且这些位平面都是二值的(0或1)；

考虑到真彩色图像的每个像素都是由R，G，B三个分量复合而成的，所以对图像进行位平面分解后，可将相同权值位平面对应的R，G，B三个分量重新组合成新像素，以形成新的位平面图像，这样由原来分解出的15个位平面最终转换成5个位平面图像(即重要位平面图像D_p(p＝3，4…，7)，然后将高5位平面重组成一幅新的图像。

3.根据权利要求1所述的基于局部视觉关注的彩色图像检索方法，其特征在于所述的感兴趣点提取的方法，步骤如下：

首先，给定尺度空间

(n＝1，2…15)和阈值T，利用多尺度Harris算子计算出侯选的彩色图像感兴趣点(其中，δ₀表示初始尺度)；

$L(x,y,{\mathrm{\δ}}_D)=\frac{1}{10}[6\·G(x,y{,\mathrm{\δ}}_D)*Y+2\·G(x,y{,\mathrm{\δ}}_D)*\mathrm{Cb}+2\·G(x,y,{\mathrm{\δ}}_D)*\mathrm{Cr}]$

然后，对于每个候选彩色图像感兴趣点，采用迭代法搜索出最终的图像感兴趣点和特征尺度，步骤如下：

(1)、设p_k为候选彩色图像感兴趣点，检验该点的LOG算子是否能在整个尺度搜索范围内获得局部极值，如果不能获得极值，则舍弃该点；尺度搜索范围限定为

其中：

t＝0.7，…，1.4；

(2)、对于LOG算子能获得极值的彩色图像感兴趣点p_k，在该点的邻域内搜索特征强度R最大的感兴趣点p_k+1，若p_k+1存在则舍弃p_k；

(3)、重复步骤(1)到(2)，直到

或p_k+1＝p_k为止。

4.根据权利要求1所述的基于局部视觉关注的彩色图像检索方法，其特征在于所述的模糊颜色直方图技术是利用FCM算法进行聚类，进而求得模糊颜色直方图，具体步骤如下：

[1]FCM聚类算法具体步骤如下：

1)、输入分类数目c，权重m和容忍系数τ；

2)、初始聚类中心v_i，其中1≤i≤c；

3)、输入欲聚类的图像数据X＝{x₁，x₂，...，x_n}；

4)、根据公式

1≤i≤c，，计算出第l次c个类中心值

5)、根据公式

1≤i≤c1≤k≤n.，跟新第l次的归属矩阵值U^(l)；

当||U^(l)-U^(l-1)||＞τ，l＝l+1时，回到步骤4)，否则停止并完成聚类过程；

[2]模糊颜色直方图计算见以下公式：

F(I)＝[f₁，f₂，...，f_n]其中

P_j表示从图像I中任选一像素j的概率，在此P_j＝1/N。

Images