CN101093491A - 交互式图像检索方法 - Google Patents

Abstract

该发明为一种交互式图像检索方法，属于计算机科学技术领域。利用图像全局特征的检索不能有效地反映用户关注的主题对象，而基于分割的各子区域特征的检索又过分依赖于复杂的图像分割算法。本发明提供了一种交互方式——用户选择感兴趣区域的扫描式图像检索方法。该发明先由用户选择感兴趣的区域，然后对该区域进行自动分析以提取其特征，最后采用扫描的方式进行检索。基于用户感兴趣区域的图像检索算法不仅提供了一种图像检索的交互方式，而且增强了图像检索的灵活性，并具有较高的查准率。

Description

交互式图像检索方法

技术领域

本发明提出了一种交互式图像检索方法，通过用户选择感兴趣区域，解决了由于缺少高层语义知识，难以提取准确表达用户检索意图的图像区域这一难题。借助用户简单的操作，获取了准确的查询信息，有效地提高了检索系统的检索效率。

背景技术

随着多媒体技术的飞速发展，数字图像的容量正以惊人的速度增长。怎样从大量图像数据中快速、准确找到自己所需的图像，不仅是用户当前最迫切的需要，而且也是图像检索的主要任务。相对传统的基于关键字、文本的图像检索方法，基于内容的图像检索(CBIR)^[1，2]则是利用图像的颜色、纹理、形状等特征进行检索。目前的检索算法大部分侧重于考虑图像的全局信息，忽略图像的目标和背景信息。虽然图像的全局统计特征，如全局颜色直方图^[3]、全局纹理直方图等，在一定程度上符合部分用户的检索意图，在基于内容的图像检索系统中也获得了一定的应用。然而，在相当多的情况下用户并不关心图像全局相似与否，而更多关注的是图像中具有一定语义的区域。基于这种情况，对图像进行恰当的分割，鉴别出若干有意义的图像区域^[4]就变得至关重要了。随后，大量的图像检索系统都引入了图像自动分割及自动区域提取技术。图像的检索通过对一个或多个区域的检索来完成，如Blob world^[5]的图像检索系统，它可以通过用户选择分割后的区域来提交查询。然而，由于缺少高层语义知识，这些算法难以提取准确表达用户检索意图的图像区域，所以目前还没有基于语义级的有效的目标区域提取算法^[6]。

一个检索系统往往需要事先与用户进行不断的交互，才能检索出比较符合用户真正查询意图的结果，即使传统的基于关键字的检索系统，一般也要借助用户的多次交互才能取得比较理想的效果。对于基于内容的图像检索系统，一般不能借助文本、关键字来进行查询，因为图像内容的丰富性、复杂性以及人对相同图像理解的差异使得很难用文字来准确描述一幅图像的内容。鉴于这种情况，本发明提供了一种与用户交互的简单方式，就是让用户手动选择自己感兴趣的区域，这样不仅节省大量提取工作，而且能获得比较准确的检索区域，能更好地满足用户的检索要求。

[1]Arnold W.M.Smeulders，Marcel Worring，Simone Santini，Content-Based Image R etrieval atthe End of the Early Years.IEEE Trans.Pattern Analysis and Machine Intelligence，vol.22，no.12，pp.1349-1380，Dec.2000

[2]杭燕，杨育彬，陈兆乾.基于内容的图像检索综述.计算机应用研究.第9期.2002

[3]王晓红，杨玲.基于颜色/形状直方图的图像检索方法.信息系统.第26卷第4期.2003

[4]罗云，章毓晋，高永英基于分析的图像有意义区域提取[J]，计算机学报，2000，23(12)：1~7

[5]Carson C.，Thomas M.，Belongie S.，et al.Blobworld：A System for Region-based ImageIndexing and Retrieval[A].Third Int.Conf.on Visual Information Systems[C]，June 1999.

[6]He X F，King O，Ma W Y，et al，Learning a semantic space from User’s Relevance feedbackfor image retrieval.IEEE Transaction on Circuit and System for Video Technology，2004.

发明内容

针对利用图像全局特征的检索不能有效地反映用户关注的主题对象，而基于分割的各子区域特征的检索又过分依赖于复杂的图像分割算法这种情况，本发明提出了一种交互方式——用户选择感兴趣区域的图像检索方法。该方法不仅节省大量提取工作，而且能获得比较准确的检索区域，能更好地满足用户的检索要求。

本发明解决其技术问题所采用的技术方案是：对用户选择的感兴趣区域，通过自动分析的方法来完成该区域特征的提取，然后采用扫描的方式进行检索。

用户感兴趣区域特征提取的具体实现：当用户选择区域后，对该区域特征的选择也是进行有效检索的重要条件。在基于内容的图像检索(CBIR)中，经常采用的特征有颜色、形状、纹理等。

由于颜色具有与生俱来的旋转不变性和尺度不变性，因此在基于内容的图像检索中，颜色是使用最广泛的特征之一。从1991年Swain和Ballardu提出了使用颜色直方图描述彩色图像以来，很多研究方法都将颜色直方图作为一种常用的特征矢量用于CBIR的研究。

纹理特征是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征。它是所有物体表面共有的内在特性。统计分析法通过运用数理统计理论，计算出图像中象素点和灰度的概率分布情况，对图像纹理进行分析。常用的纹理特征方法有灰度共现矩阵法。统计量包括能量、熵、惯性矩、局部平稳。

物体和区域的形状是图像表达和图像检索中的另一重要的特征。但不同于颜色或纹理等底层特征，形状特征的表达必须以对图像中物体或区域的划分为基础。

对用户选择的感兴趣区域自动分析，确定该区域是以哪种特征为主，然后设置与其相应的权重，即特征综合时各个特征所占的比例。所谓的自动分析是基于统计分析的，通过对大量样本的训练，可以找到一个判断某种特征是否显著的阈值区间，当用户选择的感兴趣区域的特征值在这个阈值区间时，就认为该特征是显著的，相应的权重就会设置的大些。

用户感兴趣区域检索算法的实现过程如下：在本发明中限定用户圈定的ROI为矩形，检索时，将用户圈定的ROI作为待查询图像，对图像库中每一幅图像都定义一个与圈定区域同样大小的“滑动窗口(L)”。令滑动窗口在图像库中的每一幅图像上做从左向右、从上到下地扫描匹配。若扫描时每次移动一个像素，不仅效率低下，而且对每次匹配影响不大，所以，可以选择适当步长进行移动。

设Q为待查询图像(即用户圈定的ROI)，DB_i是图像库中的任一幅图像，它们之间的相似度用S_i(DB_i，Q)表示.。

若令NumH表示滑动窗口在一幅内部水平方向可以平移的次数，NumV表示滑动窗口在一幅图像内部垂直方向可以移动的次数图像。Hstep表示水平方向移动的步长，Vstep表示垂直方向移动的步长：

NumH＝(图像库中原始图片DB_i的宽-滑动窗口L的宽)/Hstep(取整数)；

NumV＝(图像库中原始图片DB_i的高-滑动窗口L的高)/Vstep(取整数)，

则滑动窗口在一幅图片中共能移动(NumH*NumV)次。

设任一图片D_i中的滑动窗口L移动到任一位置时与Q的相似度定义为P_ij(L_ij，Q)，采用直方图相交法来度量Q和L的相似性，则

$\mathrm{Pij}(\mathrm{Lij},Q)=\frac{\underset{K=0}{\overset{l-1}{\mathrm{\Σ}}}\min \{H_Q\left(K\right),H_{\mathrm{Lij}}\left(K\right)\}}{\underset{K=0}{\overset{l-1}{\mathrm{\Σ}}}{H}_Q\left(K\right)}L,1\≤j\≤\mathrm{NumH}*\mathrm{NumV}$

这样，Q与数据库中任一图像DB_i的相似性度量S_i(DB_i，Q)便取所有P_ij中的最大值作为该图与Q的相似度，即S_i(DB_i，Q)＝max(P_ij)，从而基于ROI的图像检索就是要寻找与ROI最相似的前N幅图像。

附图说明

下面结合附图对本发明做进一步说明。

图1是检索系统构成图。

图2是ROI与图库中一幅图片匹配的示意图。

在图1中，通过用户简单的操作，在待查询图像上标识出他所感兴趣的区域，从而为后续的检索提供了可靠且准确的信息基础。一旦获取了能准确表达用户检索意图的图像区域，就能提取最能反映该区域实质的特征；有了反映图像本质的特征后就可以采取有效的匹配方法进行检索。

图2显示了用户选择的感兴趣区域与图库中任一幅图片进行扫描匹配的过程，考虑到用户所感兴趣的区域有可能存在于后台数据库中任一张图片中的任一位置，所以采用扫描式匹配算法。

具体实施方式

基于内容的图像检索系统是按照图1中的几部分构建起来的，而本发明为图像检索系统提供了一种有效的交互方式——用户选择感兴趣区域，按照图2描述的方式进行检索。

Claims (2)

1.交互式图像检索，和一般检索系统一样，往往需要事先与用户进行不断的交互，才能检索出用户比较满意的结果，其特征是：通过用户选择感兴趣区域来达到交互的目的，该感兴趣区域能更好地反映用户查询的真正意图。

2.根据权利要求1所述的交互方式——用户选择感兴趣区域，通过自动分析的方法来完成该区域特征的提取，然后采用扫描方式进行检索，其特征是：通过对该区域的颜色、纹理、形状特征的分析，自动设置各特征的权重进行特征综合。将用户圈定的ROI作为待查询图像，对图像库中每一幅图像都定义一个与圈定区域同样大小的“滑动窗口”。令滑动窗口在图像库中的每一幅图像上进行从左向右、从上到下地扫描匹配。

Images