CN1378159A

CN1378159A - 图像搜索方法和装置

Info

Publication number: CN1378159A
Application number: CN02107880A
Authority: CN
Inventors: 李振秀; 金贤俊
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2001-03-26
Filing date: 2002-03-26
Publication date: 2002-11-06
Also published as: JP3781696B2; CN101814087A; KR20020075600A; KR100451649B1; EP1258816A3; EP1258816A2; US20020168117A1; JP2002366575A

Abstract

一种图像搜索方法,包含:以用户建立的作为查询图像的图像为基础,搜索要找的图像的步骤,允许用户从搜索结果中选择一个或多个与想要的图像相似的图像的步骤,和指定选择的相似图像作为查询图像并以指定的查询图像为基础进行想要图像的再次搜索的步骤。

Description

图像搜索方法和装置

发明领域

本发明涉及到一种基于内容的多媒体搜索系统，尤其是一种图像搜索方法和装置，用于对基于内容的图像搜索系统顺序地应用不同的查询方法，来更有效地进行基于图像的搜索操作。

背景技术

最近，基于内容的多媒体搜索被认识到是非常重要的，因为它克服了关键词搜索的局限性并为人们提供了一种自然的搜索方法，许多研究因此被报道了。尤其是，随着互联网愈来愈多的使用，图像搜索在数字图书馆等中变得更重要并且非常有用。当人用他们的眼睛观看多媒体内容时，基于内容的图像搜索意味着分析图像特征信息，例如颜色或纹理，并且作为分析结果找出并提供相似的图像。为了更好地实现基于内容的图像搜索，许多特征信息被研究和公布。因为这个原因，具有基于内容的图像搜索功能的商业软件包被开发并出售。

大多数这样的图像搜索器为了获得想要的图像，需要用户首先选择一个查询图像来搜索。这样的图像搜索器根据图像特征信息把用户选择的图像与储存在一个图像数据库中的图像进行比较，数据库包括要查找的图像，然后作为搜索结果，从储存的图像中，给用户显示与想要的图像最相近的图像。

然而，当前的现实是，搜索结果满足用户的程度不是十分地高，因为大多数储存在图像数据库中的图像的展示出与要找图像的相似度的重要特征信息是不同的。

为了解决以上的问题，提出了一种方法，其中用户提供关于与要找的特定图像相似的图像的信息，根据初步的搜索结果回到搜索系统(这就是所谓的相关反馈功能)，由系统自动计算哪个特征信息对搜索特定图像更重要。已有报道，这种方法显著地改进了图像搜索性能。

在所有以上提到的技术中，用户必须首先选择一个与特定图像相似的查询图像来搜索特定图像。通常的查询图像选择方法随机排列图像并允许用户选择排列图像中的一个作为查询图像。在这种方法中，用户难以从随机排列的图像中选出一个合适的查询图像。另外，为了从中选择出合适的查询图像，用户不得不多次进行搜索。

为了解决这样的问题，已经提出了一种方法，用户自己建立一个查询图像而不是选择一个，以建立的查询图像为基础搜索想要的图像。在这个方法中，通过使用一个简单的图形创建工具，用户建立一个图像，它反映了要查找的特定图像的特征信息，然后使用建立的图像作为查询图像搜索特定的图像。

然而在这种方法中，用户不得不建立一个简单的查询图像，因为他/她很难建立这样一个详细的查询图像以充分反映要查找的特定图像的特征信息。另外，仅有有限的图像特征信息能被用来搜索这样一个查询图像。例如，纹理信息对用户来说很难创建和表达。因为这个原因，这样的特征信息不但很难被用户反映在查询图像中，而且很难被使用。在这方面，上述方法有缺点，因为搜索性能不是很令人满意，这是因为搜索操作仅仅是基于有限的特征信息进行的。

另一方面，基于关键词的搜索方法是一种代表性的、很容易的由用户进行搜索图像的查询方法。在基于关键词的搜索方法中，每个图像的特征以文本(关键词)来描述，如果用户输入一个关键词表达了要找的图像或与其有联系，则与输入的关键词匹配的图像被搜索出来并作为搜索结果显示给用户。

然而，仅仅当用户认为的关键词被正确的输入作为要查找的图像的关键词时，基于关键词的搜索方法，才能提供合适的搜索表现。就此而论，仅以关键词为基础很难找到一个想要的图像。换句话说，甚至在不同的人想要搜索相同内容的多媒体数据的情况下，他们可能各自用与多媒体数据相关的或能表达多媒体数据的不同的词、句子、描述等等，从而用仅仅一个关键词很难找出想要的图像。此外，因为除了一些特定的应用，一个关键词在不同的国家用不同的语言表达，基于关键词的搜索方法受到严格的限制，除非它支持多语言系统，这导致它在实际应用中的退步。

发明内容

因此，本发明是为了解决以上问题，它的目的是提供一种图像搜索方法和装置来克服传统的基于内容的图像搜索方法存在的问题，并使用户更容易地进行搜索。

本发明的另一个目的是提供一个集成基于内容的多媒体搜索系统中，尤其是基于互联网的视频搜索系统中不同的查询搜索模块的基础。

本发明的另一个目的是提供一种图像搜索系统，通过分级地和连续地组合和应用不同类型的查询数据，例如通用查询图像、由用户建立的查询图像和关键词，来进行图像搜索操作。

根据本发明，图像搜索系统使用一种查询方法，它基于由用户选择的草图、文字信息或草图和文字信息的组合。

在本发明的一个实施例中，图像搜索系统允许用户建立一个查询图像，在建立的查询图像的基础上进行一个粗略的搜索，从粗略搜索的结果中选择一个或多个查询图像，以选择的查询图像为基础进行再搜索。

在本发明的另一个实施例中，图像搜索系统在关键词的基础上进行一个粗略的搜索，允许用户从粗略搜索的结果中选择一个或多个查询图像，以选择的查询图像为基础进行再搜索。

在本发明的另一个实施例中，图像搜索系统在关键词的基础上进行一个粗略的搜索，在用户建立的查询图像的基础上在粗略搜索的结果中进行一个中间搜索，允许用户从中间搜索的结果中选择一个或多个查询图像，以选择的查询图像为基础进行再搜索。

在本发明的另一个实施例中，图像搜索系统在用户建立的查询图像的基础上进行一个粗略的搜索，在关键词的基础上在粗略搜索的结果中进行一个中间搜索，允许用户从中间搜索的结果中选择一个或多个查询图像，以选择的查询图像为基础进行再搜索。

在本发明的另一个实施例中，图像搜索系统在用户建立的查询图像和描述要找图像的文字信息(例如，关键词)的基础上进行一个粗略的搜索，允许用户从粗略搜索的结果中选择一个或多个查询图像，以选择的查询图像为基础进行再搜索。

附图简述

结合附图，本发明以上提到的和其他的目的、特征和其他优点。在下文的详细描述中将得到更清晰的理解。附图中：

图1表明了一个查询图像创建工具的例子，它被应用在本发明的图像搜索系统中；

图2表明了另一个查询图像创建工具的例子，它被应用在本发明的图像搜索系统中；

图3是一幅流程图，它表明了根据本发明的图像搜索方法的第一个实施例；

图4是一幅流程图，它表明了根据本发明的图像搜索方法的第二个实施例；

图5是一幅流程图，它表明了根据本发明的图像搜索方法的第三个实施例；

图6是一幅流程图，它表明了根据本发明的图像搜索方法的第四个实施例；

图7是一幅流程图，它表明了根据本发明的图像搜索方法的第五个实施例；

图8是一幅流程图，它表明了根据本发明的图像搜索方法的第六个实施例；

图9是一幅流程图，它表明了根据本发明的图像搜索方法的第七个实施例；

图10是一幅流程图，它表明了根据本发明的图像搜索方法的第八个实施例；

图11是一幅流程图，它表明了根据本发明的图像搜索方法的第九个实施例；

图12是一幅方框图，它表明了根据本发明的图像搜索装置的第一个实施例；

图13是一幅方框图，它表明了根据本发明的图像搜索装置的第二个实施例；

图14是一幅方框图，它表明了根据本发明的图像搜索装置的第三个实施例。

实施例详述

现在，结合附图对根据本发明的图像搜索系统的优选实施例进行详细描述。

在本发明的主要特征中，为了组合不同类型的查询和使用不同类型信息的搜索方法，搜索结果组合方法和顺序是很重要的。这是因为，低效的组合方法要获得想要的性能是不可能的。

根据查询顺序，本发明提出的图像搜索方法大致分为三种类型。第一种类型的图像搜索方法是首先以用户使用草图创建的查询图像为基础进行搜索操作，然后以通常的查询图像为基础进行搜索。第二种类型的图像搜索方法是首先以文字信息(例如，关键词)为基础进行搜索操作，然后以通常的查询图像为基础进行搜索。第三种类型的图像搜索方法是首先以使用由用户创建的查询图像进行粗略的搜索和使用文字信息(例如关键词)进行粗略的搜索的组合为基础，进行一个搜索操作，然后以通常的查询图像为基础进行搜索。

根据本发明所给出的不同类型的图像搜索方法的更详细的描述将在下文给出。

1)首先基于使用草图的查询，然后基于使用查询图像的查询进行搜索

这种图像搜索方法包含：以用户建立的图像为查询图像搜索想要找的图像，允许用户从搜索结果中选择一个或多个与要找图像相似的图像，指定选择的相似图像作为查询图像并以指定的查询图像为基础再次搜索要找的图像。这种图像搜索方法以下面的方式进行图像搜索。

用户首先建立一个图像，然后以建立的图像作为查询图像进行一个初步的搜索(粗略搜索)。图1表明了一个用户界面的例子，通过它用户能建立一个查询图像。如图所示，由颜色作为特征信息的查询图像可以通过把图板1分为N^*M个方格2，然后用所选的颜色填充分块的方格来实现。

图2表明了另一个建立查询图像的例子。用户可在图板3上通过使用由他/她选择的具有宽度和颜色的笔画出图像的草图，例如图4。另外，通过以前画好的基本图形例如圆或矩形，用户可以更容易地画一个图像。

以上文提到的图像创建工具建立的查询图像为基础，进行初步搜索(粗略搜索)后，从初步搜索的结果中(这些搜索结果是一些为了搜索想要的图像，以用户建立的查询图像为基础，被搜索系统找到并显示在界面窗口中的与要找图像相匹配的图像)，用户选择一个认为是与要找图像相似的图像，把选择的图像反馈到搜索系统。然后，搜索系统以反馈的图像为查询图像进行第二次搜索。也就是，从二次搜索中，以用户反馈的查询图像为基础的查询过程被实现。用户以查询图像为基础通过查询过程进行搜索，直到找到想要的图像。在一些实例中，用户可能从粗略搜索结果中选择多个查询图像。当多个查询图像被选择后，图像搜索可按以下方式进行。

1.1)使用特征信息权重和一个查询图像进行搜索

这种图像搜索方法使用由用户反馈回来的查询图像的任何一个进行再次搜索。

如上所述，从以他/她创建的查询图像为基础的粗略搜索结果中，用户选择多个认为是与要找图像相似的图像。利用这些信息，搜索系统会自动给用于搜索的特征信息设置权重。这里定义，在描述图像的信息中，特征信息仅指低级的特征信息，例如颜色分布图。换句话说，高级的信息，例如关键词，不属于本发明谈到的特征信息，在下文将给它一个独立的名字，称为“文字信息”。

例如，假定使用了两个特征信息，或一个颜色分布图和一个文字信息。所选图像的相似度以所选图像各自的特征信息为基础来计算，在所选图像各自的特征信息中，相对高的权重赋给使计算出的相似度具有较高值的特征信息。相对较高权重的应用意味着，通过对基于相应的特征信息的搜索结果应用权重，可计算出全部的相似度。权重可通过下面的公式1计算：

【公式1】

Weight(k)＝Cont(k)/Cont(All)

Cont (k) = Σ_{i = 1}^{n - 1} Σ_{j = i + 1}^{n} Sim (i, j, k)

Cont (All) = Σ_{k = 1}^{m} Cont (k)

(其中，n是参考对象的数目，m是用于相似度衡量的特征信息的数目，Weight(k)是第k个特征元素的权重，Sim(i，j，k)是第i个参考对象和第j个参考对象之间基于第k个特征元素的相似度，Cont(k)是第k个特征元素的贡献)

相似度Sim(i，j，k)在两个对象之间计算。对图像搜索，最相似于查询图像的图像可以通过连续选择要被搜索的目标图像并计算每个选择的目标图像和查询图像之间的相似度来得到。在这方面，第i个参考对象和第j个参考对象的之间的相似度意味着两个图像i和j之间的相似度。

通常，通过比较两个图像的特征元素值来得到他们之间的差别而计算相似度。一个图像包括多个特征元素，他们是一些信息，例如颜色分布图。例如，图像可以包括颜色分布图和纹理分布图。在这种情况下，相似度利用各自的颜色分布图和纹理分布图来计算得到，全部的相似度通过计算出的相似度的总和来计算得到。换句话说，在图像包括N个特征元素的情况下，相似度仅以各自特征元素为基础被连续地算出，最终的相似度通过总计算出的相似度来算出。在这方面，利用第k个特征元素的相似度的计算意味着在两个图像i和j之间利用N个特征元素中的第k个计算相似度。

根据特征元素的类型，使用一个特征元素的相似度的计算可以用不同的方式进行。然而，通常相似度可以作为一个值(最大距离-测量距离)，测量距离可以是两个特征元素各自数值的绝对值间的差异总和。例如，颜色分布图可以是图像中像素的颜色分布，这个分布可以通过一定的数值来表达。通过对各数值在相同位置的差异取绝对值并累加所取的绝对值，可以得到两个分布图的距离。最大距离意味着按照它的特性所给的特征元素的一个可能的最长距离。通常惯例，分布图的最大距离是“1”。

如果按上面的公式1计算出权重，那么根据算出的权重来进行实际搜索。被选择的多个图像中的任何一个可被指定为一个查询图像来进行搜索。从所选的多个图像中选择一个查询图像可通过以下方法得到，在多个图像中指定最先选择的一个作为查询图像，或计算每个选择的图像和由用户建立的初始查询图像之间的相似度并在所选的图像中指定一个最高相似度的图像作为查询图像。反映权重的两个图像之间的相似度可由下面的公式2计算：

【公式2】

Similarity = Σ_{i = 1}^{n} w_{i} {Sim}_{i}

(其中，n是特征信息的数目，w_i是特征信息i的权重，Sim_i是在特征信息1基础上的相似度)

1.2)使用特征信息权重和多个查询图像进行搜索

这种图像搜索方法利用用户反馈回来的多个查询图像来进行再次搜索操作。

如果多个图像被用户选择，如上所述，那么所选图像的特征信息权重以相同的方式按以上描述的权重设定方法来设定。这时，所有的这组选择的图像被用作查询图像，以所设的权重为基础进行图像搜索。在使用一个查询图像的搜索中，如上所述，每个目标图像和查询图像之间的相似度被计算出。在这个使用所有选择的图像作为查询图像的搜索中，通过按顺序比较每个目标图像和各个所选图像来算出相似度，最终的相似度通过总计算出的相似度来得到。在这种情况下，相似度计算可通过下面的公式3来得到：

【公式3】

Similarity = Σ_{j = 1}^{n - 1} Σ_{k = 1}^{m} (j, k)

(其中，n是查询图像的数目，m是用于相似度衡量的特征元素的数目，Sim(j，k)是利用第k个特征元素的参考对象和第j个查询图像的相似度)

图3是一个流程图，表明了从以用户建立的查询图像为基础得到的粗略搜索结果中选择一个或多个查询图像的方法(1.1或1.2)，并利用所选择的查询图像和特征信息权重进行再次搜索操作。

参考图3，用户通过使用如图1或2所示的图像创建工具建立一个查询图像，以建立的查询图像为基础来搜索想要的图像。用户从搜索结果中选择一个或多个他认为是与想要图像相似的图像，然后把所选的图像反馈回搜索系统。以所选的图像为基础提取出特征信息权重，所选图像中的任何一个被指定为用于下一个查询的图像。此后，在指定的查询图像和提取出的特征信息权重的基础上，进行再次搜索操作来找出想要的图像。

1.3)有选择地使用文字信息和特征信息进行搜索

以上描述的方法(1.1和1.2)是仅仅利用特征信息例如颜色分布图来进行再次搜索操作的典型方法。但是，图像描述信息通常同时包括文字信息，如关键词，和特征信息，如颜色分布图。在这种情况下，不是仅仅使用特征信息，可以更有效地确定哪个文字信息和特征信息更适宜于每个查询的再次搜索操作，并根据确定的结果进行再次搜索操作。在当前查询中，包括包含率状态(IncludingRate)的关键词可被用于这样一种确定。

图4表明了使用文字信息和特征信息选择性地进行搜索的一个例子。

首先，用户建立一个查询图像，利用建立的查询图像进行一个粗略的搜索，然后从粗略搜索的结果中选出一个或多个与想要图像相似的图像。此后，用户选择基于关键词的搜索和基于特征信息的搜索中的任何一种。在有文字信息或在所选的相似图像中共同描述的关键词的情况下，以共同描述的关键词为基础为当前查询进行搜索。这个例子意味着用户想要从关键词的角度来进行搜索。例如，在有超过预定阈值Th，70％的所选图像共同地包括特定关键词的情况下，可以预先定义在该特定关键词的基础上进行再搜索操作。

这里，阈值70％代表一个特定关键词共同的包含率是通过一个关键词K的共同包含率来计算的，IncludingRate(K)＝n/m^*100(％)，其中n是在用户选择的图像中含有关键词K的图像的数目，m是用户选择的图像的数目。

因此，假定多个关键词被共同地包含，搜索操作就能以这组关键词为基础来进行。如果超过70％选择的图像没有共同的关键词，则再次搜索操作仅以特征信息为基础来进行。在这种情况下，以上提到的方法(见公式1和公式2)被用于计算权重，指定所选图像中的任何一个作为查询图像并用这个指定的查询图像进行搜索。也就是说在没有当前的一个或多个关键词K满足IncludingRate(K)＞Th的条件的情况下，特征信息权重以所选的图像为基础来提取，所选图像的任一个被指定作为用于下一个查询的图像。此后，再次搜索操作以指定的查询图像和提取出的特征信息权重为基础来找出想要的图像。

以上的说明给出了一种作为用户选择的相似图像的分析结果，选择性地使用关键词和特征信息中的任何一个来进行再次搜索操作的方法示例。沿着这个概念，再次搜索操作能以关键词和特征信息的组合为基础来进行。这样的基于关键词和特征信息的组合的再次搜索操作可以结合下面的三种情况来进行。

1.3.1)关键词—特征信息搜索

在有一个关键词的共同包含率IncludingRate大于预定阈值Th1的情况下，基于关键词和特征信息组合的搜索按下面的方式进行。

也就是，仅仅进行基于关键词的搜索操作，在搜索的结果中，仅仅那些具有大于预定阈值T1的匹配点的图像被指定作为候选结果。每个指定的候选结果和由用户建立的查询图像之间的相似度以特征信息为基础来计算，按照计算出的相似度递减的顺序提取出搜索结果。

1.3.2)特征信息—关键词搜索

在没有一个关键词的共同包含率IncludingRate大于预定阈值Th1的情况下，基于关键词和特征信息组合的搜索按下面的方式进行。

也就是，每个目标图像和指定的查询图像之间的相似度以特征信息为基础来计算，在目标图像中，仅仅那些相似度大于预定阈值的图像被指定作为候选结果。在指定的候选结果中有一个关键词的共同包含率IncludingRate小于预定的阈值Th1并大于一个小的阈值Th2的情况下(Th2＜Th1)，搜索操作以关键词为基础来进行，按照匹配点递减的顺序提取出搜索结果。

图5显示了按照以上方式，根据共同包含率IncludingRate，按照关键词—特征信息搜索或特征信息—关键词搜索顺序来进行再次搜索操作的方法。

以上提到的搜索方法(1.3.1和1.3.2)将在下文参考图5详细描述。

首先，用户建立一个查询图像，在建立好的查询图像的基础上进行搜索，从搜索的结果中选择一个或多个认为是与要找图像相似的图像。确定在用户选择的图像包含的关键词中是否有满足IncludingRate(K)＞Th1条件的关键词出现，所选图像中的任何一个被指定作为查询图像。此后，确定是否还有一个或多个关键词K满足IncludingRate(K)＞Th1的条件。

在确定还有一个或多个关键词K满足上述条件的情况下，在所选的图像的基础上提取出特征信息权重，在关键词K的基础上进行再次搜索操作，在搜索结果中，仅仅那些匹配点大于预定阈值T1的图象被指定作为候选结果。接着，通过计算每个指定的候选结果和指定的查询图像之间的相似度并按照算出的相似度降序地提取搜索结果而得到要找的图像。然而，在确定没有关键词K满足上述条件的情况下，在所选图像的基础上提取出特征信息权重，在提取出的特征信息权重的基础上计算出每个目标图像和指定的查询图像之间的相似度，在目标图像中，仅仅那些相似度大于预定阈值的图象被指定作为候选结果。此后，通过用满足IncludingRate(K)＞Th2(Th2＜Th1)条件的关键词K计算出指定候选结果的匹配点，按照算出的匹配点递减的顺序提取出搜索结果，最后得到要找的图像。

1.3.3)基于特征信息/关键词组合的搜索

这个搜索方法基于组合的特征信息和关键词来进行搜索操作。在这个搜索方法中，在所选的多个相似图像的基础上提取出特征信息权重，关键词权重由IncludingRate*α的值来定义。通过基于特征信息反映权重+关键词权重*关键词匹配点的相似度而得到每个目标图像的整体相似度，以算出的整体相似度为基础提取出搜索结果。

图6表明了一种利用它们的权重来组合特征信息和关键词，并在组合结果的基础上进行再次搜索操作的方法。

以上提到的搜索方法(1.3.3)将在下文结合图6详细地描述。

首先，用户进行一个以他/她建立的查询图像为基础的搜索，从搜索结果中选择一个或多个相似图像。然后，在所选图像的基础上提取出特征信息权重，满足IncludingRate(K)＞Th1条件的关键词K在所选图像的基础上依次被提取出。关键词K的权重在IncludingRate(K)的基础上也被提取出。接着，所选图像中的任何一个被指定作为下一个查询图像，每个目标图像和指定的查询图像之间的相似度以提取出的权重为基础被计算出，根据关键词K算出每个目标图像的匹配点。此后，通过在算出的相似度和匹配点中反映关键词K的权重，并累加所得到的值，从而得到每个目标图像的整体相似度。

也就是，整体相似度＝基于特征信息反映权重的相似度+关键词权重*关键词匹配点。通过在按上述方式算出的相似度的基础上进行搜索并按照算出的整体相似度递减的顺序提取搜索结果，可以得到想要的图像。

以上描述的方法(1.3，1.3.1，1.3.2或1.3.3)可以利用用户选择的相似图像，自动选择或组合文字信息和低级的特征信息，在选择或组合结果的基础上进行搜索操作，它可以延伸地应用到已有图像搜索而不是基于草图的图像搜索。

例如，以上描述的搜索方法可以应用到现有的方法中用来选择一个特征图像作为查询图像并利用选择的查询图像来搜索相似图像。

在一些情况下，当以上描述的搜索方法被应用到这些现有的方法中时，用户可以从中间搜索结果中选择相似的图像，搜索系统可以确定哪个低级的特征信息和文字信息可被用于下一个搜索，按照上文提到的相同的搜索方法(基于IncludingRate(K)的条件等的搜索顺序和查询元素选择)，直到用户找到想要的图像为止。

这样的延伸应用的例子如流程图7所示。也就是，图7表明了图4概念(1.3)的延伸版本。

换句话说，用户从已存在的图像中选择一个查询图像(不是建立)，在选择的查询图像的基础上进行搜索，从搜索结果中选择一个或多个相似图像，把所选择的相似图像反馈回搜索系统。接着，搜索系统确定包含在由用户选择的相似图像中的关键词，是否有一个或多个满足IncludingRate(K)＞Th1条件的关键词K出现。如果有一个或多个关键词K满足以上条件，通过在关键词K的基础上进行再次搜索，搜索系统可以找出想要的图像。否则，搜索系统可以通过连续进行以下几步找出想要的图像：在用户选择的相似图像的基础上提取出特征信息；指定所选图像中的任何一个(例如，所选图像中最早选择的)作为下一个查询图像；以指定的查询图像和提取出的特征信息权重为基础进行再次搜索操作。

另一方面，再次搜索方法不是基于选择文字信息和特征信息中的任何一个，而是基于它们(1.3.1，1.3.2或1.3.3)的组合，它也可以延伸地应用到已有图像的搜索。

2)首先基于利用文字信息的查询然后基于利用查询图像的查询进行搜索

在1)部分，用户首先使用一个由他/她建立的查询图像来找出合适的查询图像，在找到的查询图像的基础上进行再次搜索操作。在这个部分，详细说明利用文字信息如关键词代替由用户建立的查询图像的方法。图8表明了一种方法，从基于文字信息(例如，关键词)的粗略搜索结果中选择一个查询图像，以选择的查询图像为基础进行再次搜索操作。

首先，用户利用关键词得到粗略的搜索结果。也就是，用户通过输入一个关键词并在输入的关键词的基础上进行图像搜索来得到搜索结果。然后，用户从粗略的搜索结果中选择一个或多个相似图像。在以这种方式选择了多个相似图像后，通过利用以上提到的使用特征信息权重和一个查询图像的搜索方法或使用特征信息权重和多个查询图像的搜索方法，搜索系统可以进行再次搜索操作。也就是，通过提取用户选择的多个相似图像的权重，指定所选图像中的任何一个作为下一个查询图像并以指定的查询图像和反映提取出的权重的特征信息为基础进行再次搜索操作，搜索系统可找到想要的图像。

3)首先基于利用草图/文字信息的查询然后基于利用查询图像的查询进行搜索

在这个部分，以利用用户建立的查询图像而进行的粗略搜索和利用文字信息如关键词而进行的粗略搜索的组合为基础而进行的粗略搜索操作的方法将被详细描述。

在这个方法中，关键词被用作文字信息的一个例子。首先，用户建立一个查询图像，输入合适的关键词，利用建立的查询图像和输入的关键词进行粗略的搜索。这样的一个基于两种不同查询元素(在本实施例中是一个建立的查询图像和一个关键词)组合的搜索操作可以结合下面的三个情况来进行。

3.1)关键词—草图搜索

这个关键词—草图搜索方法是在仅仅基于关键词的基础上进行搜索操作，从搜索结果中指定那些匹配点大于预定阈值的图像作为候选结果，在特征信息的基础上，算出每个指定候选结果和建立的查询图像之间的相似度，按照计算出的相似度递减的顺序提取出搜索结果。

这个关键词—草图搜索方法如图9所示。

首先，建立一个查询图像。然后，在用户输入的关键词的基础上进行图像搜索操作。那些匹配点大于预定阈值的图像从搜索结果中被提取出作为候选结果，每个提取出的候选结果和用户建立的查询图像之间的相似度被计算出。然后，搜索结果按照计算出的相似度递减的顺序被提取出。用户从搜索结果图像中选择一个或多个认为与要找图像相似的图像。在所选图像的基础上提取出权重，并且指定所选图像中的任何一个或多个作为查询图像。

以指定的查询图像和提取出的权重为基础进行再次搜索操作来找到想要的图像。

3.2)草图—关键词搜索

这个草图—关键词搜索方法是在特征信息的基础上计算每个目标图像和建立的查询图像之间的相似度，在目标图像中指定那些相似度大于预定阈值的图像作为候选结果，对指定的候选结果以查询关键词为基础进行搜索操作，并按照匹配点递减的顺序提取出搜索结果。这个草图—关键词搜索方法如图10所示。

首先，建立一个查询图像。然后，在用户建立的查询图像的基础上进行图像搜索操作来提取出候选结果。每个提取出的候选结果和用户建立的查询图像之间的相似度被计算出，然后按照算出的相似度递减的顺序提取出搜索结果。此后，计算出基于与输入关键词的相似度的搜索候选结果的匹配点，按照算出的匹配点递减的顺序，搜索结果被提取出。用户从基于关键词匹配点的搜索结果图像中选择一个或多个认为与想要图像相似的图像。在所选图像的基础上，权重被提取出，并且所选图像中的任何一个或多个被指定作为查询图像。

3.3)草图/关键词组合搜索

这个草图/关键词组合搜索方法是在特征信息的基础上计算出每个目标图像和建立的查询图像之间的相似度和具有查询关键词的每个目标图像的匹配点，通过组合算出的相似度和关键词匹配点来得出每个目标图像的整体相似度，然后，以得到的整体相似度为基础提取出搜索结果。在每个相似度和每个关键词匹配点的累加中可以应用由实验得到的权重。

图11表明了草图/关键词组合搜索方法。

考虑两种图像搜索结果—基于输入的关键词的搜索结果和基于用户建立的查询图像的搜索结果。也就是，通过组合每个具有输入关键词的目标图像的匹配点和每个目标图像与查询图像之间的相似度，可以得出每个目标图像的最终相似度，在得到的最终相似度的基础上，可提取出搜索结果。用户从基于最终相似度的搜索结果的图像中选择一个或多个认为与要找的图像相似的图像。在所选图像的基础上，权重被提取出，并且所选图像中的任何一个或多个被指定作为查询图像。

以上说明了三种类型的查询—搜索方法。

接下来，在以上描述的本发明的图像搜索方法的基础上，将给出一种图像搜索装置的描述，参考图3-11。

4.图像搜索装置的实施例1

图12是一个框图，表明了按照本发明的图像搜索装置的第一个

实施例。

为了应用如上所述的利用查询图像(由用户建立的查询图像和由用户选择的查询图像)和特征信息/权重的图像搜索方法，本发明的图像搜索装置包含一个用户界面5，一个基于特征信息的搜索器6，一个在权重应用的基础上进行搜索操作的权重应用搜索器7，和一个在用户选择的相似图像的基础上计算权重的权重提取8，用以学习和应用权重。用户界面5包含一个查询图像生成器5a，允许用户建立查询图像，一个查询图像选择器5b，允许用户选择认为与要找图像相似的图像作为查询图像，和一个搜索结果窗口5c，用来显示搜索结果。

图12的图像搜索装置在上述的用户建立的查询图像、由用户选择的查询图像、特征信息和权重的基础上进行图像查询方法。

也就是，查询图像生成器5a的功能允许用户建立查询图像并使用建立的查询图像作为粗略搜索的查询元素。查询图像选择器5b的功能允许用户选择并使用一个或多个查询图像作为粗略搜索或再次搜索的查询元素。搜索结果窗口5c的作用是显示搜索结果。基于特征信息的搜索器6结合特征信息进行一个图像搜索操作。权重应用搜索器7在应用权重提取器8计算出的权重的基础上进行搜索操作。权重提取器8在用户选择的相似图像的基础上计算权重以学习和应用权重。

5.图像搜索装置的实施例1

图13是一个框图，表明了按照本发明的图像搜索装置的第二个

实施例。

图13的第二个实施例与图12的第一个实施例在结构上是基本相同的，除了包含关键词查询单元9a，用户界面9和基于关键词的搜索器10分别代替了包含查询图像的器5a，用户界面5和基于特征信息的搜索器6，以使用关键词代替建立的查询图像来执行的图像搜索方法。

查询图像选择器9b，搜索结果窗口9c，权重应用搜索器11和权重提取器12和图12中的那些相同。

因此，图13中的图像搜索装置可以执行本发明的图像搜索方法，其中使用一个关键词作为查询元素。

6.图像搜索装置的实施例3

图14是一个框图，表明了按照本发明的图像搜索装置的第三个

实施例。

这个图像搜索装置执行以上提到的第三种图像搜索方法(3，3.1，3.2或3.3)，在组合利用用户建立的查询图像进行的粗略搜索和利用用户输入的关键词进行的粗略搜索的基础上，进行粗略的搜索操作。

在图14的图像搜索装置中，用户界面13包含一个查询图像生成器13a，关键词查询单元13b，查询图像选择器13c和搜索结果窗口13d。在这种情况下，搜索单元14包含：基于特征信息的搜索器14a，用来计算目标图像和查询图像之间的相似度并在算出的相似度的基础上进行搜索操作；基于关键词的搜索器14b，用来在输入的关键词的基础上进行搜索操作；和搜索器14c，用来在组合基于图像的查询的搜索结果和基于关键词的搜索结果的基础上，计算出最终的相似度，并以算出的相似度为基础提取出搜索结果。因此，图14所示的图像搜索装置，可以通过利用基于用户建立的查询图像的搜索和基于输入的关键词的搜索这两者来进行图像搜索操作。

这里，权重应用搜索器15和权重提取器16与以上提到的相同。

从以上的描述可以看出，本发明提供了一种图像搜索方法，可以在用户建立的查询图像或关键词的基础上进行初步的搜索，允许用户容易地找出多个查询图像，然后在由用户找出的多个查询图像的基础上进行二次搜索。因此，按照实际图像搜索应用，本图像搜索方法与传统的图像搜索方法相比更有实际的使用价值。

也就是，在传统的图像搜索方法中，为得到高的性能而进行基于图像的查询搜索操作，导致要找到一个合适的初始查询图像很困难。而且，在使用关键词或建立的查询图像来进行初步搜索时，很难找出想要的图像。然而，本发明解决了这些问题。

本发明顺序地组合和有效地利用查询方法。为此，以建立的图像或关键词为基础进行初步搜索，然后以从搜索结果中选择的查询图像为基础进行再次搜索。为最优化研究，多个查询图像被选择，在选择的查询图像的基础上，适宜于当前查询的权重可自动地计算出。结果是，本发明给用户提供了方便和高的搜索性能。

尤其是，本发明可实际应用于互联网上的网页搜索，并可以非常有效地应用于多媒体数据库，或最近广泛研究的多服务器图像搜索中。

尽管以上出于说明的目的公布了本发明的优选实施例，但是可以理解，在不脱离由所附权利要求书限定的本发明范围和实旨的情况下，各种修改、增加和替换都是可能的。

Claims

1.一种图像搜索方法，包含步骤：

a)在用户建立的作为查询图像的图像的基础上，搜索想要找的图像；

b)允许用户从所述的想要的图像的搜索结果中选择一个或多个与所述的想要的图像相似的图像；以及

c)指定选择的相似图像作为查询图像并在指定的查询图像的基础上再次搜索所述的想要的图像。

2.如权利要求1所述的图像搜索方法，其中所述的步骤c)包含以下步骤：在用户选择的所述相似图像的基础上计算特征信息权重，并在算出的特征信息权重的基础上进行再次搜索。

3.如权利要求1所述的图像搜索方法，其中所述的步骤c)包含步骤d)：在选择共同包含在用户选择的所述相似图像中的文字信息和低级特征信息中的任何一个或其组合、所述文字信息和低级特征信息的顺序组合、和所述文字信息的可用性的基础上，进行再次搜索。

4.如权利要求3所述的图像搜索方法，其中所述的步骤d)包括：通过计算用户选择的所述相似图像中共同包含的特定关键词的出现率来得到所述的文字信息的可用性的步骤。

5.如权利要求3所述的图像搜索方法，其中所述的步骤d)包括：如果所述的文字信息可用性大于预定的阈值，则以共同包含在用户选择的所述相似图像中的文字信息为基础，以及如果所述的文字信息可用性不大于预定的阈值，则以所述的低级特征信息为基础，进行再次搜索的步骤。

6.如权利要求3所述的图像搜索方法，其中为了在顺序组合所述文字信息和低级特征信息的基础上进行再次搜索，所述的步骤d)包含以下步骤：

计算所述文字信息的可用性；

计算所述特征信息的权重；

依照所述文字信息可用性按比例计算所述文字信息的权重；

通过相加基于所述反映算出的特征信息权重和文字信息权重的特征信息的每个目标图像的相似度和每个目标图像的文字匹配点，得到每个目标图像的最终相似度；以及

按照算出的最终相似度递减的顺序，输出搜索结果。

7.一种图像搜索方法，包含步骤：

a)响应于用户的查询输出候选的相似图像；

b)允许用户从所述的候选相似图像中选择认为与要找的图像相似的图像；以及

c)计算包含在所选的相似图像中的文字信息的可用性，确定作为计算结果的下一个查询元素，并在确定的查询元素的基础上进行再次搜索操作。

8.如权利要求7所述的图像搜索方法，其中所述的根据所述文字信息可用性而确定的下一个查询元素是所述文字信息和低级特征信息中的任何一个或它们的组合，或所述文字信息和低级特征信息的顺序组合。

9.一种图像搜索方法，包含步骤：

a)以关键词为基础，搜索想要找的图像；

b)从所述想要的图像的搜索结果中选择与所述想要的图像相似的图像；以及

c)指定所选择的相似图像作为查询图像，并在指定的查询图像的基础上再次搜索所述的想要的图像。

10.如权利要求9所述的图像搜索方法，其中所述的步骤c)包含以下步骤：在用户选择的所述相似图像的基础上计算特征信息权重，并在算出的特征信息权重的基础上进行再次搜索。

11.一种图像搜索方法，包含步骤：

a)允许用户创建查询图像和输入关键词；

b)以创建的查询图像和输入的关键词为基础，进行粗略搜索；

c)从粗略搜索的结果中选择与想要找的图像相似的图像；以及

d)指定一个或多个所选的相似图像作为查询图像，并以指定的查询图像为基础进行再次搜索。

12.如权利要求11所述的图像搜索方法，其中所述的步骤b)包含步骤：

以所述的用户输入的关键词为基础进行搜索操作；以及

在用户建立的所述查询图像的基础上，对基于所述用户输入的关键词的搜索结果进行搜索操作，以输出粗略搜索的结果。

13.如权利要求11所述的图像搜索方法，其中所述的步骤b)包含步骤：

以所述的用户建立的查询图像为基础进行搜索操作；以及

在所述的用户输入的关键词的基础上，对基于所述的用户建立的查询图像的搜索结果进行搜索操作，以输出粗略搜索的结果。

14.如权利要求11所述的图像搜索方法，其中所述的步骤b)包含步骤：

同时进行基于用户建立的所述查询图像和基于用户输入的所述关键词的搜索操作；以及

在所述的建立的查询图像和关键词信息匹配点的基础上，组合相似度来输出粗略搜索结果。

15.如权利要求11所述的图像搜索方法，其中所述的步骤c)包含，在所述的用户选择的相似图像的基础上计算特征信息权重，并在算出的特征信息权重的基础上进行再次搜索的步骤。

16.一种图像搜索装置，包含：

用户界面装置，用于在查询元素的基础上顺序地和分级地组合和输入不同类型的用于图像搜索的查询元素；以及

搜索装置，以所述的由用户界面装置输入的查询元素为基础进行图像搜索，以输出相应于所述查询元素的顺序的和分级的组合的搜索结果。

17.如权利要求16所述的图像搜索装置，其中所述的查询元素是由用户建立的查询图像、由用户而来的查询图像和图像描述文字中的两种。

18.如权利要求17所述的图像搜索装置，其中所述的用户界面装置选择性地包括查询图像生成器、查询图像选择器和对应于所述查询元素的关键词查询单元。

19.如权利要求17所述的图像搜索装置，进一步包含：

权重提取装置，以所述用户界面装置选择的多个相似图像为基础，计算特征信息权重；

权重应用搜索装置，以所述权重提取装置计算出的所述特征信息权重的应用为基础，进行搜索操作。

20.如权利要求17所述的图像搜索装置，进一步包含搜索信息确定装置，以所述的用户界面装置选择的多个相似图像为基础，确定文字信息和低级特征信息中的哪一个将被用于作为下一步搜索的查询元素。

21.一种图像搜索方法，包含以下步骤：

a)输入一个用于粗略搜索的查询；

b)以输入的查询为基础，进行粗略搜索；

c)从所述粗略搜索的结果中选择与想要找的图像相似的图像；以及

22.如权利要求21所述的图像搜索方法，其中所述的用于粗略搜索的查询是基于用户输入的关键词或用户创建的查询图像。

23.如权利要求21所述的图像搜索方法，其中所述的步骤d)包含：以从用户选出的相似图像中提取出的特征信息权重或共同包含在用户选择的相似图像中的文字信息的可用性为基础进行再次搜索的步骤。