CN104969223A - 相邻搜索结果探索 - Google Patents

Abstract

本说明书涉及通过接收初始图像查询创建图像空间。确定涉及初始搜索查询的多个搜索查询。获取初始搜索查询和多个相关搜索查询的图像结果。生成表示来自初始搜索查询的多个图像的图像面板和表示来自多个相关搜索查询的多个图像的多个图像面板。使用这些面板来提供图像空间。所述图像空间可以以表示与初始搜索查询有关的结果图像的面板为中心，并且可以被表示与多个相关搜索查询有关的结果图像的多个面板围绕。

Description

相邻搜索结果探索

背景技术

此处所述主题涉及图像检索系统中的相邻搜索结果探索。图像检索系统是用于浏览、搜索并从数字图像库中检索图像的计算机系统。许多图像检索系统向图像添加元数据，例如，标题、关键字、或描述，以便可以利用元数据执行检索。这种搜索类型被称为图像元搜索。其允许用户使用关键字或搜索短语寻找图像。作为结果，用户可以接收可以引用图像资源的图像集合，例如缩略图图像，并且其可以按关联性排序。

在使用中，用户可以通过使用输入查询搜索图像内容来执行图像搜索。向用户呈现相关图像并且用户可以为所期望的图像浏览这些相关图像。所呈现的图像可以包含对一些内容的静态、图形化表示，例如，照片、绘图、计算机生成的图、广告、web内容、书籍内容或图像帧的集合，例如电影或幻灯片。

发明内容

交互式计算机环境允许客户端的用户能够浏览所期望的目标图像的图像集合。

客户端的用户向系统提供图像搜索查询。在接收到搜索查询之后，该系统对图像搜索查询进行分析并且确定多个相关图像搜索查询。可以通过相关查询引擎执行所述分析。

初始图像搜索查询和多个相关图像查询被发送到图像搜索引擎。从初始图像搜索查询和相关图像搜索的图像搜索引擎结果获取图像面板。面板可以包含与相应的搜索查询相关联的多个图像。特别地，面板可以包含与相应的搜索查询相关联的平铺图像。这些面板用于提供图像空间。图像空间的中心可以是表示初始搜索查询的图像结果的面板，并且可以被表示与初始搜索查询相关的多个搜索查询的图像结果的多个面板所围绕。

客户端的用户可以通过在所有方向上平移以及放大和缩小视图来浏览向客户端显示提供的图像空间。随着客户端的用户在特定方向上平移该显示，由相关查询引擎连同图像搜索引擎一起产生越来越多的相关查询面板。客户端显示可以无限制地向外平移，或者直至达到相关查询搜索的结束。如果客户端的用户发现相关面板，则客户端显示可以缩放至该面板中，并且用户可以查看相关查询并浏览与此查询相关联的所有图像。如果发现目标图像，则客户端的用户可以点击所显示的图像，并且被提供以登陆页面。如果没有发现目标图像，则可以缩小客户端显示，并且继续搜索。

在本说明书所描述的主题的实施方式中，所述方法包括接收初始图像查询的步骤。确定与初始搜索查询相关的多个搜索查询。获取初始搜索查询和多个相关搜索查询的图像结果。生成表示来自初始搜索查询的多个图像的图像面板和表示来自多个相关搜索查询的多个图像的多个图像面板。这些面板用于提供图像空间。图像空间可以以表示与初始搜索查询相关的结果图像的面板为中心，并且被表示与多个相关搜索查询相关的结果图像的多个面板围绕。

该系统能够接收至少一个输入来浏览图像空间，并且响应于该至少一个输入修改图像空间。可以通过在X-Y方向上平移或者在Z方向上缩放来修改图像空间。当图像空间在特定面板上被完全放大时，该特定面板可以被扩展到示出与关于该面板的图像查询相关联的所有图像。此外，随着图像空间被平移，相关查询引擎可以通过加性地加权相邻查询而产生更多相关搜索查询。

此外，随着图像空间被平移，相关查询引擎可以处置已查看的面板，使得其不会再次被示出。相关查询引擎也可以为初始搜索查询创建后边缘，从而减少尽头的可能性。此外，相关查询引擎可以将查询的关键字分成至少两部分，并且对于这些部分中的至少一个执行相关查询搜索。该系统也可以接收指示目标图像被发现的至少一个输入，并且提供与该目标图像相关联的登陆页面。

在另一个实施方式中，系统包括一个或多个处理器以及一个或多个计算机可读存储介质，所述一个或多个计算机可读存储介质包括指令，所述指令被配置成使得所述一个或多个处理器执行操作。所述操作可以包含接收初始图像查询。可以确定与初始搜索查询相关的多个搜索查询。获取初始搜索查询和相关搜索查询的图像结果。生成表示来自源自初始搜索查询的图像搜索引擎的多个图像的图像面板，以及表示来自源自多个相关搜索查询的图像搜索引擎的多个图像的多个图像面板。系统使用这些面板来提供图像空间。该图像空间可以以表示与初始搜索查询相关的图像搜索引擎的多个结果图像的面板为中心，并且可以被表示与多个相关搜索查询相关的图像搜索引擎的多个结果图像的多个面板围绕。

在另一个实施方式中，一种计算机程序产品，所述产品有形地体现在机器可读存储介质中，所述机器可读存储介质包含指令，所述指令被配置成使得数据处理设备接收初始图像查询。确定与初始搜索查询相关的多个搜索查询。获取初始搜索查询和多个相关搜索查询的图像结果。生成表示来自源自初始搜索查询的图像搜索引擎的多个图像的图像面板，以及表示来自源自多个相关搜索查询的图像搜索引擎的多个图像的多个图像面板。数据处理设备用这些面板来提供图像空间。该图像空间可以以表示与初始搜索查询相关的图像搜索引擎的多个结果图像的面板为中心，并且可以被表示与多个相关搜索查询相关的图像搜索引擎的多个结果图像的多个面板围绕。

该交互式计算机环境和系统是更有效的并且更可靠的，因为其减少找到所期望的图像的必要时间。并且在搜索图像时，利用较少资源，同时提供更好的灵活性。

附图说明

图1是示出用于提供图像搜索结果的示例过程的流程图；

图2是示出用于修改图像空间的示例过程的流程图；

图3是示出用于允许客户端创建并操纵图像空间的示例过程的流程图；

图4-8是用于获取相关搜索查询的示例方法的图形表示；

图9-13是根据本公开技术使用的图像空间的示例表示；

图14是使用本公开技术的搜索系统的示例的方框图；以及

图15是使用本公开技术的系统的示例的方框图。

具体实施方式

交互式计算机环境和系统，可以被用作为查看并导航搜索查询和相关搜索查询结果的探索工具。该系统允许客户端用户通过有效地探索图像数据集合和相关图像数据集合，从而可视化地探索与查询有关的各种搜索结果。布置搜索结果以便当在近视图内查看时，每个单个搜索结果集合可以作为单独实体查看。客户端的用户可以缩小并探索相关查询，好像他们存在于每个方向上的无限平面上，并且根据需要，缩放回到个体结果来与它们交互。

如下文将更加全面描述的，图像空间可以被限定为图像资源的视觉表式，并且可以在显示器或类似装置上呈现给客户端的用户。在一些实施方式中，图像被搜索，然而，该系统能够将所公开的技术应用到其中可以应用到搜索的任何数据，包含视频、文本文档、音频、元数据和其它。

图1是用于提供图像搜索结果的方法的示例的流程图。图像搜索结果一般包含各种版本的图像资源，例如，缩略图，响应于所提交的搜索查询而确定所述图像资源。尽管有可能呈现实际图像资源，但是通常呈现这些图像资源的表示，而不是实际图像资源本身。说明书中的术语图像指的可以是图像资源或是图像资源的表示。

可以相对于执行这些方法的系统来描述图1中的方法，所述系统例如，如图14所示的搜索系统，包含一个或多个计算机装置。在步骤S1中，该系统接收初始图像搜索查询。该图像搜索查询可以是响应于该查询的图像内容的搜索查询。例如，该系统可以接收查询，其使用文本描述了特定图像或图像类型。或者，该图像搜索查询可以提供关于一个或多个图像的信息，所述一个或多个图像与主题、网站、网页，离线数据库、在线数据库、库、交易、文档、照片、绘图，或其它内容相关联。图像搜索查询还可以包含识别所请求的图像内容的一个或多个查询项。这些查询项可以识别(1)一个或多个搜索串，例如“出售幼犬”“德国牧羊犬幼犬”“幼犬和幼猫”(2)图像特征，例如，颜色、纹理、尺寸(3)文件类型，例如，位图、jpeg、tiff，或者(4)上述的组合或其它。此外，在一些实施方式中，查询本身可以是图像。

在步骤S2中，该系统分析图像搜索查询。可以由相关查询引擎、知识图、流行查询引擎来执行所述分析，或者该系统可以使用最近搜索历史。在一些实施方式中，可以使用采用无限或接近无限的相关查询算法的相关查询引擎。特别地，该系统可以从单一查询开始，并且随着系统构建图像空间，可以咨询相关查询引擎来确定最佳相关查询以及它们在图像空间内的布局。随着图像空间增长，相关查询引擎使用相近查询作为新查询的种子。随着图像空间变大，相关查询半径可以增长，使得比起那些与初始查询最近的查询，所述查询结果距离初始搜索查询结果越远，与原始查询越不相关。将在下文对相关查询引擎进行更全面的解释。

在步骤S3中，步骤2的分析确定相关的图像搜索查询。所接收到的初始图像搜索查询和所确定的相关图像查询被发送到图像搜索引擎。在这个示例中，所接收到的图像搜索查询和所确定的多个相关图像查询被同时或接近同时发送到图像搜索引擎，但是这些查询可以分别发送并且以不同时间间隔发送到图像搜索引擎。无论如何，图像搜索引擎将为每个查询单独执行图像搜索，并且获取搜索结果(步骤S4)。这些搜索结果识别响应于单个查询的图像。这些图像搜索结果可以识别与图像查询有关的对应的图像资源。例如，图像搜索引擎可以索引并存储图像集合的元数据并且，当执行图像查询时，该图像搜索引擎使用该索引将查询与所存储的数据匹配。这些结果通过使用排名引擎按相关性排序呈现，该排名引擎根据一个或多个标准响应于所接收到的查询来对图像搜索结果进行排名。可以使用图14所描述的排名引擎执行排名。

可以在对应于图像中的相似度和交集的集合中将每个查询搜索的结果图像聚组，例如，可见的、不可见的，或其两者。这可以用多种方式实现，包括在web浏览器程序中使用脚本、HTML(超文本标记语言)、或两者。因此，该实施方式能够使它独立于特定的平台或浏览器软件。其它实施方式也是可能的。

一旦识别了每个查询的搜索结果，可以生成表示单个搜索结果的平铺图像的面板(步骤S5)。这些平铺图像是显示选项的示例，但是其它显示选项也是可用的，例如，可以提供图像的环形图案。这些面板可以包含与相应的搜索查询相关联的多个图像。换言之，该面板可以为查询示出特定数量的最高排名的图像，或者该面板可以为每个搜索结果聚组包含特定数量的代表性图像(例如，见图10-12)。

这些平铺面板用于提供交互式图像空间(步骤S6)。该图像空间的中心可以是表示来自初始搜索查询的结果的面板，并且该中心面板可以被表示相关搜索查询的搜索结果的多个面板所围绕。可以使用相同的基础技术以其它形式或格式来呈现该图像空间格式。

图2是用于修改所述图像空间的方法的示例的流程图。当客户端的用户为目标图像浏览该图像空间时，该系统可以接收用于操纵图像空间的输入(步骤S7)。基于这些所接收到的输入，该系统通过提供额外的相关搜索查询结果来修改图像空间(步骤S8)。将所修改后的图像空间提供给客户端侧(步骤S9)。这些输入可以允许图像空间：缩小、放大、以及左移、右移、上移、下移，或其任意组合。可以执行(部分执行)所述缩放和平移从而使得当缩小时，示出第一缩放水平，其中在每个图像面板中显示更少的图像但是可以示出更多的图像面板，而当放大时，示出第二缩放水平，其中在每个图像面板中显示更多的图像但是可以示出更少的图像面板。

例如，(1)基于缩小，该图像空间可以在单一显示上显示多个图像面板，(2)基于放大，该图像空间可以放大直至示出能够显示该查询的所有图像搜索结果的单一查询，以及(3)基于平移，该图像空间将示出不在可见范围内但是与可见范围内的相邻面板有关的面板，这将在后文更全面地描述。可以由显示这些图像的装置本身、使用在一个通信会话中由服务器装置发送的代码、或通过与服务器系统的正在进行的交互来执行这样的修改。

可以由系统接收这些输入，直至该系统接收到代表已经发现目标图像的输入(步骤S10)。该系统一旦接收这样的目标输入，系统会提供登陆页面，用于在非搜索能力中查看目标图像(步骤S11)。

图3是用于允许客户端在显示上创建图像空间，并且允许客户端的用户操纵该图像空间的方法的示例的流程图。在步骤C1，客户端的用户向系统提供搜索查询。反之，如上所述，该系统将向客户端侧提供图像空间。在步骤C2，由客户端侧接收该图像空间。在步骤C3，该图像空间将被呈现给客户端。可以由显示图像的装置执行呈现，或者服务器装置可以通过发送代码到接收装置来呈现该客户端界面，所述接收装置渲染代码使得呈现客户端界面的显示。

在步骤C4，如果被呈现的图像空间包含目标图像，则客户端的用户可以向系统提供输入，该输入代表已发现目标图像(步骤C5)。如果没有发现目标图像，则客户端的用户可以通过向系统提供输入来浏览图像空间(步骤C6)，例如，平移图像空间或放大或缩小图像空间。

若干种与客户端界面交互的方法都是可能的。在触摸屏界面上，例如，用于移动装置或平板电脑上，可以使用单个手指或多个手指的手势来执行缩放，而可以用拖动手势来执行平移。在桌面上基于web的界面上，可以使用鼠标滚动轮、所分配的缩放键、或其二者来控制缩放输入，并且可以使用鼠标拖动、使用键盘(例如，通过使用箭头键)，或其二者来控制平移。也可以对其它输入进行编程从而在客户端界面执行其它操作，例如，代表已发现目标图像的输入。也可以利用其它界面，例如，增强现实眼镜，其使用声音和眼睛命令与客户端界面进行交互。

此外，接下来的描述可以包含响应于放大和缩小来重新缩放图像，但是一些实施方式不需要采用重新缩放。可以根据由放大输入和缩小输入支配的缩放因子对客户端界面所显示的图像进行重新缩放。例如，缩放因子值可以保留在存储器中，其中响应于缩放输入直接修改缩放因子值，并且可以使用缩放因子调整在客户端界面所显示的图像的大小。随着输入引起界面放大，所显示的图像可以变得更大直到它们被来自不同缩放水平的更多图像所替代。同样地，随着输入引起界面缩小，所显示的图像可以变得更小直到它们被来自不同缩放水平的更少图像所替代。

在客户端的用户已经提供浏览输入之后，该客户端将接收到修改后的图像空间(步骤C7)并且该图像空间将被在显示上呈现给该客户端的用户(步骤C8)。修改后的客户端界面可以继续示出随着客户端的用户无限制地向外平移而被创建的越来越多的相关查询面板，或者直至达到相关查询搜索的结束，例如，相关查询引擎利用库中的所有查询。如果客户端的用户发现相关面板，则该客户端显示可以被缩放至面板中，并且客户端的用户可以查看相关查询并浏览与此查询相关联的所有图像。如果发现目标图像(步骤C9)，则客户端的用户可触摸-点击或鼠标-点击或以其他方式指定图像(步骤C5)，并且可以被提供以登陆页面。如果没有发现目标图像(步骤C9)，则客户端的用户可以继续向系统提供浏览输入，直到发现目标输入。如果该客户端的用户想要浏览他们过去的搜索结果，则附加特征允许客户端的用户在所放大的面板之间前后移动。

如图4-8所示，相关查询引擎通过实现算法构建动态客户端界面，该算法在客户端界面内建立相关查询项及其排列。在示例中，如果初始搜索查询为“幼犬”，则如图4所示“幼犬”可以变成图像空间的中心。“幼犬”将被发送给相关搜索引擎。用于相关查询引擎的一种类型的算法可以基于提交给搜索系统的之前图像搜索，例如“小狗”，以及可以被利用来返回更相关或更精确结果的之前搜索细化，例如，将“幼犬”细化为“大丹犬幼犬”，来产生相关查询项。一旦算法接收初始搜索查询，那么算法分析该搜索查询并且，在本示例中，返回与“幼犬”相关的最高权重的搜索项中的四项。在本示例中，算法返回“待售幼犬”，“犬和幼犬”，“幼犬壁纸”和“可爱幼犬”，因为这些是对初始查询“幼犬”而言最常见的搜索细化。如图5所示，该系统可以使用这些相关查询结果来填充与初始搜索项有关的图像空间的基本方向(上、下、左、右)。

在算法建立基本方向之后，该算法基于与空白空间的所有相近查询有关的事物扩展相关查询。在本示例中，搜索引擎将使用加法计算来填充图像空间内的空白空间，例如，该图像空间的角，所述加性计算使用相近搜索查询来为相近查询的加性结果表格化最高权重的相关搜索查询(图6)。例如，为了填充左上角，相关搜索引擎一起聚组在加性结果中，“可爱幼犬”、“幼犬”和“幼犬壁纸”。该算法使用将这些群组连接到一起的最高权重的搜索查询。在这个示例中，相关搜索引擎返回搜索查询“幼犬和幼猫壁纸”。对剩余角也遵循本方法。

在使用中，当客户端显示平移该图像空间时，算法持续表格化新的相关查询，并且算法通过跟随加性结果的最强权重查询来持续填充相关搜索查询。在图7中，向右平移客户端显示，并且相关搜索引擎在左侧产生三个更多节点的结果。在图8中，向下平移客户端显示，而顶部节点被填入更多的相关搜索结果。

算法也使得可以探索相关搜索结果而不会遇到以下问题：(1)尽头，例如，“乌鸦”->“乌鸦鸟”->“乌鸦鸟头”->“乌鸦鸟面”->尽头，(2)重复，例如，“乌鸦”->“乌鸦鸟”->“乌鸦鸟头”->“乌鸦鸟面”->“乌鸦鸟头”->“乌鸦鸟巢”，(3)卡在循环中，例如，“乌鸦”->“乌鸦鸟”->“乌鸦鸟头”->“乌鸦鸟面”->“乌鸦鸟头”->“乌鸦鸟头”等，或者(4)卡在非常特定的搜索类型中，例如，如果初始查询是“Britney Spears”，则就很难避开关于女性名人的查询。

为了克服这些困难，该算法使用各种程序进行补偿，使得在该算法陷入上述问题之一的情况下也可以不断地提供相关搜索项。

第一，该算法处置已经被查看的查询，使得任何已被查看的查询将不会再被使用一次。换句话说，出现在客户端的视野中的任何查询都不会重复。

第二，如果查询具有太多描述符，使得相关查询引擎陷入尽头，则该算法可以具有反射特征，该反射特征为特定查询创建后边缘。例如，如果查询转换“乌鸦”->“乌鸦鸟”->“乌鸦鸟头”->“乌鸦鸟面”->尽头。该引擎将从乌鸦鸟创建后边缘。在该示例中，后边缘为“乌鸦”，但也可以是来自前面查询的任何描述符。该后边缘权重较小，但当尽头出现时对于探索仍然有用。

第三，当使用相关搜索引擎时，使用指定存储器的该算法，可以处置当前查询和其它相近查询。因此，如果初始查询是“鸟”而相近项是“猫”，则该算法可以搜索与“鸟”和“猫”二者都相关的查询并且加性地加权这些结果。以这种方式，如果某事物与二者都相关，则该算法可以使用这个查询，但是如果该算法没有发现与二者都相关的查询，则该算法还是可以单独使用“鸟”或“猫”。此外，如果当使用相近查询时该算法未能发现相关搜索查询，则该系统可以研究比相邻面板距离更远的查询。

第四，如果该算法不能发现与当前查询串相关的任何事物，则该算法可以将串分成关键字并且分别搜索这些关键字，例如，“夜晚的东京”可以被分成与“东京”或“夜晚”相关的查询。如果失败了或除此之外，则该系统可以研究查询的子串，或者该算法可以将查询分裂成分别加权的子部分。在一些情况下，该算法使用单一字母来代表查询。这些回退的评分小于完全匹配，但是当运行到尽头时是有用的。

在上面的实施方式中，该算法用于发现与图像数据有关的查询，但是该技术不限于图像数据，而是可以用于发现与可以应用搜索的任何数据相关的查询，例如，文本文档和其它面向视觉的数据，诸如视频、书(使用封面)和音乐(使用唱片封面和/或艺术家照片)。

图9-13示出交互式客户端界面缩放水平的示例。如图9所示，缩放水平1包含响应于初始查询而返回的图像。水平1中的每个图像根据上述图像搜索引擎排名。

如图10所示，一旦客户端显示从所显示的图像缩小预定量，水平1被替换为水平2。在水平2，图像面板被布置成初始搜索查询O布置在图像空间中心。中心查询在基本方向上(顶部、右边、底部、左边)被最高权重的搜索查询A、B、C和D围绕。图像空间的角被填充以相关搜索查询E、F、G和H。相关搜索查询E、F、G和H是相邻搜索查询的加性结果，意味着相关搜索查询E是搜索查询A+O+D的相关搜索查询，相关搜索查询F是搜索查询A+O+B的相关搜索查询，相关搜索查询G是搜索查询B+O+C的相关搜索查询，相关搜索查询H是搜索查询D+O+C的相关搜索查询。为方便解释，只描述了两种缩放水平，但是可以使用任意数量的缩放水平。

在图11中，图像空间被向右平移，并且用相关搜索查询I、J和K填充相关搜索查询。这些搜索查询是相邻搜索查询的加性结果，意味着相关搜索查询I是搜索查询E+D的相关搜索查询，相关搜索查询J是搜索查询E+D+H的相关搜索查询，相关搜索查询K是搜索查询D+H的相关搜索查询。

在图12中，图像空间被向下平移，并且用相关搜索查询L、M和N填充相关搜索查询。这些搜索查询是相邻搜索查询的加性结果，意味着相关搜索查询L是搜索查询I+E的相关搜索查询，相关搜索查询J是搜索查询I+E+A的相关搜索查询，相关搜索查询N是搜索查询E+A的相关搜索查询。在该平移过程中，客户端的用户确定查询N具有与用户正在搜索的图像相关的图像，因此客户端的用户放大面板N，如图13所示。

图13示出查询N的最高排名的搜索结果，在该示例中，示出60个图像，但是还可以示出所有相关图像的详细清单或任何其它事物。在该示例中，客户端的用户确定图像25即为目标图像，并且选择该图像。一旦选择了图像，客户端显示可以被传送至登陆页面，其中可以单独查看该图像，或者作为网页的一部分，或者一些其它基于web的功能或离线功能的一部分。

总之，系统开始于单一查询，当新的空间在屏幕上变得可见时，可以咨询系统来判断出将放入该空间的最优查询。相近查询被用作种子，并且如果找不到相邻单元格的任何相关结果，则增长该半径。使用这种方法，能够无限制地探索，直到某一次到达可用节点一端(在这种情况下＞1M)或者你已经耗尽所有可用查询。

该系统允许客户端快速探索得非常远，并取得了丰富多样的数据，而且还允许客户端停留于在某种程度上受控于导航的速度的单个区域内，因为快速前进意味着要跟随一串查询，反之慢速前进则创建具有更多定位的更多的放大圆效应。

可以用二维(2-d)格式示出该探索空间，但不必需用二维(限于它，或强制于它)。能够使用该系统以线性方式探索关于搜索结果的相关查询。

存在本客户端界面的许多可能的实施方式，包含为客户端导航该客户端界面的不同方式，以及构建该客户端界面的不同方式。

图14说明包含搜索系统102和用户装置106的示例系统100。该搜索系统102例如通过网络从用户装置106接收查询104并将搜索结果108呈献给用户装置。用户装置106向搜索系统102提交查询104，从搜索系统102接收搜索结果108，并且将搜索结果呈现给用户。

搜索系统102包含搜索引擎110以及评分模型引擎112。搜索引擎110从用户装置106接收查询104。响应于接收查询104，搜索引擎110识别编入其图像索引114的图像，所述图像响应于查询104。图像包含，例如，静态图像、视频、和其它视觉内容。该图像索引114将每个图像的标识符与图像的数据相关联。图像数据包含，例如，用于确定该图像何时与查询相关的关键字、关于从哪里获取图像的细节、以及可选地提取自所述图像的图像特征。搜索引擎110识别响应于查询104的多个图像。这可以使用传统技术来完成，例如，基于与所述图像相关联的文本与查询的匹配程度。

然后搜索引擎110使用排名引擎116对响应图像进行排名，该排名引擎116将查询特定的评分模型118应用到每个图像的特征上。排名引擎116可以从图像索引114接收响应图像120的特征。可替选地，排名引擎116可以接收响应图像本身并提取每个图像的特征。排名引擎116可以，例如，从由搜索系统102所维护的图像缓存，或从该图像的原始来源接收响应图像。

评分模型118特定于查询104，并且为多个图像特征中的每一个指定权重。在一些实施方式中，该评分模型被实施为用于图像检索的被动攻击性模型(“PAMIR”)。PAMIR是可以应用于非线性决策的线性模型。PAMIR被实施为权重的矢量，其中每个权重对应于不同的图像特征。该模型被训练为迭代地计算表示模型的权重的矢量和表示图像的特征矢量的点积，并且适当地在每次迭代之后更新权重。

排名引擎118从由评分模型引擎112所维护的大量的查询特定的数据124接收查询特定的评分模型122。对于多个查询中的每一个，该查询特定的数据124包含用于该查询的评分模型，以及该查询的正图像和负图像。训练引擎126使用并更新查询特定的数据124。

为了确定给定图像的分数，排名引擎118将该模型应用于图像特征，例如，通过进行图像特征的矢量和图像特征的权重的矢量的点积。例如，可以根据该公式计算分数：分数＝WX，其中W是存储用于查询特定的评分模型118的权重的矢量，而X是响应于查询104的图像的特征值的矢量。一旦排名引擎118为每个图像计算分数，该排名引擎118根据这些图像的分数对响应图像116进行排名。然后搜索引擎110生成包含按排名顺序的图像的搜索结果页面108，并且将搜索结果页面108发送到用户装置106。

用户装置104向搜索系统104提交搜索查询106，接收具有响应于查询的图像的搜索结果页面108，并且渲染搜索结果页面108用于呈现给用户。当用户点击，例如，用鼠标或其它输入装置选择，搜索结果页面108中的图像时，用户装置106发送关于选择的数据到搜索系统102。尽管上文描述了对响应于用户查询的图像进行排名，可以使用类似的技术对其它资源进行排名，例如，文档，通过对文档的特征应用所训练的查询特定的分数模型。

图15是用于呈现图像搜索结果的系统的示例的原理图。该系统包含一个或多个处理器23、33，一个或多个显示装置21，例如，CRT、LCD，一个或多个界面25、32，输入装置22，例如触摸屏、键盘、鼠标，等等，以及一个或多个计算机可读介质24、34。这些组件使用一个或多个总线41、42交换通信和数据，例如，EISA、PCI、PCI Express等。

可以由显示图像的装置20执行呈现当前搜索结果，或者服务器装置可以通过发送代码至接收装置来呈现客户端界面，所述接收装置渲染代码以使得呈现客户端界面的显示。一旦创建图像空间，客户端的用户可以浏览该图像空间并选择最接近类似于目标图像的图像。系统10响应于来自所显示的图像的客户端的用户的输入，修改客户端界面。此外，可以由显示图像的装置使用在一个通信会话中由服务器装置30发送的代码，或者通过与服务器系统正在进行的交互来执行这样的修改。

术语“计算机可读介质”是指任何非暂时性介质24、34，其参与向处理器23、33提供用于执行的指令。该计算机可读介质24、34进一步包含操作系统26、31，操作系统26、31具有网络通信代码、图像聚组代码、图像呈现代码，和其它程序代码。

操作系统26、31可以是多客户端、多处理、多任务、多线程、实时、接近实时的等。操作系统26、31可以执行基本任务，包含但不限于：识别来自输入装置22的输入；将输出发送到显示装置21；处置例如存储器或存储装置的计算机可读介质24、34上的文件和目录；控制外围装置，例如，盘驱动、打印机等；以及管理一个或多个总线41、42上的业务。操作系统31也可以运行与相关搜索引擎35和图像搜索引擎36相关联的算法。

网络通信代码可以包含用于建立并维护网络连接的各种组件，例如，用于实施通信协议的软件，所述通信协议例如TCP/IP、HTTP、以太网等。

图像聚组代码可以提供各种软件组件，用于执行用于聚组图像搜索结果的各种功能，其可以包含聚组或评估图像间的相似度。这些图像呈现代码还可以提供各种软件组件，用于执行用于呈现并修改示出图像搜索结果的客户端界面的各种功能。

此外，在一些实施方式中，图14中的系统被分成客户端-服务器环境，这些客户端-服务器环境用连接器41、42在互联网40上可通信地连接，其中一个或多个服务器计算机30包含图14所示硬件，并且还包含图像聚组代码、用于在计算机网络上搜索并索引图像的代码、以及用于为所提交的查询生成图像结果的代码，并且其中一个或多个客户端计算机20包含图14所示的硬件，并且还包含图像呈现代码，其可以响应于查询被预先安装或递送，例如，具有包含于其中的代码的HTML页面，所述代码用于由浏览程序来解释和渲染。

本主题的实施方式和本说明书中所描述的操作，可以在电子电路中、或计算机软件中、固件中、或硬件中，包含本说明书所公开的结构以及其结构性的等同物，或其一个或多个的组合中完成。本说明书中所描述的本主题的实施方式，可以作为一个或多个计算机程序完成，例如，在计算机存储媒介上编码的计算机程序指令的一个或多个模块，这些模块用于被数据处理设备所执行或者用于控制数据处理设备的操作。可替选地或附加地，可以在人工生成的传播信号上编码程序指令，例如，机器生成的电、光、或电磁信号，生成这些信号对传输到合适的接收器设备的信息进行编码，用于由数据处理设备执行。该计算机存储介质可以是，或者可以包含在，计算机可读存储装置中、计算机可读存储基底中、随机或串行存取存储器阵列或装置中，或其一个或多个的组合中。

本发明书中所描述的操作可以实施为由数据处理设备针对存储在一个或多个计算机可读存储装置上的数据或接收自其它来源的数据所执行的操作。术语“数据处理设备”包含所有类型的设备、装置、以及用于处理数据的机器，包含举例来说可编程处理器、计算机、芯片系统，或其组合。这些设备可以包含专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。该设备还可以包含，除硬件之外，为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统、跨平台运行时环境，例如，虚拟机，或其一个或多个的组合。这些设备和运行环境可以实现各种不同的计算模型基础架构，例如，web服务、分布式计算和网格计算基础架构。

可以用任何形式的编程语言编写计算机程序(也可以称为是程序、软件、软件应用、脚本，或代码)，包含编译或解释语言、说明性或过程性语言，以及其可以用任何形式部署，包含作为独立程序或作为模块、组件、子例程、对象、或其它适合在计算环境中使用的单元。计算机程序可以，但不需要，对应于文件系统中的文件。程序可以存储在文件保存其它程序或数据的一部分中，例如，存储在标记语言文件中的、存储在专用于所讨论的程序的单一文件中的，或多个协同文件中的一个或多个脚本，例如，存储一个或多个模块、子程序、或代码部分的文件。计算机程序可以被部署从而在一台或位于一个地点或跨多个地点分布并且通过通信网络互连的多台计算机上执行。

可以由运行一个或多个计算机程序的一个或多个可编程处理器来执行本说明书中所描述的过程和逻辑流程，从而通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流程也可以由专用逻辑电路来执行，并且设备也可以实施为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

适用于执行计算机程序的处理器包含，作为示例，通用和专用微处理器两者，以及任意类型的数字计算机的任意一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的元件包含用于执行或运行指令的处理器，以及用于存储指令和数据的一个或多个存储器装置。通常，计算机还将包含，或可操作地耦接以从一个或多个用于存储数据的大容量存储装置接收数据或向其传送数据，或者进行两者，所述大容量存储装置例如，磁盘、磁光盘、或光盘。然而，计算机不是必需具有这些装置。此外，计算机可以嵌入在另一个装置中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器、或者便携式存储设备，例如，通用串行总线(USB)闪存驱动器，仅举几个例子。适于存储计算机程序指令和数据的装置包含所有形式的非易失性存储器、媒介和存储器装置，包含例如半导体存储器装置，例如EPROM、EEPROM以及闪存装置；磁盘，例如内部硬盘或可移动盘；磁光盘；以及CD-ROM和DVD-ROM盘。该处理器和存储器可以补充或者并入到专用逻辑电路中。

为了提供与客户端的交互，本说明书所描述的本主题的实施方式可以实施在具有用于向客户端的用户显示信息的，例如，CRT(阴极射线管)或LCD(液晶显示器)监视器的显示装置，以及键盘和例如鼠标或跟踪球的指示装置的计算机上，通过该装置客户端的用户可以向计算机提供输入。其它种类的装置也可以用来提供与客户端的交互；例如，提供给客户端的反馈可以是任意形式的感官反馈，例如视觉反馈、声觉反馈、或者触觉反馈；并且可以以任何形式接收来自客户端的输入，包括声音、语言、思维或触觉输入。此外，计算机可以通过向客户端所使用的装置发送文档或从该装置接收文档来与客户端进行交互；例如，通过响应于从客户端的客户端装置上的web浏览器所接收的请求，发送网页到该web浏览器。

本说明书中所描述的本主题的实施方式可以被实施于以下计算系统中，其包含后端组件，例如，作为数据服务器，或者包含中间件组件，例如，应用服务器，或者包含前端组件，例如，具有图形客户端界面或web浏览器的客户端计算机，通过该客户端计算机客户端的用户可以与本说明书中描述的本主题的实施方式交互，或者一个或多个这种后端、中间件、或前端组件的任意组合。可以通过任何形式或介质的数字数据通信，例如，通信网络，来互连该系统的这些组件。通信网络的示例包含局域网(“LAN”)和广域网(“WAN”)，互联网，例如，因特网，以及对等网络，例如，自组织对等网络。

该计算系统可以包含客户端和服务器。客户端和服务器一般彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系借助于运行在相应的计算机上并且彼此具有客户端-服务器关系的计算机程序而产生。在一些实施方式中，服务器传输数据(例如，HTML页面)到客户端装置，例如，为了向与该客户端装置交互的客户端显示数据或者从其接收客户端输入的目的。可以在服务器处从该客户端装置接收在该客户端装置处生成的数据，例如，客户端交互的结果。

尽管本说明书包含许多特定的实施方式细节，但是这些不应被解释为对本公开技术范围或所要求保护的内容的范围的限制，而应看作是针对本公开技术具体实施方式的特征的描述。本说明书中在各个实施方式的上下文中的描述的某些特征也可以在单个实施方式中结合实现。相反地，在单个实施方式的上下文中描述的各种特征也可以分别在多个实施方式中或者任意适当的子组合中实施。此外，尽管特征可能在上文被描述为在某些组合中起作用，甚至最初要求这样，但是在一些情况下，来自所要求保护的组合的一个或多个特征可以从组合中删去并且所要求保护的组合可以指向子组合或子组合的变体。

类似地，为了实现期望的结果，尽管以特定顺序在附图中描绘了操作，但是这不应当被理解为要求这样的操作以示出的特定顺序或者以连续顺序来执行，或者要求执行所有说明的操作。在某些环境中，多任务和并行处理可以是有利的。在一些情况下，在权利要求中记载的动作能够以不同顺序执行但仍然实现期望的结果。此外，以上所述实施方式中的各种系统组件的分离不应当理解为在所有实施方式中都需要这种分离，而是应当将其理解为所描述的程序组件和系统通常可以在单个软件产品中集成在一起，或是被打包到多个软件产品中。

在此所描述的系统和技术可以应用于视频或其它视觉内容，并且它们还可以应用于图像的各种来源，而不考虑任何图像搜索或图像搜索结果，例如，在云中或在客户端的计算机上的相册、库存照片集合，或任何其它图像集合。

前面的具体实施方式应该被理解为在各个方面都是说明性的而不是限制性的，并且在这里公开的所公开的技术范围不能从具体实施方式来确定，而是从根据专利法所允许的完整范围所理解的权利要求来确定。应当理解的是，本文所示和所描述的实施方式仅是对所公开的技术的原理的说明，并且在不背离所公开的技术范围和精神的情况下可以实施各种修改。

Claims (20)

1.一种包含以下步骤的方法：

接收初始图像查询；

确定与所述初始搜索查询相关的多个搜索查询；

获取所述初始搜索查询以及与所述初始搜索查询相关的所述多个搜索查询的图像结果；

生成表示与所述初始搜索查询相关联的多个图像的图像面板、以及表示与所述多个相关搜索查询相关联的多个图像的多个图像面板；以及

提供图像空间，所述图像空间以表示与所述初始搜索查询相关联的结果图像的所述面板为中心，并且被表示与所述多个相关搜索查询相关联的结果图像的所述多个面板围绕。

2.根据权利要求1所述的方法，进一步包含以下步骤：

接收至少一个输入来浏览所述图像空间；以及

响应于所述至少一个输入修改所述图像空间，所述图像空间在X-Y方向上平移或在Z方向上缩放。

3.根据权利要求2所述的方法，进一步包含以下步骤：

随着所述图像空间被平移，通过加性地加权相邻查询来产生更多相关搜索查询。

4.根据权利要求2所述的方法，进一步包含以下步骤：

随着所述图像空间被平移，处置所查看的面板，使得已查看的面板仅被示出一次。

5.根据权利要求1所述的方法，进一步包括以下步骤：

为所述初始搜索查询创建后边缘来减少尽头的可能性。

6.根据权利要求1所述的方法，进一步包括以下步骤：

将查询的关键字分成至少两部分；以及

对于这些部分中的至少一个执行相关查询搜索。

7.根据权利要求2所述的方法，其中，当所述图像空间在特定面板上被完全放大时，所述特定面板被扩展到示出与关联于所述特定面板的图像查询相关联的所有图像。

8.根据权利要求1所述的方法，进一步包括以下步骤：

接收指示已经发现目标图像的至少一个输入；以及

提供与所述目标图像相关联的登陆页面。

9.一个系统，所述系统包括：

一个或多个处理器；

一个或多个计算机可读存储介质，所述一个或多个计算机可读存储介质包括指令，所述指令被配置成使得所述一个或多个处理器执行操作，所述操作包括：

接收初始图像查询；

确定与所述初始搜索查询相关的多个搜索查询；

获取所述初始搜索查询以及与所述初始搜索查询相关的所述多个搜索查询的图像结果；

生成表示与所述初始搜索查询相关联的多个图像的图像面板、以及表示与所述多个相关搜索查询相关联的多个图像的多个图像面板；以及

提供图像空间，所述图像空间以表示与所述初始搜索查询相关联的结果图像的所述面板为中心，并且被表示与所述多个相关搜索查询相关联的结果图像的所述多个面板围绕。

10.根据权利要求9所述的系统，进一步包括以下步骤：

接收至少一个输入来浏览所述图像空间；以及

响应于所述至少一个输入修改所述图像空间，所述图像空间在X-Y方向上平移或在Z方向上缩放。

11.根据权利要求10所述的系统，其中，随着所述图像空间被平移，相关查询引擎通过加性地加权相邻查询来产生更多相关搜索查询。

12.根据权利要求10所述的系统，其中，随着所述图像空间被平移，相关查询引擎处置已查看的面板，使得所查看的面板仅被示出一次。

13.根据权利要求9所述的系统，其中相关查询引擎执行以下步骤：

为所述初始搜索查询创建后边缘来减少尽头的可能性。

14.根据权利要求9所述的系统，其中相关查询引擎执行以下步骤：

将查询的关键字分成至少两部分；以及对于这些部分中至少一个执行相关查询搜索。

15.一种计算机程序产品，所述产品有形地体现在机器可读存储介质中，所述机器可读存储介质包括指令，所述指令被配置成使得数据处理设备：

接收初始图像查询；

确定与所述初始搜索查询相关的多个搜索查询；

获取所述初始搜索查询以及与所述初始搜索查询相关的所述多个搜索查询的图像结果；

生成表示与所述初始搜索查询相关联的多个图像的图像面板，以及表示与所述多个相关搜索查询相关联的多个图像的多个图像面板；以及

提供图像空间，所述图像空间以表示与所述初始搜索查询相关联的结果图像的所述面板为中心，并且被表示与所述多个相关搜索查询相关联的结果图像的所述多个面板围绕。

16.根据权利要求15所述的计算机程序产品，进一步包括指令，所述指令被配置成使得数据处理设备：

接收至少一个输入来浏览所述图像空间；以及

响应于所述至少一个输入修改所述图像空间，所述图像空间在X-Y方向上平移或在Z方向上缩放。

17.根据权利要求16所述的计算机程序产品，其中，随着所述图像空间被平移，相关查询引擎通过加性地加权相邻查询来产生更多相关搜索查询。

18.根据权利要求16所述的计算机程序产品，其中，随着所述图像空间被平移，相关查询引擎处置已查看的面板，使得已查看的面板仅被示出一次。

19.根据权利要求15所述的计算机程序产品，其中相关查询引擎包括指令，所述指令被配置成使得数据处理设备：

为所述初始搜索查询创建后边缘来减少尽头的可能性。

20.根据权利要求15所述的系统，其中相关查询引擎包括指令，所述指令被配置成使得数据处理设备：

将查询关键字分成至少两部分；以及对于这些部分中的至少一个执行相关查询搜索。