CN102576372A

CN102576372A - 基于内容的图像搜索

Info

Publication number: CN102576372A
Application number: CN2010800494995A
Authority: CN
Inventors: 柯启发; 刘鸣; 李鹢
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2009-11-02
Filing date: 2010-11-02
Publication date: 2012-07-11
Anticipated expiration: 2030-11-02
Also published as: WO2011054002A3; TWI506459B; KR20120102616A; JP5596792B2; US20110106782A1; KR101732754B1; US9710491B2; EP2497041A2; WO2011054002A2; CN102576372B; JP2013509660A; TW201128421A; EP2497041A4

Abstract

本发明涉及使用图像描述符标识符来进行基于内容的搜索。对于一幅图像确定多个描述符。所述描述符代表在图像中识别出的对应感兴趣点处的图像内容。所述描述符被映射到对应的描述符标识符。于是可以把图像表示为描述符标识符集合。利用描述符标识符作为搜索元素在索引上施行搜索。还提供一种用于高效地搜索逆排索引的方法。识别出包括与图像的描述符标识符相匹配的至少预定数目的描述符标识符的候选图像。对候选图像进行排序，并且将其至少一部分表示为基于内容的搜索结果。

Description

基于内容的图像搜索

背景技术

在本领域中已经知道用于（比如利用搜索引擎通过因特网）搜索及检索信息的许多方法。这样的方法通常采用基于文本的搜索。基于文本的搜索采用包括一个或更多诸如单词或短语之类的文本元素的搜索查询。所述文本元素被与索引或其他数据结构相比较，以便识别出包括匹配的或者语义上类似的文本内容、元数据、文件名或其他文本表示的网页、文档、图像等等。

已知的基于文本的搜索方法对于基于文本的文档工作得相对良好，但是其很难应用于图像文件和数据。为了通过基于文本的查询来搜索图像文件，所述图像文件必须与一个或更多文本元素相关联，比如标题、文件名或者其他元数据或标签。针对基于文本的搜索所采用的搜索引擎和算法无法基于图像的内容来搜索图像文件，并且因此被限制到仅仅基于与图像相关联的数据来识别搜索结果图像。此外，这样的搜索引擎无法施行基于包括图像的搜索查询的搜索。

已经开发出基于内容的图像搜索方法，其利用对于图像内容的一项或更多项分析来识别视觉上类似的图像。但是这些方法相当繁琐，并且在能够施行搜索之前可能需要来自用户的大量输入来表征图像。此外，这样的方法效率较低并且无法很好地扩展到大规模应用，在大规模应用中例如必须快速搜索几十亿幅图像以便识别并向用户提供搜索结果图像。

发明内容

本发明的实施例由所附权利要求书而非本发明内容限定。为此，在这里提供本发明的各个方面的高级别总览，以便提供本公开内容的总览，并且介绍将在后面的详细描述部分中进一步描述的一些概念。本发明内容不意图标识出所要求保护的主题内容的关键特征或本质特征，也不意图被用来孤立地帮助确定所要求保护的主题内容的范围。

本发明的实施例总体上涉及基于内容的图像搜索。对图像的内容进行分析，并且将其采用来识别搜索结果。接收到可能包括图像的搜索查询。对图像进行处理，以便识别出其中的感兴趣的点。确定用于一个或更多感兴趣点的描述符，并且将每个描述符映射到描述符标识符。通过利用描述符标识符作为搜索元素的搜索索引来施行搜索。搜索索引采用基于扁平索引位置空间的逆排索引，一定数目的被索引图像的描述符标识符被存储在所述扁平索引位置空间中，并且通过用于每一幅被索引图像的描述符标识符之间的文档末尾指示符分开。从被索引图像当中识别出包括至少预定数目的匹配描述符标识符的候选图像。响应于搜索查询对候选图像进行排序并提供。还可以包括一个或更多文本单词或基于文本的搜索以基于图像内容识别候选图像，以及/或者提供一个或更多基于文本的搜索查询。

附图说明

下面将参照附图详细描述本发明的说明性实施例，其中：

图1是描绘出适用于本发明的实施例的示例性计算设备的方框图；

图2是描绘出适用于本发明的实施例的示例性网络环境的方框图；

图3是描绘出根据本发明的一个实施例的用于基于内容的图像搜索的系统的方框图；

图4是描绘出根据本发明的一个实施例的用于生成图像的内容表示以用于基于内容的图像搜索的方法的流程图；

图5是进一步描绘出根据本发明的一个实施例的在图4中描绘的用于生成图像的内容表示以用于基于内容的图像搜索的方法的流程图；

图6是描绘出根据本发明的一个实施例的用于索引描述符标识符的方法的流程图；

图7是描绘出根据本发明的一个实施例的用于搜索图像的方法的流程图；

图8是描绘出根据本发明的一个实施例的用于提供基于内容的候选图像和基于文本的搜索结果的方法的流程图；

图9是描绘出根据本发明的一个实施例的用于响应于基于文本的搜索查询提供基于内容的候选图像的方法的流程图；

图10是描绘出根据本发明的一个实施例的用于为作为搜索查询接收到的图像提供基于内容的候选图像的方法的流程图；

图11是描绘出根据本发明的一个实施例的用于施行基于内容的图像查询的方法的流程图；

图12是根据本发明的一个实施例的图形图像的线描表示，其描绘出所述图像中的多个感兴趣点；

图13是根据本发明的一个实施例的图形图像的线描表示，其描绘出围绕所述图像中的感兴趣点的区段；

图14是根据本发明的一个实施例的从图13的图像确定的补片集合的线描表示；

图15是根据本发明的一个实施例的从图14的补片集合确定的描述符直方图集合的表示；

图16是适用于本发明的实施例的量化表的表示；以及

图17是根据本发明的一个实施例的用于把已付费搜索结果与基于图像的算法搜索结果相关联的方法的流程图。

具体实施方式

在这里将具体描述本发明的实施例的主题内容以满足法规要求。但是所述描述本身不意图一定限制权利要求书的范围。相反，可以按照其他方式具体实现所要求保护的主题内容，以便与其他当前或未来技术相结合地包括类似于在本文献中所描述的其他不同步骤或步骤组合。除非并且除了在明确地描述各个单独步骤的顺序时，否则术语不应当被解释为意味着这里所公开的各个步骤当中或之间的任何特定顺序。

本发明的实施例包括用于提供基于内容的图像搜索的方法、系统和计算机可读介质。基于内容的图像搜索分析并采用图像的实际内容来施行对于视觉上类似的图像的搜索。图像内容可以包括颜色、纹理、阴影、形状当中的一项或更多项，或者可以从图像中导出的其他特性或信息。基于内容的图像搜索还可以被描述为基于内容的图像检索（CBIR）、通过图像内容的查询（QBIC）或者基于内容的视觉信息检索（CBVIR），正如本领域内已知的那样。在一些实施例中，正如下面所描述的那样，可以从各个来源获得关于图像及其内容的附加的基于文本的信息，以便为基于内容的搜索提供信息以及与基于内容的搜索并行地施行附加的基于文本的搜索。

在一个实施例中，提供一种用于搜索图像的计算机实施的方法。接收搜索查询。计算设备基于搜索查询识别出第一描述符标识符。第一描述符标识符对应于描述图像中的感兴趣点的描述符。通过把第一描述符标识符和与每一幅被索引图像相关联的第二描述符标识符进行比较来搜索被索引图像。基于所述比较对其中一幅或更多幅被索引图像进行排序。

在另一个实施例中，提供其上具体实现了计算机可读指令的计算机可读介质，当被执行时，所述计算机可读指令施行用于生成图像的内容表示以便进行基于内容的图像搜索的方法。接收图像。识别出图像中的各个感兴趣点。感兴趣点是通过运算符算法识别出的图像中的点、区段或区域。对于每一个感兴趣点确定包括图像区域的图像补片，其中所述图像区域包括对应的感兴趣点。对于每一个补片确定描述符。将每一个描述符映射到描述符标识符。基于所述映射将图像表示为描述符标识符集合。

在另一个实施例中，描述了一种把已付费搜索结果与基于图像的算法搜索结果相关联的方法。接收搜索查询。由计算设备基于搜索查询识别出形成第一描述符标识符集合的描述符标识符。每一个描述符标识符对应于描述基于图像的感兴趣点的描述符。通过把第一描述符标识符集合和与被索引图像相关联的第二描述符标识符集合进行比较来搜索被索引图像，从而生成搜索结果。把已付费搜索列表与第一集合当中的至少一个描述符标识符相关联，从而生成已付费搜索结果。

首先具体参照图1，其中示出了用于实施本发明的实施例的示例性计算设备并且总体上将其标记为计算设备100。计算设备100仅仅是适当的计算设备的一个示例，而不意图暗示关于本发明的实施例的使用或功能范围的任何限制。计算设备100也不应当被解释为关于所示出的任何一个组件或组件组合具有任何依赖性或要求。

可以在计算机代码或机器可用指令的一般情境中描述本发明的实施例，其中包括诸如程序模块之类的计算机可执行指令，其由计算机或其他机器执行，比如个人数据助理或其他手持式设备。一般来说，包括例程、程序、对象、组件、数据结构等等的程序模块指代施行特定任务或实施特定抽象数据类型的代码。本发明的实施例可以被实践在多种系统配置中，其中包括手持式设备、消费电子装置、通用计算机、更加专用的计算设备等等。本发明的实施例还可以被实践在分布式计算环境中，其中由通过通信网络链接在一起的远程处理设备施行各项任务。

参照图1，计算设备100包括直接或间接地耦合以下设备的总线110：存储器112，一个或更多处理器114，一个或更多呈现组件116，输入/输出端口118，输入/输出组件120，以及说明性电源122。总线110可以代表一条或更多条总线（比如地址总线、数据总线或其组合）。虽然为了清楚起见用线条示出了图1的各个方框，实际上各个组件的分界并不是如此清晰，并且作为比喻所述线条更为准确地将是灰色且模糊的。举例来说，可以把诸如显示器设备之类的呈现组件视为I/O组件。此外，处理器具有存储器。应当认识到这就是本领域的性质，并且重申图1的图示仅仅是为了说明可以与本发明的一个或更多实施例相结合地使用的示例性计算设备。在诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等类别之间不做区分，因为所有这些都被设想在图1的范围内并且被称作“计算设备”。

计算设备100通常包括多种计算机可读介质。作为举例而非限制，计算机可读介质可以包括“随机存取存储器（RAM）；只读存储器（ROM）；电可擦写可编程只读存储器（EEPROM）、闪存或其他存储器技术；紧致盘只读存储器（CD-ROM）、数字通用盘（DVD）或其他光学或全息介质；磁盒、磁带、磁盘存储或其他磁性存储设备；或者可以被用来编码所期望的信息并且由计算设备100访问的任何其他介质。

存储器112包括具有易失性和/或非易失性存储器形式的计算机存储介质。存储器112可以是可移除的、不可移除的或者其组合。示例性的硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等等。计算设备100包括一个或更多处理器，其从诸如存储器112或I/O组件120之类的各个实体读取数据。（多个）呈现组件116向用户或其他设备呈现数据指示。示例性的呈现组件116包括显示器设备、扬声器、打印组件、振动组件等等。

I/O端口118允许把计算设备100逻辑耦合到包括I/O组件120在内的其他设备，其中一些可以是内置的。说明性的组件包括麦克风、操纵杆、游戏手柄、碟形卫星天线、扫描仪、打印机、无线设备等等。

另外参照图2，其中描述的方框图描绘出适用于本发明的实施例的示例性网络环境200。环境200仅仅是可以被用于本发明的实施例的环境的一个示例，并且可以包括多种配置中的任意数目的组件。这里所提供的对于环境200的描述是出于说明性目的，而不意图限制可以在其中实施本发明的实施例的环境的配置。

环境200包括网络202、查询输入设备204以及搜索引擎服务器206。网络202包括任何计算机网络，作为举例而非限制比如有因特网、内联网、私有和公共局部网络以及无线数据或电话网络。查询输入设备204是可以从该处提供搜索查询的任何计算设备，比如计算设备100。举例来说，查询输入设备204特别可以是个人计算机、膝上型计算机、服务器计算机、无线电话或设备、个人数字助理（PDA）或者数字摄影机。在一个实施例中，多个查询输入设备204连接到网络202，比如数千个或数百万个查询输入设备204。

搜索引擎服务器206包括任何计算设备（比如计算设备100），并且提供用于提供基于内容的搜索引擎的至少一部分功能。在一个实施例中，搜索引擎服务器206的群组共享或分配为用户群体提供搜索引擎操作所需的功能。

在环境200中还提供图像处理服务器208。图像处理服务器208包括任何计算设备（比如计算设备100），并且被配置成分析、表示及索引图像的内容，正如下面更加全面地描述的那样。图像处理服务器208包括存储在图像处理服务器208的存储器中或者可以由图像处理服务器208远程访问的量化表210。量化表210被图像处理服务器208使用来为图像内容的映射提供信息以便允许进行搜索和索引，正如下面所描述的那样。

搜索引擎服务器206和图像处理服务器208可通信地耦合到图像存储库212和索引214。图像存储库212和索引214包括任何（或者多个）可用的计算机存储设备，比如硬盘驱动器、闪存、光学存储器设备等等。图像存储库212提供对于可以响应于本发明的一个实施例的基于内容的搜索而提供的图像文件的数据存储。索引214提供搜索索引以便对存储在图像存储库212中的图像进行基于内容的搜索。索引214可以利用任何索引数据结构或格式，并且优选地采用逆排索引格式。

逆排索引提供描绘内容在数据结构中的位置的映射。举例来说，当针对特定单词搜索文档时，在标识所述单词在文档中的位置的逆排索引中找到该单词，而不是搜索文档以找到所述单词的各个位置。

在一个实施例中，搜索引擎服务器206、图像处理服务器208、图像存储库212和索引214当中的一项或更多项被集成在单个计算设备中或者直接可通信地耦合，以便允许各个设备之间的直接通信而无需跨越网络202。

现在参照图3，其中描述了根据本发明的一个实施例的用于基于内容的图像搜索的系统300。系统300可以具体实现在一个或更多计算设备和组件当中以及分布在所述一个或更多计算设备和组件之间，比如前面关于图2描述的搜索引擎服务器206、图像处理服务器208、量化表210、图像存储库212和索引214。系统300包括图像处理组件302、索引组件304、搜索组件306、排序组件308和呈现组件310。在另一个实施例中，系统300可以包括附加的组件、子组件或者组件302-310当中的一项或更多项的组合。

图像处理组件302接收并处理图像以便进行基于内容的图像搜索。通过诸如查询输入设备204之类的计算设备从用户接收图像，以作为搜索查询或者作为去到诸如图像存储库212之类的数据存储库的图像上传。还可以从与网络202通信的一个或更多其他计算设备接收或收集图像。

由图像处理组件302接收的所述（多幅）图像具有任何电子图像格式，作为举例而非限制比如特别有以下格式：光栅格式，其中包括联合摄影专家组（JPEG）、位图（BMP）、标记图像文件格式（TIFF）和未处理图像格式（RAW）；矢量格式，其中包括计算机图形元文件（CGM）和可扩展矢量图形（SVG）；以及三维格式，比如便携式网络图形立体（PNS）、JPEG立体（JPS）或多画面对象（MPO）。图像的例如图像尺寸、颜色方案、分辨率、质量以及文件尺寸之类的特性不受限制。图像的内容也不受限制，并且例如可以包括摄影、艺术品、绘画、扫描媒体等等。此外，在一个实施例中，所述（多幅）图像可能包括视频文件、音频-视频或者其他多媒体文件。

现在另外参照图12-16，其中根据本发明的一个实施例描述了系统300对示例性图像1200的处理。在一个实施例中，为了处理所接收到的图像1200，图像处理组件302采用一种运算符算法。所述运算符算法识别出图像1200中的多个感兴趣点1202。所述运算符算法包括可以被用来识别图像1200中的感兴趣点1202的任何可用算法。在一个实施例中，所述运算符算法是高斯算法的一种变型或者拉普拉斯算法，正如本领域内已知的那样。在一个实施例中，所述运算符算法被配置成在二维中分析图像1200。此外，在另一个实施例中，当图像1200是彩色图像时，图像1200被转换成灰度。

感兴趣点1202包括如在图12中描绘的图像1200中的任何点，以及如在图13中描绘的图像1200中的区段1302、区域、像素组或特征。为了简明起见，感兴趣点1202和区段1302在下文中被称作感兴趣点1202，但是在提到感兴趣点1202时意图同时包括感兴趣点1202和区段1302。在一个实施例中，感兴趣点1202位于图像1200中的稳定的区域内，并且包括图像1200中的明显的或可识别的特征。举例来说，感兴趣点1202位于图像的具有尖锐特征的区域内，其中例如在1202a和1302a处描绘的特征之间具有高对比度。相反，感兴趣点不会位于没有明显特征或对比度的区域内，比如由1204表示的具有恒定颜色或灰度的区段。

所述运算符算法在图像1200中识别出任意数目的感兴趣点1202，比如数千个感兴趣点。感兴趣点1202可以是图像1200中的各个点1202和区段1302的组合，并且其数目可以是基于图像1200的尺寸。图像处理组件302对于每一个感兴趣点1202计算量度，并且根据所述量度对各个感兴趣点1202进行排序。所述量度可以包括图像1200在感兴趣点1202处的信号强度或信噪比的度量。图像处理组件302基于所述排序选择感兴趣点1202的子集以进行进一步处理。在一个实施例中，选择具有最高信噪比的100个最突出的感兴趣点1202，但是也可以选择任意所期望数目的感兴趣点1202。在另一个实施例中，不是选择一个子集，而是把所有感兴趣点都包括在进一步处理中。

如图14中所描绘的那样，图像处理组件302识别出对应于所选感兴趣点1202的补片集合1400。每一个补片1402对应于单个所选感兴趣点1202。补片1402包括图像1200的包括对应的感兴趣点1202的区域。将从图像1200中取得的每一个补片1402的尺寸是基于来自所述运算符算法对于每一个所选感兴趣点1202的输出而确定的。每一个补片1402可以具有不同尺寸，并且将被包括在补片1402中的图像1200的各个区域可以重叠。此外，补片1402的形状是任何所期望的形状，其中包括正方形、矩形、三角形、圆形、椭圆形等等。在所示实施例中，补片1402的形状是正方形。

图像处理组件302按照图14中所描绘的那样归一化补片1402。在一个实施例中，各个补片1402被归一化从而使得每一个补片1402遵循相等的尺寸，比如X像素乘X像素的正方形补片。将各个补片1402归一化到相等尺寸特别可以包括增大或减小补片1402的尺寸和/或分辨率的操作。还可以通过一项或更多项其他操作来归一化补片1402，比如特别有应用对比度增强、清除杂点、锐化以及应用灰度。

图像处理组件302还对于每一个归一化补片确定描述符。通过计算补片1402中的各个像素的统计量来确定描述符。在一个实施例中，基于补片1402中的各个像素的灰度梯度的统计量来确定描述符。所述描述符可以被视觉地表示为每一个补片的直方图，比如图15中描绘的描述符1502（其中图14的补片1402对应于图15中的位置类似的描述符1502）。所述描述符还可以被描述为多维矢量，作为举例而非限制比如有代表像素灰度统计量的T2S2 36维矢量。

如图16中所示，图像处理组件302采用量化表1600来识别用于每一个描述符1502的描述符标识符1602。量化表1600包括可用来将描述符1502映射到描述符标识符1602的任何表、索引、图表或其他数据结构。在本领域内已经知道各种形式的量化表1600，并且其可以在本发明的实施例中使用。在一个实施例中，通过首先对例如一百万幅图像的大量图像（例如图像1200）进行处理从而识别出用于每一幅图像的描述符1502来生成量化表1600。随后对从中识别出的描述符1502进行统计分析，以便识别出具有类似的或统计上类似的数值的描述符1502的群集或群组。举例来说，T2S2矢量中的变量数值是类似的。选择每一个群集的代表性描述符1604并且为之指派量化表1600中的位置以及相应的描述符标识符1602。描述符标识符1602包括可由系统300使用来标识相应的代表性描述符1604的任何所期望的指示符。举例来说，描述符标识符1602包括图16中所描绘的整数值，或者字母数字值、数字值、符号以及文本。

图像处理组件302对于每一个描述符1502识别出量化表1600中的最密切匹配的代表性描述符1604。举例来说，图15中描绘的描述符1502a最密切对应于图16中的量化表1600的代表性描述符1604a。从而就把用于每一个描述符1502的描述符标识符1602与图像1200相关联（例如描述符1502a对应于描述符标识符1602“1”）。与图像1200相关联的描述符标识符1602可以分别彼此不同，或者一个或更多描述符标识符1602可以多次与图像1200相关联（例如图像1200可以具有“1，2，3，4”或“1，2，2，3”的描述符标识符1602）。在一个实施例中，为了考虑到诸如图像变化之类的特性，可以把描述符1502映射到多于一个描述符标识符1602，这是通过识别出与描述符1502最接近匹配的多于一个代表性描述符1604及其对应的描述符标识符1602而实现的。这样，图像处理组件302就基于所识别出的感兴趣点1202的集合提供代表图像1200的内容的描述符标识符1602的集合。

继续参照图3，索引组件304对描述符标识符1602进行索引，并且把所述索引存储到存储器，诸如索引214。在一个实施例中，索引组件304采用扁平索引位置空间以作为索引的基础。扁平索引位置空间（在下文中称作“扁平索引”）是其中顺序地列出各个描述符标识符1602的一维列表或阵列。此外还对于在扁平索引中列出的每一个描述符标识符1602提供位置标识符，其表明对应的描述符标识符1602在所述扁平索引中的位置。用于图像1200的各个描述符标识符1602在扁平索引中被顺序地列出并且分组在一起。

由索引组件304在用于图像1200的描述符标识符1602之后顺序地提供文档末尾标识符。还为所述文档末尾标识符提供位置标识符，所述文档末尾标识符可被用来表明与特定图像1200相关联的描述符标识符1602的群组的末尾。这样，当把用于多幅图像1200的描述符标识符1602索引到扁平索引中时，用于每一幅图像1200的描述符标识符1602被分组在一起并且通过位于其间的文档末尾标识符与另一幅图像1200的描述符标识符1602分开。

举例来说，在表1中列出了由五幅图像（例如图像1200）及其对应的描述符标识符（例如描述符标识符1602）构成的示例性集合。表1中的描述符标识符是字母字符，但是描述符标识符可以使用任何数字、符号或字符，正如前面所描述的那样。表2描绘出五幅图像的扁平索引表示，其表明扁平索引中的每一个描述符标识符以及用于每一幅图像的描述符标识符之间的文档末尾标识符的位置。

在一个实施例中，索引组件304还基于扁平索引确定逆排索引，比如索引214。逆排索引包括提供在扁平索引中所列出和/或在前述量化表1600中所包括的所有描述符标识符的列表的数据结构。每一个描述符标识符出现在扁平索引中的位置都关于所述描述符标识符被表明。举例来说，表3描绘出根据本发明的一个实施例的表2的扁平索引的逆排索引列表。文档末尾（“EDOC”）位置也被表明在逆排索引中。

这样，索引组件304可以基于其描述符标识符来索引多幅图像。在一个实施例中，索引组件304为存储在一个或更多数据存储库（比如图像存储库212）中的数十亿幅图像提供索引。正如前面关于图2所描述的那样，由索引组件304提供的索引被存储在计算机存储器中，比如索引214。此外，索引组件304可以为图像的所述一个或更多数据存储库生成多于一个索引。

继续参照图3，搜索组件306提供高效的基于内容的搜索。在一个实施例中，搜索组件306采用逆排索引来施行高效的部分匹配的基于内容的图像索引。系统300从用户或其他计算设备接收搜索查询。在一个实施例中，所述搜索查询可以是图像，比如图像1200。系统300通过前面描述的图像处理组件302识别出代表图像1200的描述符标识符1602。基于被识别为代表图像1200的描述符标识符1602，搜索组件306对存储在（多个）图像存储库中并且索引在（多个）逆排索引中的图像施行高效的部分匹配搜索。为了简明起见，在下文中关于单个索引和图像存储库描述了所述搜索，但是这不意图把本发明的实施例的应用限制到单个索引和图像存储库。

为了施行所述部分匹配搜索，识别出为了把被索引图像（例如被存储在图像存储库中并且其描述符标识符被索引在逆排索引中的图像）视为候选图像（例如可能的搜索结果）所必须有的最小数目的（“M”个）匹配描述符标识符。所述最小数目M特别是基于诸如期望被识别为候选图像的候选图像数目之类的因素而预先确定的。在一个实施例中，所述最小数目M由管理员或用户预先确定。

搜索组件306遍历逆排索引以便识别出具有最低数值的用于图像1200的每一个描述符标识符1602的位置标识符。把所述最低数值进行比较以便识别出这些数值当中的M个最低数值。搜索组件306还确定其最低数值大于所述M个最低数值当中的最高位置标识符数值的文档末尾位置标识符（EDOC末尾）。所述EDOC末尾位置标识符标识出其描述符标识符在扁平索引位置空间中紧接在EDOC末尾位置标识符之前的被索引图像。此外，可以通过识别出前一个EDOC位置标识符数值并且随后向上移动一个数值来确定被索引图像的位置下边界（“文档起始”，例如对于该被索引图像列出的第一描述符标识符位置）。这样，搜索组件306就识别出M个最低数值必须出现在用于所述文档起始的位置标识符数值与所述EDOC末尾位置标识符数值之间（其中包括所述文档起始位置标识符数值）。当搜索组件306确定所述M个最低数值确实处于所标识出的位置标识符数值之内时，返回对应的被索引图像以作为候选图像。

当搜索组件306确定所述M个最低数值没有处于所述文档起始和EDOC末尾位置标识符数值之内时，完成所述处理的第二次迭代以便识别出由M个最低数值构成的下一个集合。举例来说，可以把具有最低位置标识符数值的用于描述符标识符1602的位置标识符递增到下一个索引的位置标识符数值，并且重新评估M个最低数值。重复所述处理，直到完全遍历所述逆排索引为止。

继续前面在表1-3中描绘的示例性图像，将描述搜索组件306的处理的示例性迭代。作为举例，假设接收到包括由查询描述符标识符a、d、h、g、n表示的图像的搜索查询。此外还假设必须有两（2）个描述符标识符与被索引图像匹配以便返回该被索引图像以作为候选图像（例如M=2）。基于表3中提供的逆排索引，用于代表搜索查询图像的查询描述符标识符的位置标识符的最低数值为：

。

因此，搜索组件306确定两个最低位置标识符数值是1和3，并且比M个最低位置标识符数值当中的最大位置标识符数值更大的对应于EDOC的最低位置标识符数值是4（EDOC末尾=4）。此外，文档起始位置标识符数值是1。因此，数值1和3处在文档起始与EDOC末尾之间（包括文档起始位置标识符数值），并且由位置1-3中的描述符标识符表示的被索引图像（图像1）被返回以作为候选图像。

继续该示例，一旦图像1被返回，EDOC末尾位置标识符的数值就被移动到其下一个位置标识符数值7（例如当前EDOC末尾=7）。当前文档起始被设定到比EDOC末尾的前一个数值多1（文档起始=4+1=5）。描述符标识符a和d的位置标识符数值被分别递增到其不小于文档起始位置标识符数值的下一个位置标识符数值，这是因为其被包括在作为候选图像返回的被索引图像中。此外，虽然在该例中没有描绘出，但是如果存在其位置标识符数值小于文档起始位置标识符数值的任何查询描述符标识符，则这些查询描述符标识符的位置标识符数值也将被递增到其不小于文档起始位置标识符数值的下一个数值。描述符标识符n的位置标识符数值不被递增，这是因为其数值大于文档起始位置标识符数值。因此，在前面的表3中描绘的下一个最低位置标识符数值集合是：

。

搜索组件306识别出不存在小于EDOC位置标识符数值的两个位置标识符数值，因此把EDOC位置标识符数值递增到比在逆排索引中列出的最低的两个位置标识符数值更大的在逆排索引中列出的下一个最低的数值；在该例中，EDOC位置标识符数值被递增到16（EDOC末尾=6）。文档起始被识别为11（例如比逆排索引中的下一个更小的EDOC数值大一个位置）。搜索组件306确定两个位置标识符数值13和12处于文档起始和EDOC末尾位置标识符数值之间（包括文档起始位置标识符数值），因此由位置11到15中列出的描述符标识符所表示的被索引图像（图像4）被返回以作为候选图像。搜索组件306继续该处理直到遍历整个逆排索引为止。

搜索组件306的处理高效地搜索逆排索引，这是通过采用文档末尾位置标识符以便允许跳过不包括至少M个匹配描述符标识符的图像而实现的。举例来说，在前面关于表1-4描述的示例中，图像2和3的描述符标识符被跳过。在表4a中描绘的第一次迭代之后，下一个可能匹配的被索引图像被识别为图像4。这样，搜索组件306就没有必要考虑图像2和3的描述符标识符。在适用于大规模图像存储和检索的本发明的实施例中，前面的部分匹配搜索的优点在大得多的规模上被实现。举例来说，当搜索组件306被赋予搜索几十亿幅图像的任务并且匹配描述符标识符的最小数目是对于每一幅被索引图像所存储的一百（100）个描述符标识符当中的十（10）个时，跳过或者快速识别出不包括最小数目的匹配描述符标识符的被索引图像的能力就会大大提高搜索效率。

在另一个实施例中，在搜索处理期间调节匹配描述符标识符的最小数目M。识别出响应于搜索查询将要提供的搜索结果图像的总数或最大数目（“K”）。可以把匹配描述符标识符的最小数目M设定到包括零在内的任何预定数值。搜索组件306遍历索引以便识别出具有至少M个与搜索图像匹配的描述符标识符的至少K幅被索引图像，正如前面所描述的那样。

跟踪用于所识别出的K幅被索引图像当中的每一幅的匹配描述符标识符的总数。把用于所识别出的K幅被索引图像当中的每一幅的匹配描述符标识符的总数进行比较，以便确定用于所识别出的K幅被索引图像的匹配描述符标识符的最小总数（“L”）。在另一个实施例中，跟踪用于由所识别出的K幅被索引图像构成的群组的匹配描述符标识符的最小总数L，而不是跟踪并比较用于所识别出的K幅被索引图像当中的每一幅单独的被索引图像的数值。M的数值被设定成等于L，其可以等于或大于M的先前数值。

此外，当由搜索组件306识别出具有至少M个匹配描述符标识符（其中M现在等于L）的附加被索引图像时，所述附加被索引图像被添加到由所识别出的K幅被索引图像构成的群组中，并且从该群组中去除具有最少数目的匹配描述符标识符的所述群组中的被索引图像。对于该群组重新计算L的数值，并且把M设定为等于新的数值。这样，基于在所识别出的前K幅被索引图像中找到的匹配描述符标识符的数目在搜索处理期间增大M的数值。因此，搜索处理的效率随着搜索处理的继续而提高，这是因为基于M的不断增大的数值可以跳过更多的被索引图像。

举例来说，假设M最初被设定成等于十（10），并且搜索组件306识别出索引中的具有至少10个匹配描述符标识符的前K幅被索引图像。搜索组件306还确定所识别出的所有K幅被索引图像都实际上具有至少32个匹配描述符标识符。因此，L等于32，并且M于是被设定成等于32。随着搜索组件306继续搜索处理，被索引图像现在必须具有至少32个匹配描述符标识符。搜索处理继续，并且随着用于所述群组的匹配描述符标识符的最小总数L增大，M的数值可以继续增大，正如前面所描述的那样。

搜索组件306可以采用任何可用操作和数据操纵功能来帮助遍历逆排索引。在一个实施例中，搜索组件306采用动态存储器分配（比如堆）以及与之相关联的操作来帮助处理搜索。此外，可以采用一个或更多搜索组件306来搜索与用于被索引图像的存储器存储的各个组块相关联的多个逆排索引。

在另一个实施例中，搜索组件306随着图像搜索查询接收文本搜索元素、标签和/或元数据。搜索组件306按照任何可用方式采用文本搜索元素来施行附加的基于文本的搜索和/或为基于内容的搜索提供信息。

在另一个实施例中，把一个或更多文本搜索元素（比如文本单词）与一个或更多描述符标识符相关联。这样，当搜索组件306接收到包括图像并且由与所述文本搜索元素相关联的一个或更多描述符标识符表示的搜索查询时，搜索组件306基于所述文本搜索元素施行附加的基于文本的搜索。替换地或附加地，当与一个或更多描述符标识符相关联的文本搜索元素被搜索组件306接收到时，所述搜索组件识别出与文本搜索元素相关联的描述符标识符，并且提供对于包含相关联的描述符标识符的图像的基于内容的搜索。

此外，在一个实施例中，包括与搜索查询一起接收的或者与描述符标识符相关联的元数据、标签和其他信息的文本搜索元素被用来选择及呈现已付费列表，比如广告、条幅广告、已付费搜索结果等等。文本搜索元素可以被用来直接识别已付费列表，或者可以被用来识别搜索查询的类别、情境、主题内容或其他特性，其可以被用来选择一个或更多已付费列表以供响应于搜索查询来呈现。类似地，与搜索查询一起接收的或者从中识别出的描述符标识符可以被用来直接识别已付费列表，或者识别可用来响应于搜索查询选择已支付列表的类别等等。

作为候选图像返回的被索引图像接下来由排序组件308处理。任何可用方法或特性及其组合都可以被用来对候选图像进行排序。此外，还可以利用包括截短候选图像的已排序列表之类的任何所期望的操作。在一个实施例中，基于与候选图像的描述符标识符匹配的搜索图像1200的描述符标识符1602的总数来对候选图像进行排序。随后截短候选图像的已排序列表以便去除包括最少数目的匹配描述符标识符从而最不可能在视觉上类似搜索图像1200的候选图像。

在一个实施例中，排序组件308对候选图像和/或其对应的描述符标识符施行术语频率排序以及一项或更多项几何检验和变换。所述变换可以包括二维或三维变换，作为举例而非限制比如有相似变换或仿射变换。所述变换允许排序组件308进一步分析候选图像和描述符标识符，从而对候选图像群组进行重新排序、分类或收窄。

在一个实施例中，除了搜索图像1200和候选图像的图像内容之外，排序组件还识别出与搜索图像1200或者一幅或更多幅候选图像相关联的一个或更多数据元素，以便帮助对于候选图像的排序或者为之提供信息。举例来说，可以接收搜索图像1200连同与图像1200相关联的一个或更多元数据数据元素或者连同一个或更多文本搜索元素。这样的数据元素和搜索元素进一步向排序组件308提供关于搜索的情境以及用户对于施行搜索的意图或兴趣的信息。替换地或附加地，一幅或更多幅候选图像具有与之相关联的元数据或其他数据元素，其可以被排序组件308使用来帮助对候选图像进行排序。

已排序候选图像由呈现组件310来配置及设置。呈现组件310通过用户接口把候选图像作为搜索结果图像呈现给用户，并且可以把任何相关联的已付费搜索结果合并到其呈现中。在一个实施例中，通过搜索结果网页在诸如查询输入设备204之类的计算设备处把搜索结果图像呈现给用户。用户可以随后选择其中一幅或更多幅搜索结果图像以便观看所述图像，或者可以被导向到在其上公布搜索结果图像的网页，另外在本领域内还有多种其他用户交互可用。此外，如果基于文本搜索元素、元数据或者通过其他方式施行了附加的基于文本的搜索，则所述呈现组件还可以向用户呈现基于文本的搜索结果和已付费列表。

现在参照图4，其中所描述的流程图描绘出根据本发明的一个实施例的用于生成图像内容的呈现以便进行基于内容的图像搜索的方法400。在402处，接收图像，比如图像1200。如404处所示，通过使用运算符算法，在图像中识别出感兴趣点，比如感兴趣点1202。

如前面所描述的那样并且如406处所示，对于一个或更多感兴趣点确定图像补片。所述图像补片包括图像区域，其包括对应的感兴趣点，并且所述图像补片可以与从图像确定的其他补片重叠。如408处所示，对于每一个补片确定描述符。所述描述符描述包括在所述补片中的图像像素的特性。举例来说，所述描述符描述补片中的像素的灰度或颜色梯度，或者描述对于像素的统计分析。

在410处，把每个描述符映射到对应于量化表中的最密切类似的代表性描述符的描述符标识符。如412处所示，把图像表示为描述符标识符集合。这样就对图像内容进行了量化，从而允许通过计算设备把所述内容与其他图像的类似地量化的内容进行比较，以便识别出视觉上相似的图像。

现在参照图5，其中根据本发明的一个实施例描述了一个流程图，该流程图进一步描绘出图4中所描绘的用于生成图像内容的表示以便进行基于内容的图像搜索的方法400。在如前所述并且如404处所示识别出图像中的感兴趣点之后，如404a处所示，基于某种量度对感兴趣点进行排序。可以基于任何可用量度对感兴趣点进行排序，作为举例而非限制比如有感兴趣点处或其附近的图像的信号强度或信噪比。如404b处所示，基于所述排序选择感兴趣点子集。所述子集可以只包括所期望数目的最突出或排序最高的感兴趣点，或者可以包括所有感兴趣点。在另一个实施例中，不对感兴趣点施行子集排序和选择，而是对在下面描述的后续步骤中确定的补片或描述符来施行。

在406a处，对于如前所述的子集中的每一个感兴趣点确定图像补片。如406b处所示，对图像补片进行归一化，从而使得所有图像补片都具有相同的尺寸。举例来说，可以增大或减小图像补片的分辨率，从而使得所有图像补片都具有相等的高度和宽度像素维度，比如25像素x25像素。在408a处，确定代表每一个补片的矢量。所述矢量是多维矢量，比如具有36个维度的T2S2矢量，其代表补片中的像素的灰度梯度。

现在参照图6，其中所描述的流程图描绘出根据本发明的一个实施例的用于索引描述符标识符的方法600。在602处，把用于图像（比如图像1200）的各个描述符标识符索引在扁平索引位置空间内。所述描述符标识符在扁平索引位置空间内被分组在一起并且被顺序地列出，并且其后是文档末尾标识符，正如604处所示。为每一个描述符标识符和文档末尾标识符提供表明其在扁平索引位置空间内的对应位置的位置标识符。在一个实施例中，实际上不为描述符标识符提供位置标识符，而是仅仅跟踪或者可以识别其在扁平索引位置空间内的位置。在606处，基于描述符标识符及其在扁平索引位置空间中索引的对应位置标识符生成逆排索引。所述逆排索引提供描述符标识符连同关于其在扁平索引位置空间内的对应位置的指示的列表。文档末尾标识符也被包括在逆排索引中，正如前面所描述的那样。

参照图7，其中所描述的流程图描绘出根据本发明的一个实施例的用于提供基于内容的候选图像的方法700。在702处，接收搜索查询。在一个实施例中，所述搜索查询包括作为搜索查询的图像。在一个实施例中，所述搜索查询包括文本元素以作为图像的补充或替代。在另一个实施例中，与查询一起接收描述图像和/或搜索查询的意图或情境的一个或更多数据元素（比如元数据）。在另一个实施例中，所述搜索查询是基于文本的搜索查询。

如704处所示，对于搜索查询识别出描述符标识符集合。如前所述，当搜索查询包括图像时，所述描述符标识符是从图像的内容识别出的。在一个实施例中，所述集合包括一百（100）个描述符标识符。在这样的实施例中，使用一百个描述符标识符会提供对于图像内容的紧致表示，同时还提供足够的内容信息以便从搜索生成有价值的结果。在一个实施例中，包括在集合中的描述符标识符的数目对应于可由搜索引擎使用来施行搜索的搜索元素的最大数目。在另一个实施例中，当接收到基于文本的搜索查询时，从所述基于文本的搜索查询的文本元素到描述符标识符的映射识别出描述符标识符。可以通过提供表或其他数据结构来完成所述映射，其表明与给定文本元素相关联的一个或更多描述符标识符。

在706处，所述描述符标识符集合被利用来施行搜索以便识别出候选图像，其中候选图像是包括至少预定数目的与搜索查询图像匹配的描述符标识符的被索引图像。在一个实施例中，在施行搜索时把搜索查询的描述符标识符集合和与每一幅被索引图像相关联的描述符标识符集合进行比较。在另一个实施例中，所述集合包括一百个描述符标识符，并且匹配描述符标识符的所需数目被确定为十（10）个。通过识别出具有至少十个匹配描述符标识符的被索引图像会提供足够数目的匹配候选图像，同时还保持所期望的精确度水平。

如708处所示，基于匹配描述符标识符的总数对候选图像进行排序。在一个实施例中，通过利用多个逆排索引在数目相等的多个数据库上施行的多项搜索识别出候选图像。随后把所述多项搜索的结果报告给单个计算设备，并且基于匹配描述符标识符的总数对其进行初步排序，正如前面所描述的那样。随后利用术语频率-逆文档频率（TF-IDF）排序或者基于一项或更多项变换、分析、图像特性等等对所述结果进行重新排序。

现在参照图8，其中描述的流程图描绘出根据本发明的一个实施例的用于响应于基于文本的搜索查询提供基于内容的候选图像的方法800。在802处，接收包括一个或更多文本搜索元素（比如单词或短语）的基于文本的搜索查询。在804处，把一个或更多文本搜索元素映射到与所述文本搜索元素相关联的一个或更多描述符标识符。

一个或更多描述符标识符与文本搜索元素之间的关联可以被预先定义并且存储在表或其他数据结构中，当这样的关联存在于所接收到的基于文本的搜索查询中时，可由搜索引擎使用该表或其他数据结构来识别出。举例来说，描述符标识符集合可能总是或者几乎总是出现在足球的图像中。与足球有关的文本单词（比如“足球”）可能与该描述符标识符集合相关联。因此，当在搜索查询中接收到其中一个所述单词时，就可以识别出相关联的描述符标识符集合并且借以施行基于内容的搜索，正如806处所示出的那样。在808处，通过所述搜索识别出候选图像，从而作为基于文本的搜索查询的结果提供对于图像的基于内容的搜索。在810处，对候选图像进行排序。所述排序可以是基于任何所期望的特性或算法，其中包括基于候选图像与搜索查询描述符标识符之间的匹配描述符标识符的总数的排序。

在另一个实施例中，响应于搜索查询提供文本搜索结果，其中所述搜索查询是图像。如前所述，通过基于内容的搜索识别出视觉上与查询图像类似的图像。累积与一幅或更多幅视觉上类似的图像相关联的文本元素、元数据和其他信息。随后响应于搜索查询提供所累积数据的至少一部分以作为文本搜索结果。举例来说，用户可以在其无线电话上捕获诸如电视之类的产品的图像，并且基于所述图像执行搜索查询。随后向用户呈现用户接口以显示基于图像的所累积信息，比如产品的名称和型号、电视在零售商处的价格、规范等等。在各种格式当中特别可以按照百科全书式或类似的信息格式来呈现所累积信息，或者可以利用具有去到各种网页的链接的标准搜索结果页面格式。

参照图9，其中所描述的流程图描绘出根据本发明的一个实施例的用于提供对应于作为搜索查询接收到的图像的候选图像的方法1000。在902处，作为搜索查询接收图像。在904处，把图像表示为描述符标识符集合，正如前面所描述的那样。如906处所示，利用每一个描述符标识符作为搜索元素并且利用逆排搜索索引施行部分匹配的基于内容的搜索。在908处，基于搜索查询图像与候选图像之间的匹配描述符标识符的数目从搜索中识别出候选图像。如910处所示，至少基于与搜索查询图像的匹配描述符标识符的总数对所识别出的候选图像进行排序。

参照图10，其中所描述的流程图描绘出根据本发明的一个实施例的用于提供基于内容的候选图像和基于文本的搜索结果的方法1000。在1002处，接收图像查询连同代表图像内容的描述符标识符集合。在1004处，识别出包括至少预定数目的与搜索查询的描述符标识符匹配的描述符标识符的候选图像。如1006处所示，基于匹配描述符标识符的总数对候选图像进行排序。

在1008处，识别出与候选图像相关联的关键字。从一幅或更多幅候选图像的所累积数据元素中识别出所述关键字。从其中公布候选图像的网页、从候选图像的文件名以及从与候选图像相关联的元数据中收集并累积所述数据元素。在1010处，基于所识别出的一个或更多关键字施行基于文本的搜索。如1012处所示，连同一个或更多基于文本的搜索结果将候选图像作为搜索结果图像呈现。按照本领域内已知的任何方式呈现搜索结果图像和基于文本的搜索结果，比如通过搜索结果网页呈现。基于文本的搜索结果包括本领域内已知的任何形式的非基于内容的搜索结果，其中例如包括（而不限于）去到网页、图像等等的链接。

现在参照图11，其中所描述的流程图描绘出根据本发明的一个实施例的用于施行基于内容的图像查询的方法1100。在1102处，接收搜索查询。如1104处所示并且如前所述，从搜索查询识别出描述符标识符集合。在1106处，遍历索引的一部分以便识别出具有最低位置标识符数值的预定数目的描述符标识符。在一个实施例中，所述索引是逆排索引。在1108处，识别出处在所述具有最低位置标识符数值的预定数目的描述符标识符当中的最大位置标识符数值之后的文档末尾位置标识符。在1110处，对于与在步骤1108中识别出的文档末尾位置标识符相关联的被索引图像识别出文档起始位置数值。在一个实施例中，所述文档起始位置标识符数值等于紧接在步骤1108中识别出的文档末尾位置标识符之前的文档末尾位置标识符的位置标识符数值加一个位置。

在1112处，当包括在所述具有最低位置标识符数值的预定数目的描述符标识符中的描述符标识符的所有位置标识符数值不都大于或等于所述文档起始位置标识符数值时，把其位置标识符数值小于所述文档起始位置标识符数值的一个或更多描述符标识符的位置标识符数值分别递增到大于所述文档起始位置标识符数值的对应描述符标识符的下一个最低数值。所述处理随后迭代回到1106。

在1114处，当所识别出的所有位置标识符数值都大于或等于文档起始位置标识符数值时，相关联的图像被返回以作为候选图像。当在索引中有更多被索引图像可能包括预定数目的匹配描述符标识符时，所述处理迭代回到1106。在1116处，基于候选图像与搜索查询之间的匹配描述符标识符的总数对候选图像进行排序。随后可以基于所述排序减少候选图像的数目，并且基于一项或更多项几何检验、变换或其他比较对剩余的候选图像进行重新排序，如在1118所示。随后可以通过网页或本领域内已知的其他用户接口把一幅或更多幅经过重新排序的候选图像作为搜索结果图像呈现给用户。

在另一个实施例中，基于查询图像Q的部分匹配的基于内容的图像搜索采用遵循下面的伪代码的搜索算法。

本发明的实施例可以被利用并适配来提高响应于如前所述地施行的搜索查询而返回的搜索结果图像和信息的相关性和价值。下面描述这样的几个示例性实施例。

在一个实施例中，在索引上针对查询图像实施基于内容的搜索。查询图像是来自索引的样本图像，或者是接收自用户的新图像。累积与从搜索返回的一幅或更多幅搜索结果图像相关联的元数据、标签以及其他附加数据。从所累积数据中构造或识别有意义的并且相关的标签或元数据并且与查询图像相关联。因此，基于查询图像和/或其中一幅搜索结果图像的未来的基于内容的搜索更有根据，并且可以通过使用相关联的元数据和标签提供更具相关性的搜索结果。此外，可以针对查询图像施行附加的基于文本的搜索以提供附加的搜索结果。

在另一个实施例中，识别出属于相同的或类似的领域、文档或主题内容的被索引图像群组。所识别出的被索引图像包括描述图像内容或者图像所属领域的一个或更多数据元素。在索引上针对所述群组中的每一幅图像施行基于内容的搜索，以便识别出视觉上类似的搜索结果图像。随后可以把描述所述内容或领域的数据元素传播到搜索结果图像。这样就可以把图像与某一主题内容、内容类型或领域相关，以便进一步为对于索引的未来搜索提供信息。举例来说，描绘成人内容的图像群组可以被用来在索引中识别视觉上类似的搜索结果图像。随后可以把搜索结果图像标记为成人内容。此外，从中检索或公布这些图像的网站或领域可以被识别为成人内容，以便为后续的基于内容和基于文本的搜索提供信息。

在另一个实施例中，通过基于内容的搜索识别出索引中的完全一样或几乎完全一样的图像。识别并且累积与其中每一幅完全一样的图像相关联的关键字。随后把所累积的关键字与每一幅完全一样的图像相关联，从而使其可用于未来的基于图像或文本的搜索。

在本发明的另一个实施例中，在向用户呈现已付费列表或广告时可以利用基于内容的搜索。图17描绘出根据本发明的一个实施例的这样一种方法1700，其用于把已付费搜索结果与基于图像的算法搜索结果相关联。在1702处，接收搜索查询。搜索查询可以包括或包含图像，具有附加的文本数据、元数据、标签等等的图像，或者可以是基于文本的搜索查询。如1704处所示，基于搜索查询识别出描述符标识符集合。如1706处所示，通过如前所述地把所述描述符标识符集合和与被索引图像相关联的各个描述符标识符集合进行比较来搜索被索引图像。

在1708处，把已付费搜索列表与一个或更多描述符标识符相关联，以便生成至少一个已付费搜索结果。举例来说，通过像前面的实施例中所描述的那样累积用于图像或图像群组的元数据、标签、关键字、领域和其他信息，可以基于所累积数据识别出相关的已付费搜索列表，并且连同查询搜索结果呈现给用户以作为已付费搜索结果。在另一个实施例中，把一个或更多已付费搜索列表与描述符标识符群组相关联。这样，响应于接收到与所述描述符标识符群组相关联的搜索查询而向用户呈现一个或更多已付费列表。或者，可以把广告与关键字相关联，所述关键字又与一个或更多描述符标识符相关联。因此，当接收到表明一个或更多描述符标识符的搜索查询时，基于所述描述符标识符确定关键字，并且基于所述关键字识别出广告。

此外，基于内容的搜索可以被用于已付费列表或广告目的的图像和图像内容的销售或拍卖。可以针对特定图像或一般图像主题内容销售、拍卖或指派广告权，其中可以基于对应于所述特定图像或一般图像主题内容的描述符标识符集合来识别这些图像。可以针对特定图像或者针对与特定图像或图像群组相关联的描述符标识符集合来销售广告权。

在不背离所附权利要求书的范围的情况下，所描绘的各个组件以及未示出的组件的许多不同设置都是可能的。对于技术实施例的描述是出于说明性而非限制性的目的。在阅读了本公开内容之后，替换实施例对于读者将变得显而易见。在不背离所附权利要求书的范围的情况下，可以完成实施上述内容的替换方式。某些特征和子组合是有用的并且可以在与其他特征和子组合无关的情况下被采用，这方面也被设想在权利要求书的范围内。

Claims

1. 一种用于搜索多幅图像的计算机实施的方法，所述方法包括：

接收搜索查询；

由计算设备基于所述搜索查询识别至少一个第一描述符标识符，其中所述至少一个第一描述符标识符对应于描述图像中的感兴趣点的描述符；

通过把所述至少一个第一描述符标识符和与每一幅被索引图像相关联的一个或更多第二描述符标识符进行比较来搜索多幅被索引图像；以及

基于所述比较对一幅或更多幅被索引图像进行排序。

2. 权利要求1的计算机实施的方法，其中，所述搜索查询包括图像。

3. 权利要求1的计算机实施的方法，其中，从搜索引擎逆排索引识别出一幅或更多幅候选图像，并且其中所述逆排索引是基于扁平索引位置空间，在所述扁平索引位置空间中顺序地列出了用于所述多幅被索引图像当中的每一幅的第二描述符标识符以及用于每一幅被索引图像的第二描述符标识符之后的文档末尾标识符，并且每一个第二描述符标识符和文档末尾标识符包括表明其在扁平索引位置空间内的对应位置的位置标识符。

4. 权利要求3的计算机实施的方法，其中，通过把所述至少一个第一描述符标识符和与每一幅被索引图像相关联的一个或更多第二描述符标识符进行比较来搜索所述多幅被索引图像的所述步骤还包括：

遍历索引以便识别出其位置标识符具有最低数值的预定数目的第二描述符标识符；

识别出具有最低位置标识符数值的所述预定数目的第二描述符标识符的最大位置标识符数值之后的文档末尾位置标识符；

识别出用于由文档末尾位置标识符标识的候选被索引图像的文档起始位置数值；以及

当具有最低位置标识符数值的所有所述预定数目的描述符标识符的位置标识符都大于或等于所述文档起始位置数值时，返回候选被索引图像以作为候选图像；或者

当具有最低位置标识符数值的所述预定数目的第二描述符标识符当中的一个或更多个的位置标识符小于所述文档起始位置数值时，对于所述预定数目的第二描述符标识符当中的一个或更多个的至少其中之一识别出不小于所述文档起始位置数值的下一个最低位置标识符数值。

5. 权利要求4的计算机实施的方法，其中，基于用于候选图像群组当中的候选图像的匹配第二描述符标识符的最小总数，增大第二描述符标识符的预定数目。

6. 权利要求1的计算机实施的方法，其中，所述搜索查询包括文本单词，并且其中识别所述至少一个第一描述符标识符的所述步骤包括识别与所述文本单词相关联的一个或更多描述符标识符。

7. 其上具体实现了计算机可读指令的一项或更多项计算机可读介质，当被执行时，所述计算机可读指令施行用于生成图像的内容表示以便进行基于内容的图像搜索的方法，所述方法包括：

接收图像；

识别出图像中的多个感兴趣点，其中感兴趣点包括通过运算符算法识别出的图像中的点、区段或区域的其中之一；

对于一个或更多感兴趣点确定包括图像区域的图像补片，其中所述图像区域包括对应的感兴趣点；

对于每一个补片确定描述符；

将每一个描述符映射到描述符标识符；以及

基于所述映射将图像表示为描述符标识符集合。

8. 权利要求7的计算机可读介质，其还包括：

索引用于图像的描述符标识符。

9. 权利要求7的计算机可读介质，其还包括：

对于每一个感兴趣点归一化图像补片，从而以相等的尺寸提供所有补片。

10. 权利要求7的计算机可读介质，其中，所述补片以感兴趣点为中心，并且补片的尺寸是从运算符算法的输出确定的。

11. 权利要求7的计算机可读介质，其中，对于每一个补片确定描述符的所述步骤包括：

确定代表包含在补片中的像素的矢量。

12. 权利要求7的计算机可读介质，其中，将每一个描述符映射到描述符标识符的所述步骤采用包括与对应的描述符标识符相关联的一个或更多代表性描述符的量化表，并且每一个描述符被映射到其匹配或接近匹配的一个或更多代表性描述符。

13. 权利要求7的计算机可读介质，其还包括：

基于量度对所述多个感兴趣点当中的每一个进行排序；以及

基于所述排序选择所述多个感兴趣点当中的子集以进行进一步处理。

14. 权利要求7的计算机可读介质，其还包括：

把一个或更多描述符标识符映射到一个或更多文本单词。

15. 一种把已付费搜索结果与基于图像的算法搜索结果相关联的方法，其包括以下步骤：

接收搜索查询；

计算设备基于搜索查询识别出形成描述符标识符的第一集合的至少一个描述符标识符，其中，每一个描述符标识符对应于描述基于图像的感兴趣点的描述符；

通过把描述符标识符的第一集合和与被索引图像相关联的描述符标识符的第二集合进行比较来搜索多幅被索引图像，从而生成搜索结果；

把至少一个已付费搜索列表与第一集合当中的至少一个描述符标识符相关联，从而生成至少一个已付费搜索结果。