CN112740202A - 使用内容标签执行图像搜索 - Google Patents

使用内容标签执行图像搜索 Download PDF

Info

Publication number
CN112740202A
CN112740202A CN201980062450.4A CN201980062450A CN112740202A CN 112740202 A CN112740202 A CN 112740202A CN 201980062450 A CN201980062450 A CN 201980062450A CN 112740202 A CN112740202 A CN 112740202A
Authority
CN
China
Prior art keywords
search
search query
image
content
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980062450.4A
Other languages
English (en)
Inventor
D.Y.马宁
S.K.巴苏
S.卡兰杰卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN112740202A publication Critical patent/CN112740202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

用于执行图像搜索的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。在一个方面，该系统接收对响应于所提供的包括一个或多个搜索项的搜索查询的图像的请求。该系统获得所提供的搜索查询的内容标签，该内容标签表示由搜索结果标识的图像中所描绘的实体，该搜索结果是由搜索系统通过处理包括所提供的搜索查询中包括的搜索项的搜索查询而预先生成的。该系统使用所提供的搜索查询的内容标签来确定多个候选图像中的每一个的相关性得分。该系统部分地基于候选图像的相关性得分确定候选图像的排名。

Description

使用内容标签执行图像搜索
相关申请的交叉引用
本申请要求2019年1月31日提交的美国申请第16/264,218号的权益，以及要求2018年11月21日提交的题为“PERFORMING IMAGE SEARCH USING CONTENT LABELS”的美国专利申请第62/770,478号的权益。出于所有目的，前述申请的公开通过引用整体结合于此。
背景技术
本说明书涉及信息检索。
互联网提供了对各种各样的电子文档的访问，诸如图像文件、音频文件、视频文件和网页。搜索系统可以标识(identify)响应于搜索查询的电子文档。搜索查询可以包括一个或多个搜索项(search term)、图像、音频数据、或者它们的组合。搜索图像会带来特殊的挑战。
发明内容
本说明书描述了被实现为在一个或多个位置的一台或多台计算机上的计算机程序的搜索系统。该搜索系统可以通过处理包括一个或多个搜索项的搜索查询以生成标识响应于搜索查询的图像的搜索结果来执行图像搜索。
根据第一方面，提供了一种由一个或多个数据处理装置执行的方法，该方法包括：接收对响应于所提供的搜索查询的图像的请求，所提供的搜索查询包括一个或多个搜索项。获得所提供的搜索查询的内容标签，其中所提供的搜索查询的内容标签表示由搜索结果标识的图像中所描绘的实体，所述搜索结果是由搜索系统通过处理包括所提供的搜索查询中包括的搜索项的搜索查询而预先生成的。对于多个候选图像中的每一个，获得候选图像的内容标签，其中候选图像的每个内容标签表示由候选图像描绘的实体。基于相似性度量(similarity measure)来确定候选图像的相关性得分，所述相似性度量测量以下各项的相似性：(i)所提供的搜索查询的内容标签，以及(ii)候选图像的内容标签。部分地基于候选图像的相关性得分来确定候选图像的排名。响应于所述请求，基于候选图像的排名，提供标识一个或多个候选图像的搜索结果。
在一些实施方式中，所提供的搜索查询的内容标签包括表示由搜索结果标识的图像中所描绘的实体的项，所述搜索结果是由搜索系统通过处理所提供的搜索查询而预先生成的。
在一些实施方式中，所提供的搜索查询的内容标签包括表示由搜索结果标识的图像中所描绘的实体的项，所述搜索结果是由搜索系统通过处理由所提供的搜索查询中包括的一个或多个搜索项的序列定义的搜索查询而预先生成的。
在一些实施方式中，所提供的搜索查询的内容标签包括表示由搜索结果标识的图像中所描绘的实体的项，所述搜索结果是由搜索系统通过处理搜索查询而预先生成的，所述搜索查询包括一个或多个搜索项的序列，所述一个或多个搜索项也被包括在所提供的搜索查询中。
在一些实施方式中，所提供的搜索查询的内容标签基于搜索结果的相应的用户选择率(selection rate)来确定，所述搜索结果是由搜索系统通过处理包括所提供的搜索查询中包括的搜索项的搜索查询而生成的。
在一些实施方式中，候选图像的内容标签是通过使用实体检测模型处理候选图像以生成定义由候选图像所描绘的实体的数据而生成的；并且所提供的搜索查询的内容标签是通过使用实体检测模型处理由搜索结果标识的图像而生成的，所述搜索结果是由搜索系统通过处理包括所提供的搜索查询中包括的搜索项的搜索查询而预先生成的。
在一些实施方式中，实体检测模型包括对象检测神经网络。
在一些实施方式中，获得候选图像的内容标签包括：获得一个或多个内容标签，每个内容标签表示由候选图像描绘的相应的对象。
在一些实施方式中，获得所提供的搜索查询的内容标签包括：获得一个或多个内容标签，每个内容标签表示由搜索结果标识的图像中所描绘的相应的对象，所述搜索结果是由搜索系统通过处理包括所提供的搜索查询中包括的搜索项的搜索查询而预先生成的。
在一些实施方式中，基于相似性度量来确定候选图像的相关性得分，所述相似性度量测量以下各项的相似性：(i)所提供的搜索查询的内容标签，以及(ii)候选图像的内容标签，包括确定以下各项之间的余弦相似性度量：(i)所提供的搜索查询的内容标签的数字表示，以及(ii)候选图像的内容标签的数字表示。
在一些实施方式中，所述相似性度量基于以下各项中的每一项的相应可能性(likelihood)：(i)所提供的搜索查询的内容标签，以及(ii)候选图像的内容标签。
在一些实施方式中，响应于所述请求，基于多个候选图像的排名，提供标识一个或多个候选图像的数据，包括：响应于所述请求，提供标识一个或多个排名最高的候选图像的数据。
根据第二方面，提供了一种系统，包括一个或多个计算机和存储指令的一个或多个存储设备，当所述指令被一个或多个计算机运行时，使得一个或多个计算机执行包括前述方法的操作的操作。
根据第三方面，提供了存储指令的一个或多个非暂时性计算机存储介质，所述指令当由一个或多个计算机运行时，使得一个或多个计算机执行包括前述方法的操作的操作。
可以实现本说明书中描述的主题的特定实施例，以便实现一个或多个以下优点。
本说明书中描述的搜索系统可以标识响应于搜索查询的图像。搜索系统使用为搜索查询获得的内容标签集合(a set of content labels)来标识图像，并且可以使用预先计算的数据为任何搜索查询有效地确定内容标签集合，从而减少提供响应于搜索查询的图像的任何等待时间。更具体地，对于大量(例如，数百万)搜索查询中的每一个，搜索系统可以预先计算(即，通过标识和存储)表示由搜索结果标识的图像中所描绘的实体的内容标签，所述搜索结果是由搜索系统通过处理搜索查询而预先生成的。
搜索系统可以通过从与以下各项中的一个或多个相对应的图像中聚集(aggregate)预先计算的内容标签来获得给定搜索查询的内容标签集合：(i)给定的搜索查询，(ii)搜索查询的“子查询(sub-query)”，以及(iii)与给定的搜索查询“相关”的搜索查询。给定搜索查询的子查询由给定搜索查询中包括的一个或多个搜索项的序列来定义。如果两个搜索查询都包含相同的子查询，则称这两个搜索查询是“相关的”。以这种方式，即使来自与给定搜索查询相对应的图像的内容标签不是预先计算的，搜索系统也可以使用预先计算的数据来确定给定搜索查询的内容标签。更具体地，即使来自与给定搜索查询相对应的图像的内容标签不是预先计算的，该系统也可以通过聚集来自与给定搜索查询的子查询和相关的搜索查询相对应的图像的预先计算的内容标签来确定给定搜索查询的内容标签。这是信息检索和图像搜索领域的技术进步。
本说明书中描述的搜索系统可以使用热门容易理解和解释的标准来确定表征(characterize)图像与搜索查询的相关性的相关性得分。特别地，搜索系统基于以下各项来确定相关性得分：(i)搜索查询的内容标签集合，以及(ii)图像的内容标签集合。搜索查询和图像的相应的内容标签集合可以容易地被人们理解和解释，这可以有利于(facilitate)搜索系统的有效校准和调试(debugging)。相反，表征图像与搜索查询的相关性的其他得分可以基于复杂且不可解释的标准(例如，神经网络的输出)，这可能显著增加校准和调试搜索系统的难度。这是信息检索和图像搜索领域的又一技术改进。
通过基于使用内容标签计算的相关性得分来确定搜索查询的搜索结果，本说明书中描述的搜索系统可以响应于搜索查询生成改进的图像搜索结果。以这种方式，搜索系统可以通过减少用户为检索相关数据而发送的搜索查询的数量来减少计算资源消耗(例如，存储器、计算能力或两者)。例如，实验表明，当搜索系统基于使用内容标签计算的相关性分数来确定搜索结果时，手动搜索查询改良
Figure BDA0002988969560000041
(即，用户对响应于搜索查询而提供的搜索结果不满意度)减少了0.35％。此外，实验还表明，当搜索系统基于使用内容标签计算的相关性分数来确定搜索结果时，用户选择由搜索系统提供的第一搜索结果的比率增加了1.6％。这是信息检索和图像搜索领域的又一技术改进。
本说明书的主题的一个或多个实施例的细节在附图和下面的描述中被阐述。从所述描述、附图、和权利要求中，主题的其它特征、方面、和优点将变得清楚。
附图说明
图1示出了示例搜索系统。
图2示出了示例排名引擎。
图3是用于提供响应于包括一个或多个搜索项的搜索查询的图像搜索结果的示例过程的流程图。
图4是用于获得包括一个或多个搜索项的给定搜索查询的内容标签的示例过程的流程图。
各种附图中的相似的参考标号和标示指示相似的元素。
具体实施方式
本说明书描述了搜索系统，该搜索系统可以通过处理包括一个或多个搜索项的搜索查询来执行图像搜索，以生成标识响应于搜索查询的图像的搜索结果。搜索系统被配置为处理搜索查询以确定一个或多个候选图像中的每一个的相应的相关性得分，其中候选图像的相关性得分表征候选图像与搜索查询的相关性。搜索系统(至少部分地)基于候选图像的相关性得分来确定候选图像的排名，并且可以生成标识一个或多个排名最高的候选图像的搜索结果。
为了生成候选图像的相关性分数，搜索系统确定：(i)搜索查询的内容标签集合，以及(ii)候选图像的内容标签集合，并且计算相应的内容标签集合之间的相似性度量。搜索查询的内容标签是表示由搜索结果标识的图像中所描绘的实体(例如，对象)的项，所述搜索结果是由搜索系统针对以下各项中的一个或多个而预先生成的：(i)搜索查询，(ii)搜索查询的“子查询”，以及(iii)“相关的”搜索查询。候选图像的内容标签表示由候选图像描绘的实体(例如，对象)。搜索系统可以通过使用实体检测模型(例如，其可以包括对象检测神经网络)处理图像来确定图像中描绘的实体。
这些特征和其他特征将在下面更详细地描述。
图1示出了示例搜索系统100。搜索系统100是被实现为在一个或多个位置的一台或多台计算机上的计算机程序的系统的示例，在该计算机程序中，下面描述的系统、组件和技术被实现。
搜索系统100被配置为从用户设备104接收搜索查询102，处理搜索查询102以确定响应于搜索查询102的一个或多个搜索结果106，并将搜索结果106提供给用户设备104。搜索查询102可以包括以自然语言(例如，英语)、图像、音频数据或任何其他适当形式的数据表达的搜索项。搜索结果106标识来自于网站110的响应于搜索查询102的电子文档108，并且包括到电子文档108的链接。电子文档108可以包括例如图像、HTML网页、文字处理文档、便携式文档格式(PDF)文档和视频。电子文档108可以包括内容，诸如单词、短语、图像和音频数据，并且可以包括嵌入的信息(例如，元信息和超链接)和嵌入的指令(例如，脚本)。网站110是与域名相关联并且由一个或多个服务器托管(host)的一个或多个电子文档108的集合(collection)。例如，网站110可以是以超文本标记语言(HTML)格式化的网页的集合，其可以包含文本、图像、多媒体内容和编程元素(例如，脚本)。
在特定示例中，搜索查询102可以包括搜索项“阿波罗登月”，并且搜索系统100可以被配置为执行图像搜索，即，提供标识响应于搜索查询102的相应的图像的搜索结果106。特别地，搜索系统100可以提供搜索结果106，每个搜索结果106包括：(i)网页的标题，(ii)从网页提取的图像的表示，以及(iii)到网页或到图像本身的超文本链接(例如，指定统一资源定位符(URL))。在该示例中，搜索系统100可以提供搜索结果106，该搜索结果106包括：(i)网页的标题“阿波罗登月”，(ii)网页中包括的阿波罗宇宙飞船的图像的缩小的表示(即缩略图)，以及(iii)到图像的超文本链接。
计算机网络112(诸如局域网(LAN)、广域网(WAN)、互联网、移动电话网络或其组合)连接网站110、用户设备104和搜索系统100(即，使它们能够通过网络112发送和接收数据)。通常，网络112可以将搜索系统100连接到成千上万的网站110和用户设备104。
用户设备104是受用户控制并能够通过网络112发送和接收数据(包括电子文档108)的电子设备。示例用户设备104包括个人计算机、移动通信设备以及能够通过网络112发送和接收数据的其他设备。用户设备104通常包括有利于通过网络112发送和接收数据的用户应用(例如，网络浏览器)。具体地，用户设备104中包括的用户应用使得用户设备104能够通过网络112向搜索系统100发送搜索查询102，并接收由搜索系统100响应于搜索查询102而提供的搜索结果106。
用户设备104中包括的用户应用可以向用户设备的用户呈现从搜索系统100接收的搜索结果106(例如，通过渲染显示搜索结果106的有序列表的搜索结果页面)。用户可以选择由用户设备104呈现的搜索结果106中的一个(例如，通过点击搜索结果106中包括的超文本链接)，这可以使得用户设备104生成对由搜索结果106标识的电子文档108的请求。对由搜索结果106标识的电子文档108的请求通过网络112发送到托管电子文档108的网站110。响应于接收到对电子文档108的请求，托管电子文档108的网站110可以将电子文档108发送到用户设备104。
搜索系统100使用排名引擎114来处理搜索查询102，以确定响应于搜索查询102的搜索结果106。如下文将更详细描述的，排名引擎114使用搜索索引116和历史查询日志118确定响应于搜索查询102的搜索结果106。
搜索系统100使用索引引擎120通过“抓取(crawling)”(即，系统性地浏览)网站110的电子文档108来生成和维护搜索索引116。对于大量(例如，数百万)电子文档108中的每一个，搜索索引116通过维护以下数据来索引电子文档：(i)标识电子文档108的数据(例如，通过到电子文档108的链接)，以及(ii)表征电子文档108的数据。由搜索索引116维护的表征电子文档的数据可以包括，例如，指定电子文档的类型(例如，图像、视频、PDF文档等)、电子文档的质量(例如，当电子文档是图像或视频时电子文档的分辨率)、与电子文档相关联的关键词、电子文档的缓存副本或其组合的数据。
搜索系统100可以将搜索索引116存储在数据存储(data store)中，该数据存储可以包括数千个数据存储设备。索引引擎120可以通过连续更新搜索索引116来维护搜索索引116，例如，通过索引新的电子文档108并从搜索索引116中移除不再可用的电子文档108。
搜索系统100使用查询日志引擎122来生成和维护历史查询日志118。对于由搜索系统100预先处理的大量(例如，数百万)搜索查询中的每一个，历史查询日志118通过维护指定以下内容的数据来索引先前的搜索查询：(i)先前的搜索查询，(ii)由搜索系统100响应于先前的搜索查询而提供的搜索结果，以及(iii)用户选择数据，其指定由发送先前的搜索查询的用户设备的用户选择的一个或多个搜索结果。如前所述，用户可以通过例如点击搜索结果中包括的超文本链接来选择搜索结果，以生成对由搜索结果标识的电子文档的请求。更一般地，用户选择数据可以被理解为表征用户对响应于搜索查询而发送的搜索结果的“感兴趣”程度(level)的任何数据。例如，用户选择数据可以基于表征用户将其光标悬停在搜索结果上多长时间的“悬停数据(hover data)”。将光标悬停在搜索结果上可能会导致显示更多与搜索结果相关的信息。例如，如果搜索结果是图像，将光标悬停在搜索结果上可以导致显示放大版本的图像。
搜索系统100可以将历史查询日志118存储在数据存储中，该数据存储可以包括数千个数据存储设备。查询日志引擎122可以通过连续更新历史查询日志118(例如，通过在搜索系统100处理新的搜索查询时索引该新的搜索查询)来维护历史查询日志118。
排名引擎114通过对由搜索索引116索引的电子文档108进行评分(scoring)来确定响应于搜索查询102的搜索结果106。排名引擎114可以部分地基于从历史查询日志118访问的数据来对电子文档108评分。由排名引擎114为电子文档108确定的得分表征了电子文档对搜索查询102的响应(例如，相关)程度。排名引擎114基于由搜索索引116索引的电子文档108相应的得分来确定它们的排名，并基于排名来确定搜索结果。例如，排名引擎114可以生成搜索结果106，该搜索结果106标识由搜索索引116索引的排名最高的电子文档108。
图2示出了示例排名引擎114。排名引擎114是被实现为在一个或多个位置的一台或多台计算机上的计算机程序的引擎的示例，在该计算机程序中，下面描述的系统、组件和技术被实现。如参考图1所述，搜索系统100的排名引擎114可以处理任何适当格式的搜索查询，以生成标识任何适当格式的电子文档的搜索结果。例如，由排名引擎处理的搜索查询可以包括例如搜索项、图像、音频数据或其组合，并且由搜索结果标识的电子文档可以包括例如图像、HTML网页、文字处理文档、便携式文档格式(PDF)文档和视频。图2描绘了排名引擎114的特定组件，其可用于通过处理包括一个或多个搜索项的搜索查询102来执行图像搜索，以生成标识响应于搜索查询102的图像的搜索结果106。
排名引擎114通过为由搜索索引116索引的多个图像中的每一个确定相应的相关性得分202，并至少部分地基于相关性得分202确定图像的排名204，来生成搜索结果106。排名引擎114基于以下各项之间的相似性度量来确定图像的相关性得分202：(i)图像的内容标签集合206，以及(ii)搜索查询102的内容标签集合208，这将在下面更详细地描述。
排名引擎114使用图像内容注释(annotation)引擎212来处理由搜索索引116索引的多个“候选”图像218中的每一个，以便为候选图像218中的每一个生成相应的内容标签集合206。在一些情况下，候选图像218可以包括由搜索索引116索引的每个图像，而在其他情况下，候选图像218可以仅包括由搜索索引116索引的图像的适当子集。在特定示例中，排名引擎114可以使用“快速”排名方法来确定由搜索索引116索引的图像的初始排名，该“快速”排名方法可以被快速执行并且消耗较少的计算资源。由搜索索引116索引的图像的初始排名可以基于所述图像响应于搜索查询102的程度(how responsive)来近似地(即，粗略地)对图像进行排名。在确定由搜索索引116索引的图像的初始排名之后，排名引擎114可以根据初始排名方法确定排名最高的图像集合作为候选图像218
图像内容注释引擎212被配置为生成图像的内容标签206，该图像的内容标签206表示由图像所描绘的“实体”。图像所描绘的实体可以是例如：(i)图像所描绘的对象，(ii)图像所描绘的对象的特征，或者(iii)图像的全局特征。由图像描绘的对象可以是高级(high-level)对象(例如，车辆)，或者特定对象(例如，福特野马(Ford Mustang))。图像所描绘的对象的特征可以是，例如，图像中所描绘的对象的颜色(例如，绿色)、图像中所描绘的人所表达的情感(例如，快乐)、或者图像中所描绘的人所执行的动作(例如，跑步)。图像的全局特征是指将图像作为整体而不是图像中的特定对象来表征的数据，例如，图像中描绘的天气状态(例如，晴天、阴天或雨天)，或者图像被捕获的位置(例如，巴黎)。图像内容注释引擎212可以预先计算由搜索索引116索引的每个图像的内容标签206，以减少生成搜索结果106的任何等待时间。
排名引擎114使用图像映射引擎210来处理搜索查询102，该图像映射引擎210将搜索查询102映射到历史图像220集合。历史图像220是由搜索结果所标识的图像，该搜索结果是由搜索系统100为以下各项中的一个或多个而预先生成的：(i)搜索查询102，(ii)搜索查询102的“子查询”，以及(iii)与搜索查询102“相关的”搜索查询。搜索查询102的子查询由搜索查询102中包括的一个或多个搜索项的序列来定义。例如，“登月”是搜索查询“阿波罗登月”的子查询。如果两个搜索查询都包含相同的子查询，则称这两个搜索查询是“相关的”。例如，搜索查询“阿波罗登月”与搜索查询“美国登月”相关(即，因为它们都包括子查询“登月”)。图像映射引擎210使用历史查询日志118来确定搜索系统100为搜索查询预先生成的搜索结果。图像映射引擎210可以基于先前搜索查询的用户选择率将搜索查询102映射到历史图像220。例如，图像映射引擎210可能更有可能将搜索查询102映射到由搜索结果标识的历史图像220，该搜索结果当响应于搜索查询102而被提供时更频繁地被用户选择。通常，历史图像220可以是搜索索引116中包括的图像。
排名引擎114通过使用图像内容注释引擎212处理历史图像220来为搜索查询102生成内容标签208。在特定示例中，对于搜索查询“阿波罗登月”，排名引擎114可以确定搜索查询的内容标签208，包括：“空间”、“宇航员”、“象征(emblem)”、“载具”、“符号(symbol)”、“航天器”、“徽章(badge)”、“圆圈”、“徽标(logo)”、“火箭”和“航空航天工程”。参考图4更详细地描述了用于为搜索查询生成内容标签的示例过程。
排名引擎114使用相似性度量引擎214来处理：(i)搜索查询102的内容标签208，以及(ii)每个候选图像的相应内容标签206，以生成每个候选图像的相应的相关性得分202。候选图像的相关性得分202是表征候选图像与搜索查询102的相关性的数值。可选地，排名引擎114可以为每个候选图像计算一个或多个附加得分，并基于以下各项确定每个候选图像的相应的总得分214：(i)候选图像的相关性得分202，以及(ii)候选图像的附加得分216。例如，排名引擎114可以将候选图像的总得分214确定为候选图像的相关性得分202和候选图像的附加得分216的加权和。参考图3进一步描述了附加得分216的示例。
排名引擎114基于总得分214(或者，如果没有附加得分216，则相关性得分202)确定候选图像218的排名204，并且基于排名204生成搜索结果106。例如，排名引擎114可以生成标识排名最高的候选图像218的搜索结果106。
图3是用于提供响应于包括一个或多个搜索项的搜索查询的图像搜索结果的示例过程300的流程图。为了方便起见，过程300将被描述为由位于一个或多个位置的一个或多个计算机的系统来执行。例如，根据本说明书适当编程的搜索系统，例如图1的搜索系统100，可以执行过程300。
搜索系统接收包括一个或多个搜索项的搜索查询(302)。如参考图1所述，搜索查询可以由用户的用户设备通过计算机网络发送到搜索系统。包括一个或多个搜索项的搜索查询的示例是：“阿波罗登月”。
搜索系统获得搜索查询的内容标签(304)。搜索查询的内容标签是表示由图像描绘的实体的项，该图像由搜索系统为以下各项中的一个或多个预先生成的搜索结果来标识：(i)搜索查询，(ii)搜索查询的“子查询”，以及(iii)“相关的”搜索查询。参考图4描述了用于获得搜索查询的内容标签的示例过程。
对于由搜索索引所索引的多个候选图像中的每一个，搜索系统获得表示由候选图像描绘的实体的候选图像的相应的内容标签(306)。如参考图2所述，由图像描绘的实体可以是，例如：(i)图像所描绘的对象，(ii)图像所描绘的对象的特征，或者(iii)图像的全局特征。搜索系统可以通过使用实体检测模型处理图像来生成图像的内容标签。例如，实体检测模型可以是包括对象检测神经网络的实体检测神经网络系统。在该示例中，对象检测神经网络可以被配置为处理图像以生成对象检测数据，该对象检测数据包括定义图像中描绘的对象的对象类别的数据。该系统可以将图像中描绘的对象的对象类别确定为图像的内容标签。在一些情况下，该系统为每个候选图像确定预定数量的内容标签，而在其他情况下，该系统为每个候选图像确定可变数量的内容标签。例如，该系统可以通过确定候选图像的内容标签包括由具有至少阈值“置信度”(例如，90％)的对象检测网络在候选图像中检测到的对象的对象类别，来确定每个候选图像的可变数量的内容标签。该系统可以预先计算由搜索索引所索引的每个图像的内容标签，以减少生成响应于搜索查询的搜索结果的任何等待时间。也可以使用用于生成内容标签的其他合适的过程和系统。
在一些情况下，候选图像包括由搜索索引所索引的每个图像，而在其他情况下，候选图像包括由搜索索引所索引的图像的适当子集。例如，候选图像可以是根据通过快速排名方法(如参考图2所述)由搜索索引所索引的图像的初始排名的排名最高的图像集合。
该系统确定候选图像中的每一个的相应的相关性得分(308)。候选图像的相关性得分是表征候选图像与搜索查询的相关性的数值。该系统基于相似性度量来确定候选图像的相关性得分，该相似性度量测量以下各项的相似性：(i)候选图像的内容标签，以及(ii)搜索查询的内容标签。例如，该系统可以确定候选图像的内容标签的矢量表示和搜索查询的内容标签的矢量表示，并且此后基于相应矢量表示之间的余弦相似性度量或欧几里德(Euclidean)距离来确定相似性度量。该系统可以以多种方式中的任何一种来确定内容标签集合的矢量表示。例如，给定内容标签集合的矢量表示可以具有每个“可能的”内容标签的相应分量，其中与给定内容标签集合中的内容标签相对应的矢量的那些分量具有值1，并且所有其他分量具有值0。可能的内容标签是指预定的可能的内容标签集合中包括的内容标签。
在某些情况下，该系统基于不同内容标签的相应“可能性(likelihood)”来确定相似性度量。内容标签的可能性表征系统将内容标签与搜索查询和图像相关联的频率(howoften)。例如，诸如“车辆”的内容标签可能比诸如“福特野马”的更具体的内容标签具有更高的可能性。特别地，具有搜索查询和候选图像两者共有的低可能性的内容标签可能比具有搜索查询和候选图像两者共有的高可能性的内容标签更影响相似性度量。在一个示例中，该系统可以通过使用加权余弦相似性度量，基于不同内容标签的相应可能性来确定相似性度量，其中每个内容标签的可能性的函数被用作余弦相似性度量中的权重。
可选地，该系统确定每个候选图像的一个或多个附加得分(310)。在一些情况下，该系统可能已经确定候选图像的一些或全部附加得分，同时使用快速排名方法(如前所述)生成由搜索索引所索引的图像的初始排名。在一个示例中，该系统可以基于候选图像的视觉质量(例如，候选图像的图像分辨率)来确定候选图像的附加得分。作为另一个示例，该系统可以基于搜索查询的多少个搜索项被包括在与候选图像相关联的元数据标签中来确定候选图像的附加得分。作为另一个示例，该系统可以基于当系统响应于搜索查询(例如，基于历史数据日志)已经提供标识候选图像的搜索结果时用户已经选择候选图像的频率来确定候选图像的附加得分。
该系统基于每个候选图像的相关性得分来确定候选图像的排名(312)。例如，该系统可以基于以下各项确定表征候选图像响应于搜索查询的程度的每个候选图像的总得分：(i)候选图像的相关性得分，以及(ii)候选图像的任何附加得分。在特定示例中，该系统可以将候选图像的总得分确定为候选图像的相关性得分和候选图像的任何附加得分的加权和。候选图像的排名可以定义从具有最高总得分的候选图像到具有最低总得分的候选图像的候选图像的排序。
该系统基于候选图像的排名生成响应于搜索查询的搜索结果(314)。例如，该系统可以根据基于相关性得分确定的候选图像的排名生成搜索结果，该搜索结果标识预定数量的排名最高的候选图像。在生成搜索结果之后，该系统可以提供搜索结果以在生成搜索查询的用户设备上呈现。
图4是用于获得包括一个或多个搜索项的给定搜索查询的内容标签的示例过程400的流程图。为了方便起见，过程400将被描述为由位于一个或多个位置的一个或多个计算机的系统来执行。例如，根据本说明书适当编程的搜索系统，例如图1的搜索系统100，可以执行过程400。
该系统标识内容标签，所述内容标签表示由搜索结果标识的图像中所描绘的实体，所述搜索结果是由搜索系统通过处理给定的搜索查询而生成的(402)。更具体地说，该系统可以使用历史数据日志来获得指定以下内容的数据：(i)由搜索系统通过处理给定搜索查询而预先生成的搜索结果所标识的图像，以及(ii)通过处理给定搜索查询所生成的搜索结果的用户选择率。给定搜索结果的用户选择率可以指定当搜索系统响应于给定搜索查询而提供给定搜索结果时，用户选择给定搜索结果的频率(即，相对于其他搜索结果)。例如，用户选择率可以指定给定的搜索结果在由搜索系统响应于给定的搜索查询而提供的22％的时间内被用户选择。更一般地，给定搜索结果的用户选择数据可以描述，当搜索系统响应于给定搜索查询而提供给定搜索结果时，用户对给定搜索结果的感兴趣程度(a levelof interest)。例如，给定搜索结果的用户选择数据可以部分地基于“悬停数据”，该“悬停数据”表征当响应于给定搜索查询而提供给定搜索结果时，用户将光标悬停在给定搜索结果上多长时间。该系统可能更有可能从由具有更高的用户选择率(例如，指示更高的用户感兴趣程度)搜索结果标识的图像中标识内容标签。如前所述，该系统可以通过使用实体检测模型处理图像来标识表示图像中所描绘的实体的内容标签。
在一些实施方式中，该系统可能已经预先标识(即，“预先计算”)与给定搜索查询相对应的图像的内容标签，并将内容标签存储在数据存储中。该系统可以从数据存储中访问与给定搜索查询相对应的图像的预先计算的内容标签，以减少在确定搜索查询的内容标签时的任何等待时间。如果系统没有预先计算与给定搜索查询相对应的图像的内容标签，则系统可以抑制(refrain)获得与给定搜索查询相对应的图像的内容标签，并进行到步骤404。
该系统标识内容标签，所述内容标签表示由搜索结果标识的图像中所描绘的实体，所述搜索结果是由搜索系统通过处理给定的搜索查询的子查询而生成的(404)。在一些情况下，子查询可以包括给定搜索查询的每个可能的子查询，而在其他情况下，子查询可以包括给定搜索查询的预定数量的子查询。例如，子查询可以包括给定搜索查询的预定数量的随机选择的子查询，或者给定搜索查询的预定数量的最频繁搜索的子查询。如前所述，该系统可以通过使用实体检测模型处理图像来标识表示图像中所描绘的实体的内容标签。
在一些实施方式中，该系统可以具有与给定搜索查询的子查询相对应的图像的预先计算的内容标签，并将内容标签存储在数据存储中。该系统可以从数据存储中访问与给定搜索查询的子查询相对应的图像的预先计算的内容标签，以减少在确定搜索查询的内容标签时的任何等待时间。如果系统没有预先计算与给定搜索查询的特定子查询相对应的图像的内容标签，则系统可以抑制获得与特定子查询相对应的图像的内容标签。
该系统标识内容标签，所述内容标签表示由搜索结果标识的图像中所描绘的实体，所述搜索结果是由搜索系统通过处理与给定的搜索查询相关的搜索查询而生成的(406)。相关的搜索查询可以包括例如预定数量的最频繁搜索的相关的搜索查询，或者预定数量的随机选择的相关的搜索查询。如前所述，该系统可以通过使用实体检测模型处理图像来标识表示图像中所描绘的实体的内容标签。在一些实施方式中，该系统可以具有与相关的搜索查询相对应的图像的预先计算的内容标签，并将内容标签存储在数据存储中。该系统可以从数据存储中访问与相关的搜索查询相对应的图像的预先计算的内容标签，以减少在确定搜索查询的内容标签时的任何等待时间。如果系统没有预先计算与特定相关的搜索查询相对应的图像的内容标签，则系统可以抑制获得与特定相关的搜索查询相对应的图像的内容标签。
系统根据如参考402、404和406(408)描述所标识的内容标签来确定给定的搜索查询的内容标签。例如，该系统可以将内容标签确定为针对与给定搜索查询、给定搜索查询的子查询以及与给定搜索查询相关的搜索查询相对应的图像标识的所有内容标签的集合。可以使用用于组合参考402、404和406描述的所标识的内容标签的任何其他合适的方法。
本说明书结合系统和计算机程序组件使用术语“被配置为”。对于被配置为执行特定的操作或动作的一台或多台计算机的系统来说，意味着该系统已经在其上安装了软件、固件、硬件或它们的组合，在操作中使得该系统执行这些操作或动作。对于被配置为执行特定操作或动作的一个或多个计算机程序来说，意味着该一个或多个程序包括指令，当该指令被数据处理装置执行时，使得该装置执行这些操作或动作。
本说明书中描述的主题和功能操作的实施例能够被实施在数字电子电路中，实施在有形地具体实现的计算机软件或者固件中，实施在包括本说明书中公开的结构及其结构等同物的计算机硬件中，或者实施在它们中的一个或多个的组合中。本说明书中描述的主题的实施例能够被实施为一个或多个计算机程序，即编码在有形的非瞬时性计算机存储介质上的计算机程序指令的一个或多个模块，以便被数据处理装置运行或者用来控制数据处理装置的操作。计算机存储介质可以是机器可读存储设备、机器可读存储基底、随机或串行存取存储器设备，或者它们中的一个或多个的组合。可替换地或者额外地，程序指令能够被编码在人工生成的传播的信号例如，被生成以便编码用于传输到合适的接收器装置以便被数据处理装置运行的信息的、机器生成的电、光、或者电磁信号上。
术语“数据处理装置”是指数据处理硬件并且包含用于处理数据的所有种类的装置、设备、和机器，包括，举例来说，可编程处理器、计算机、或者多个处理器或者计算机。所述装置还可以是或进一步包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。所述装置能够可选地包括，除了硬件，创建用于计算机程序的运行环境的代码，例如，组成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中的一个或多个的组合的代码。
计算机程序也可以被称为或者描述为程序、软件、软件应用、应用、模块、软件模块、脚本、或者代码能够以任何形式的编程语言包括编译语言或者解释语言、或者声明性语言或者程序性语言来编写，并且其能够以任何形式来部署，包括作为独立程序或者作为模块、组件、子例程、或者适于在计算环境中使用的其它单元。程序可以，但是不需要，对应于文件系统中的文件。程序能够存储在保持其它程序或者数据例如，存储在标记语言文档中的一个或多个脚本的文件的一部分中，存储在专用于正被讨论的程序的单一文件中，或者存储在多个协调的文件例如，存储一个或多个模块、子程序、或者代码部分的文件中。计算机程序能够被部署为在一个计算机上运行，或者在位于一个场所的或者分布在多个场所之间并通过数据通信网络互连的多个计算机上运行。
在本说明书中，术语“引擎”被广泛用于指代基于软件的系统、子系统或被编程以执行一个或多个特定功能的过程。通常，引擎将被实现为安装在一个或多个位置的一台或多台计算机上的一个或多个软件模块或组件。在某些情况下，一台或多台计算机将专用于特定的引擎；在其他情况下，可以在同一台或多台计算机上安装并运行多个引擎。
在本说明书中描述的过程和逻辑流能够通过运行一个或多个计算机程序的一个或多个可编程序计算机执行，以便通过对输入数据进行操作并且生成输出来执行功能。过程和逻辑流也可以由专用逻辑电路(例如，FPGA或ASIC)或者由专用逻辑电路和一个或多个编程计算机的组合来执行。
适于计算机程序的运行的计算机能够基于通用或者专用微处理器或两者、或者任何其它种类的中央处理单元。一般地，中央处理单元将从只读存储器或者随机存取存储器或者两者接收指令和数据。计算机的基本元素是用于执行或者运行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。中央处理单元和存储器可以由专用逻辑电路补充，或者合并在专用逻辑电路中。一般，计算机还将包括用于存储数据的一个或多个海量存储设备例如，磁盘、磁光盘或者光盘，或者计算机还将被可操作地耦合到所述一个或多个海量存储设备，从所述一个或多个海量存储设备接收数据、或者向所述一个或多个海量存储设备传递数据、或者兼而有之。然而，计算机不需要具有这样的设备。而且，计算机能够被嵌入另一设备中，所述另一设备例如，移动电话、个人数字助理(PDA)、移动音频或者视频播放器、游戏控制台、全球定位系统(GPS)接收器、或者便携式存储设备例如，通用串行总线(USB)闪存驱动器，仅举几例。
适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。
为了提供与用户的交互，本说明书中描述的主题的实施例能够被实施在具有用于向用户显示信息的显示设备以及能够被用户用来向计算机提供输入的键盘和指向(pointing)设备的计算机上，所述显示设备例如CRT(阴极射线管)或者LCD(液晶显示器)监视器，所述指向设备例如鼠标或者轨迹球。其它种类的设备也能够用于提供与用户的交互；例如，提供给用户的反馈能够是任何形式的感官反馈，例如，视觉反馈、听觉反馈、或者触觉反馈；并且来自用户的输入能够以任何形式被接收包括声音、语音、或者触觉输入。此外，计算机能够通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互；例如，通过响应于从用户的设备上的网络浏览器接收的请求向该网络浏览器发送网页。此外，计算机可以通过向个人设备(例如，运行消息应用的智能手机)发送文本消息或其他形式的消息，并作为回应从用户接收响应消息来与用户进行交互。
用于实现机器学习模型的数据处理装置还可以包括例如专用硬件加速器单元，用于处理机器学习训练或生产的公共和计算密集型部分，即推理、工作负荷。
机器学习模型可以使用机器学习框架来实现和部署，例如，TensorFlow框架、微软认知工具包框架、Apache Singa框架或Apache MXNet框架。
本说明书中描述的主题的实施例可以实施在包括后端组件例如，作为数据服务器的计算系统中，或者可以实施在包括中间件组件例如，应用服务器的计算系统中，或者可以实施在包括前端组件例如，具有能够被用户用来与在本说明书中描述的主题的实施方式进行交互的图形用户界面、网络浏览器或者应用的客户端计算机或者一个或多个这样的后端组件、中间件组件、或者前端组件的任何组合的计算系统中。所述系统的组件能够通过任何形式或者介质的数字数据通信例如，通信网络来互连。通信网络的示例包括局域网(LAN)和广域网(WAN)，例如，互联网。
计算系统能够包括客户端和服务器。客户端和服务器一般彼此远离，并且典型地通过通信网络来交互。客户端和服务器之间的关系凭借在各个计算机上运行的并且彼此之间具有客户端-服务器关系的计算机程序而发生。在一些实施例中，服务器将数据(例如，HTML页面)发送到用户设备，例如，为了向与充当客户端的设备交互的用户显示数据和从该用户接收用户输入。在用户设备处生成的数据，例如用户交互的结果，可以在服务器处从设备接收。
虽然本说明书包含许多特定的实施方式细节，但是这些细节不应该被解释为对于任何发明的范围的限制或者对于可能要求保护的范围的限制，相反，这些细节应该被解释为对于可能特定于特殊发明的特殊实施例的特征的描述。在分开的实施例的上下文中在本说明书中描述的某些特征还能够组合地实施在单一实施例中。相反地，在单一实施例的上下文中描述的各种特征还能够分开地实施在多个实施例中或者实施在任何合适的子组合中。而且，虽然特征可能在上面被描述为出现在某些组合中并且甚至一开始就被请求按这样进行保护，但是来自请求保护的组合的一个或多个特征在一些情况下能够从该组合中被删除，并且请求保护的组合可以专注于子组合或者子组合的变化。
类似地，虽然操作按照特定的顺序在附图中描述并且在权利要求中记载，但是这不应该被理解为要求按照所示出的特殊顺序来执行或者按照相继顺序执行这样的操作、或者要求执行所有示出的操作，以便实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。而且，上述的实施例中的各种系统模块和组件的分离不应该被理解为要求在所有的实施例中进行这样的分离，并且应该理解，所描述的程序组件和系统通常能够一起集成在单一软件产品中或者包装到多个软件产品中。
已经描述了主题的特殊实施例。其他的实施例在下面的权利要求的范围之内。例如，在权利要求中记载的动作能够以不同的顺序来执行，并且仍然实现期望的结果。作为一个示例，附图中描述的过程不一定需要所示的特定顺序或顺序来实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。

Claims (20)

1.一种由一个或多个数据处理装置执行的方法，所述方法包括：
接收对响应于所提供的包括一个或多个搜索项的搜索查询的图像的请求；
获得所提供的搜索查询的内容标签，其中，所提供的搜索查询的内容标签表示由搜索结果标识的图像中所描绘的实体，所述搜索结果是由搜索系统通过处理包括所提供的搜索查询中包括的搜索项的搜索查询而预先生成的；
对于多个候选图像中的每一个：
获得候选图像的内容标签，其中，所述候选图像的每个内容标签表示由候选图像描绘的实体；以及
基于相似性度量来确定候选图像的相关性得分，所述相似性度量测量以下各项的相似性：(i)所提供的搜索查询的内容标签，以及(ii)候选图像的内容标签；
部分地基于候选图像的相关性得分来确定候选图像的排名；以及
响应于所述请求，基于候选图像的排名，提供标识一个或多个候选图像的搜索结果。
2.根据权利要求1所述的方法，其中，所提供的搜索查询的内容标签包括表示由搜索结果标识的图像中所描绘的实体的项，所述搜索结果是由搜索系统通过处理所提供的搜索查询而预先生成的。
3.根据权利要求1所述的方法，其中，所提供的搜索查询的内容标签包括表示由搜索结果标识的图像中所描绘的实体的项，所述搜索结果是由搜索系统通过处理由所提供的搜索查询中包括的一个或多个搜索项的序列定义的搜索查询而预先生成的。
4.根据权利要求1所述的方法，其中，所提供的搜索查询的内容标签包括表示由搜索结果标识的图像中所描绘的实体的项，所述搜索结果是由搜索系统通过处理搜索查询而预先生成的，所述搜索查询包括一个或多个搜索项的序列，所述一个或多个搜索项也被包括在所提供的搜索查询中。
5.根据权利要求1所述的方法，其中，所提供的搜索查询的内容标签基于搜索结果的相应的用户选择率来确定，所述搜索结果是由搜索系统通过处理包括所提供的搜索查询中包括的搜索项的搜索查询而生成的。
6.根据权利要求1所述的方法，其中：
所述候选图像的内容标签是通过使用实体检测模型处理候选图像以生成定义由候选图像所描绘的实体的数据而生成；以及
所提供的搜索查询的内容标签是通过使用实体检测模型处理由搜索结果标识的图像而生成的，所述搜索结果是由搜索系统通过处理包括所提供的搜索查询中包括的搜索项的搜索查询而预先生成的。
7.根据权利要求6所述的方法，其中，所述实体检测模型包括对象检测神经网络。
8.根据权利要求1所述的方法，其中：
获得候选图像的内容标签包括：获得一个或多个内容标签，每个内容标签表示由候选图像描绘的相应的对象；以及
获得所提供的搜索查询的内容标签包括：获得一个或多个内容标签，每个内容标签表示由搜索结果标识的图像中所描绘的相应的对象，所述搜索结果是由搜索系统通过处理包括所提供的搜索查询中包括的搜索项的搜索查询而预先生成的。
9.根据权利要求1所述的方法，其中，基于相似性度量来确定候选图像的相关性得分，所述相似性度量测量以下各项的相似性：(i)所提供的搜索查询的内容标签，以及(ii)候选图像的内容标签，包括：
确定以下各项之间的余弦相似性度量：(i)所提供的搜索查询的内容标签的数字表示，以及(ii)候选图像的内容标签的数字表示。
10.根据权利要求1所述的方法，其中，所述相似性度量基于以下各项中的每一项的相应可能性：(i)所提供的搜索查询的内容标签，以及(ii)候选图像的内容标签。
11.根据权利要求1所述的方法，其中，响应于所述请求，基于多个候选图像的排名，提供标识一个或多个候选图像的数据，包括：
响应于所述请求，提供标识一个或多个排名最高的候选图像的数据。
12.一种系统，包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令在被一个或多个计算机运行时使得一个或多个计算机执行操作，所述操作包括：
接收对响应于所提供的包括一个或多个搜索项的搜索查询的图像的请求；
获得所提供的搜索查询的内容标签，其中，所提供的搜索查询的内容标签表示由搜索结果标识的图像中所描绘的实体，所述搜索结果是由搜索系统通过处理包括所提供的搜索查询中包括的搜索项的搜索查询而预先生成的；
对于多个候选图像中的每一个：
获得候选图像的内容标签，其中，所述候选图像的每个内容标签表示由候选图像描绘的实体；以及
基于相似性度量来确定候选图像的相关性得分，所述相似性度量测量以下各项的相似性：(i)所提供的搜索查询的内容标签，以及(ii)候选图像的内容标签；
部分地基于候选图像的相关性得分来确定候选图像的排名；以及
响应于所述请求，基于候选图像的排名，提供标识一个或多个候选图像的搜索结果。
13.根据权利要求12所述的系统，其中，所提供的搜索查询的内容标签包括表示由搜索结果标识的图像中所描绘的实体的项，所述搜索结果是由搜索系统通过处理所提供的搜索查询而预先生成的。
14.根据权利要求12所述的系统，其中，所提供的搜索查询的内容标签包括表示由搜索结果标识的图像中所描绘的实体的项，所述搜索结果是由搜索系统通过处理由所提供的搜索查询中包括的一个或多个搜索项的序列定义的搜索查询而预先生成的。
15.根据权利要求12所述的系统，其中，所提供的搜索查询的内容标签包括表示由搜索结果标识的图像中所描绘的实体的项，所述搜索结果是由搜索系统通过处理搜索查询而预先生成的，所述搜索查询包括一个或多个搜索项的序列，所述一个或多个搜索项也被包括在所提供的搜索查询中。
16.根据权利要求12所述的系统，其中，所提供的搜索查询的内容标签基于搜索结果的相应的用户选择率来确定，所述搜索结果是由搜索系统通过处理包括所提供的搜索查询中包括的搜索项的搜索查询而生成的。
17.存储指令的一个或多个非暂时性计算机存储介质，所述指令当由一个或多个计算机运行时，使得一个或多个计算机执行操作，所述操作包括：
接收对响应于所提供的包括一个或多个搜索项的搜索查询的图像的请求；
获得所提供的搜索查询的内容标签，其中，所提供的搜索查询的内容标签表示由搜索结果标识的图像中所描绘的实体，所述搜索结果是由搜索系统通过处理包括所提供的搜索查询中包括的搜索项的搜索查询而预先生成的；
对于多个候选图像中的每一个：
获得候选图像的内容标签，其中，所述候选图像的每个内容标签表示由候选图像描绘的实体；以及
基于相似性度量来确定候选图像的相关性得分，所述相似性度量测量以下各项的相似性：(i)所提供的搜索查询的内容标签，以及(ii)候选图像的内容标签；
部分地基于候选图像的相关性得分来确定候选图像的排名；以及
响应于所述请求，基于候选图像的排名，提供标识一个或多个候选图像的搜索结果。
18.根据权利要求17所述的非暂时性计算机存储介质，其中，所提供的搜索查询的内容标签包括表示由搜索结果标识的图像中所描绘的实体的项，所述搜索结果是由搜索系统通过处理所提供的搜索查询而预先生成的。
19.根据权利要求17所述的非暂时性计算机存储介质，其中，所提供的搜索查询的内容标签包括表示由搜索结果标识的图像中所描绘的实体的项，所述搜索结果是由搜索系统通过处理由所提供的搜索查询中包括的一个或多个搜索项的序列定义的搜索查询而预先生成的。
20.根据权利要求17所述的非暂时性计算机存储介质，其中，所提供的搜索查询的内容标签包括表示由搜索结果标识的图像中所描绘的实体的项，所述搜索结果是由搜索系统通过处理搜索查询而预先生成的，所述搜索查询包括一个或多个搜索项的序列，所述一个或多个搜索项也被包括在所提供的搜索查询中。
CN201980062450.4A 2018-11-21 2019-08-15 使用内容标签执行图像搜索 Pending CN112740202A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862770478P 2018-11-21 2018-11-21
US62/770,478 2018-11-21
US16/264,218 2019-01-31
US16/264,218 US20200159765A1 (en) 2018-11-21 2019-01-31 Performing image search using content labels
PCT/US2019/046690 WO2020106341A1 (en) 2018-11-21 2019-08-15 Performing image search using content labels

Publications (1)

Publication Number Publication Date
CN112740202A true CN112740202A (zh) 2021-04-30

Family

ID=70726360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980062450.4A Pending CN112740202A (zh) 2018-11-21 2019-08-15 使用内容标签执行图像搜索

Country Status (4)

Country Link
US (1) US20200159765A1 (zh)
EP (1) EP3682309A1 (zh)
CN (1) CN112740202A (zh)
WO (1) WO2020106341A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220922A (zh) * 2021-06-04 2021-08-06 北京有竹居网络技术有限公司 图像搜索方法、装置和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11675787B2 (en) * 2019-03-15 2023-06-13 International Business Machines Corporation Multiple search collections based on relevancy value
CN112464006A (zh) * 2020-06-14 2021-03-09 黄雨勤 基于人工智能和互联网的数据分析方法及系统
US20240126807A1 (en) * 2022-10-18 2024-04-18 Google Llc Visual Search Determination for Text-To-Image Replacement
CN116628251B (zh) * 2023-06-19 2023-11-03 北京控制工程研究所 月球表面安全区域的搜索方法、装置、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11222044B2 (en) * 2014-05-16 2022-01-11 Microsoft Technology Licensing, Llc Natural language image search

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220922A (zh) * 2021-06-04 2021-08-06 北京有竹居网络技术有限公司 图像搜索方法、装置和电子设备
CN113220922B (zh) * 2021-06-04 2024-02-02 北京有竹居网络技术有限公司 图像搜索方法、装置和电子设备

Also Published As

Publication number Publication date
US20200159765A1 (en) 2020-05-21
WO2020106341A1 (en) 2020-05-28
EP3682309A1 (en) 2020-07-22

Similar Documents

Publication Publication Date Title
US20240078258A1 (en) Training Image and Text Embedding Models
US8429173B1 (en) Method, system, and computer readable medium for identifying result images based on an image query
JP6266080B2 (ja) 類似性スコアに基づきコンテンツアイテムと画像とのマッチングを評価する方法、およびシステム
JP5436665B2 (ja) 同時選択画像の分類
US8762326B1 (en) Personalized hot topics
US20180081880A1 (en) Method And Apparatus For Ranking Electronic Information By Similarity Association
US20200159765A1 (en) Performing image search using content labels
US11586927B2 (en) Training image and text embedding models
US8527564B2 (en) Image object retrieval based on aggregation of visual annotations
CN108763244B (zh) 在图像内搜索和注释
US20100010982A1 (en) Web content characterization based on semantic folksonomies associated with user generated content
US9218366B1 (en) Query image model
US9507805B1 (en) Drawing based search queries
US10339191B2 (en) Method of and a system for processing a search query
CN109952571B (zh) 基于上下文的图像搜索结果
US20140280086A1 (en) Method and apparatus for document representation enhancement via social information integration in information retrieval systems
US11379527B2 (en) Sibling search queries
US20150088859A1 (en) Click magnet images
CN107423298B (zh) 一种搜索方法和装置
US20140081944A1 (en) Web searching method, system, and apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination