CN105637509B - 在图像内搜索和注释 - Google Patents

在图像内搜索和注释 Download PDF

Info

Publication number
CN105637509B
CN105637509B CN201480056395.5A CN201480056395A CN105637509B CN 105637509 B CN105637509 B CN 105637509B CN 201480056395 A CN201480056395 A CN 201480056395A CN 105637509 B CN105637509 B CN 105637509B
Authority
CN
China
Prior art keywords
image
inquiry
query
result images
subdivision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480056395.5A
Other languages
English (en)
Other versions
CN105637509A (zh
Inventor
乔治·L·纳赫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN201810262935.5A priority Critical patent/CN108763244B/zh
Publication of CN105637509A publication Critical patent/CN105637509A/zh
Application granted granted Critical
Publication of CN105637509B publication Critical patent/CN105637509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558—Details of hyperlinks; Management of linked annotations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/134—Hyperlinking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes

Abstract

包括编码在计算机存储介质上的计算机程序以用于在图像内搜索的方法、系统和装置。在一方面，方法包括从用户设备接收查询；从所述用户设备接收查询图像；识别响应于所述查询的结果图像；确定所述查询图像的子部分中被描绘的对象类似于所述结果图像；以及响应于确定所述查询图像的所述子部分中被描绘的对象类似于所述结果图像：提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定包括类似于所述结果图像的所述对象的所述查询图像的所述子部分。

Description

在图像内搜索和注释
技术领域
本说明书涉及在图像内搜索。
背景技术
特征检测算法使得计算设备能够识别在图像中被描绘的视觉特征。视觉特征的检测已引起用于识别包括特定特征的图像的部分的技术的发展。例如，光学字符辨识技术允许图像被处理以识别包括在图像中的字母数字的字符。
发明内容
本说明书描述了涉及在图像内搜索的技术。
一般地，本说明书中描述的主题的一个创造性的方面可以被体现在包括以下动作的方法中：从用户设备接收查询；从所述用户设备接收查询图像；识别响应于所述查询的结果图像；确定所述查询图像的子部分中被描绘的对象类似于所述结果图像；以及响应于确定所述查询图像的所述子部分中被描绘的对象类似于所述结果图像：提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定包括类似于所述结果图像的所述对象的所述查询图像的所述子部分。该方面的其他实施例包括对应的系统、装置和计算机程序，其被配置为执行被编码在计算机存储设备上的所述方法的动作。
这些和其他实施例可各自选择性地包括以下特征中的一个或多个。识别响应于所述查询的结果图像包括：识别响应于所述查询的多个图像搜索结果，其中，每个图像搜索结果引用图像资源并具有图像相关性分数，所述图像相关性分数指示所述图像资源与所述查询的相关性度量；从所述多个图像搜索结果识别排名最高的图像搜索结果，所述排名最高的图像搜索结果具有超过所述多个图像搜索结果中的每个其他图像搜索结果的图像相关性分数的图像相关性分数；以及识别被所述排名最高的图像搜索结果引用的所述图像资源作为所述结果图像。
识别响应于所述查询的结果图像可以包括：访问存储查询-图像对的数据存储，每个查询-图像对包括被配对的查询和被配对的图像；识别特定的查询-图像对，所述特定的查询-图像对包括对应于被接收的查询的被配对的查询；以及识别包括在所述特定的查询-图像对中的被配对的图像作为所述结果图像。
确定所述查询图像的子部分中被描绘的对象类似于所述结果图像可以包括：比较所述结果图像的视觉特征与所述查询图像的视觉特征；基于所述比较，确定所述结果图像的所述视觉特征与所述查询图像的所述子部分中被描绘的对象的所述视觉特征之间的相似度度量；确定所述相似度度量满足预确定的相似度阈值；以及响应于确定所述相似度度量满足所述预确定的相似度阈值，确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像。
所述注释数据可以指定边界框的坐标，所述边界框环绕在包括类似于所述结果图像的所述对象的所述查询图像的所述子部分周围，并且，所述注释可以包括所述边界框的视觉描绘。
所述注释可以包括所述查询图像的所述子部分的视觉突出显示，所述查询图像的所述子部分包括类似于所述结果图像的所述对象。所述注释可以包括所述结果图像的至少一部分。
本说明书中描述的主题的特定实施例可被实现，从而实现以下好处中的一个或多个。由于多种原因，用户可能喜欢在图像或视频内识别对象时协助。例如，本文中描述的主题可促进对对象的用户识别快于用户用其他方式能够定位或识别对象。此外，对象可为用户被识别或定位，即使用户没有意识到对象长什么样子。
本说明书中所描述的主题的一个或多个实施例的细节将在下面的附图和描述中被阐明。主题的其他特征、方面和优势将通过描述、附图和权利要求变得显而易见。
附图说明
图1是用于在图像内搜索的示例环境的框图。
图2是用于在图像内搜索的示例过程的图示说明。
图3是与图像一起被显示的示例注释的图示说明。
图4是用于在图像内搜索的示例过程的流程图。
图5是示例数据处理装置的框图。
各种附图中的相同的参考数字和命名指示相同的元素。
具体实施方式
图像搜索系统促进在图像内对对象的识别和注释。例如，如果用户希望在包括多个对象的图像中找到特定对象，图像搜索系统可以在图像中找到该特定对象并使得其对于用户被突出显示。本文中公开的系统和方法促进在图像内对对象的识别和注释。
图像搜索系统从用户设备接收查询和图像。例如，想要在充满装满不同糖果棒的杂货架子上找到特定糖果棒的用户可以拍下架子的照片并向图像搜索系统提交照片和查询，所述查询指定用户正在图像搜索系统中寻找的特定糖果棒。在接收到了查询和图像之后，图像搜索系统识别响应于所接收的查询的至少一个结果图像。例如，图像搜索系统可查询图像数据库以找到与用户的查询指定的特定糖果棒高度相关的图像。示例高度相关结果图像可以是，例如，它的以其与众不同的包装中的特定糖果棒的图像。
图像搜索系统确定查询图像的部分是否匹配或类似于被图像搜索系统识别的结果图像。例如，被识别为与用户对特定糖果棒的查询相关的图像可以被与用户设备提供的图像相比较，以确定用户设备提供的图像的部分是否类似于所述相关的图像。响应于确定图像的部分类似于所识别的图像，图像搜索系统将使得用户设备在该用户设备原始提交的图像中显示注释的注释数据提供给该用户设备。该注释指定类似于图像搜索系统识别的结果图像的用户提交的图像的部分。例如，如果杂货店架子的照片的部分类似于特定糖果棒的图像，图像搜索系统将突出显示图像的该部分的指令提供给用户设备，指示用户杂货店架子的图像包括类似于用户的查询指定的特定糖果棒的一些东西。
图1是用于在图像内搜索的示例环境100的框图。计算机网络102，诸如局域网(LAN)、广域网(WAN)、互联网或者其组合，连接发布者网站104、用户设备106以及图像搜索系统108。在线环境100可包括上千的发布者网站104和用户设备106。
网站104包括与域名相关联的并被一个或多个服务器托管的一个或多个资源105。示例网站是以超文本标记语言(HTML)为格式的网页的集合，所述超文本标记语言(HTML)可以包括文本、图像、多媒体内容以及编程元素，诸如脚本。每个网站104被内容发布者维护，该内容发布者是控制、管理和/或拥有网站104的实体。
资源105是可被发布者104通过网络102提供的并且与资源地址相关联的数据。资源包括HTML页面、文字处理文档和可移植文件格式(PDF)文档、图像、视频和馈源，仅举几例。资源可包括内容，诸如文字、短语、照片等等，并且可包括嵌入式信息(诸如，元信息和超链接)和/或嵌入式指令(诸如，脚本)。
用户设备106是能够通过网络102请求和接收资源以及其他数据的电子设备。示例用户设备106包括个人计算机、移动通信设备、以及可以通过网络102发送和接收数据的其他设备。用户设备106一般包括用户应用，诸如web浏览器，以促进通过网络102发送和接收数据。web浏览器可以使得用户能够显示一般位于万维网或局域网上的网站的网页上的文本、图像、视频、音乐和其他信息，并与其交互。
为促进对图像资源105的搜索，图像搜索引擎108通过爬取发布者网站104并索引发布者网站104提供的图像资源来识别图像。被索引的并且选择性地被缓存的图像资源的副本被存储在数据存储设备中，诸如图像索引110。
用户设备106提交搜索查询至图像搜索系统108。响应于该搜索查询，图像搜索系统108使用图像索引110以识别与查询相关的图像资源。图像搜索系统108以图像搜索结果的形式识别图像资源并在图像搜索结果页面资源中返回图像搜索结果至用户设备106。示例图像搜索结果可包括图像资源的缩略图、从托管了图像资源的网页被提取的文本的片段、以及网页的URL。
图像搜索结果基于与被图像搜索结果识别的图像资源相关的分数，诸如信息检索(“IR”)分数，以及可选地每个图像资源相对于其他图像资源的单独排名(例如，权威分数)，而被排名。图像搜索结果可根据这些分数被排序并根据该排序被提供至用户设备。对于各种查询连同对应的被索引和/或被缓存的图像资源，图像资源的分数和/或排名还可被存储在图像索引110中。
图像搜索系统108还能够接收在图像内搜索的请求。例如，用户设备106可提交搜索查询和查询图像至图像搜索系统108。该图像搜索系统108使用搜索查询以识别响应于该查询的图像，例如，图像搜索系统108可从图像索引110获得对于该搜索查询排名最高的图像资源。图像搜索系统108接着确定查询图像的部分是否类似于被识别为响应于搜索查询的图像，并且，如果是这样，将注释提供给请求用户设备，所述注释突出显示了类似于被识别的图像的查询图像的部分。
图2是用于在图像内搜索的示例过程200的图示说明。用户设备202提供查询204和查询图像206至图像搜索系统108。例如，用户可能正在装满糖果棒的杂货店的走廊中寻找特定糖果棒。用户可以拍一张可能包括感兴趣的糖果棒的杂货店架子的照片，并将该照片与例如糖果棒的名字的文本或音频查询一起提交，而不是为了单个糖果棒搜索整个走廊。
图像搜索系统108接收查询204和查询图像206，并识别响应于查询204的图像。例如，该查询204是文本查询，或可被转换为文本的语音输入，或不是图像的一些其它类型的查询。在一些实现中，图像搜索系统从图像索引110获得结果图像208。例如，搜索“CrunchyDelight”品牌的糖果棒的用户可提交查询图像206连同查询204“Crunchy Delight”。图像搜索系统108可以接着从图像索引110对查询“Crunchy Delight”检索排名最高的图像。
在一些实现中，图像搜索系统108识别响应于查询204的图像资源。例如，图像搜索系统108可使用多种图像搜索算法中的一个来在图像索引110中搜索响应于该查询的图像。每个被识别的图像资源具有图像相关性分数，所述图像相关性分数指示图像资源与查询204的相关性度量。结果图像208可以是对于查询204具有最高相关性分数的图像资源。在一些实现中，多个结果图像208可以从图像索引110被获得。例如，图像搜索系统108可以从图像索引110获得对于“Crunchy Delight”查询排名前三的图像。作为另一个示例，图像搜索系统108可以从图像索引获得具有高于特定阈值的排名和/或IR分数的图像。
在一些实现中，图像搜索系统108从被存储在图像索引110中的特定的图像语料库获得结果图像208，或从被存储在指定了结果图像的位置的索引110中的数据访问结果图像。例如，被存储在图像索引110中的一个图像语料库对于特定查询可以被机器和/或用户手动排名和/或评分。手动评分和排名可以取决于用户输入。例如，用户可被要求选择识别了特定对象的图像，诸如“Crunchy Delight”糖果棒。反过来，用户可以排名和/或选择表示产品或查询“Crunchy Delight”的一个或多个图像。示例图像可能包括“Crunchy Delight”标志的图像，被包装了的“Crunchy Delight”糖果棒的图像，以及未被包装的糖果棒的图像。为了识别零售产品的目的，当图像被作为零售产品查看时，用户可特别地被要求识别最好地表示“Crunchy Delight”糖果棒的图像。这些被手动评分/选择的图像中的一个或多个可被存储在图像索引110中并与查询“Crunchy Delight”相关联，并稍后被检索为响应于查询“Crunchy Delight”的结果图像208。
在一些实现中，图像索引110可在查询-图像对的语料库中存储查询-图像关联。例如，对于特定查询排名最高的或最高得分的图像可被与图像索引110中的该查询配对，使得查询-图像对的语料库中的每个查询具有与之相关联的单个图像。在一些实现中，查询图像对可包括与单个查询配对的多个图像。当查询204被图像搜索系统108接收时，与该查询配对的每个图像可被从图像索引110检索为结果图像208。
图像搜索系统108确定在查询图像206的子部分212中被描绘的对象210是否类似于结果图像208。例如，如果结果图像208是“Crunchy Delight”标志的图像，图像搜索系统确定用户设备202提交的查询图像206是否包括类似于“Crunchy Delight”标志的一些东西。如本说明书中被使用的，图像的“子部分”是小于完整图像的该图像的部分。例如，如果图像是1000*1000像素的，小于1000*1000像素的图像的任何部分被认为图像的子部分，例如，100*100的图像的部分。
在一些实现中，通过比较结果图像208的视觉特征与查询图像206的视觉特征，图像搜索系统108确定在查询图像206的子部分中被描绘的对象是否类似于结果图像208。多种合适的图像比较算法可被使用以实现该确定。例如，颜色、对比度、点、文本和/或边缘检测过程可被使用以识别每个图像的视觉特征，并且从这些过程获得的数据可被比较以确定结果图像208的视觉特征与查询图像206的子部分中被描绘的对象的视觉特征之间的相似度度量。对象辨认过程可被使用以在图像中识别对象并执行对特定对象所位于的图像的子部分的局部特征分析。如果相似度度量满足预确定的阈值，图像搜索系统108确定查询图像206的子部分中被描绘的对象类似于结果图像208。预确定的阈值可以被系统管理员设定或可以是机器学习的阈值。如果没有查询图像206的子部分包括类似于结果图像208的对象，另一个结果图像可被选择用于比较。
在一些实现中，结果图像208可被预处理，并且指定了结果图像208的视觉特征的数据也可被存储在图像索引110中。这会减少图像搜索系统108比较图像所需的处理。多种图像比较方法、过程以及技术可被使用以比较图像。例如，光学字符辨识可被使用以识别每个图像中被描绘的文本，所以如果结果图像208包括带有文本“Crunchy Delight”的糖果棒标志，该文本可以被识别并与查询图像206中被识别的文本比较。
作为另一个示例，图像搜索系统108可使用特征检测和匹配过程比较图像，以识别图像的类似子部分。例如，局部特征检测过程，诸如比例不变特征转换，可被使用以识别和描述结果图像208的特征，并且这些特征可被与查询图像206中被检测到的特征比较以确定是否存在类似的查询图像206的子部分。例如，当预确定数目或百分比的被比较的特征在与彼此的阈值相似度度量之内时，匹配或相似度可被确定。
响应于确定在查询图像206的子部分212中被描绘的对象210类似于结果图像208，图像搜索系统108提供注释数据214至用户设备202。注释数据214使得用户设备与查询图像206一起显示注释，并且注释指定了包括类似于结果图像208的对象210的查询图像206的子部分212。例如，如果图像搜索系统108确定包括在杂货店架子的图像中的对象类似于对于查询“Crunchy Delight”的结果图像中被找到的标志，图像搜索系统将发送在图像内指示对象的位置的注释数据至用户设备。示例注释参照图3被进一步描述。
在可替代的实现中，搜索系统108可修改带有注释数据的查询图像206并且查询图像206可被发送回至用户设备,如被搜索系统110注释的。例如，图像搜索系统108可注释查询图像206并提供查询图像206加上注释的结果的组合至用户设备202。在一些实现中，注释数据214不包括查询图像206，但包括使得用户设备202与查询图像206一起显示注释的指令。
在一些实现中，多个类似的物体可在单个查询图像206中被识别。例如，如果“Crunchy Delight”糖果棒的多个盒子或包裹在杂货店架子上，图像搜索系统108可识别其中的每一个。在这种情况下，被提供至用户设备的注释数据214可指定分别包括类似对象的查询图像206的每个子部分，或者注释数据可指定包含每个类似对象的查询图像206的单个子部分。
在一些实现中，图像搜索系统108可接收多个查询图像206或查询视频。当多个查询图像被接收时，图像搜索系统108可例如以上述方式处理它们中的每个，以识别包括类似于结果图像的对象的查询图像中的一个或多个，并提供注释数据214，所述注释数据214指定包括类似的对象的图像中的一个或多个内的对象的位置。如果查询视频被提供，多个查询图像或帧可从查询视频中被选择用于处理。例如，在杂货店搜索“Crunchy Delight”糖果棒的用户可拍下整个杂货店走廊的视频并将其连同查询“Crunchy Delight”一起提交至图像搜索系统108。图像搜索系统108可选择许多视频帧以分析并与用于查询“CrunchyDelight”的结果图像208比较，并且提供注释数据214至用户设备202，该注释数据214使得用户设备显示带有注释的视频帧，所述注释识别了类似于结果图像208的对象。
图3是与图像一起被显示的示例注释300的图示说明。示例注释300各自描绘了示例方法，所述示例方法指定包括类似于结果图像的对象的查询图像的子部分。其他方法可被使用，并且其他信息可被包括进注释和/或注释数据中。
图像302的示例注释描绘了环绕在图像中所描绘的物体周围的边界框。在该示例中，注释数据指定边界框的坐标，例如，框的四个角的x，y坐标，所述框环绕在包括了被识别为类似于结果图像的对象的查询图像302的子部分周围。注释自身是边界框的视觉描绘，在本示例中图像302是由虚线表示的框。
图像304的示例注释描绘了图像304的子部分的视觉突出显示，所述图像304包括被确定为类似于结果图像的对象。在本示例中，注释数据使得用户设备将不包括对象的图像的部分加阴影，使对象对用户突出。
图像306的示例注释描绘了环绕在图像中被描绘的对象周围的边界框连同结果图像的表示。在本示例中，注释数据指定边界框的坐标，例如，框的四个角的x，y坐标，其环绕在包括了被识别为类似于结果图像的对象的查询图像302的子部分周围。注释自身是带有描绘结果图像的叠加的边界框的视觉描述。叠加可包括，例如，结果图像的缩略图。
图像308的示例注释描绘了图像304的子部分的视觉突出显示连同结果图像的表示，所述图像304包括被确定为类似于结果图像的对象。在本示例中，注释数据使得用户设备将不包括对象的图像的部分加阴影，使对象对用户突出。注释还包括描绘结果图像的叠加，例如，结果图像的缩略图。
用于注释图像的其他方法可被使用以指示包括类似于结果图像的对象的查询图像的子部分。例如，彩色滤光器可被用于突出显示图像的子部分。在一些实现中，注释可包括其他数据，诸如指向可发现关于对象的信息的网站的超链接。例如，注释可包括指向从其获得结果图像的网站的链接或指向包括对于在结果图像中被描绘的产品的评论的网站的链接。
图4是用于在图像内搜索的示例过程400的流程图。所述示例过程400可被数据处理装置实现，诸如上述图像搜索系统。
查询从用户设备被接收(402)。例如，在硬件商店搜索硬件的架子上的小部件的用户可使用智能手机提交查询“小部件”至图像搜索系统。
查询图像从用户设备被接收(404)。例如，在硬件商店搜索小部件的用户可用智能手机拍下硬件的架子的照片并与查询“小部件”一起提交照片至图像搜索系统。
响应于查询的结果图像被识别(406)。在一些实现中，识别响应于查询的结果图像包括访问存储了查询-图像对的数据存储，其中每个查询-图像对包括查询和图像。包括了对应于接收到的查询的被配对的查询的特定的查询-图像对被识别，并且被包括在特定查询-图像对中的被配对的图像被识别为结果图像。例如，当接收到的查询和被配对的查询匹配时，或者当接收到的查询的展开版本(例如，可替代的拼写或类似的查询)与被配对的查询或被配对的查询的展开版本匹配时，被配对的查询对应于接收到的查询。例如，图像索引可包括与查询“小部件”相关联的图像。结果图像可能已经被其他用户或计算机先前识别为表示查询“小部件”的图像，例如，使用投票、评分、和/或排名方法。该结果图像被识别为接收到的查询“小部件”的结果图像。其他图像搜索处理算法也可被使用。
在一些实现中，识别响应于查询的结果图像包括识别响应于查询的图像搜索结果。每个图像搜索结果参考图像资源并具有图像相关性分数，所述图像相关性分数指示图像资源与查询的相关性度量。通过图像搜索结果，排名最高的图像搜索结果被识别。排名最高的图像搜索结果是相对于其他被识别的图像搜索结果具有最高相关性分数的图像搜索结果。排名最高的搜索结果引用的图像资源被识别为结果图像。
过程400确定查询图像的子部分中被描绘的对象类似于结果图像(408)。在一些实现中，确定查询图像的子部分中被描绘的对象类似于结果图像包括比较结果图像的视觉特征与查询图像的视觉特征。基于比较，结果图像的视觉特征与查询图像的子部分中被描绘的对象的视觉特征之间的相似度度量可被确定。相似度度量可以是，例如，从0.0至1.0的尺度上的数字，其中0.0指示没有相似度，且1.0指示完全匹配。在一些实现中，相似度度量可被与阈值比较以确定相似度度量是否满足预确定的相似度阈值。响应于确定相似度度量满足预确定的阈值，查询图像中描绘的对象可被识别为类似于结果图像。
响应于确定查询图像的子部分中描绘的对象类似于结果图像，注释数据被提供至用户设备(410)。注释数据使得用户设备与查询图像一起显示注释。注释指定了包括了类似于结果图像的对象的查询图像的子部分。例如，当图像搜索系统确定硬件商店架子的照片中的对象类似于对于查询“小部件”的结果图像时，注释数据被提供至提交了查询和查询图像的智能手机。例如，注释数据可使得智能手机上的应用在查询图像中的对象周围画框。在查询图像中多个小部件被识别的情况下，注释数据可使得智能手机画多个框-每个小部件一个。
图5是示例数据处理装置500的框图。系统500包括处理器510、存储器520、存储设备530、以及输入/输出设备540。例如，组件510、520、530和540中的每个可以使用系统总线550被相互连接。处理器510能够处理用于在系统500内执行的指令。在一个实现中，处理器510是单线程处理器。在另一个实现中，处理器510是多线程处理器。处理器510能够处理存储在存储器520中或存储设备530上的指令。
存储器520在系统500内存储信息。在一个实现中，存储器520是计算机可读介质。在一个实现中，存储器520是易失性存储器单元。在另一个实现中，存储器520是非易失性存储器单元。
存储设备530能够为系统500提供大容量存储。在一个实现中，存储设备530是计算机可读介质。在多个不同的实现中，例如，存储设备530可以包括硬盘设备、光盘设备、或一些其他大容量存储设备。
输入/输出设备540为系统500提供输入/输出操作。在一个实现中，输入/输出设备540可包括一个或多个网络接口设备，例如，以太网卡，串行通信接口，例如，RS-232端口，和/或无线接口设备，例如802.11卡。在另一个实现中，输入/输出设备可包括被配置为接收输入数据并发送输出数据至例如键盘、打印机和显示设备560的其他输入/输出设备的驱动设备。然而，其他实现也可被使用，诸如移动计算设备、移动通信设备、机顶盒电视客户端设备等等。
本说明书中描述的主题的实施例和操作可在数字电子电路中或计算机软件、固件或硬件中被实现，包括在本说明书中公开的结构以及它们的结构同等物，或它们中一个或多个的组合。本说明书中描述的主题的实施例可被实现为一个或多个计算机程序，即，计算机程序指令中的一个或多个模块，所述计算机程序指令被编码在计算机存储介质上用于由数据处理装置执行或控制数据处理装置的操作。
计算机存储介质可以为，或可被包括在，计算机可读存储设备、计算机可读存储基板、随机或顺序访问存储器阵列或设备、或他们中一个或多个的组合中。此外，虽然计算机存储介质不是传播的信号，但是计算机存储介质可以是编码在人工生成的传播的信号中的计算机程序指令的源或目的地。计算机存储介质还可以是，或被包括在，一个或多个单独的物理组件或媒体中(例如，多个CD、盘或其他存储设备)。
本说明书中描述的操作可被实现为由数据处理装置对于存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。
术语“数据处理装置”包含用于处理数据的所有类型的装置、设备、和机器，例如，包括可编程处理器、计算机、芯片上的系统、或以上多个或组合。装置可包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件以外，装置还可包括，创建正在讨论的用于计算机程序的执行环境的代码，例如，构成处理器固件的代码、协议栈、数据管理系统、操作系统，跨平台运行环境、虚拟机、或他们中一个或多个的组合。装置和执行环境可实现多种不同的计算模型基础设施，诸如web服务、分布式计算和网格计算基础设施。
计算机程序(也被称为程序、软件、软件应用、脚本或代码)可被以任意形式的编程语言写成，包括编译或解释型语言、声明性的或过程的语言，且它可被以任意形式部署，包括作为独立程序或作为模块、组件、子例程、对象或适合用于计算环境中的其他单元。计算机程序可以，但不是必须，对应于文件系统中的文件。程序可被存储在保持其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)，在专用于正在讨论的程序的单个文件中，或在多个协同文件中(例如，存储一个或多个模块、子程序或代码的部分的文件)。计算机程序可被部署为在一个计算机上执行或者在位于一个地点或跨多个地点并通过通信网络被相互连接的多个计算机上执行。
本说明书中被描述的过程和逻辑流程可被执行一个或多个计算机程序的一个或多个可编程处理器执行以通过操作输入数据和生成输出来执行动作。过程和逻辑流程还可通过专用逻辑电路执行，并且装置还可被实现为专用逻辑电路，所述专用逻辑电路例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
适合于计算机程序的执行的处理器包括，通过示例的方式，通用和专用微处理器二者，以及任意类型的数字计算机的任意一个或多个处理器。一般地，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元素是用于根据指令执行动作的处理器以及用于存储指令和数据的一个或多个存储器设备。一般地，计算机还将包括，或被可操作地耦合以从用于存储数据的一个或多个大容量存储设备例如磁、磁光盘或光盘接收数据或向一个或多个大容量存储设备传输数据或两者。然而，计算机不需要具有这种设备。此外，计算机可被嵌入在另一个设备中，例如，移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏机、全球定位系统(GPS)接收器、或便携式存储设备(例如，通用串行总线(USB)闪存盘)，仅举几例。适合于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、媒体和存储器设备，例如，包括半导体存储器设备，例如，EPROM，EEPROM和闪速存储器设备；磁盘，例如，内部硬盘或可拆卸盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可被专用逻辑电路补充或被合并于专用逻辑电路中。
为了提供与用户的交互，本说明书中描述的主题的实施例可被实现在具有以下的计算机上：用于向用户显示信息的显示设备，例如，CRT(阴极射线管)或LCD(液晶显示器)监视器；以及键盘和定点设备，例如，鼠标或轨迹球，通过其用户可以提供输入至计算机。其他类型的设备也可被使用以提供与用户的交互；例如，被提供至用户的反馈可以是任意形式的传感反馈，例如，视觉反馈、听觉反馈、或触觉反馈；并且来自用户的输入可被以任意形式接收，包括语音的、声音的或触觉输入。此外，计算机可以通过发送文档至用户使用的设备或从用户使用的设备接收文档与用户交互；例如，响应于从用户的用户设备上的web浏览器接收的请求，通过发送网页至web浏览器与用户交互。
本说明书中描述的主题的实施例可被实现在包括了后端组件的计算系统中，例如，作为数据服务器，或包括了中间件组件的计算系统中，例如，应用服务器，或包括了前端组件的计算系统中，例如，具有图形用户界面或web浏览器的用户计算机，通过其用户可与本说明书中描述的主题的实现交互，或这种后端、中间件、或前端组件中一个或多个的任意组合。系统的组件可以通过任意形式或介质的数字数据通信被相互连接，例如，通信网络。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)、互联网络(例如，互联网)和对等网络(例如，点对点对等网络)。
计算系统可包括用户和服务器。用户和服务器一般相互远离并通常通过通信网络交互。用户和服务器的关系凭借在相应的计算机上运行的并相互具有用户-服务器关系的计算机程序产生。在一些实施例中，服务器传输数据(例如，HTML页面)至用户设备(例如，用于向用户显示数据并从用户接收用户输入的目的，其中所述用户与用户设备交互)。用户设备上生成的数据(例如，用户交互的结果)可在服务器上从用户设备被接收。
虽然该说明书包括多个特定实现细节，这些不应该被解释对为任意发明或要求保护的范围的限制，而是作为特定发明的特定实施例所特定的特征的描述。单独实施例的上下文中的该说明书中被描述的某些特征还可以在单个实施例中以组合实现。相反地，单个实施例的上下文中被描述的多个特征还可以分别被实现在多个实施例中或在任意合适的子组合中。此外，尽管特征可在上面被描述为在某些组合中实行并且甚至最初这样要求保护，来自要求保护的组合中的一个或多个特征可以在一些情况下从组合中被去除，并且要求保护的组合可以指向子组合或子组合的变体。
类似地，虽然操作在附图中以特定顺序被描述，但这不应该被理解为要求这种操作按照示出的特定顺序或按序列顺序被执行，或所有图示说明的操作被执行，以取得期望的结果。在某些情况下，多任务和并行处理可以是有益的。此外，上述实施例中的各种系统组件的分离不应该被理解为在所有实施例中都要求这种分离，且不应被理解为被描述的程序组件和系统一般可以在单个软件产品中被整合在一起或被打包进多个软件产品中。
因此，主题的特定实施例已经被描述。其他实施例在所附权利要求的范围内。在某些情况下，权利要求中列举的动作可以不同顺序被执行并仍然取得期望的结果。此外，附图中描绘的过程不必要要求示出的特定顺序，或序列顺序，以取得期望的结果。在某些实现中，多任务和并行处理可以是有益的。

Claims (20)

1.一种由数据处理装置实现的方法，所述方法包括：
接收非图像查询，所述非图像查询是不包括通过在用户设备处的输入所提供的查询图像的查询；
与所述非图像查询分开地从所述用户设备接收查询图像；
识别对所述非图像查询作出响应的结果图像，所述结果图像是从不包括所述查询图像的图像集合识别的并且是不同于所述查询图像的图像；
响应于识别对所述非图像查询作出响应的结果图像，确定所述查询图像的子部分中被描绘的对象类似于所述结果图像，所述确定包括将所述结果图像的视觉特征与所述查询图像的视觉特征相比较；以及
响应于确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像：
提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定所述查询图像的所述子部分。
2.根据权利要求1所述的方法，其中，识别对所述非图像查询作出响应的结果图像包括：
识别对所述非图像查询作出响应的多个图像搜索结果，其中，每个图像搜索结果引用图像资源并具有图像相关性分数，所述图像相关性分数指示所述图像资源与所述非图像查询的相关性度量；
从所述多个图像搜索结果识别排名最高的图像搜索结果，所述排名最高的图像搜索结果具有超过所述多个图像搜索结果中的每个其他图像搜索结果的图像相关性分数的图像相关性分数；以及
识别被所述排名最高的图像搜索结果引用的所述图像资源作为所述结果图像。
3.根据权利要求1所述的方法，其中，识别对所述非图像查询作出响应的结果图像包括：
访问存储查询-图像对的数据存储，每个查询-图像对包括被配对的查询和被配对的图像；
识别特定的查询-图像对，所述特定的查询-图像对包括对应于被接收的非图像查询的被配对的查询；以及
识别包括在所述特定的查询-图像对中的被配对的图像作为所述结果图像。
4.根据权利要求1所述的方法，其中，确定所述查询图像的子部分中被描绘的对象类似于所述结果图像包括：
基于所述比较，确定所述结果图像的所述视觉特征与所述查询图像的所述子部分中被描绘的对象的所述视觉特征之间的相似度度量；
确定所述相似度度量满足预确定的相似度阈值；以及
响应于确定所述相似度度量满足所述预确定的相似度阈值，确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像。
5.根据权利要求1所述的方法，其中，所述注释数据指定边界框的坐标，所述边界框环绕在所述查询图像的所述子部分周围，并且其中，所述注释包括所述边界框的视觉描绘。
6.根据权利要求1所述的方法，其中，所述注释包括所述查询图像的所述子部分的视觉突出显示。
7.根据权利要求1所述的方法，其中，所述注释包括所述结果图像的至少一部分。
8.一种图像搜索系统，包括：
数据处理装置；以及
存储指令的数据存储，所述指令当被所述数据处理装置执行时，使得所述数据处理装置执行操作，所述操作包括：
接收非图像查询，所述非图像查询是不包括通过在用户设备处的输入所提供的查询图像的查询；
与所述非图像查询分开地从所述用户设备接收查询图像；
识别对所述非图像查询作出响应的结果图像，所述结果图像是从不包括所述查询图像的图像集合识别的并且是不同于所述查询图像的图像；
响应于识别对所述非图像查询作出响应的结果图像，确定所述查询图像的子部分中被描绘的对象类似于所述结果图像，所述确定包括将所述结果图像的视觉特征与所述查询图像的视觉特征相比较；以及
响应于确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像：
提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定所述查询图像的所述子部分。
9.根据权利要求8所述的系统，其中，识别对所述非图像查询作出响应的结果图像包括：
识别对所述非图像查询作出响应的多个图像搜索结果，其中，每个图像搜索结果引用图像资源并具有图像相关性分数，所述图像相关性分数指示所述图像资源与所述非图像查询的相关性度量；
从所述多个图像搜索结果识别排名最高的图像搜索结果，所述排名最高的图像搜索结果具有超过所述多个图像搜索结果中的每个其他图像搜索结果的图像相关性分数的图像相关性分数；以及
识别被所述排名最高的图像搜索结果引用的所述图像资源作为所述结果图像。
10.根据权利要求8所述的系统，其中，识别对所述非图像查询作出响应的结果图像包括：
访问存储查询-图像对的数据存储，每个查询-图像对包括被配对的查询和被配对的图像；
识别特定的查询-图像对，所述特定的查询-图像对包括对应于被接收的非图像查询的被配对的查询；以及
识别包括在所述特定的查询-图像对中的被配对的图像作为所述结果图像。
11.根据权利要求8所述的系统，其中，确定所述查询图像的子部分中被描绘的对象类似于所述结果图像包括：
基于所述比较，确定所述结果图像的所述视觉特征与所述查询图像的所述子部分中被描绘的对象的所述视觉特征之间的相似度度量；
确定所述相似度度量满足预确定的相似度阈值；以及
响应于确定所述相似度度量满足所述预确定的相似度阈值，确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像。
12.根据权利要求8所述的系统，其中，所述注释数据指定边界框的坐标，所述边界框环绕在所述查询图像的所述子部分周围，并且其中，所述注释包括所述边界框的视觉描绘。
13.根据权利要求8所述的系统，其中，所述注释包括所述查询图像的所述子部分的视觉突出显示。
14.根据权利要求8所述的系统，其中，所述注释包括所述结果图像的至少一部分。
15.一种包括指令的计算机可读存储介质，所述指令当被数据处理装置执行时，使得所述数据处理装置执行操作，所述操作包括：
接收非图像查询，所述非图像查询是不包括通过在用户设备处的输入所提供的查询图像的查询；
与所述非图像查询分开地从所述用户设备接收查询图像；
识别对所述非图像查询作出响应的结果图像，所述结果图像是从不包括所述查询图像的图像集合识别的并且是不同于所述查询图像的图像；
响应于识别对所述非图像查询作出响应的结果图像，确定所述查询图像的子部分中被描绘的对象类似于所述结果图像，所述确定包括将所述结果图像的视觉特征与所述查询图像的视觉特征相比较；以及
响应于确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像：
提供注释数据至所述用户设备，所述注释数据使得所述用户设备与所述查询图像一起显示注释，所述注释指定所述查询图像的所述子部分。
16.根据权利要求15所述的计算机可读存储介质，其中，识别对所述非图像查询作出响应的结果图像包括：
识别对所述非图像查询作出响应的多个图像搜索结果，其中，每个图像搜索结果引用图像资源并具有图像相关性分数，所述图像相关性分数指示所述图像资源与所述非图像查询的相关性度量；
从所述多个图像搜索结果识别排名最高的图像搜索结果，所述排名最高的图像搜索结果具有超过所述多个图像搜索结果中的每个其他图像搜索结果的图像相关性分数的图像相关性分数；以及
识别被所述排名最高的图像搜索结果引用的所述图像资源作为所述结果图像。
17.根据权利要求15所述的计算机可读存储介质，其中，识别对所述非图像查询作出响应的结果图像包括：
访问存储查询-图像对的数据存储，每个查询-图像对包括被配对的查询和被配对的图像；
识别特定的查询-图像对，所述特定的查询-图像对包括对应于被接收的非图像查询的被配对的查询；以及
识别包括在所述特定的查询-图像对中的被配对的图像作为所述结果图像。
18.根据权利要求15所述的计算机可读存储介质，其中，确定所述查询图像的子部分中被描绘的对象类似于所述结果图像包括：
基于所述比较，确定所述结果图像的所述视觉特征与所述查询图像的所述子部分中被描绘的对象的所述视觉特征之间的相似度度量；
确定所述相似度度量满足预确定的相似度阈值；以及
响应于确定所述相似度度量满足所述预确定的相似度阈值，确定所述查询图像的所述子部分中被描绘的所述对象类似于所述结果图像。
19.根据权利要求15所述的计算机可读存储介质，其中，所述注释数据指定边界框的坐标，所述边界框环绕在所述查询图像的所述子部分周围，并且其中，所述注释包括所述边界框的视觉描绘。
20.根据权利要求15所述的计算机可读存储介质，其中，所述注释包括所述查询图像的所述子部分的视觉突出显示。
CN201480056395.5A 2013-08-14 2014-08-13 在图像内搜索和注释 Active CN105637509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810262935.5A CN108763244B (zh) 2013-08-14 2014-08-13 在图像内搜索和注释

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/966,470 2013-08-14
US13/966,470 US9384213B2 (en) 2013-08-14 2013-08-14 Searching and annotating within images
PCT/US2014/050846 WO2015023734A1 (en) 2013-08-14 2014-08-13 Searching and annotating within images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810262935.5A Division CN108763244B (zh) 2013-08-14 2014-08-13 在图像内搜索和注释

Publications (2)

Publication Number Publication Date
CN105637509A CN105637509A (zh) 2016-06-01
CN105637509B true CN105637509B (zh) 2018-04-20

Family

ID=52466521

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810262935.5A Active CN108763244B (zh) 2013-08-14 2014-08-13 在图像内搜索和注释
CN201480056395.5A Active CN105637509B (zh) 2013-08-14 2014-08-13 在图像内搜索和注释

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810262935.5A Active CN108763244B (zh) 2013-08-14 2014-08-13 在图像内搜索和注释

Country Status (4)

Country Link
US (2) US9384213B2 (zh)
EP (1) EP3033699A4 (zh)
CN (2) CN108763244B (zh)
WO (1) WO2015023734A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853407B2 (en) * 2013-09-05 2020-12-01 Ebay, Inc. Correlating image annotations with foreground features
CN106796621B (zh) * 2014-09-10 2021-08-24 皇家飞利浦有限公司 图像报告注释识别
US20160364374A1 (en) * 2015-06-09 2016-12-15 International Business Machines Corporation Visual indication for images in a question-answering system
US10152521B2 (en) * 2016-06-22 2018-12-11 Google Llc Resource recommendations for a displayed resource
CN107341185B (zh) 2017-06-05 2020-12-04 北京小米移动软件有限公司 信息显示的方法及装置
CN110110189A (zh) * 2018-02-01 2019-08-09 北京京东尚科信息技术有限公司 用于生成信息的方法和装置
TWI666595B (zh) 2018-02-26 2019-07-21 財團法人工業技術研究院 物件標示系統及方法
JP2021068063A (ja) * 2019-10-18 2021-04-30 富士ゼロックス株式会社 クエリ修正支援システム、検索システム及びプログラム
CN111597993B (zh) * 2020-05-15 2023-09-05 北京百度网讯科技有限公司 数据处理的方法及装置
US11797504B2 (en) 2021-11-04 2023-10-24 Red Hat, Inc. Converting computing infrastructure diagrams to searchable diagrams

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7046851B2 (en) * 2000-11-08 2006-05-16 California Institute Of Technology Image and video indexing scheme for content analysis
CN101449271A (zh) * 2006-05-19 2009-06-03 微软公司 通过搜索进行注释
CN102402593A (zh) * 2010-11-05 2012-04-04 微软公司 对于搜索查询输入的多模态方式
US8254699B1 (en) * 2009-02-02 2012-08-28 Google Inc. Automatic large scale video object recognition

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675174B1 (en) * 2000-02-02 2004-01-06 International Business Machines Corp. System and method for measuring similarity between a set of known temporal media segments and a one or more temporal media streams
US20080222120A1 (en) * 2007-03-08 2008-09-11 Nikolaos Georgis System and method for video recommendation based on video frame features
WO2008069791A1 (en) * 2006-12-04 2008-06-12 General Instrument Corporation Method and apparatus for improving image retrieval and search using latent semantic indexing
CN101211341A (zh) * 2006-12-29 2008-07-02 上海芯盛电子科技有限公司 图像智能模式识别搜索方法
US8180788B2 (en) * 2008-06-05 2012-05-15 Enpulz, L.L.C. Image search engine employing image correlation
US8150170B2 (en) 2008-05-30 2012-04-03 Microsoft Corporation Statistical approach to large-scale image annotation
US7962500B2 (en) * 2008-10-24 2011-06-14 Yahoo! Inc. Digital image retrieval by aggregating search results based on visual annotations
CN101777064A (zh) * 2009-01-12 2010-07-14 鸿富锦精密工业（深圳）有限公司 图片搜索系统及方法
US8429173B1 (en) * 2009-04-20 2013-04-23 Google Inc. Method, system, and computer readable medium for identifying result images based on an image query
CN101571875A (zh) * 2009-05-05 2009-11-04 程治永 一种基于图像识别的图像搜索系统的实现方法
US9087059B2 (en) 2009-08-07 2015-07-21 Google Inc. User interface for presenting search results for multiple regions of a visual query
US20110082735A1 (en) * 2009-10-06 2011-04-07 Qualcomm Incorporated Systems and methods for merchandising transactions via image matching in a content delivery system
US8280881B1 (en) 2009-10-29 2012-10-02 Google Inc. Similar search queries and images
US20110128288A1 (en) * 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
JP5134664B2 (ja) * 2010-09-14 2013-01-30 株式会社東芝 アノテーション装置
US20120076297A1 (en) * 2010-09-24 2012-03-29 Hand Held Products, Inc. Terminal for use in associating an annotation with an image
US8788434B2 (en) * 2010-10-28 2014-07-22 Google Inc. Search with joint image-audio queries
US9229956B2 (en) * 2011-01-10 2016-01-05 Microsoft Technology Licensing, Llc Image retrieval using discriminative visual features
US8706756B2 (en) * 2011-05-11 2014-04-22 Futurewei Technologies, Inc. Method, system and apparatus of hybrid federated search
US8755605B2 (en) 2011-07-11 2014-06-17 Futurewei Technologies, Inc. System and method for compact descriptor for visual search
US8533204B2 (en) 2011-09-02 2013-09-10 Xerox Corporation Text-based searching of image data
US9075825B2 (en) * 2011-09-26 2015-07-07 The University Of Kansas System and methods of integrating visual features with textual features for image searching
US8880563B2 (en) * 2012-09-21 2014-11-04 Adobe Systems Incorporated Image search by query object segmentation
CN102968619B (zh) * 2012-11-13 2015-06-17 北京航空航天大学 一种汉字图片的部件识别方法
CN103164539B (zh) * 2013-04-15 2016-12-28 中国传媒大学 一种结合用户评价与标注的交互式图像检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7046851B2 (en) * 2000-11-08 2006-05-16 California Institute Of Technology Image and video indexing scheme for content analysis
CN101449271A (zh) * 2006-05-19 2009-06-03 微软公司 通过搜索进行注释
US8254699B1 (en) * 2009-02-02 2012-08-28 Google Inc. Automatic large scale video object recognition
CN102402593A (zh) * 2010-11-05 2012-04-04 微软公司 对于搜索查询输入的多模态方式

Also Published As

Publication number Publication date
CN108763244A (zh) 2018-11-06
WO2015023734A1 (en) 2015-02-19
US9384213B2 (en) 2016-07-05
CN105637509A (zh) 2016-06-01
US20160328420A1 (en) 2016-11-10
US10210181B2 (en) 2019-02-19
EP3033699A4 (en) 2017-03-01
CN108763244B (zh) 2022-02-01
US20150049091A1 (en) 2015-02-19
EP3033699A1 (en) 2016-06-22

Similar Documents

Publication Publication Date Title
CN105637509B (zh) 在图像内搜索和注释
JP5256293B2 (ja) 検索結果ページ上に対話要素を含めるためのシステム及び方法
US20210303939A1 (en) Processing Image-Bearing Electronic Documents using a Multimodal Fusion Framework
WO2015172490A1 (zh) 一种提供扩展搜索项的方法与装置
US10592571B1 (en) Query modification based on non-textual resource context
US7958109B2 (en) Intent driven search result rich abstracts
US20130104029A1 (en) Automated addition of accessiblity features to documents
CN107111640B (zh) 用于与图像搜索结果一起呈现辅助内容的方法和用户界面
US9201935B2 (en) Transition from first search results environment to second search results environment
US9690855B2 (en) Method and system for searching for a web document
US9679081B2 (en) Navigation control for network clients
Levering et al. The portrait of a common HTML web page
CN104376114B (zh) 一种搜索结果展示方法及装置
US9424353B2 (en) Related entities
US10404816B2 (en) Determining browsing activities
CN109952571A (zh) 基于上下文的图像搜索结果
US9600579B2 (en) Presenting search results for an Internet search request
US9811592B1 (en) Query modification based on textual resource context
US10339195B2 (en) Navigation control for network clients
CN108028839A (zh) 用于动态限制信息资源中包括的未授权内容的渲染的系统和方法
US20160048567A1 (en) Search query refinement interface
CN110431550B (zh) 用于识别可视叶页面的方法和系统
US11227233B1 (en) Machine learning suggested articles for a user
JP6796337B2 (ja) 評釈データベース作成装置、評釈データベース作成方法、評釈データベース作成プログラム
JP2017117022A (ja) キーワード抽出装置、キーワード抽出方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant