CN107766399A - 用于使图像与内容项目匹配的方法和系统及机器可读介质 - Google Patents

用于使图像与内容项目匹配的方法和系统及机器可读介质 Download PDF

Info

Publication number
CN107766399A
CN107766399A CN201710298671.4A CN201710298671A CN107766399A CN 107766399 A CN107766399 A CN 107766399A CN 201710298671 A CN201710298671 A CN 201710298671A CN 107766399 A CN107766399 A CN 107766399A
Authority
CN
China
Prior art keywords
image
content item
search inquiry
identified
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710298671.4A
Other languages
English (en)
Other versions
CN107766399B (zh
Inventor
李栋
蒋飞
蒋一飞
庄立
朱帆
孔旗
杨光
王京傲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN107766399A publication Critical patent/CN107766399A/zh
Application granted granted Critical
Publication of CN107766399B publication Critical patent/CN107766399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

根据一个实施方式，接收响应于从客户端接收到的搜索查询而识别的内容项目。确定所述搜索查询是否在产生所述内容项目的总搜索查询的预定百分比内。响应于确定所述搜索查询在总搜索查询的预定百分比内，基于与所述搜索查询相关联的一个或多个关键字在图像存储器中搜索以识别一个或多个图像的列表，以及选择所识别的图像中的一个以与所述内容项目匹配。否则，选择预定优选图像以与所述内容项目匹配。将所述内容项目与所述所选图像合并以产生待传输至客户端的复合内容项目。

Description

用于使图像与内容项目匹配的方法和系统及机器可读介质
技术领域
本发明的实施方式大体涉及搜索内容。更具体地，本发明的实施方式涉及使图像匹配随机化以寻找与内容匹配的最好图像。
背景技术
大多数搜索引擎通常在它们的操作期间执行从运行于客户端设备上的浏览器来搜索网页。搜索引擎接收由用户输入的搜索词，以及检索与该搜索词相关联的网页搜索结果列表。搜索引擎基于某些标准将搜索结果显示为搜索列表的一系列子集。在搜索操作期间使用的一般标准是搜索词是完整地还是部分地出现在给定网页上、搜索字串出现在搜索结果中的次数、字母次序等。此外，用户可以通过点击鼠标按钮来确定打开链接以打开并浏览。可由搜索引擎监控和采集用户与搜索结果的一些交互和/或用户信息，以随后提供更好的搜索。
通常，响应于搜索查询，执行搜索以识别和检索内容项目列表。然后，将内容项目传回到搜索请求者。常规搜索引擎将按原样传回大多数内容项目而不作修改。搜索结果中的一些内容项目仅仅是纯文本或描述，其可认为是无吸引力的或令人厌烦的。有时候，如果内容项目备有与内容项目有关的某些图像，则搜索结果中的内容将更得体或更具吸引力。然而，使适当图像与内容项目匹配是相当有挑战性的。
发明内容
本发明的目的是提供用于使图像与内容项目匹配的计算机实施方法和数据处理系统及非暂时性机器可读介质。
根据本发明的一方面，提供了用于使图像与内容项目匹配的计算机实施方法，所述方法包括：接收响应于从客户端接收到的搜索查询而识别的内容项目；确定所述搜索查询是否在产生所述内容项目的总搜索查询的预定百分比内；响应于确定所述搜索查询在所述总搜索查询的预定百分比内，基于与所述搜索查询相关联的一个或多个关键字，在图像存储器中搜索以识别一个或多个图像的列表；以及选择所识别的图像中的一个以与所述内容项目匹配；响应于确定所述搜索查询不在所述总搜索查询的预定百分比内，选择预定优选图像以与所述内容项目匹配；以及将所述内容项目与所选择的图像合并以产生待传输至所述客户端的复合内容项目。
根据本发明的另一方面，提供了非暂时性机器可读介质，所述非暂时性机器可读介质中存储有指令，所述指令在被处理器执行时致使所述处理器执行使图像与内容项目匹配的操作，所述操作包括：接收响应于从客户端接收到的搜索查询而识别的内容项目；确定所述搜索查询是否在产生所述内容项目的总搜索查询的预定百分比内；响应于确定所述搜索查询在所述总搜索查询的预定百分比内，基于与所述搜索查询相关联的一个或多个关键字在图像存储器中搜索以识别一个或多个图像的列表，以及选择所识别的图像中的一个以与所述内容项目匹配；响应于确定所述搜索查询不在所述总搜索查询的预定百分比内，选择预定优选图像以与所述内容项目匹配；以及将所述内容项目与所选择的图像合并以产生待传输至所述客户端的复合内容项目。
根据本发明的又一方面，提供了数据处理系统，所述数据处理系统包括处理器和存储器，其中，存储器联接到所述处理器以存储指令，所述指令在被所述处理器执行时致使所述处理器执行使图像与内容项目匹配的操作，所述操作包括：接收响应于从客户端接收到的搜索查询而识别的内容项目；确定所述搜索查询是否在产生所述内容项目的总搜索查询的预定百分比内；响应于确定所述搜索查询在所述总搜索查询的预定百分比内，基于与所述搜索查询相关联的一个或多个关键字在图像存储器中搜索以识别一个或多个图像的列表，以及选择所识别的图像中的一个以与所述内容项目匹配；响应于确定所述搜索查询不在所述总搜索查询的预定百分比内，选择预定优选图像以与所述内容项目匹配；以及将所述内容项目与所选择的图像合并以产生待传输至所述客户端的复合内容项目。
附图说明
本发明的实施方式在附图的各图中以示例而非限制的方式示出，附图中相同的参考数字指代类似的元件。
图1A和图1B是示出根据本发明一些实施方式的用于使图像与内容项目匹配的系统配置的示例的框图。
图2是示出根据本发明一个实施方式的用于使图像与内容项目匹配的系统的示例的框图。
图3A至图3C是根据本发明某些实施方式的图像映射表的示例。
图4是示出根据本发明一个实施方式的用于图像映射的系统的框图。
图5是示出根据本发明一个实施方式的图像匹配系统的示例的框图。
图6是示出根据本发明一个实施方式的图像匹配过程的处理流程。
图7是示出根据本发明一个实施方式的使图像与内容项目匹配的过程的流程图。
图8是示出根据本发明一个实施方式的针对内容项目确定优选图像的过程的流程图。
图9是示出根据本发明的一个实施方式的数据处理系统的框图。
具体实施方式
以下将参考所讨论的细节来描述本发明的多种实施方式和方面，附图将示出多种实施方式。以下描述和附图是对本发明的说明，而不应当解释为限制本发明。描述了许多特定细节以便提供对本发明的多种实施方式的全面理解。然而，在某些实例中，为了提供对本发明的实施方式的简洁讨论，并未描述众所周知的或常规的细节。
说明书中对“一个实施方式”或“一实施方式”的引述意指结合该实施方式所描述的特定特征、结构或特性可以包括在本发明的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指代同一实施方式。
根据一些实施方式，每一内容项目分配有被作为用于在线搜索的优选图像而预选的图像。优选图像是依据相应内容项目基于用户与图像的交互历史来选择的。在在线搜索期间，针对给定的内容项目，将从客户端接收到的搜索查询分成两个部分。对于第一部分(例如，某个百分比)中的搜索查询，在图像存储器中执行搜索以识别候选图像列表。从列表选择(例如，随机地)候选图像中的一个以与内容项目匹配。对于第二部分(例如，其余百分比)中的搜索查询，利用预选的优选图像来与内容项目匹配，而不进行图像搜索。
针对从候选图像列表选择的图像中的每一图像，监控用户与该图像的交互并记录用户交互统计。在一段时间内计算用户交互得分(例如，统计度量，诸如点击率或CTR)。如果图像的用户交互得分比当前优选图像的用户交互得分更高，则具有更高用户交互得分的图像将被指定为新优选图像以代替现有优选图像。也就是说，搜索查询的第一部分被用来确定是否存在比当前优选图像更优选的另一图像，而当前优选图像被用来服务搜索查询的第二部分。结果，可基于用户与图像的当前交互来周期性地更新优选图像，因为不同用户可在不同时间点或在不同情况下被不同图像吸引。
在一个实施方式中，响应于由响应于从客户端接收到的搜索查询而识别的内容项目，确定该搜索查询是否在产生该内容项目的总搜索查询的预定部分内。如果该搜索查询是在总搜索查询的预定部分内，则在图像存储器中执行搜索以基于与该搜索查询相关联的一个或多个关键字来识别一个或多个候选图像的列表。然后，选择候选图像中的一个以与内容项目匹配。如果该搜索查询不在总搜索查询的预定部分内，则选择预定优选图像以与内容项目匹配。然后，将内容项目与所选择的图像合并以产生复合内容项目，以及将复合内容项目传输至客户端。
图1A和图1B是示出根据本发明一些实施方式的用于使图像与内容项目匹配的系统配置的示例的框图。参考图1A，系统100包括但不限于通过网络103通信地联接到服务器104的一个或多个客户端设备101-102。客户端设备101-102可以是任何类型的客户端设备，诸如，个人计算机(例如，台式计算机、膝上型计算机和平板计算机)、“薄”客户端、个人数字助理(PDA)、支持网络的设备、智能手表或移动电话(例如，智能手机)等。网络103可以是任何类型的网络，诸如有线或无线的局域网(LAN)、广域网(WAN)(诸如，互联网)或其组合。
服务器104可以是任何种类的服务器或服务器集群，诸如网络或云服务器、应用服务器、后端服务器或其组合。在一个实施方式中，服务器104包括但不限于搜索引擎120、图像选择系统110(也称为图像选择模块)和图像匹配规则115。服务器104还包括允许客户端(诸如，客户端设备101-102)访问由服务器104提供的资源或服务的接口(未示出)。该接口可包括网络接口、应用编程接口(API)和/或命令行接口(CLI)。
例如，客户端(在此示例中，为客户端设备101的客户端应用(例如，网络浏览器、移动应用))可向服务器104发送搜索查询，以及该搜索查询由搜索引擎120通过网络103经由接口来接收。该搜索查询可经由多种通信协议(诸如，传输控制协议和互联网协议(TCP/IP)协议)来接收。响应于该搜索查询，搜索引擎120从该搜索查询提取一个或多个关键字(也称为搜索词)。搜索引擎120在内容数据库133中执行搜索以识别与关键字有关的内容项目的列表，该内容数据库可包括主要内容数据库130和/或辅助内容数据库131。
主要内容数据库130(也称为主内容数据库)可以是一般内容数据库，而辅助内容数据库131(也称为二级或附属内容数据库)可以是特殊或赞助内容数据库。搜索引擎120向客户端设备101传回具有列表中的至少一些内容项目的搜索结果页面，以在客户端设备101中呈现。搜索引擎120可以是从百度公司可获得的搜索引擎，或可替代地，搜索引擎120可表示搜索引擎、Microsoft BingTM搜索引擎、搜索引擎或一些其它搜索引擎。
搜索引擎(诸如，网络搜索引擎)是被设计成在万维网上搜索信息的软件系统。搜索结果通常被呈现在一排结果(通常称为搜索引擎结果页面)中。信息可以是网页、图像和其它类型的文件的混合。一些搜索引擎还挖掘数据库或开放式目录中可用的数据。与仅通过人工编辑器来维持的网络目录不同，搜索引擎还通过在网络爬虫上运行算法来维持实时信息。
网络搜索引擎通过存储与多个网页相关的信息来运行，它们从页面的超文本标记语言(HTML)标记来检索网页。通过网络爬虫来检索这些页面，其中网络爬虫是跟随网站上的每一链接的自动化网络爬虫。然后，搜索引擎分析每一页面的内容以确定其应如何被索引(例如，可以从标题、页面内容、标头或称为元标签的特殊字段来提取字)。将与网页相关的数据存储在索引数据库中，以供在稍后的查询中使用。索引帮助尽可能快地找到与查询有关的信息。
当用户将查询输入到搜索引擎中时(通常通过使用关键字)，该引擎检查其索引并根据其标准提供最匹配网页的列表，通常具有包含文档标题及有时是部分文本的简短概述。索引是由与数据一起存储的信息及信息的索引方法建构而成。搜索引擎查找与输入时完全一致的字或短语。一些搜索引擎提供称为接近搜索的先进的特征，接近搜索允许用户定义关键字之间的距离。还存在基于概念的搜索，其中该研究涉及在包含你所搜索的字或短语的页面上使用统计分析。同样地，自然语言查询允许用户以与用户向人询问问题的相同形式来键入问题。
搜索引擎的有用性取决于其所回馈的结果集的相关性。虽然包括特定字或短语的网页可能有数百万个，但一些页面可能比其它页面更相关、更受欢迎或更有权威。大多数搜索引擎采用对结果排序的方法以先提供“最好”结果。搜索引擎如何确定哪些页面是最匹配者以及应按什么次序来示出结果，是随引擎的不同而广泛变化的。
返回参考图1A，根据一个实施方式，响应于在服务器104处从客户端设备(在此示例中，为客户端设备101)接收到的搜索查询，搜索引擎120在内容数据库133(诸如，主要内容数据库130和/或辅助内容数据库131)中执行搜索，以产生内容项目列表。可经由统一资源链接(URL)和/或统一资源标识符(URI)使内容项目中的每一内容项目与特定内容提供者的特定网站的特定网页相关联。可替代地，内容项目中的一些可以是由作为赞助商的多种内容提供者提供和赞助的赞助内容项目。在一个实施方式中，主要内容数据库130存储已由网络爬虫采集的一般内容项目(例如，非赞助内容)。
辅助内容数据库131存储与特定、已知或预定的内容提供者(例如，广告商)相关联的特定、特殊或赞助内容项目(例如，广告或Ad)。在一个实施方式中，响应于搜索查询，基于该搜索查询来确定关键字第一集合，其中关键字包括搜索查询中所指定的搜索词和与搜索词语义上有关的关键字。然后，将关键字第一集合与跟一个或多个内容提供者相关联的关键字(例如，投标字)其它集合匹配。如果存在匹配，则从辅助内容数据库131识别并检索一个或多个相应内容项目。可存在用于匹配目的的查询关键字-内容提供者关键字匹配数据结构或表(未示出)。
在一个实施方式中，图像匹配规则115包括具有多个映射条目的图像映射表，每一映射条目将一个或多个关键字映射到识别一个或多个图像的一个或多个图像ID，例如，如图3A中所示。可替代地，图像映射表的每一映射条目将识别特定内容项目的内容ID映射到一个或多个图像ID，例如，如图3B中所示。因此，可基于与搜索查询相关联的关键字和/或响应于搜索查询而找到的内容项目来识别候选图像。可替代地，可基于内容项目的内容ID来识别候选图像。
图像匹配规则115可以以多种数据结构(诸如，表或数据库)来实施。基于图像ID，可以从存储在图像存储器125中的图像122来识别和检索候选图像列表，其中图像存储器125还可存储描述图像122的图像元数据(未示出)。在一个实施方式中，可通过一个或多个图像或网络爬虫来获得图像122及其各自的元数据，其中图像或网络爬虫被设计成爬取网络以采集图像和其周围的元数据。图像122可以是无特权的、无著作权保护的、适当许可的图像，或可以是任何其它授权的图像。
根据一个实施方式，可在接收搜索查询之前(例如，离线)先编译和产生图像匹配规则115。一组图像匹配规则115被配置成将一个或多个关键字映射到识别一个或多个图像的一个或多个图像ID。关键字可被识别为在搜索查询中更有可能用到的关键字、与某些内容项目相关联的关键字和/或与某些内容提供者相关联的关键字。可基于对用户搜索活动或搜索历史的分析或跟踪来识别这种关键字，其中用户搜索活动或搜索历史可被编译一段时间。
随后，当搜索引擎120从客户端设备在线接收到针对搜索内容的搜索查询时，在内容数据库133中执行搜索以检索内容项目列表。另外，针对内容项目中的至少一个，由例如图像选择系统110执行对搜索查询、内容项目和/或提供内容项目的内容提供者的分析，以确定关键字集合。该关键字可包括与搜索查询相关联的一个或多个关键字(例如，搜索词)、与内容项目相关联的一个或多个关键字(例如，从内容项目的标题和/或描述获得的)和/或与提供内容项目的内容提供者相关联的一个或多个关键字(例如，投标字)。该关键字还可包括语义上类似或具有与原始关键字的含义相同的某些关键字(例如，同义字或短语)。基于关键字，使用一组图像匹配规则115从图像存储器125识别一个或多个图像的列表。
根据一个实施方式，图像选择系统110可使用多种排序算法或排序模型将已识别图像排序，其中排序算法或排序模型由图像映射系统150产生和配置。针对在内容数据库133中找到的内容项目中的至少一个，从候选图像列表选择图像以与该内容项目相关联。所选择的图像可与该内容项目合并，以产生合并的或复合内容项目。例如，所选择的图像可充当内容项目的背景图像，或可替代地，所选择的图像可定位成与内容项目互补或并置。将经合并的内容项目和图像的列表作为搜索结果的一部分传回到客户端设备101。
根据一些实施方式，内容项目(例如，辅助内容数据库131)中的每一个分配有被预选为用于在线搜索的优选图像的图像。依据相应内容项目，基于用户与图像的交互历史来选择优选图像，例如由图像映射系统150选择，该选择可离线执行。在在线搜索期间，对于给定的内容项目，从客户端接收到的搜索查询被分成两个部分。对于第一部分(例如，某个百分比)中的搜索查询，图像选择系统110在图像存储器125中进行搜索以识别候选图像列表。从列表选择(例如，随机地)候选图像中的一个以与内容项目匹配。对于第二部分(例如，剩余百分比)中的搜索查询，图像选择系统110选择预选的优选图像以与内容项目匹配，而不执行图像搜索。
对于从候选图像列表选择的图像中的每一图像，由例如作为数据分析系统的图像映射系统150监控和获取用户与图像的交互，并记录用户交互统计。在一段时间内计算用户交互得分(例如，诸如点击率或CTR的统计度量)。如果图像的用户交互得分高于当前优选图像的用户交互得分，则具有更高用户交互得分的图像将被指定为新优选图像来代替现有优选图像。也就是说，搜索查询的第一部分被用来确定是否存在比当前优选图像更优选的另一图像，而当前优选图像被用来服务搜索查询的第二部分。结果，可基于用户与图像的当前交互来周期性地更新优选图像，因为不同用户可在不同时间点或在不同情况下被不同图像吸引。
应注意，仅出于说明的目的描述了服务器104的配置。服务器104可以是向多种端部用户设备提供前端搜索服务的网络服务器。可替代地，服务器104可以是应用服务器或后端服务器，其向前端服务器(例如，网络服务器或一般内容服务器)提供特定或特殊的内容搜索服务以及使图像与内容数据库或服务器的内容项目匹配和/或整合。
现参考图1B，在此实施方式中，可将搜索引擎120A和主要或一般内容数据库130维持在前端服务器104A中，其中前端服务器可以是网络服务器。响应于搜索查询，前端服务器104A的搜索引擎120A在一般内容数据库130中进行搜索以基于搜索查询的一个或多个关键字来识别一般内容项目的列表(例如，网页URL的列表)。另外，搜索引擎120A将针对特殊内容项目的请求(连同搜索查询)发送到后端服务器104B。响应于该请求，后端服务器104B的搜索引擎120B在特殊内容数据库131中进行搜索以识别一个或多个特殊内容项目(例如，Ad)的列表。搜索引擎120B可在内容索引(未示出)中执行查找操作，其中内容索引将一个或多个关键字(例如，投标字)映射到由一个或多个内容提供者(例如，广告商)提供的一个或多个内容项目。对于每一已识别的特殊内容项目，图像选择系统110搜索图像并使图像与如上文所描述的特殊内容项目匹配。在一个实施方式中，后端服务器104B是Ad服务器。
类似地，图像选择系统110和辅助或特殊内容数据库131可维持在后端服务器104B(诸如，应用服务器或其它类型的后端服务器)中。图像映射系统150(操作为数据分析服务器)也可实施为单独的服务器，其负责基于主要内容数据库130和/或辅助内容数据库131的内容项目及其各自相关联的关键字来创建图像匹配规则115。图像存储器125可被维持和托管在作为具有图像搜索引擎的图像服务器的单独的服务器中，其可由与前端服务器104A和/或后端服务器104B的实体或组织相同的实体或组织来组织和提供。可替代地，图像服务器125可由负责采集图像122及其元数据的单独的实体或组织(例如，第三方提供者)来维持或托管。
还应注意，一般内容数据库130也可实施或维持在称为主要内容服务器的单独的内容服务器中。类似地，特殊内容数据库131可实施或维持在称为辅助或附属内容服务器的单独的内容服务器中。可使用多种匹配公式使从两个内容数据库130-131获得的内容项目与从图像存储器/服务器125获得的图像匹配。可替代地，将使仅从主要内容数据库130和辅助内容数据库131中的一者获得的内容项目与从图像存储器/服务器125获得的图像匹配。例如，将使从辅助内容数据库131获得的内容项目(例如，赞助内容)与从图像存储器/服务器125获得的图像匹配，而从主要内容数据库130获得的内容项目(例如，一般内容)可作为搜索结果的一部分被传回到客户端设备而不作修改。
图2是示出根据本发明一个实施方式的用于使图像与内容项目匹配的系统的框图。系统200可实施为图1A至图1B的系统100的一部分。参考图2，当从客户端设备(例如，图1的客户端设备101)接收到搜索查询201时，搜索引擎120在内容数据库或内容服务器133中执行第一搜索，以基于与搜索查询201相关联的一个或多个关键字或搜索词来识别和检索内容项目的第一列表。另外，对于内容项目中的至少一个内容项目，搜索引擎120与图像选择系统110通信，以使用一组图像匹配规则115基于与搜索查询201和/或内容项目及其内容提供者相关联的关键字来识别来自图像存储器或图像服务器125的图像列表。搜索引擎120和/或图像选择系统110可对搜索查询和内容项目/内容提供者执行分析，以导出关键字的列表。可在基于分析(例如，潜在语义分析)从原始关键字扩展的扩展关键字的列表上执行在内容数据库/服务器133和/或图像存储器/服务器125中执行的搜索。
在一个实施方式中，图像选择系统110和/或图像匹配规则115可与搜索引擎120整合。图像匹配规则115可例如由作为数据分析系统的图像映射系统150预先配置或编译。图像映射系统150可被托管在经由API或通过网络通信地联接到系统200的单独的系统或服务器中。图像映射系统150可包括允许用户或管理员配置一组图像匹配规则的用户接口，然后可由处理逻辑使用预定算法来扩展和排序该图像匹配规则。
类似地，可由图像采集系统230来采集存储在图像存储器/服务器125中的图像，其中图像采集系统可以是通过网络通信地联接到系统200的单独的系统或服务器。图像映射系统150和/或图像采集系统230可由与系统200的实体或组织相同或不同的实体或组织操作。在此示例中，可将图像的至少一部分缓存和存储在相对于系统200而言的本地图像存储器(例如，对服务器104而言为本地)中。可替代地，图像可由与图像采集系统230相关联的指定服务器来维持，图像选择系统110经由API与图像采集系统230通信以识别和检索图像列表。
基于从图像存储器/服务器125检索的图像列表，图像选择系统110根据排序算法对图像进行排序。然后，使图像中的一些与从内容数据库/服务器133识别和检索的内容项目中的一些匹配。然后，将匹配的内容项目和图像整合到已整合的内容项目中。在一个实施方式中，图像可被选择为内容项目的背景图像或补充图像。例如，内容项目211可以是描述或文本，以及图像212可被选择为内容项目211的背景图像。以适当的方式，基于贯穿本说明书描述的匹配技术来选择图像212以补充或描述内容项目211，或反之亦然。例如，内容项目211的内容与如图像212中所示的内容有关，或反之亦然。可将已整合的图像212和内容项目211作为搜索结果215的一部分传回到客户端设备。应注意，如图2中所示的部件或模块中的一些或全部可以以软件、硬件或其组合来实施。
在一个实施方式中，响应于由搜索引擎120响应于从客户端接收到的搜索查询而识别的内容项目，图像选择系统110确定搜索查询是否在产生内容项目的总搜索查询的预定部分内。该预定部分可被指定或配置为图像匹配规则115的一部分。如果该搜索查询是在总搜索查询的预定部分内，则图像选择系统110在图像存储器125中执行搜索以基于与搜索查询相关联的一个或多个关键字来识别一个或多个候选图像的列表。然后，选择候选图像中的一个以与内容项目匹配。如果搜索查询不在总搜索查询的预定部分内，则图像选择系统110选择待与内容项目匹配的预定优选图像。该预定优选图像可被指定和配置在内容-优选图像映射表(诸如，如图3C中的映射表)中。然后，将内容项目与所选择的图像合并以产生复合内容项目，以及将复合内容项目作为搜索结果215的一部分传输至客户端。
图3A和图3B是根据本发明某些实施方式的图像映射表的示例。参考图3A，在此示例中，图像映射表300是关键字-图像(关键字/图像)映射表，其可表示如上文所描述的图像匹配规则115的至少一部分。在一个实施方式中，关键字/图像映射表300包括许多映射条目。每一映射条目将一个或多个关键字301映射到一个或多个图像ID 302。图像ID 302识别图像存储器或图像服务器(诸如，图像存储器/服务器125)中的相应图像。基于关键字对映射表300进行索引。在这个示例中，第一条目将词“鲜花”映射到图像1-图像5。第二条目将词“北京鲜花”仅映射到图像1。第三条目将词“上海鲜花”映射到图像2。第四条目将词“鲜花递送”映射到图像1-2和图像4。因此，如果搜索查询包含“北京鲜花”，则图像1-5可被识别。然而，图像1可具有更高的排序。
现参考图3B，在这个示例中，图像映射表350是内容-图像(内容/图像)映射表，其可表示如上文所描述的图像匹配规则115的至少一部分。在一个实施方式中，内容/图像映射表350包括许多映射条目。每一映射条目将内容ID 351映射到一个或多个图像ID 352。内容ID 351识别内容项目，其中可从内容数据库130-131来识别和检索该内容项目。图像ID352识别图像存储器或图像服务器(诸如，图像存储器/服务器125)中的相应图像。基于内容ID对映射表350进行索引。当已响应于搜索查询基于识别内容项目的内容ID或内容项目ID来识别内容项目时，可以使用内容/图像映射表350来识别一个或多个图像。应注意，在整个本申请中，出于说明的目的，术语“匹配规则”、“映射规则”、“匹配表”和“映射表”是可互换术语。然而，其可以以多种数据结构或格式来实施。
图3C是示出根据本发明一个实施方式的内容-优选图像映射表的框图。参考图3C，内容-优选图像(内容/优选图像)映射表370包括许多映射条目。每一映射条目将识别内容项目的内容ID或内容项目ID 371映射到识别优选图像的图像ID 372。内容/优选图像映射表370可由图像映射系统150基于用户与图像的交互来周期性地离线配置，并被上传到在线服务器(诸如，服务器104)以用于在线图像匹配。
图4是示出根据本发明一个实施方式的用于图像映射的系统的框图。系统400可实施为图1A到图1B的系统或服务器150的一部分。参考图4，系统400包括但不限于图像映射系统150、图像存储器125和图像匹配规则115。在一个实施方式中，系统400被用来配置并产生一组图像匹配规则115以将某些关键字或内容映射到存储在图像存储器125中的图像。
图像存储器125可通过网络以本地或远程的方式被维持在指定的服务器中。被用来在图像匹配规则115中进行映射的关键字可以是在搜索查询中更有可能用到的关键字。图像存储器125存储图像122及其各自的元数据124。图像匹配规则115包括图像映射表421和图像排序算法或模型422。图像映射表421可实施为如图3A和图3B中所示的任一映射表。
在一个实施方式中，图像映射系统150包括匹配规则配置模块431、数据采集模块432、分析模块433、匹配模块434和机器学习引擎或训练模块435。模块431-435可以以软件、硬件或其组合来实施。在一个实施方式中，可利用匹配规则配置模块431以例如响应于经由用户接口的用户请求来配置图像映射表421。图像映射表421包括许多映射条目。每一映射条目将关键字或内容ID映射到一个或多个图像ID，图像ID识别存储在图像存储器125中的图像122中的一个或多个。图像122和元数据124可由数据采集模块432周期性地采集并更新。数据采集模块432可采用一些网络爬虫来爬取和采集图像及其周围的信息或元数据124。
在一个实施方式中，元数据124包括描述图像122的多种信息或数据，其中可由指定的数据采集模块或系统(诸如，数据采集模块432)来获得或采集元数据。例如，可在获得相应图像时采集图像元数据。图像元数据可包括从中采集到图像的源和采集时间。从中获得图像的源可以是附有图像的网页或文档。可采集地址，诸如源页面的统一资源定位器(URL)。另外，可对源页面的内容执行分析，以确定可能由图像表示的内容。
还可对图像执行图像辨识，以确定由图像表示的内容(例如，图像是不是与人、物体、风景、文本或其组合相关)。另外，还可采集图像的属性，诸如纵横比、像素计数、亮度、对比度、获得图像的时间和样式(例如，风景与肖像、图像的大小)。此外，用户与图像和/或关键字在过去的先前交互(例如，点击率)还可基于与图像相关联的历史交互来确定。这些信息可被编译为图像124的元数据的一部分(出于计分的目的，也称为图像的特征)。
基于元数据，过滤和匹配模块434执行过滤操作，以通过使关键字与特定图像的元数据之间的语义意义匹配来确定特定关键字是否充分描述图像。例如，如果关键字出现在从中采集到图像的源页面中，则该关键字与该图像有关。类似地，如果关键字响应于图像辨识而描述图像的内容的至少一部分，则该关键字可以是有关的。如果基于对元数据的分析确定关键字并未充分描述特定图像或反之亦然，则可移除该特定图像。如果确定用户与特定图像的先前交互低于预定阈值(例如，较少的用户交互、较小的用户兴趣或不受欢迎)，则可从图像映射表421移除该特定图像。
在一个实施方式中，分析模块433执行对图像122的至少元数据124的分析，以提取或获得与图像122及其元数据124相关联的各种图像特征。以分析为基础，基于图像特征(诸如，上文列出的图像特征)来确定一组特征计分公式或算法。针对每一特征，可产生计分公式或算法。另外，还确定匹配质量计分公式或算法。可替代地，可由机器学习引擎435来训练或学习特征和/或特征得分，以创建用于确定特定图像的排序得分的排序模型。然后，可以将这些算法和/或模型存储为图像排序算法/模型422的一部分，图像排序算法/模型422可以被在线地用来响应于搜索查询而将待与内容项目匹配的候选图像排序。可响应于搜索查询使用图像映射表421来识别候选图像。
另外，根据一个实施方式，图像映射系统150还维持图像访问统计440，图像访问统计440可由数据采集模块432采集。图像访问统计440包括涉及与特定内容项目配对的特定图像的任何访问统计。图像访问统计是指考虑到一同向用户呈现的特定内容项目的多个用户与图像的用户交互。应注意，图像可与多个内容项目配对，多个内容项目中可存在多组图像访问统计(针对每一内容项目有一组图像访问统计)。图像-内容(图像/内容)对的图像访问统计可包括涉及谁访问了图像/内容对、访问的日期和时间、客户端设备类型、客户端设备ID等的信息。
可由分析模块433或机器学习引擎435来分析图像访问统计440，以确定图像访问率(例如，点击率)。图像访问率或点击率是指访问(例如，点击)图像/内容对的用户数与被呈现有图像/内容对的所有用户之间的比率。周期性地，可由分析模块433或机器学习引擎435来分析图像访问统计440，以针对给定的内容项目来确定具有最高访问率的图像。分析模块433或机器学习引擎435确定具有最高访问率的图像是否与优选图像映射表370中指定的当前优选图像相同。如果它们不相同，则将具有最高访问率的图像代替现有优选图像。优选图像映射表370可被周期性地更新并被上传到在线系统(例如，服务器104)。
图5是示出根据本发明一个实施方式的图像匹配系统的示例的框图。系统500可实施为图2的系统200的一部分。参考图5，系统500可与图2的系统200合并。可替代地，可将系统500实施为(例如)经由API或通过网络的通信协议或连接通信地联接到图2的系统200的独立式系统或服务器。在一个实施方式中，系统500响应于搜索内容的搜索查询负责在运行时间来识别、排序和选择待与响应于搜索查询而找到的内容项目匹配的图像。
在一个实施方式中，图像选择系统110包括分析模块501、图像匹配模块502和图像排序模块503，这些模块中的一些或全部可以以软件、硬件或其组合来实施。在一个实施方式中，响应于从客户端设备接收到的针对搜索内容的搜索查询，分析模块501分析搜索查询以确定一个或多个关键字。针对待与图像匹配的给定的内容项目，分析模块501还对内容和相关联的内容提供者进行分析以产生额外的关键字。分析模块501可从内容项目提取概述或描述该内容项目的一个或多个关键字。分析模块501可确定表示或描述内容提供者的一个或多个关键字(例如，商标)。分析模块501还可对关键字执行潜在语义分析，以将关键字扩展为包括语义上有关的一个或多个关键字。
由图像匹配模块502在图像映射表421(例如，如图3A和图3B中所示的映射表)中基于关键字或内容ID来执行搜索或查找操作。针对被识别为候选图像的每一图像，图像排序模块503执行排序过程以确定该图像的排序得分。可基于图像排序算法或模型422将图像排序或分类，其中图像排序算法或模型422可由如上描述的图4的系统400来配置。可选择排序高于预定阈值的图像来与内容项目匹配。可替代地，可从列表随机选择图像，而不进行排序。将这种图像选择过程称为随机图像选择过程。
根据一个实施方式，系统500还维持优选图像映射表370以选择待与特定内容项目匹配的优选图像。针对特定搜索域(例如，赞助内容)中的每一内容项目，该内容项目可预先分配有如优选图像映射表370中所指定的优选图像。响应于由响应于搜索查询而识别的内容项目，图像匹配模块502在优选图像映射表370中基于识别内容项目的内容ID来执行查找操作，以定位与内容项目相关联的优选图像。将这种图像选择过程称为优选图像选择过程。
根据一个实施方式，针对产生特定内容项目的某个百分比的搜索查询执行随机图像选择过程，而针对剩余百分比的搜索查询执行优选图像选择过程。最初，由于优选图像是针对内容项目随机选择的，因此随机图像选择过程被用于全部搜索查询。随着时间的推移及有规律地更新优选图像，百分比阈值可降低。在一个实施方式中，对5％的搜索查询利用随机图像选择过程，而对95％的搜索查询利用优选图像选择过程。因此，尽管优选图像选择过程用于大部分讯务，但随机图像选择过程可被用于持续不断地对优选图像进行微调。
图6是示出根据本发明一个实施方式的图像匹配过程的处理流程。参考图6，当响应于许多搜索查询中的一者接收到内容项目611时，确定该搜索查询是否在总搜索查询的预定部分或百分比内，在此示例中，为作为预定阈值的X百分比。X百分比可以作为百分比阈值，是上下可配置的。如果搜索查询是在X百分比内，则在框612处，在图像存储器125中执行搜索以识别候选图像列表。随机选择候选图像中的一个。在框613处，将所选择的图像与内容项目611整合，以产生复合内容项目。将复合内容项目传输到客户端。
如果确定与内容项目611相关联的搜索查询不在X百分比内(例如，1％–X％内)，则在框614处，在优选图像数据库或映射表630中执行查找操作以识别和检索当前与内容项目611相关联的优选图像。在框615处，将优选图像与内容项目611整合以产生复合内容项目。将复合内容项目传输到客户端。以上过程被执行为在线系统601的一部分，该在线系统可实施为服务器104的一部分。
另外，在框621处，记录和分析与内容项目611匹配的图像的图像访问统计。基于图像访问统计，在框622处，确定是否针对内容项目611来识别新优选图像。如果是，则在优选图像数据库或映射表630中更新新优选图像以用于在线搜索。以上过程被执行为离线系统602的一部分，该离线系统可实施为作为数据分析系统的图像映射系统150的一部分。
图7是示出根据本发明一个实施方式的使图像与内容项目匹配的过程的流程图。过程700可由处理逻辑来执行，所述处理逻辑可包括软件、硬件或其组合。例如，过程700可由图像选择系统110来执行。参考图7，在框701处，处理逻辑接收响应于从客户端接收到的搜索查询而搜索并识别的内容项目。在框702处，处理逻辑确定搜索查询是否在产生内容项目的总搜索查询的预定部分或百分比内。
如果搜索查询是在预定部分或百分比内，则在框703处，处理逻辑使用可选的过滤和排序来搜索并识别候选图像列表。候选图像与内容项目有关，可基于与搜索查询、内容项目和/或提供内容项目的内容提供者相关联的一个或多个关键字来搜索该内容项目。在框704处，选择候选图像的中一个以与内容项目匹配。如果确定搜索查询不在总搜索查询的预定部分或百分比内，则在框705处，选择优选图像。在框706处，将内容项目与所选择的图像合并，以产生复合内容项目。将复合内容项目传输到客户端。
图8是示出根据本发明一个实施方式的针对内容项目确定优选图像的过程的流程图。过程800可由处理逻辑来执行，所述处理逻辑可包括软件、硬件或其组合。例如，过程800可由作为数据分析系统的图像映射系统150来执行。参考图8，在框801处，监控用户与跟内容项目相关联的图像的交互。内容项目是响应于搜索查询而识别和渲染(render)的。在框802处，针对与每一内容项目相关联的每一图像，确定图像访问统计(例如，点击率)。在框803处，针对每一内容项目，识别具有最高图像访问统计(例如，最高点击率)的顶级图像(top image)。在框804处，处理逻辑确定顶级图像是否为与内容项目的当前优选图像相同的图像。如果它们不是相同的图像，则在框805处，将顶级图像指定为新优选图像以代替现有优选图像。
可以将上述技术应用于将图像与赞助内容匹配。一种类型的赞助内容是广告(Ad)。例如，返回参考图1A至图1B，内容数据库(DB)或服务器133可以是Ad数据库或Ad系统或服务器的一部分。内容项目(例如，Ad)中的每一个与预定义的关键字、词、短语或句子的列表相关联。这些预定义的关键字、词、短语或句子可以是由广告商所购买、定义或指定的投标字。在另一实施方式中，主要内容DB 130可存储通常在公共网络中可获得的一般内容。辅助内容DB 131可以是Ad DB，而图像选择系统/系统110可以是通信地联接到搜索引擎120的Ad系统。响应于搜索查询，搜索引擎120搜索主要内容DB 130以识别一般内容项目(例如，网页的URL)的列表。然后，搜索引擎120与Ad系统通信，以识别和检索具有如上文所描述的匹配图像的一个或多个Ad。然后，由搜索引擎120将一般内容项目和具有匹配图像的Ad作为搜索结果的一部分传回到客户端。Ad中的一些可仅仅是纯文本。通过使图像与Ad匹配和整合(例如，作为背景图像)，Ad可更吸引人或对用户更具吸引力。服务器104可以是用于搜索内容的网络服务器，或可替代地，服务器104可以是Ad服务器。
图9是示出可与本发明的一个实施方式一起使用的数据处理系统的示例的框图。例如，系统1500可表示以上描述的执行上述过程或方法中的任一者的任一数据处理系统，例如上述客户端设备或服务器，例如如上所述的客户端设备101-102、服务器104、内容服务器133或图像映射系统/服务器150中的任一者。
系统1500可包括许多不同的部件。这些部件可以实施为集成电路(IC)、集成电路的部分、分离的电子设备或被适合于电路板(诸如，计算机系统的主板或插入卡)的其它模块，或者实施为以其它方式并入计算机系统的机箱内的部件。
还应注意，系统1500旨在示出计算机系统的许多部件的高级视图。然而，应当理解的是，某些实现方式中可存在附加的部件，此外，其它实现方式中可出现所示部件的不同布置。系统1500可表示台式计算机、膝上型计算机、平板计算机、服务器、移动电话、媒体播放器、个人数字助理(PDA)、智能手表、个人通信器、游戏设备、网络路由器或集线器、无线接入点(AP)或中继器、机顶盒或其组合。此外，虽然仅示出了单个机器或系统，但是术语“机器”或“系统”还应当被理解为包括单独地或共同地执行一个(或多个)指令集以执行本文所讨论的方法中的任何一种或多种的机器或系统的任何集合。
在一个实施方式中，系统1500包括经由总线或互连件1510连接的处理器1501、存储器1503以及设备1505-1508。处理器1501可表示其中包括单个处理器内核或多个处理器内核的单个处理器或多个处理器。处理器1501可表示一个或多个通用处理器，诸如微处理器、中央处理单元(CPU)等。更具体地，处理器1501可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或实施其它指令集的处理器、或实施指令集组合的处理器。处理器1501还可以是一个或多个专用处理器，诸如专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、密码处理器、协同处理器、嵌入式处理器或能够处理指令的任何其它类型的逻辑。
处理器1501(其可以是诸如超低电压处理器之类的低功率多核处理器插座)可充当用于与系统1500的各种部件通信的主处理单元和中央集线器。这种处理器可以实施为片上系统(SoC)。处理器1501配置成执行用于执行本文所讨论的操作和步骤的指令。系统1500还可包括与可选的图形子系统(显示控制器和/或显示设备)1504通信的图形接口，其中该图形子系统可包括显示控制器、图形处理器和/或显示设备。
处理器1501可以与存储器1503通信，存储器1503在一个实施方式中可以经由多个存储器设备实施以提供给定量的系统存储器。存储器1503可包括一个或多个易失性存储(或存储器)设备，诸如随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)或其它类型的存储设备。存储器1503可存储包括由处理器1501或任何其它设备执行的指令序列的信息。例如，多种操作系统、设备驱动器、固件(例如，输入输出基本系统或BIOS)和/或应用程序的可执行代码和/或数据可以加载在存储器1503中并由处理器1501执行。操作系统可以是任何种类的操作系统，例如来自公司的操作系统、来自苹果公司的Mac OS/来自公司的或其它实时或嵌入式操作系统(诸如VxWorks)。
系统1500还可包括I/O设备，诸如设备1505-1507，包括网络接口设备1505、可选的输入设备1506以及其它可选的I/O设备1507。网络接口设备1505可包括无线收发器和/或网络接口卡(NIC)。无线收发器可以是WiFi收发器、红外收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(GPS)收发器)或其它射频(RF)收发器，或其组合。NIC可以是以太网卡。
输入设备1506可包括鼠标、触摸板、触摸感应屏(其可以与显示设备1504整合在一起)、指示设备(诸如指示笔)和/或键盘(例如，物理键盘或作为触摸感应屏的一部分显示的虚拟键盘)。例如，输入设备1506可包括联接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器可例如使用多种触摸感应技术(包括但不限于电容、电阻、红外和表面声波技术)中的任一种和用于确定与触摸屏的一个或多个接触点的其它接近传感器阵列或其它元件来检测其触点和移动或间断。
I/O设备1507可包括音频设备。音频设备可包括扬声器和/或麦克风，以促进支持语音的功能，诸如语音辨识、语音复制、数字记录和/或电话功能。其它I/O设备1507还可包括通用串行总线(USB)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如，PCI-PCI桥)、传感器(例如，运动传感器，诸如加速度计、陀螺仪、磁强计、光传感器、罗盘、接近传感器等)或其组合。I/O设备1507还可包括成像处理子系统(例如，相机)，成像处理子系统可包括用来促进相机功能(诸如记录照片和视频片段)的光学传感器，诸如电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)光学传感器。某些传感器可经由传感器集线器(未示出)联接到互连件1510，而其它设备(诸如，键盘或热传感器)可由嵌入式控制器(未示出)控制，这取决于系统1500的特定配置或设计。
为了提供对信息(诸如，数据、应用、一个或多个操作系统等)的永久性存储，大容量存储设备(未示出)也可联接到处理器1501。在多种实施方式中，为了确保更薄和更轻的系统设计以及改进系统响应能力，这种大容量存储设备可经由固态设备(SSD)实施。然而，在其它实施方式中，大容量存储设备可主要使用具有较小量的SSD存储设备的硬盘驱动器(HDD)来实施，其中较小量的SSD存储设备充当SSD缓存以在断电事件期间确保对上下文状态及其它此类信息的非易失性存储，从而使得在系统活动重新启动时能够实施快速通电。此外，闪存设备可例如经由串行外围接口(SPI)联接到处理器1501。这种闪存设备可提供对系统软件的非易失性存储，其中系统软件包括基本输入/输出软件(BIOS)和系统的其它固件。
存储设备1508可包括计算机可访问的存储介质1509(也被称为机器可读存储介质或计算机可读介质)，存储介质上存储有实施本文所描述的方法或功能中的任何一种或多种的一个或多个指令集或软件(例如，处理模块、单元和/或逻辑1528)。处理模块/单元/逻辑1528可表示上述部件中的任一种，例如如上所述的搜索引擎、图像选择系统。处理模块/单元/逻辑1528还可在其被数据处理系统1500、存储器1503和处理器1501执行期间完全地或至少部分地驻留在存储器1503内和/或处理器1501内，另外构成机器可访问的存储介质。处理模块/单元/逻辑1528还可通过网络经由网络接口设备1505被发射或接收。
计算机可读存储介质1509也可用来永久性地存储以上描述的软件功能中的至少一些。虽然计算机可读存储介质1509在示例性实施方式中被示为单个介质，但术语“计算机可读存储介质”应当被认为包括存储一个或多个指令集的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的缓存和服务器)。术语“计算机可读存储介质”还应当被认为包括能够存储或编码指令集的任何介质，所述指令集用于由机器执行并致使机器执行本发明的任何一种或多种方法。因此，术语“计算机可读存储介质”应当被认为包括但不限于固态存储器以及光学介质和磁性介质或者任何其它非暂时性机器可读介质。
本文中所描述的处理模块/单元/逻辑1528、部件以及其它特征可以实施为分离的硬件部件或整合在硬件部件(诸如ASICS、FPGA、DSP或类似设备)的功能中。另外，处理模块/单元/逻辑1528可以实施为硬件设备内的固件或功能电路。此外，处理模块/单元/逻辑1528可以以硬件设备和软件部件的任何组合实施。
应注意，虽然系统1500被示出为具有数据处理系统的多种部件，但其不旨在表示将部件互连的任何特定的架构或方式；因为此类细节和本发明的实施方式没有密切关系。还应认识到，具有更少部件或可能具有更多部件的网络计算机、手持计算机、移动电话、服务器和/或其它数据处理系统也可与本发明的实施方式一起使用。
前述详细描述中的一些部分已经依据在计算机存储器内对数据位进行操作的算法和符号表示而呈现。这些算法描述和表示是数据处理领域中的技术人员为最有效地将它们的工作实质传达给本领域中的其它技术人员而使用的方法。这里，算法通常被认为是导致所期望结果的自洽的操作序列。这些操作是需要物理量的物理操控的操作。
然而，应当牢记，所有这些和类似的术语均意图与适当的物理量相关联，并且仅仅是应用于这些量的适宜标记。除非在以上讨论中另外明确地清楚说明，否则应当了解，全部本说明书中利用术语(诸如所附权利要求书中所阐述的术语)的讨论是指计算机系统或类似电子计算设备的动作和处理，其中计算机系统或电子计算设备操控计算机系统的寄存器和存储器内的表示为物理(例如，电子)量的数据，并将该数据转换成计算机系统存储器或寄存器或其它此类信息存储器、传输设备或显示设备内的类似地表示为物理量的其它数据。
附图中所示的技术可以使用存储和执行于一个或多个电子设备上的代码及数据来实施。此类电子设备使用计算机可读介质来存储和传送(在内部和/或通过网络与其它电子设备)代码及数据，其中计算机可读介质诸如是非暂时性计算机可读存储介质(例如，磁盘、光盘、随机存取存储器、只读存储器、闪存设备、相变存储器)和暂时性计算机可读传输介质(例如，电子、光学、声学或其它形式的传播信号—诸如载波、红外信号、数字信号)。
前述附图中所描绘的过程或方法可由处理逻辑来执行，其中处理逻辑包括硬件(例如，电路、专用逻辑等)、固件、软件(例如，实施在非暂时性计算机可读介质上)或二者的组合。尽管过程或方法在上文是依据一些顺序操作来描述的，但是应当了解，所描述的操作中的一些可按不同的次序执行。此外，一些操作可并行地而不是顺序地执行。
在以上说明书中，已经参考本发明的特定示例性实施方式对本发明的实施方式进行了描述。将显而易见的是，在不脱离如所附权利要求书中阐述的本发明的更广泛的精神和范围的情况下，可对本发明的实施方式做出多种修改。因此，说明书和附图应当被认为是说明性意义而不是限制性意义。

Claims (24)

1.用于使图像与内容项目匹配的计算机实施方法，所述方法包括：
接收响应于从客户端接收到的搜索查询而识别的内容项目；
确定所述搜索查询是否在产生所述内容项目的总搜索查询的预定百分比内；
响应于确定所述搜索查询在所述总搜索查询的预定百分比内，
基于与所述搜索查询相关联的一个或多个关键字，在图像存储器中搜索以识别一个或多个图像的列表；以及
选择所识别的图像中的一个以与所述内容项目匹配；
响应于确定所述搜索查询不在所述总搜索查询的预定百分比内，选择预定优选图像以与所述内容项目匹配；以及
将所述内容项目与所选择的图像合并以产生待传输至所述客户端的复合内容项目。
2.根据权利要求1所述的方法，其中，选择所识别的图像中的一个以与所述内容项目匹配是通过从所识别的图像的列表随机选择图像来执行的。
3.根据权利要求2所述的方法，其中，在图像存储器中搜索包括：使用预定排序算法将所识别的图像排序以从所述列表移除不相关图像，以及其中，所选择的图像是从排序为高于预定阈值的所识别的图像随机选择的。
4.根据权利要求1所述的方法，还包括：针对与所述内容项目相关联的所选择的图像中的每一图像，获取表示用户与所述图像的交互的图像访问统计。
5.根据权利要求4所述的方法，其中，所述图像访问统计包括所选择的图像中的每一图像的点击率。
6.根据权利要求4所述的方法，还包括：
从所选择的图像识别顶级图像，其中所述顶级图像在所选择的图像的其余部分中具有最高图像访问统计；
确定所述顶级图像是否与所述优选图像相同；以及
响应于确定所述顶级图像不是所述优选图像，用所述顶级图像代替所述优选图像。
7.根据权利要求1所述的方法，其中，所述优选图像是在过去的预定时间段内依据所述内容项目基于用户与所述优选图像的交互而被识别的。
8.根据权利要求1所述的方法，其中，所述预定百分比是与所述内容项目相关联的所有搜索查询的百分之5。
9.非暂时性机器可读介质，所述非暂时性机器可读介质中存储有指令，所述指令在被处理器执行时致使所述处理器执行使图像与内容项目匹配的操作，所述操作包括：
接收响应于从客户端接收到的搜索查询而识别的内容项目；
确定所述搜索查询是否在产生所述内容项目的总搜索查询的预定百分比内；
响应于确定所述搜索查询在所述总搜索查询的预定百分比内，
基于与所述搜索查询相关联的一个或多个关键字在图像存储器中搜索以识别一个或多个图像的列表；以及
选择所识别的图像中的一个以与所述内容项目匹配；
响应于确定所述搜索查询不在所述总搜索查询的预定百分比内，选择预定优选图像以与所述内容项目匹配；以及
将所述内容项目与所选择的图像合并以产生待传输至所述客户端的复合内容项目。
10.根据权利要求9所述的机器可读介质，其中，选择所识别的图像中的一个以与所述内容项目匹配是通过从所识别的图像的列表随机选择图像来执行的。
11.根据权利要求10所述的机器可读介质，其中，在图像存储器中搜索包括使用预定排序算法将所识别的图像排序以从所述列表移除不相关图像，以及其中，所选择的图像是从排序为高于预定阈值的所识别的图像随机选择的。
12.根据权利要求9所述的机器可读介质，其中，所述操作还包括：针对与所述内容项目相关联的所选择的图像中的每一图像，获取表示用户与所述图像的交互的图像访问统计。
13.根据权利要求12所述的机器可读介质，其中，所述图像访问统计包括所选择的图像中的每一图像的点击率。
14.根据权利要求12所述的机器可读介质，其中，所述操作还包括：
从所选择的图像识别顶级图像，其中所述顶级图像在所选择的图像的其余部分中具有最高图像访问统计；
确定所述顶级图像是否与所述优选图像相同；以及
响应于确定所述顶级图像不是所述优选图像，用所述顶级图像代替所述优选图像。
15.根据权利要求9所述的机器可读介质，其中，所述优选图像是在过去的预定时间段内依据所述内容项目基于用户与所述优选图像的交互而被识别的。
16.根据权利要求9所述的机器可读介质，其中，所述预定百分比是与所述内容项目相关联的所有搜索查询的百分之5。
17.数据处理系统，包括：
处理器；以及
存储器，联接到所述处理器以存储指令，所述指令在被所述处理器执行时致使所述处理器执行使图像与内容项目匹配的操作，所述操作包括：
接收响应于从客户端接收到的搜索查询而识别的内容项目；
确定所述搜索查询是否在产生所述内容项目的总搜索查询的预定百分比内；
响应于确定所述搜索查询在所述总搜索查询的预定百分比内，
基于与所述搜索查询相关联的一个或多个关键字在图像存储器中搜索以识别一个或多个图像的列表；以及
选择所识别的图像中的一个以与所述内容项目匹配；
响应于确定所述搜索查询不在所述总搜索查询的预定百分比内，选择预定优选图像以与所述内容项目匹配；以及
将所述内容项目与所选择的图像合并以产生待传输至所述客户端的复合内容项目。
18.根据权利要求17所述的系统，其中，选择所识别的图像中的一个以与所述内容项目匹配是通过从所识别的图像的列表随机选择图像来执行的。
19.根据权利要求18所述的系统，其中，在图像存储器中搜索包括使用预定排序算法将所识别的图像排序以从所述列表移除不相关图像，以及其中，所选择的图像是从排序为高于预定阈值的所识别的图像随机选择的。
20.根据权利要求17所述的系统，其中，所述操作还包括：针对与所述内容项目相关联的所选择的图像中的每一图像，获取表示用户与所述图像的交互的图像访问统计。
21.根据权利要求20所述的系统，其中，所述图像访问统计包括所选择的图像中的每一图像的点击率。
22.根据权利要求20所述的系统，其中，所述操作还包括：
从所选择的图像识别顶级图像，其中所述顶级图像在所选择的图像的其余部分中具有最高图像访问统计；
确定所述顶级图像是否与所述优选图像相同；以及
响应于确定所述顶级图像不是所述优选图像，用所述顶级图像代替所述优选图像。
23.根据权利要求17所述的系统，其中，所述优选图像是在过去的预定时间段内依据所述内容项目基于用户与所述优选图像的交互而被识别的。
24.根据权利要求17所述的系统，其中，所述预定百分比是与所述内容项目相关联的所有搜索查询的百分之5。
CN201710298671.4A 2016-08-23 2017-04-27 用于使图像与内容项目匹配的方法和系统及机器可读介质 Active CN107766399B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/245,076 US10296535B2 (en) 2016-08-23 2016-08-23 Method and system to randomize image matching to find best images to be matched with content items
US15/245,076 2016-08-23

Publications (2)

Publication Number Publication Date
CN107766399A true CN107766399A (zh) 2018-03-06
CN107766399B CN107766399B (zh) 2022-05-13

Family

ID=61240554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710298671.4A Active CN107766399B (zh) 2016-08-23 2017-04-27 用于使图像与内容项目匹配的方法和系统及机器可读介质

Country Status (2)

Country Link
US (1) US10296535B2 (zh)
CN (1) CN107766399B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112955911A (zh) * 2018-10-08 2021-06-11 谷歌有限责任公司 数字图像分类和注释

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10938878B2 (en) * 2017-05-16 2021-03-02 Red Hat, Inc. Separate cache servers for storing objects in different dedicated size ranges
US10706318B2 (en) * 2017-12-12 2020-07-07 Intel Corporation Systems, apparatus, and methods to improve object recognition
US11263062B2 (en) * 2019-02-06 2022-03-01 Fujitsu Limited API mashup exploration and recommendation
US11829420B2 (en) 2019-12-19 2023-11-28 Oracle International Corporation Summarized logical forms for controlled question answering
US11386176B2 (en) * 2020-01-13 2022-07-12 Oracle International Corporation Inferring logical clauses for answering complex multi-hop open domain questions
US11599725B2 (en) 2020-01-24 2023-03-07 Oracle International Corporation Acquiring new definitions of entities
US11681417B2 (en) * 2020-10-23 2023-06-20 Adobe Inc. Accessibility verification and correction for digital content
US20230048742A1 (en) * 2021-08-10 2023-02-16 Verizon Media Inc. Search query generation based upon received text
US11954167B1 (en) * 2022-12-21 2024-04-09 Google Llc Techniques for presenting graphical content in a search result

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020038299A1 (en) * 2000-03-20 2002-03-28 Uri Zernik Interface for presenting information
US8019742B1 (en) * 2007-05-31 2011-09-13 Google Inc. Identifying related queries
CN103207904A (zh) * 2013-03-28 2013-07-17 百度在线网络技术（北京）有限公司 搜索结果的提供方法及搜索引擎
US20160071162A1 (en) * 2014-09-10 2016-03-10 Sysomos L.P. Systems and Methods for Continuous Analysis and Procurement of Advertisement Campaigns
CN105786858A (zh) * 2014-12-24 2016-07-20 深圳富泰宏精密工业有限公司 信息搜索系统及方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775436B1 (en) * 2004-03-19 2014-07-08 Google Inc. Image selection for news search
US7580568B1 (en) * 2004-03-31 2009-08-25 Google Inc. Methods and systems for identifying an image as a representative image for an article
US20070282797A1 (en) * 2004-03-31 2007-12-06 Niniane Wang Systems and methods for refreshing a content display
US20070133947A1 (en) * 2005-10-28 2007-06-14 William Armitage Systems and methods for image search
US20100121844A1 (en) * 2008-11-07 2010-05-13 Yahoo! Inc. Image relevance by identifying experts
US9836482B2 (en) * 2009-12-29 2017-12-05 Google Inc. Query categorization based on image results
US20120084291A1 (en) * 2010-09-30 2012-04-05 Microsoft Corporation Applying search queries to content sets
US8768873B2 (en) * 2011-05-03 2014-07-01 Space-Time Insight Space-time-node engine signal structure
US8560517B2 (en) * 2011-07-05 2013-10-15 Microsoft Corporation Object retrieval using visual query context
US9519661B2 (en) * 2012-04-17 2016-12-13 Excalibur Ip, Llc Method and system for updating a background picture of a web search results page for different search queries
US9292552B2 (en) * 2012-07-26 2016-03-22 Telefonaktiebolaget L M Ericsson (Publ) Apparatus, methods, and computer program products for adaptive multimedia content indexing
US20140211227A1 (en) * 2013-01-30 2014-07-31 Hewlett-Packard Indigo, B.V. Methods and Systems for Monitoring an Image Capturing Device
US9292162B2 (en) * 2013-04-08 2016-03-22 Art.Com Discovering and presenting décor harmonized with a décor style
US20160132931A1 (en) * 2013-05-29 2016-05-12 Ron LEVINSON Method of associating advertisements to images
US9436946B2 (en) * 2013-07-31 2016-09-06 Google Inc. Selecting content based on entities present in search results
US20170185670A1 (en) * 2015-12-28 2017-06-29 Google Inc. Generating labels for images associated with a user
US20170249339A1 (en) * 2016-02-25 2017-08-31 Shutterstock, Inc. Selected image subset based search

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020038299A1 (en) * 2000-03-20 2002-03-28 Uri Zernik Interface for presenting information
US8019742B1 (en) * 2007-05-31 2011-09-13 Google Inc. Identifying related queries
CN103207904A (zh) * 2013-03-28 2013-07-17 百度在线网络技术（北京）有限公司 搜索结果的提供方法及搜索引擎
US20160071162A1 (en) * 2014-09-10 2016-03-10 Sysomos L.P. Systems and Methods for Continuous Analysis and Procurement of Advertisement Campaigns
CN105786858A (zh) * 2014-12-24 2016-07-20 深圳富泰宏精密工业有限公司 信息搜索系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112955911A (zh) * 2018-10-08 2021-06-11 谷歌有限责任公司 数字图像分类和注释

Also Published As

Publication number Publication date
US20180060359A1 (en) 2018-03-01
CN107766399B (zh) 2022-05-13
US10296535B2 (en) 2019-05-21

Similar Documents

Publication Publication Date Title
CN107145496B (zh) 基于关键词将图像与内容项目匹配的方法
CN107766399A (zh) 用于使图像与内容项目匹配的方法和系统及机器可读介质
CN107480158B (zh) 基于相似性得分评估内容项目与图像的匹配的方法和系统
CN107463591B (zh) 响应于搜索查询对待与内容匹配的图像动态排序的方法和系统
CN107784059A (zh) 用于搜索和选择图像的方法和系统以及机器可读媒体
CN107103016A (zh) 基于关键词表示使图像与内容匹配的方法
CN103631794B (zh) 一种用于对搜索结果进行排序的方法、装置与设备
CN107145497B (zh) 基于图像和内容的元数据选择与内容匹配的图像的方法
CN107346326A (zh) 用于生成神经网络模型的方法和系统
CN107463592B (zh) 用于将内容项目与图像匹配的方法、设备和数据处理系统
CN107491465A (zh) 用于搜索内容的方法和装置以及数据处理系统
CN102063453A (zh) 一种用于基于用户的需求进行搜索的方法和设备
US20190172075A1 (en) Maintaining Dynamic Product Catalogs By Tracking Current Trends
US10275472B2 (en) Method for categorizing images to be associated with content items based on keywords of search queries
CN108027820A (zh) 用于产生短语黑名单以响应于搜索查询来防止某些内容出现在搜索结果中的方法和系统
CN107273393A (zh) 用于移动设备的图像搜索方法、装置及数据处理系统
CN107766398B (zh) 用于使图像与内容项目匹配的方法、装置和数据处理系统
CN107784061A (zh) 确定基于图像的内容样式的方法和系统及机器可读介质
Saberi¹ et al. What does the future of search engine optimization hold?
Saberi¹ et al. Past, present and future of search engine optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant