CN107784061B - 确定基于图像的内容样式的方法和系统及机器可读介质 - Google Patents

确定基于图像的内容样式的方法和系统及机器可读介质 Download PDF

Info

Publication number
CN107784061B
CN107784061B CN201710329959.3A CN201710329959A CN107784061B CN 107784061 B CN107784061 B CN 107784061B CN 201710329959 A CN201710329959 A CN 201710329959A CN 107784061 B CN107784061 B CN 107784061B
Authority
CN
China
Prior art keywords
content
style
image
list
phrases
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710329959.3A
Other languages
English (en)
Other versions
CN107784061A (zh
Inventor
蒋一飞
李栋
庄立
朱帆
孔旗
杨光
王京傲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN107784061A publication Critical patent/CN107784061A/zh
Application granted granted Critical
Publication of CN107784061B publication Critical patent/CN107784061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

根据一个实施方式，响应于描述内容项目的内容描述，对内容描述执行分析。基于分析来识别具有与所述内容描述有关的图像内容的图像。基于分析从内容描述导出一个或多个短语，所述一个或多个短语概述所述内容描述。基于图像与一个或多个短语之间的关系来确定内容样式列表。基于从内容样式列表选择的内容样式来生成具有所述图像和所述一个或多个短语的复合内容项目。所述图像和所述一个或多个短语是根据与所选择的内容样式对应的布局来布置的。

Description

确定基于图像的内容样式的方法和系统及机器可读介质
技术领域
本发明的实施方式大体涉及搜索内容。更具体地，本发明的实施方式涉及响应于搜索查询来确定用于使图像与内容匹配的内容样式。
背景技术
大多数搜索引擎通常在它们的操作期间执行从运行于客户端设备上的浏览器来搜索网页。搜索引擎接收由用户输入的搜索词，以及检索与该搜索词相关联的网页搜索结果列表。搜索引擎基于某些标准将搜索结果显示为搜索列表的一系列子集。在搜索操作期间使用的一般标准是搜索词是完整地还是部分地出现在给定网页上、搜索字串出现在搜索结果中的次数、字母次序等。此外，用户可以通过点击鼠标按钮来确定打开链接以打开并浏览。可由搜索引擎监控和采集用户与搜索结果的一些交互和/或用户信息，以随后提供更好的搜索。
通常，响应于搜索查询，执行搜索以识别和检索内容项目列表。然后，将内容项目传回到搜索请求器。常规搜索引擎将照原样传回大多数内容项目而不作修改。搜索结果中的一些内容项目仅仅是纯文本或描述，其可认为是无吸引力的或令人厌烦的。有时候，如果内容项目备有与该内容项目有关的某些图像，则搜索结果中的内容将更得体或更具吸引力。然而，使适当图像与内容项目匹配是相当有挑战性的。以对用户最具吸引力的适当样式来布置内容项目和相关图像同样具有挑战性。
发明内容
本发明的目的是提供用于确定基于图像的内容样式的计算机实施方法和数据处理系统及非暂时性机器可读介质。
根据本发明的一方面，提供了用于确定基于图像的内容样式的计算机实施方法，所述方法包括：响应于描述内容项目的内容描述，对所述内容描述进行分析；基于所述分析来识别具有与所述内容描述有关的图像内容的图像；基于所述分析从所述内容描述导出一个或多个短语，所述一个或多个短语概述所述内容描述；基于所述图像与所述一个或多个短语之间的关系来确定内容样式列表，其中所述内容样式列表包括多个内容样式；以及基于从所述内容样式列表选择的内容样式来生成具有所述图像和所述一个或多个短语的复合内容项目，所述图像和所述一个或多个短语根据与所选择的内容样式对应的布局来布置。
根据本发明的另一方面，非暂时性机器可读介质，所述非暂时性机器可读介质中存储有指令，所述指令在由处理器执行时致使所述处理器执行确定基于图像的内容样式的操作，所述操作包括：响应于描述内容项目的内容描述，对所述内容描述进行分析；基于所述分析来识别具有与所述内容描述有关的图像内容的图像；基于所述分析从所述内容描述导出一个或多个短语，所述一个或多个短语概述所述内容描述；基于所述图像与所述一个或多个短语之间的关系来确定内容样式列表，所述内容样式列表包括多个内容样式；以及基于从所述内容样式列表选择的内容样式来生成具有所述图像和所述一个或多个短语的复合内容项目，所述图像和所述一个或多个短语根据与所选择的内容样式对应的布局来布置。
根据本发明的又一方面，提供了数据处理系统，所述数据处理系统包括处理器和存储器，其中所述存储器联接至所述处理器以用于存储指令，所述指令在由所述处理器执行时致使所述处理器执行确定基于图像的内容样式的操作，所述操作包括：响应于描述内容项目的内容描述，对所述内容描述执行分析；基于所述分析来识别具有与所述内容描述有关的图像内容的图像；基于所述分析从所述内容描述导出一个或多个短语，所述一个或多个短语概述所述内容描述；基于所述图像与所述一个或多个短语之间的关系来确定内容样式列表，所述内容样式列表包括多个内容样式；以及基于从所述内容样式列表选择的内容样式来生成具有所述图像和所述一个或多个短语的复合内容项目，所述图像和所述一个或多个短语根据与所选择的内容样式对应的布局来布置。
附图说明
本发明的实施方式在附图的各图中以示例而非限制的方式示出，附图中相同的附图标记指代类似的元件。
图1A和图1B是示出根据本发明一些实施方式的用于使图像与内容项目匹配的系统配置的示例的框图。
图2是示出根据本发明一个实施方式的用于使图像与内容系统匹配的图像选择系统的示例的框图。
图3是根据本发明一个实施方式的关键字-图像匹配表的示例。
图4是示出根据本发明一个实施方式的用于图像映射的系统的框图。
图5是根据本发明一个实施方式的内容样式推荐过程的处理流程。
图6是示出根据本发明一个实施方式的图像匹配系统的示例的框图。
图7A到图7C是示出根据本发明某些实施方式的内容样式的示例。
图8是示出根据本发明一个实施方式的生成内容样式的过程的流程图。
图9是示出根据一个实施方式的数据处理系统的框图。
具体实施方式
以下将参考所讨论的细节来描述本发明的多种实施方式和方面，附图将示出多种实施方式。以下描述和附图是对本发明的说明，而不应当解释为限制本发明。描述了许多特定细节以便提供对本发明的多种实施方式的全面理解。然而，在某些实例中，为了提供对本发明的实施方式的简洁讨论，并未描述众所周知的或常规的细节。
说明书中对“一个实施方式”或“一实施方式”的引述意指结合该实施方式所描述的特定特征、结构或特性可以包括在本发明的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指代同一实施方式。
根据一些实施方式，利用内容样式确定或推荐系统以基于多种信息(诸如，搜索查询、内容项目、图像以及围绕情况的其它元数据)来生成候选内容样式列表。每一内容样式包括描述内容项目和与该内容项目相关联的图像之间的特定布置或布局的信息。给定内容项目(例如，文本描述)，内容样式确定系统确定候选内容样式列表和与该内容项目相关联的可选的一个或多个图像。
通过基于关键字集合来进行搜索以识别图像，该关键字集合基于产生内容项目的搜索查询、与提供内容项目的内容提供者相关联的一个或多个关键字和/或从内容项目提取的一个或多个关键字而确定。使用适当的排序算法将图像排序和分类。针对所确定的候选内容样式中的每一者，选择图像中的一个，并根据相应候选内容样式的布局来布置该图像与内容项目。然后，将候选内容样式列表传输至远程样式选择系统(例如，内容提供者系统)，以选择其中一个候选样式。然后，将所选样式(其中具有内容项目和相关联的图像)呈现给客户端设备的用户，或可替代地，将所选样式存储在内容数据库中以供随后搜索。也可将所选样式存储于在线搜索系统中，作为用于随后进行内容和图像在线搜索的内容样式模板。
根据一个实施方式，响应于描述内容项目的内容描述，对该内容描述进行分析。基于分析来识别具有与内容描述有关的图像内容的图像。基于分析从内容描述导出一个或多个短语，该一个或多个短语概述内容描述。基于图像与一个或多个短语之间的关系来确定内容样式列表。基于从内容样式列表选择的所选内容样式来生成具有图像和一个或多个短语的复合内容项目。该图像和该一个或多个短语根据与所选内容样式对应的布局被布置在复合内容项目内。
图1A和图1B是示出根据本发明一些实施方式的用于使图像与内容项目匹配的系统配置的示例的框图。参考图1A，系统100包括但不限于通过网络103通信地联接到服务器104的一个或多个客户端设备101-102。客户端设备101-102可以是任何类型的客户端设备，诸如，个人计算机(例如，台式计算机、膝上型计算机和平板计算机)、“薄”客户端、个人数字助理(PDA)、支持网络的设备、智能手表或移动电话(例如，智能手机)等。网络103可以是任何类型的网络，诸如有线或无线的局域网(LAN)、广域网(WAN)(诸如，互联网)或其组合。
服务器104可以是任何种类的服务器或服务器集群，诸如网络或云服务器、应用服务器、后端服务器或其组合。在一个实施方式中，服务器104包括但不限于搜索引擎120、图像选择模块110和关键字/图像匹配规则115。服务器104还包括允许客户端(诸如，客户端设备101-102)访问由服务器104提供的资源或服务的接口(未示出)。该接口可包括网络接口、应用编程接口(API)和/或命令行接口(CLI)。
例如，客户端(在此示例中，为客户端设备101的客户端应用(例如，网络浏览器、移动应用))可向服务器104发送搜索查询，以及该搜索查询由搜索引擎120通过网络103经由接口来接收。该搜索查询可经由多种通信协议(诸如，传输控制协议和互联网协议(TCP/IP)协议)来接收。响应于该搜索查询，搜索引擎120从该搜索查询提取一个或多个关键字(也称为搜索词)。搜索引擎120在内容数据库133中执行搜索以识别与关键字有关的内容项目的列表，该内容数据库可包括主要内容数据库130和/或辅助内容数据库131。
主要内容数据库130(也称为主内容数据库)可以是一般内容数据库，而辅助内容数据库131(也称为二级或附属内容数据库)可以是特殊或赞助内容数据库。搜索引擎120向客户端设备101传回具有列表中的至少一些内容项目的搜索结果页面，以在客户端设备101中呈现。搜索引擎120可以是从百度公司可获得的
Figure BDA0001292233910000051
搜索引擎，或可替代地，搜索引擎120可表示
Figure BDA0001292233910000052
搜索引擎、Microsoft BingTM搜索引擎、
Figure BDA0001292233910000053
搜索引擎或一些其它搜索引擎。
搜索引擎(诸如，网络搜索引擎)是被设计成在万维网上搜索信息的软件系统。搜索结果通常被呈现在一排结果(通常称为搜索引擎结果页面)中。信息可以是网页、图像和其它类型的文件的混合。一些搜索引擎还挖掘数据库或开放式目录中可用的数据。与仅通过人工编辑器来维持的网络目录不同，搜索引擎还通过在网络爬虫上运行算法来维持实时信息。
网络搜索引擎通过存储与多个网页相关的信息来运行，它们从页面的超文本标记语言(HTML)标记来检索网页。通过网络爬虫来检索这些页面，其中网络爬虫是跟随网站上的每一链接的自动化网络爬虫。然后，搜索引擎分析每一页面的内容以确定其应如何被索引(例如，可以从标题、页面内容、标头或称为元标签的特殊字段来提取字)。将与网页相关的数据存储在索引数据库中，以供在稍后的查询中使用。索引帮助尽可能快地找到与查询有关的信息。
当用户将查询输入到搜索引擎中时(通常通过使用关键字)，该引擎检查其索引并根据其标准提供最匹配网页的列表，通常具有包含文档标题及有时是部分文本的简短概述。索引是由与数据一起存储的信息及信息的索引方法建构而成。搜索引擎查找与输入时完全一致的字或短语。一些搜索引擎提供称为接近搜索的先进的特征，接近搜索允许用户定义关键字之间的距离。还存在基于概念的搜索，其中该研究涉及在包含你所搜索的字或短语的页面上使用统计分析。同样地，自然语言查询允许用户以与用户向人询问问题的相同形式来键入问题。
搜索引擎的有用性取决于其所回馈的结果集的相关性。虽然包括特定字或短语的网页可能有数百万个，但一些页面可能比其它页面更相关、更受欢迎或更有权威。大多数搜索引擎采用对结果排序的方法以先提供“最好”结果。搜索引擎如何确定哪些页面是最匹配者以及应按什么次序来示出结果，是随引擎的不同而广泛变化的。
返回参考图1A，根据一个实施方式，响应于在服务器104处从客户端设备(在此示例中，为客户端设备101)接收到的搜索查询，搜索引擎120在内容数据库133(诸如，主要内容数据库130和/或辅助内容数据库131)中执行搜索，以产生内容项目列表。可经由统一资源链接(URL)和/或统一资源标识符(URI)使内容项目中的每一内容项目与特定内容提供者的特定网站的特定网页相关联。可替代地，内容项目中的一些可以是由作为赞助商的多种内容提供者提供和赞助的赞助内容项目。在一个实施方式中，主要内容数据库130存储已由网络爬虫采集的一般内容项目(例如，非赞助内容)。
辅助内容数据库131存储与特定、已知或预定的内容提供者(例如，广告商)相关联的特定、特殊或赞助内容项目(例如，广告或Ad)。在一个实施方式中，响应于搜索查询，基于该搜索查询来确定关键字第一集合，其中关键字包括搜索查询中所指定的搜索词和与搜索词语义上有关的关键字。然后，将关键字第一集合与跟一个或多个内容提供者相关联的关键字(例如，投标字)其它集合匹配。如果存在匹配，则从辅助内容数据库131识别并检索一个或多个相应内容项目。可存在用于匹配目的的查询关键字-内容提供者关键字匹配数据结构或表(未示出)。
关键字/图像匹配规则/表115(也称为图像索引)包括许多映射条目，每一映射条目将一个或多个关键字映射到识别一个或多个图像的一个或多个图像ID。关键字/图像匹配规则/表115可以以多种数据结构(诸如，表或数据库)来实施。基于图像ID，可以从存储在图像存储器125中的图像122来识别和检索候选图像列表，其中图像存储器125还可存储描述图像122的图像元数据(未示出)。在一个实施方式中，图像122及其各自的元数据可通过一个或多个图像或网络爬虫来获得，所述网络爬虫被设计成爬取网络以采集图像及其周围的元数据。图像122可以是无特权的、无著作权保护的、适当许可的图像，或可以是任何其它授权的图像。
根据一个实施方式，可在接收搜索查询之前(例如，离线)先编译和生成关键字/图像匹配规则115。一组关键字/图像匹配规则115被配置成将一个或多个关键字映射到识别一个或多个图像的一个或多个图像ID。关键字可被识别为在搜索查询中更有可能用到的关键字、与某些内容项目相关联的关键字和/或与某些内容提供者相关联的关键字。可基于对用户搜索活动或搜索历史的分析或跟踪来识别这种关键字，其中用户搜索活动或搜索历史可被编译一段时间。
随后，当搜索引擎120从客户端设备在线接收到针对搜索内容的搜索查询时，在内容数据库133中执行搜索以检索内容项目列表。另外，针对内容项目中的至少一个，由例如图像选择系统110执行对搜索查询、内容项目和/或提供内容项目的内容提供者的分析，以确定关键字集合。该关键字可包括与搜索查询相关联的一个或多个关键字(例如，搜索词)、与内容项目相关联的一个或多个关键字(例如，从内容项目的标题和/或描述获得的)和/或与提供内容项目的内容提供者相关联的一个或多个关键字(例如，投标字)。该关键字还可包括语义上类似或具有与原始关键字的含义相同的某些关键字(例如，同义字或短语)。基于关键字，使用一组关键字/图像匹配规则115从图像存储器125识别一个或多个图像的列表。
根据一个实施方式，图像选择系统110可使用多种排序算法或排序模型将所识别的图像排序，其中排序算法或排序模型由图像映射系统150产生和配置。针对在内容数据库133中找到的内容项目中的至少一个，从候选图像列表选择图像以与该内容项目相关联。所选择的图像可与该内容项目合并，以产生合并的或复合内容项目。例如，所选择的图像可充当内容项目的背景图像，或可替代地，所选择的图像可定位成与内容项目互补或并置。将经合并的内容项目和图像的列表作为搜索结果的一部分传回到客户端设备101。
应注意，仅出于说明的目的描述了服务器104的配置。服务器104可以是向多种端部用户设备提供前端搜索服务的网络服务器。可替代地，服务器104可以是应用服务器或后端服务器，其向前端服务器(例如，网络服务器或一般内容服务器)提供特定或特殊的内容搜索服务以及使图像与内容数据库或服务器的内容项目匹配和/或整合。图像映射系统150也可实施为单独的服务器，其负责基于内容数据库或服务器133的内容项目及其各自相关联的关键字来创建关键字/图像匹配规则或表115。
其它架构或配置也可能是可适用的。例如，如图1B中所示，内容数据库133可通过网络被维持和托管在作为内容服务器的单独的服务器中。类似地，图像存储器125可被维持和托管在作为其中具有图像搜索引擎的图像服务器的单独的服务器中。服务器133和125可以是网络服务器、应用服务器或后端服务器。可由与服务器104的实体或组织相同的实体或组织来组织和提供内容服务器133和/或图像服务器125。可替代地，可由单独的实体或组织(例如，第三方提供者)来维持或托管内容服务器133和/或图像服务器125，所述实体或组织负责采集内容数据库133中的内容和图像122及其元数据。
还应注意，内容数据库/服务器133可包括主要内容数据库130和辅助内容数据库131。主要内容数据库130也可实施或维持在单独的内容服务器(称为主要内容服务器)中。类似地，辅助内容数据库131可实施或维持在单独的内容服务器(称为辅助或附属内容服务器)中。可使用多种匹配公式使从两个内容数据库130-131获得的内容项目与从图像存储器/服务器125获得的图像匹配。可替代地，将使仅从主要内容数据库130和辅助内容数据库131中的一者获得的内容项目与从图像存储器/服务器125获得的图像匹配。例如，可使从辅助内容数据库131获得的内容项目(例如，赞助内容)与从图像存储器/服务器125获得的图像匹配，而从主要内容数据库130获得的内容项目(例如，一般内容)可作为搜索结果的一部分传回到客户端设备而不作修改。
根据一个实施方式，当将内容项目和图像合并成复合内容项目时，可根据内容样式将内容项目和图像布置或定位在复合内容项目中。可从被确定为与内容项目、提供内容项目的内容提供者、图像及其图像元数据和/或搜索查询有关的内容样式列表来选择内容样式。内容样式可由内容样式模板165来表示，该内容样式模板可被实时利用。内容样式是指指定应如何将内容项目和图像定位并布置在复合内容项目内的一组样式元数据，包括内容项目和图像的相对位置、内容项目和/或图像的大小、内容项目的色彩等。
根据一个实施方式，图像映射系统150包括内容样式推荐系统160以用于生成(例如，离线)内容样式列表并推荐待被用于使内容项目与图像匹配的内容样式中的至少一些。图像映射系统150还可提供内容样式模板列表，诸如待由服务器104利用(例如，在线)的样式模板165。可替代地，针对由内容提供者提供的特定内容项目，样式推荐系统160可识别合适的内容样式和适当的图像，以及根据所识别的内容样式来渲染复合内容项目。然后，将复合内容项目存储在内容数据库(诸如，辅助内容数据库131)中。结果，可以从内容数据库直接在线识别并检索复合内容项目而不进行渲染。
图2是示出根据本发明一个实施方式的用于使图像与内容项目匹配的系统的框图。系统200可实施为图1A至图1B的系统100的一部分。参考图2，当从客户端设备(例如，图1的客户端设备101)接收到搜索查询201时，搜索引擎120在内容数据库或内容服务器133中执行第一搜索，以基于与搜索查询201相关联的一个或多个关键字或搜索词来识别和检索内容项目的第一列表。另外，对于内容项目中的至少一个内容项目，搜索引擎120与图像选择系统110通信，以使用一组图像匹配规则115基于与搜索查询201和/或内容项目及其内容提供者相关联的关键字来识别来自图像存储器或图像服务器125的图像列表。搜索引擎120和/或图像选择系统110可对搜索查询和内容项目/内容提供者执行分析，以导出关键字的列表。可在基于分析(例如，潜在语义分析)从原始关键字扩展的扩展关键字的列表上执行在内容数据库/服务器133和/或图像存储器/服务器125中执行的搜索。
在一个实施方式中，图像选择模块110和/或关键字/图像匹配规则115可与搜索引擎120整合。关键字/图像匹配规则115可在先前例如由作为数据分析系统的图像映射系统150来配置或编译。图像映射系统150可被托管在经由API或通过网络通信地联接到系统200的单独的系统或服务器中。图像映射系统150可包括允许用户或管理员配置一组关键字/图像匹配规则的用户接口，然后可由处理逻辑使用预定算法来扩展和排序该组关键字/图像匹配规则。
类似地，可由图像采集系统230来采集存储在图像存储器/服务器125中的图像，其中图像采集系统可以是通过网络通信地联接到系统200的单独的系统或服务器。可由与系统200的实体或组织相同或不同的实体或组织来操作图像映射系统150和/或图像采集系统230。在此示例中，可将图像缓存和存储在相对于系统200而言为本地(例如，相对于服务器104而言为本地)的图像存储器中。可替代地，可由与图像采集系统230相关联的指定服务器来维持图像，图像选择模块110经由API与图像采集系统230通信以识别和检索图像列表。
基于从图像存储器/服务器125检索的图像列表，图像选择模块110根据排序算法对图像排序。然后，使图像中的一些与从内容数据库/服务器133识别和检索的内容项目中的一些匹配。然后，将匹配的内容项目与图像整合到已整合的内容项目中。在一个实施方式中，可将图像选择为内容项目的背景图像或补充图像。例如，内容项目211可以是描述或文本，以及图像212可被选择为内容项目211的背景图像。以适当的方式，基于贯穿本说明书描述的匹配技术来选择图像212以补充或描述内容项目211，或反之亦然。例如，内容项目211的内容与如图像212中所示的内容有关，或反之亦然。可将已整合的图像212与内容项目211作为搜索结果215的一部分传回到客户端设备。
根据一个实施方式，当将内容项目和图像合并成复合内容项目时，可根据内容样式将内容项目和图像布置或定位在复合内容项目中。可从被确定为与内容项目、提供内容项目的内容提供者、图像及其图像元数据和/或搜索查询有关的内容样式列表来选择内容样式。内容样式可由内容样式模板165来表示，所述内容样式模板165可被实时利用。内容样式是指指定应如何将内容项目和图像定位并布置在复合内容项目内的一组样式元数据，包括内容项目和图像的相对位置、内容项目和/或图像的大小、内容项目的色彩等。
根据一个实施方式，图像映射系统150包括内容样式推荐系统160以用于生成(例如，离线)内容样式列表并推荐待被用于使内容项目与图像匹配的内容样式中的至少一些。图像映射系统150还可提供内容样式模板列表，诸如待由服务器104利用(例如，在线)的样式模板165。可替代地，针对由内容提供者提供的特定内容项目，样式推荐系统160可识别合适的内容样式和适当的图像，并根据所识别的内容样式来渲染复合内容项目。然后，将复合内容项目存储在内容数据库(诸如，辅助内容数据库131)中。结果，可以从内容数据库直接在线识别并检索复合内容项目而不进行渲染。应注意，如图2中所示的部件或模块中的一些或全部可以以软件、硬件或其组合来实施。
图3是根据本发明一个实施方式的关键字-图像匹配表的示例。参考图3，关键字/图像匹配表300可表示如上文所描述的图1A至图1B和图2的关键字/图像匹配规则115。在一个实施方式中，关键字/图像匹配表300包括许多匹配条目。每一匹配条目将一个或多个关键字301映射到一个或多个图像ID 302，其中图像ID 302识别图像存储器或图像服务器(诸如，图像存储器/服务器125)中的相应图像。基于关键字对匹配表300进行索引。在此示例中，第一条目将词“鲜花”映射到图像1-5。第二条目将词“北京鲜花”仅映射到图像1。第三条目将词“上海鲜花”映射到图像2。第四条目将词“鲜花递送”映射到图像1-2和图像4。因此，如果搜索查询包含“北京鲜花”，则图像1-5可被识别。然而，图像1可具有更高排序。
图4是示出根据本发明一个实施方式的用于图像映射的系统的框图。系统400可实施为图1A至图1B的系统或服务器的一部分。参考图4，系统400包括但不限于关键字/图像映射系统150、图像存储器125和关键字/图像匹配规则115。在一个实施方式中，系统400被用来配置并生成一组关键字/图像匹配规则115以将某些关键字映射到存储在图像存储器125中的图像。
图像存储器125可通过网络以本地或远程的方式被维持在指定的服务器中。被用来在查询/图像匹配规则115中进行映射的关键字可以是在搜索查询中更有可能用到的关键字。图像存储器125存储图像122及其各自的元数据124。关键字/图像匹配规则115包括关键字/图像映射表421和图像排序算法或模型422。可将关键字/图像映射表421实施为如图3中所示的任一映射表。
在一个实施方式中，图像映射系统150包括匹配规则配置模块431、数据采集模块432、分析模块433、过滤/匹配模块434和机器学习引擎或训练模块435。模块431-435可以以软件、硬件或其组合来实施。在一个实施方式中，可利用匹配规则配置模块431以例如响应于经由用户接口的用户请求来配置关键字/图像映射表421。关键字/图像映射表421包括许多映射条目。每一映射条目将关键字映射到一个或多个图像ID，所述一个或多个图像ID识别存储在图像存储器125中的图像122中的一个或多个图像。可由数据采集模块432周期性地采集并更新图像122和元数据124。数据采集模块432可采用一些网络爬虫来爬取和采集图像及其周围的信息或元数据124。
在一个实施方式中，元数据124包括描述图像122的多种信息或数据，其中元数据可由指定的数据采集模块或系统(诸如，数据采集模块432)来获得或采集。例如，可在获得相应图像的时候采集图像元数据。图像元数据可包括从中采集到图像的源及采集时间。从中获得图像的源可以是附有图像的网页或文档。可采集地址，诸如源页面的统一资源定位器(URL)。另外，可对源页面的内容进行分析以确定可能由图像表示的内容。还可对图像执行图像辨识以确定图像的内容(例如，图像是不是与人、物体、风景、文本或其组合相关)。另外，还可采集图像的属性，诸如纵横比、像素计数、亮度、对比度、获得图像的时间和样式(例如，风景与肖像、图像大小)。此外，用户与图像和/或关键字在过去的先前交互(例如，点击率)还可基于与图像相关联的历史交互来确定。这些信息可被编译为图像124的元数据的一部分，出于计分的目的，也称为图像的特征。
基于元数据，过滤和匹配模块434执行过滤操作，以通过匹配关键字与特定图像的元数据之间的语义意义来确定特定关键字是否充分描述图像。例如，如果关键字出现在从中采集到图像的源页面中，则该关键字与该图像有关。类似地，如果关键字响应于图像辨识而描述图像的内容的至少一部分，则该关键字可以是有关的。如果基于对元数据的分析确定关键字并未充分描述特定图像或反之亦然，则可移除该特定图像。如果确定用户与特定图像的先前交互低于预定阈值(例如，较少的用户交互、较小的用户兴趣或不受欢迎)，则可从关键字/图像映射表421移除该特定图像。应注意，在整个本申请中，出于说明的目的，术语“匹配规则”、“映射规则”、“匹配表”和“映射表”是可互换术语。然而，它们可以以多种数据结构或格式来实施。
在一个实施方式中，分析模块433对图像122的至少元数据124执行分析，以提取或获得与图像122及其元数据124相关联的各种图像特征。以该分析为基础，基于图像特征(诸如，上文列出的图像特征)来确定一组特征计分公式或算法。针对每一特征，可生成计分公式或算法。另外，还确定匹配质量计分公式或算法。可替代地，可由机器学习引擎435来训练或学习特征和/或特征得分，以创建用于确定特定图像的排序得分的排序模型。然后，可以将这些算法和/或模型存储为图像排序算法/模型422的一部分，图像排序算法/模型422可以被在线地用来响应于搜索查询而将待与内容项目匹配的候选图像排序。可响应于搜索查询使用关键字/图像映射表421来识别候选图像。
根据一个实施方式，图像映射系统150还包括内容样式推荐系统160(也称为内容样式确定系统)以用于基于内容项目、内容项目的内容提供者和/或待与内容项目匹配的图像来确定和推荐用于渲染复合内容项目的内容样式。内容样式是指指定应如何将内容项目和图像定位并布置在复合内容项目内的一组样式元数据，包括内容项目和图像的相对位置、内容项目和/或图像的大小、内容项目的色彩等，诸如如图7A至图7C中所示的样式。
在一个实施方式中，内容样式推荐系统160包括但不限于图像搜索模块401、分析模块402、样式生成模块403、样式选择模块404。针对待与图像匹配的给定内容项目，图像搜索模块401搜索与该内容项目有关的图像。分析模块402对该内容项目进行分析，以获得概述或描述该内容项目的一个或多个短语或句子。样式生成模块403生成一组候选样式，每一候选样式具有描述样式的布局的样式元数据。样式选择模块404选择其中一个内容样式。然后，根据由所选内容样式指定的布局，基于内容项目和所匹配的图像来渲染复合内容项目。
图5是根据本发明一个实施方式的内容样式推荐过程的处理流程。参考图5，接收待与图像匹配的内容项目501，其中内容项目501是基于与提供内容项目501的内容提供者相关联的一个或多个关键字(例如，广告商的投标字)或与搜索查询相关联的一个或多个关键字来识别的。响应于内容项目501，图像搜索模块401在图像存储器125中执行搜索以识别与内容项目501有关的一个或多个图像。在一个实施方式中，图像搜索模块401可调用图像选择模块110以分析、搜索和排序如整个本申请中所描述的候选图像列表。另外，分析模块402对内容项目501的内容描述进行分析(例如，文本分析)以导出概述和描述内容项目501的一个或多个短语或句子503。短语/句子503可以是与内容项目501相关联的内容描述的子集。
基于一个或多个图像502和一个或多个短语/句子503，样式生成模块403基于样式模板165生成候选样式列表。每一候选内容样式504包含图像502中的至少一个和一个或多个短语/句子503。可根据与候选内容样式对应的样式模板来布置图像502和短语/句子503。候选内容样式的示例被示出为图7A至图7C中的复合内容项目，其中图像和相关联的短语/句子(由线表示)被定位在每一复合内容项目内不同的相对位置处。
在一个实施方式中，样式生成模块403分析图像502和短语/句子503以从样式模板165选择一个或多个样式模板。样式生成模块403可混合图像502和短语/句子503中的不同者，以及根据一组样式匹配规则(未示出)使其与样式模板匹配。内容样式的样式模板包括样式元数据，样式元数据指定应如何将短语/句子和图像定位并布置在复合内容项目内(包括短语/句子和图像的相对位置、短语/句子和/或图像的大小、短语/句子的色彩等)
例如，为推广瓶装水，可存在健康方面和便利方面。健康方面是指喝水通常是健康的看法，即。便利方面是指更容易被手握住的水瓶形状。如果主要方案是推广健康方面，则使用短语/句子是更有效的。另一方面，如果主要方案是推广便利方面，则展示瓶子的瓶身形状的图像可能是更为有效的。因此，样式生成模块403可依据关注的重点(健康方面或便利方面)来选择不同的样式模板。如果重点是图像，则可将图像定位在对用户最具吸引力的位置处，诸如复合内容项目的中心。如果重点是短语/句子，则可将短语/句子定位在对用户最具吸引力的位置处(诸如，中心)以及用更大的尺寸或更亮的色彩等。
在一个实施方式中，可选地，可将候选样式(例如，复合内容项目)传输到样式选择系统510以选择候选样式中的一个。然后，将所选样式505(即，所选复合内容项目)存储在内容数据库(诸如，图1A至图1B的内容数据库133)中，以供随后进行在线内容搜索。在一个实施方式中，样式选择系统510可与提供内容项目501的内容提供者相关联。与内容提供者相关联的管理员可选择其中一个候选样式。其背后的基本原理是，内容提供者可更有优势来确定在这种情况下哪个样式对于其内容项目来说是最好的样式。样式选择系统510可替换掉所选复合内容项目内的内容(例如，图像、短语、字)中的一些。
在这个实施方式中，样式生成模块403根据所选择的样式模板基于所选图像和短语/句子来渲染复合内容项目。然后，将其中具有所选图像和短语/句子的复合内容项目存储在内容数据库中，以供随后进行搜索。以上过程中的大部分被离线执行，例如由作为数据分析系统的图像映射系统150离线执行。
根据另一实施方式，仅样式模板和/或所选内容样式的样式元数据是离线选择并存储在作为部分服务器104的在线系统中的，而内容项目和图像则将在运行时间被确定。由于可用图像和/或内容项目可不断地实时变化，因此，一个优点是可在运行时间动态地搜索和识别待与内容项目匹配的图像。然而，可能降低搜索的性能(例如，速度)。在此实施方式中，在线搜索系统(例如，服务器104)可维持内容项目-内容样式映射表。内容/样式映射表可包括许多映射条目，每一条目将识别内容项目的内容ID映射到识别内容样式的内容样式ID。可替代地，每一条目将内容提供者的内容提供者ID映射到内容样式ID。内容ID还可识别一个或多个短语/句子，该一个或多个短语/句子概述相应内容项目的内容描述。因此，在在线搜索期间，当识别内容项目时，将动态地搜索和识别图像。然后，根据相应内容样式将与内容项目对应的短语/句子和图像合并成复合内容项目。然后，将复合内容项目传回到客户端。
图6是示出根据本发明一个实施方式的图像匹配系统的示例的框图。系统600可实施为图2的系统200的一部分。参考图6，系统600可与图2的系统200合并。可替代地，可将系统600实施为例如经由API或通过网络的通信协议或连接通信地联接到图2的系统200的独立式系统或服务器。在一个实施方式中，响应于针对搜索内容的搜索查询，系统600负责在运行时间来识别、排序和选择待与响应于搜索查询而找到的内容项目匹配的图像。
在一个实施方式中，图像选择模块110包括分析模块601、图像匹配模块602和图像排序模块603，其中这些模块中的一些或全部可以以软件、硬件或其组合来实施。在一个实施方式中，响应于从客户端设备接收到的针对搜索内容的搜索查询，分析模块601对搜索查询进行分析以确定一个或多个关键字。针对待与图像匹配的给定内容项目，分析模块601还分析内容和相关联的内容提供者以生成额外的关键字。分析模块601可从内容项目提取概述或描述该内容项目的一个或多个关键字。分析模块601可确定表示或描述内容提供者的一个或多个关键字(例如，商标)。分析模块601还可对关键字执行潜在语义分析，以将关键字扩展为包括语义上有关的一个或多个关键字。
由图像匹配模块602在关键字/图像映射表421中基于关键字来执行搜索或查找操作。关键字/图像映射表421包括多个条目，以及每一条目将识别图像的图像ID映射到一个或多个关键字，或反之亦然(例如，如图3中所示的匹配表)。针对被识别为候选图像的每一图像，由图像排序模块603执行排序过程以确定图像的排序得分。可基于图像排序算法或模型422将图像排序或分类，其中图像排序算法或模型422可由如上所述的图4的系统400来配置。然后，根据如上所述的相关联的内容样式模板将图像和内容项目渲染为复合内容项目。然后，将复合内容项目传回到客户端。
图8是示出根据本发明一个实施方式的生成内容样式的过程的流程图。可由软件、硬件或其组合来执行过程800。例如，过程800可由图4的系统400来执行。参考图8，在框801处，处理逻辑接收内容项目，该内容项目具有描述该内容项目的内容描述。该内容项目是响应于搜索查询而被识别的。在框802处，处理逻辑基于内容项目、搜索查询和/或提供内容项目的内容提供者来搜索和识别图像列表。在框803处，处理逻辑从内容描述导出一个或多个短语或句子。该短语或句子概述内容项目的内容描述。
在框804处，处理逻辑基于图像和短语/句子来确定内容样式列表。每一内容样式包括描述应如何将图像和短语/句子布置在复合内容项目内的样式元数据。在框805处，处理逻辑可选地渲染复合内容项目列表，每一复合内容项目是根据内容样式中的一个内容样式基于图像中的一个图像和短语/句子来渲染的。可将表示内容样式的复合内容项目传输到远程样式选择系统。响应于样式选择，在框806处，将所选内容样式或复合内容项目传输到客户端或存储在内容数据库中以供随后进行搜索。
可以将上述技术应用于使图像与赞助内容匹配。一种类型的赞助内容是广告(Ad)。例如，返回参考图1A至图1B，内容数据库(DB)或服务器133可以是Ad数据库或Ad服务器。内容项目(例如，Ad)中的每一个与预定义的关键字、词、短语或句子的列表相关联。这些预定义的关键字、词、短语或句子可以是由Ad提供者购买的、定义的或指定的投标字。在另一实施方式中，主要内容DB 130可存储通常在公共网络中可获得的一般内容。辅助内容DB131可以是Ad DB。Ad中的一些可以仅仅是纯文本。通过使图像与Ad匹配和整合(例如，作为背景图像)，Ad可更吸引人或对用户更具吸引力。服务器104可以是用于搜索内容的网络服务器，或可替代地，服务器104可以是Ad服务器。
图9是示出可与本发明的一个实施方式一起使用的数据处理系统的示例的框图。例如，系统1500可表示执行上述过程或方法中的任一者的上述任一数据处理系统，例如上述客户端设备或服务器，例如如上所述的图1A至图1B的客户端设备101-102、服务器104、内容服务器133或图像映射系统/服务器150中的任一者。
系统1500可包括许多不同的部件。这些部件可以实施为集成电路(IC)、集成电路的部分、分离的电子设备或被适合于电路板(诸如，计算机系统的主板或插入卡)的其它模块，或者实施为以其它方式并入计算机系统的机箱内的部件。
还应注意，系统1500旨在示出计算机系统的许多部件的高级视图。然而，应当理解的是，某些实现方式中可存在附加的部件，此外，其它实现方式中可出现所示部件的不同布置。系统1500可表示台式计算机、膝上型计算机、平板计算机、服务器、移动电话、媒体播放器、个人数字助理(PDA)、智能手表、个人通信器、游戏设备、网络路由器或集线器、无线接入点(AP)或中继器、机顶盒或其组合。此外，虽然仅示出了单个机器或系统，但是术语“机器”或“系统”还应当被理解为包括单独地或共同地执行一个(或多个)指令集以执行本文所讨论的方法中的任何一种或多种的机器或系统的任何集合。
在一个实施方式中，系统1500包括经由总线或互连件1510连接的处理器1501、存储器1503以及设备1505-1508。处理器1501可表示其中包括单个处理器内核或多个处理器内核的单个处理器或多个处理器。处理器1501可表示一个或多个通用处理器，诸如微处理器、中央处理单元(CPU)等。更具体地，处理器1501可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或实施其它指令集的处理器、或实施指令集组合的处理器。处理器1501还可以是一个或多个专用处理器，诸如专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、密码处理器、协同处理器、嵌入式处理器或能够处理指令的任何其它类型的逻辑。
处理器1501(其可以是诸如超低电压处理器之类的低功率多核处理器插座)可充当用于与系统1500的各种部件通信的主处理单元和中央集线器。这种处理器可以实施为片上系统(SoC)。处理器1501配置成执行用于执行本文所讨论的操作和步骤的指令。系统1500还可包括与可选的(显示控制器和/或显示设备)1504通信的图形接口，其中该图形子系统可包括显示控制器、图形处理器和/或显示设备。
处理器1501可以与存储器1503通信，存储器1503在一个实施方式中可以经由多个存储器设备实施以提供给定量的系统存储器。存储器1503可包括一个或多个易失性存储(或存储器)设备，诸如随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)或其它类型的存储设备。存储器1503可存储包括由处理器1501或任何其它设备执行的指令序列的信息。例如，多种操作系统、设备驱动器、固件(例如，输入输出基本系统或BIOS)和/或应用程序的可执行代码和/或数据可以加载在存储器1503中并由处理器1501执行。操作系统可以是任何种类的操作系统，例如来自
Figure BDA0001292233910000191
公司的
Figure BDA0001292233910000192
操作系统、来自苹果公司的Mac
Figure BDA0001292233910000193
来自
Figure BDA0001292233910000194
公司的
Figure BDA0001292233910000195
或其它实时或嵌入式操作系统(诸如VxWorks)。
系统1500还可包括I/O设备，诸如设备1505-1507，包括网络接口设备1505、可选的输入设备1506以及其它可选的I/O设备1507。网络接口设备1505可包括无线收发器和/或网络接口卡(NIC)。无线收发器可以是WiFi收发器、红外收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(GPS)收发器)或其它射频(RF)收发器，或其组合。NIC可以是以太网卡。
输入设备1506可包括鼠标、触摸板、触摸感应屏(其可以与显示设备1504整合在一起)、指示设备(诸如指示笔)和/或键盘(例如，物理键盘或作为触摸感应屏的一部分显示的虚拟键盘)。例如，输入设备1506可包括联接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器可例如使用多种触摸感应技术(包括但不限于电容、电阻、红外和表面声波技术)中的任一种和用于确定与触摸屏的一个或多个接触点的其它接近传感器阵列或其它元件来检测其触点和移动或间断。
I/O设备1507可包括音频设备。音频设备可包括扬声器和/或麦克风，以促进支持语音的功能，诸如语音辨识、语音复制、数字记录和/或电话功能。其它I/O设备1507还可包括通用串行总线(USB)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如，PCI-PCI桥)、传感器(例如，运动传感器，诸如加速度计、陀螺仪、磁强计、光传感器、罗盘、接近传感器等)或其组合。I/O设备1507还可包括成像处理子系统(例如，相机)，成像处理子系统可包括用来促进相机功能(诸如记录照片和视频片段)的光学传感器，诸如电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)光学传感器。某些传感器可经由传感器集线器(未示出)联接到互连件1510，而其它设备(诸如，键盘或热传感器)可由嵌入式控制器(未示出)控制，这取决于系统1500的特定配置或设计。
为了提供对信息(诸如，数据、应用、一个或多个操作系统等)的永久性存储，大容量存储设备(未示出)也可联接到处理器1501。在多种实施方式中，为了确保更薄和更轻的系统设计以及改进系统响应能力，这种大容量存储设备可经由固态设备(SSD)实施。然而，在其它实施方式中，大容量存储设备可主要使用具有较小量的SSD存储设备的硬盘驱动器(HDD)来实施，其中较小量的SSD存储设备充当SSD缓存以在断电事件期间确保对上下文状态及其它此类信息的非易失性存储，从而使得在系统活动重新启动时能够实施快速通电。此外，闪存设备可例如经由串行外围接口(SPI)联接到处理器1501。这种闪存设备可提供对系统软件的非易失性存储，其中系统软件包括基本输入/输出软件(BIOS)和系统的其它固件。
存储设备1508可包括计算机可访问的存储介质1509(也被称为机器可读存储介质或计算机可读介质)，存储介质上存储有实施本文所描述的方法或功能中的任何一种或多种的一个或多个指令集或软件(例如，处理模块、单元和/或逻辑1528)。处理模块/单元/逻辑1528可表示上述部件中的任一种，例如如上所述的搜索引擎、图像选择系统。处理模块/单元/逻辑1528还可在其被数据处理系统1500、存储器1503和处理器1501执行期间完全地或至少部分地驻留在存储器1503内和/或处理器1501内，另外构成机器可访问的存储介质。处理模块/单元/逻辑1528还可通过网络经由网络接口设备1505被发射或接收。
计算机可读存储介质1509也可用来永久性地存储以上描述的软件功能中的至少一些。虽然计算机可读存储介质1509在示例性实施方式中被示为单个介质，但术语“计算机可读存储介质”应当被认为包括存储一个或多个指令集的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的缓存和服务器)。术语“计算机可读存储介质”还应当被认为包括能够存储或编码指令集的任何介质，所述指令集用于由机器执行并致使机器执行本发明的任何一种或多种方法。因此，术语“计算机可读存储介质”应当被认为包括但不限于固态存储器以及光学介质和磁性介质或者任何其它非暂时性机器可读介质。
本文中所描述的处理模块/单元/逻辑1528、部件以及其它特征可以实施为分离的硬件部件或整合在硬件部件(诸如ASICS、FPGA、DSP或类似设备)的功能中。另外，处理模块/单元/逻辑1528可以实施为硬件设备内的固件或功能电路。此外，处理模块/单元/逻辑1528可以以硬件设备和软件部件的任何组合实施。
应注意，虽然系统1500被示出为具有数据处理系统的多种部件，但其不旨在表示将部件互连的任何特定的架构或方式；因为此类细节和本发明的实施方式没有密切关系。还应认识到，具有更少部件或可能具有更多部件的网络计算机、手持计算机、移动电话、服务器和/或其它数据处理系统也可与本发明的实施方式一起使用。
前述详细描述中的一些部分已经依据在计算机存储器内对数据位进行操作的算法和符号表示而呈现。这些算法描述和表示是数据处理领域中的技术人员为最有效地将它们的工作实质传达给本领域中的其它技术人员而使用的方法。这里，算法通常被认为是导致所期望结果的自洽的操作序列。这些操作是需要物理量的物理操控的操作。
然而，应当牢记，所有这些和类似的术语均意图与适当的物理量相关联，并且仅仅是应用于这些量的适宜标记。除非在以上讨论中另外明确地清楚说明，否则应当了解，全部本说明书中利用术语(诸如所附权利要求书中所阐述的术语)的讨论是指计算机系统或类似电子计算设备的动作和处理，其中计算机系统或电子计算设备操控计算机系统的寄存器和存储器内的表示为物理(例如，电子)量的数据，并将该数据转换成计算机系统存储器或寄存器或其它此类信息存储器、传输设备或显示设备内的类似地表示为物理量的其它数据。
附图中所示的技术可以使用存储和执行于一个或多个电子设备上的代码及数据来实施。此类电子设备使用计算机可读介质来存储和传送(在内部和/或通过网络与其它电子设备)代码及数据，其中计算机可读介质诸如是非暂时性计算机可读存储介质(例如，磁盘、光盘、随机存取存储器、只读存储器、闪存设备、相变存储器)和暂时性计算机可读传输介质(例如，电子、光学、声学或其它形式的传播信号—诸如载波、红外信号、数字信号)。
前述附图中所描绘的过程或方法可由处理逻辑来执行，其中处理逻辑包括硬件(例如，电路、专用逻辑等)、固件、软件(例如，实施在非暂时性计算机可读介质上)或二者的组合。尽管过程或方法在上文是依据一些顺序操作来描述的，但是应当了解，所描述的操作中的一些可按不同的次序执行。此外，一些操作可并行地而不是顺序地执行。
在以上说明书中，已经参考本发明的特定示例性实施方式对本发明的实施方式进行了描述。将显而易见的是，在不脱离如所附权利要求书中阐述的本发明的更广泛的精神和范围的情况下，可对本发明的实施方式做出多种修改。因此，说明书和附图应当被认为是说明性意义而不是限制性意义。

Claims (18)

1.用于确定基于图像的内容样式的计算机实施方法，所述方法包括：
响应于描述内容项目的内容描述，对所述内容描述进行分析；
基于所述分析来识别具有与所述内容描述有关的图像内容的图像；
基于所述分析从所述内容描述导出一个或多个短语，所述一个或多个短语概述所述内容描述；
基于所述图像与所述一个或多个短语之间的关系来确定内容样式列表，其中所述内容样式列表包括多个内容样式，所述多个内容样式与多个样式模板对应，每个样式模板包括指定所述图像和所述一个或多个短语在对应的复合内容项目内的相对位置的样式元数据；
基于从内容提供者接收的内容样式选择而从所述内容样式列表确定选择的内容样式；
存储所述多个样式模板中与所选择的内容样式对应的样式模板；以及
基于所存储的样式模板来生成具有所述图像和所述一个或多个短语的复合内容项目，所述图像和所述一个或多个短语根据与所存储的样式模板对应的布局来布置。
2.根据权利要求1所述的方法，其中，识别具有与所述内容描述有关的图像内容的图像包括：
基于所述内容描述来确定关键字集合，其中所述关键字集合包括一个或多个关键字；
在图像存储器中搜索以基于所述一个或多个关键字来识别图像列表，其中所述图像列表包括多个图像；以及
使用预定排序算法对所述图像列表排序以选择所识别的图像。
3.根据权利要求2所述的方法，其中，所述关键字集合包括以下各者中的一者或多者：所述内容描述的标题、从所述内容描述提取的关键字和与所述内容项目相关联的一个或多个预定关键字。
4.根据权利要求2所述的方法，还包括：
将所述图像列表中的一个图像指派给所述内容样式列表中的每一内容样式；
通过网络将所述内容样式列表传输至用于选择内容样式的远程样式选择系统，每一内容样式具有所指派的图像和所述一个或多个短语；以及
从所述远程样式选择系统接收对内容样式的选择。
5.根据权利要求1所述的方法，其中，每一内容样式还包括：指定所述一个或多个短语的色彩和大小的信息。
6.根据权利要求1所述的方法，还包括：将所述复合内容项目存储在内容数据库中，其中所述内容数据库存储待被用于随后响应于搜索查询而进行的内容搜索的多个复合内容项目。
7.非暂时性机器可读介质，所述非暂时性机器可读介质中存储有指令，所述指令在由处理器执行时致使所述处理器执行确定基于图像的内容样式的操作，所述操作包括：
响应于描述内容项目的内容描述，对所述内容描述进行分析；
基于所述分析来识别具有与所述内容描述有关的图像内容的图像；
基于所述分析从所述内容描述导出一个或多个短语，所述一个或多个短语概述所述内容描述；
基于所述图像与所述一个或多个短语之间的关系来确定内容样式列表，所述内容样式列表包括多个内容样式，所述多个内容样式与多个样式模板对应，每个样式模板包括指定所述图像和所述一个或多个短语在对应的复合内容项目内的相对位置的样式元数据；
基于从内容提供者接收的内容样式选择而从所述内容样式列表确定选择的内容样式；
存储所述多个样式模板中与所选择的内容样式对应的样式模板；以及
基于所存储的样式模板来生成具有所述图像和所述一个或多个短语的复合内容项目，所述图像和所述一个或多个短语根据与所存储的样式模板对应的布局来布置。
8.根据权利要求7所述的机器可读介质，其中，识别具有与所述内容描述有关的图像内容的图像包括：
基于所述内容描述来确定关键字集合，所述关键字集合包括一个或多个关键字；
在图像存储器中搜索以基于所述一个或多个关键字来识别图像列表，其中所述图像列表包括多个图像；以及
使用预定排序算法对所述图像列表排序以选择所识别的图像。
9.根据权利要求8所述的机器可读介质，其中，所述关键字集合包括以下各者中的一者或多者：所述内容描述的标题、从所述内容描述提取的关键字和与所述内容项目相关联的一个或多个预定关键字。
10.根据权利要求8所述的机器可读介质，其中，所述操作还包括：
将所述图像列表中的一个图像指派给所述内容样式列表中的每一内容样式；
通过网络将所述内容样式列表传输至用于选择内容样式的远程样式选择系统，每一内容样式具有所指派的图像和所述一个或多个短语；以及
从所述远程样式选择系统接收对内容样式的选择。
11.根据权利要求7所述的机器可读介质，其中，每一内容样式还包括：指定所述一个或多个短语的色彩和大小的信息。
12.根据权利要求7所述的机器可读介质，其中，所述操作还包括将所述复合内容项目存储在内容数据库中，其中所述内容数据库存储待用于随后响应于搜索查询而进行的内容搜索的多个复合内容项目。
13.数据处理系统，其包括：
处理器；以及
存储器，联接至所述处理器以用于存储指令，所述指令在由所述处理器执行时致使所述处理器执行确定基于图像的内容样式的操作，所述操作包括：
响应于描述内容项目的内容描述，对所述内容描述执行分析；
基于所述分析来识别具有与所述内容描述有关的图像内容的图像；
基于所述分析从所述内容描述导出一个或多个短语，所述一个或多个短语概述所述内容描述；
基于所述图像与所述一个或多个短语之间的关系来确定内容样式列表，所述内容样式列表包括多个内容样式，所述多个内容样式与多个样式模板对应，每个样式模板包括指定所述图像和所述一个或多个短语在对应的复合内容项目内的相对位置的样式元数据；
基于从内容提供者接收的内容样式选择而从所述内容样式列表确定选择的内容样式；
存储所述多个样式模板中与所选择的内容样式对应的样式模板；以及
基于所存储的样式模板来生成具有所述图像和所述一个或多个短语的复合内容项目，所述图像和所述一个或多个短语根据与所存储的样式模板对应的布局来布置。
14.根据权利要求13所述的系统，其中，识别具有与所述内容描述有关的图像内容的图像包括：
基于所述内容描述来确定关键字集合，所述关键字集合包括一个或多个关键字；
在图像存储器中进行搜索以基于所述一个或多个关键字来识别图像列表，所述图像列表包括多个图像；以及
使用预定排序算法对所述图像列表排序以选择所识别的图像。
15.根据权利要求14所述的系统，其中，所述关键字集合包括以下各者中的一者或多者：所述内容描述的标题、从所述内容描述提取的关键字和与所述内容项目相关联的一个或多个预定关键字。
16.根据权利要求14所述的系统，其中，所述操作还包括：
将所述图像列表中的一个图像指派给所述内容样式列表中的每一内容样式；
通过网络将所述内容样式列表传输至用于选择内容样式的远程样式选择系统，每一内容样式具有所指派的图像和所述一个或多个短语；以及
从所述远程样式选择系统接收对内容样式的选择。
17.根据权利要求13所述的系统，其中，每一内容样式还包括：指定所述一个或多个短语的色彩和大小的信息。
18.根据权利要求13所述的系统，其中，所述操作还包括：将所述复合内容项目存储在内容数据库中，其中所述内容数据库存储待用于随后响应于搜索查询而进行的内容搜索的多个复合内容项目。
CN201710329959.3A 2016-08-24 2017-05-11 确定基于图像的内容样式的方法和系统及机器可读介质 Active CN107784061B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/246,156 US10496698B2 (en) 2016-08-24 2016-08-24 Method and system for determining image-based content styles
US15/246,156 2016-08-24

Publications (2)

Publication Number Publication Date
CN107784061A CN107784061A (zh) 2018-03-09
CN107784061B true CN107784061B (zh) 2022-01-21

Family

ID=61242776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710329959.3A Active CN107784061B (zh) 2016-08-24 2017-05-11 确定基于图像的内容样式的方法和系统及机器可读介质

Country Status (2)

Country Link
US (1) US10496698B2 (zh)
CN (1) CN107784061B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565255B2 (en) * 2016-08-24 2020-02-18 Baidu Usa Llc Method and system for selecting images based on user contextual information in response to search queries

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226573A (zh) * 2013-03-28 2013-07-31 百度在线网络技术（北京）有限公司 搜索结果关联显示的方法及客户端
CN103761232A (zh) * 2013-10-17 2014-04-30 北京奇虎科技有限公司 一种提供网页媒体内容信息的方法和装置
CN104239461A (zh) * 2014-09-02 2014-12-24 百度在线网络技术（北京）有限公司 提取图片摘要的方法和装置
CN104504110A (zh) * 2014-12-30 2015-04-08 百度在线网络技术（北京）有限公司 搜索方法和装置
CN105531734A (zh) * 2013-09-18 2016-04-27 皇家飞利浦有限公司 推荐引擎接口和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834371B1 (en) * 2000-08-31 2004-12-21 Interactive Video Technologies, Inc. System and method for controlling synchronization of a time-based presentation and its associated assets
US8695031B2 (en) * 2006-08-02 2014-04-08 Concurrent Computer Corporation System, device, and method for delivering multimedia
US7555478B2 (en) * 2006-12-05 2009-06-30 Yahoo! Inc. Search results presented as visually illustrative concepts
KR100849041B1 (ko) * 2007-12-26 2008-07-29 박연호 인터넷상의 광고영역의 점유를 위한 경매시스템 및운영방법
JP5372536B2 (ja) * 2009-01-28 2013-12-18 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US8392430B2 (en) * 2009-09-23 2013-03-05 Microsoft Corp. Concept-structured image search
CN101789111A (zh) * 2009-12-30 2010-07-28 中国科学院自动化研究所 一种场所广告与电子广告数据实时交互的系统
US20110270828A1 (en) * 2010-04-29 2011-11-03 Microsoft Corporation Providing search results in response to a search query
CN102103641A (zh) * 2011-03-08 2011-06-22 西安交通大学 在用户浏览网络图像中添加图标广告的方法
CN104504108B (zh) * 2014-12-30 2018-07-13 百度在线网络技术（北京）有限公司 信息搜索方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226573A (zh) * 2013-03-28 2013-07-31 百度在线网络技术（北京）有限公司 搜索结果关联显示的方法及客户端
CN105531734A (zh) * 2013-09-18 2016-04-27 皇家飞利浦有限公司 推荐引擎接口和方法
CN103761232A (zh) * 2013-10-17 2014-04-30 北京奇虎科技有限公司 一种提供网页媒体内容信息的方法和装置
CN104239461A (zh) * 2014-09-02 2014-12-24 百度在线网络技术（北京）有限公司 提取图片摘要的方法和装置
CN104504110A (zh) * 2014-12-30 2015-04-08 百度在线网络技术（北京）有限公司 搜索方法和装置

Also Published As

Publication number Publication date
US20180060357A1 (en) 2018-03-01
US10496698B2 (en) 2019-12-03
CN107784061A (zh) 2018-03-09

Similar Documents

Publication Publication Date Title
CN107145496B (zh) 基于关键词将图像与内容项目匹配的方法
CN107480158B (zh) 基于相似性得分评估内容项目与图像的匹配的方法和系统
CN107784059B (zh) 用于搜索和选择图像的方法和系统以及机器可读媒体
CN107463591B (zh) 响应于搜索查询对待与内容匹配的图像动态排序的方法和系统
CN107766399B (zh) 用于使图像与内容项目匹配的方法和系统及机器可读介质
CN107103016B (zh) 基于关键词表示使图像与内容匹配的方法
US8849812B1 (en) Generating content for topics based on user demand
CN107463592B (zh) 用于将内容项目与图像匹配的方法、设备和数据处理系统
CN107145497B (zh) 基于图像和内容的元数据选择与内容匹配的图像的方法
CN107491465B (zh) 用于搜索内容的方法和装置以及数据处理系统
US10789287B2 (en) Method and system for multi-dimensional image matching with content in response to a search query
US10275472B2 (en) Method for categorizing images to be associated with content items based on keywords of search queries
CN107766398B (zh) 用于使图像与内容项目匹配的方法、装置和数据处理系统
CN107273393B (zh) 用于移动设备的图像搜索方法、装置及数据处理系统
CN107784061B (zh) 确定基于图像的内容样式的方法和系统及机器可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant