CN110275982B - 使用媒体消费历史的查询响应 - Google Patents

使用媒体消费历史的查询响应 Download PDF

Info

Publication number
CN110275982B
CN110275982B CN201910388042.XA CN201910388042A CN110275982B CN 110275982 B CN110275982 B CN 110275982B CN 201910388042 A CN201910388042 A CN 201910388042A CN 110275982 B CN110275982 B CN 110275982B
Authority
CN
China
Prior art keywords
user
content
media item
consumption
natural language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910388042.XA
Other languages
English (en)
Other versions
CN110275982A (zh
Inventor
马修·谢里菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN201910388042.XA priority Critical patent/CN110275982B/zh
Publication of CN110275982A publication Critical patent/CN110275982A/zh
Application granted granted Critical
Publication of CN110275982B publication Critical patent/CN110275982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/437—Administration of user profiles, e.g. generation, initialisation, adaptation, distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Abstract

本申请涉及使用媒体消费历史的查询响应。方法、系统和装置用于：接收用户的自然语言查询以及环境数据，基于环境数据来识别媒体项目，基于自然语言查询来确定实体类型，选择匹配实体类型的与媒体项目相关联的实体，从识别已被指示为被用户消费的媒体项目的媒体消费数据库中选择已被指示为被用户消费并且与所选择的实体相关联的一个或多个媒体项目，并且基于选择已被指示为被用户消费并且与所选择的实体相关联的一个或多个媒体项目来提供对查询的响应。

Description

使用媒体消费历史的查询响应
分案说明
本申请属于申请日为2014年8月14日的中国发明专利申请No.201480056623.9的分案申请。
技术领域
本说明书涉及处理搜索查询。
背景技术
一般而言，用户能够通过输入查询来请求信息，诸如在搜索引擎或者与用户相关联的客户端设备处的查询输入。查询能够例如由搜索引擎或者客户端设备来处理，并且信息能够响应于查询而被输出至用户。
发明内容
一种系统能够识别由用户消费的内容以及与所消费内容相关联的实体，例如演员、音乐家、作家、导演、电视网、制作公司等。响应于接收识别内容项目或者实体的查询，所述系统能够提供识别有关通过查询识别的项目或者实体的、由所述用户消费的特定内容或者与由所述用户消费的所述内容相关联的实体的信息。例如，用户能够将识别“JustinTimberlake(贾斯汀·汀布莱克)”的查询提供至搜索引擎，并且所述搜索引擎能够提供对所述查询的响应，该响应包括有关“Justin Timberlake”的信息以及关于由“JustinTimberlake”主演的、所述用户已消费的媒体的信息。例如，所述响应可以包括诸如其年龄、身高、职业等的有关“Justin Timberlake”的信息以及有关由“Justin Timberlake”主演的、所述用户已消费的内容的信息，诸如由“Justin Timberlake”主演的、所述用户已观看的电影或者由“Justin Timberlake”主演的、所述用户已参加的音乐会。
基于服务器的计算环境从各种源接收由所述用户消费的内容的指示并且将识别所述内容以及与所述内容相关的实体的信息存储于媒体消费历史中。在一些应用中，所述基于服务器的系统附加地接收并且存储描述所述用户对内容的消费的信息。例如，所述系统能够确定所述用户曾在特定日期以及特定位置观看由“Justin Timberlake”主演的电影“The Social Network(社交网络)”。所述系统能够将识别所述用户曾观看所述电影“TheSocial Network”的所述特定日期以及所述特定位置的信息存储在媒体消费历史中，并且能够随后接收识别所述用户以及“Justin Timberlake”的请求。所述系统能够提供包括有关“Justin Timberlake”的信息的对所述请求的响应并且也能够指示所述用户曾在所述特定日期以及所述特定位置处观看由“Justin Timberlake”主演的所述电影“The SocialNetwork”。
在一些应用中，响应于在搜索引擎处的查询输入或者在用户设备上的应用操作、响应于检测用户对某些内容的接触、响应于确定所述用户位于特定的地理位置或者基于检测其他事件，来自所述媒体消费历史的信息能够被提供给所述用户。例如，用户能够在观看诸如电影“The Social Network”的特定内容时在设备处输入自然语言查询，诸如口述查询“我以前曾何时看过该男演员？”。口述查询以及从所述用户的环境中所获得的环境数据能够被所述用户的设备获得并且被传送至所述基于服务器的系统，所述环境数据诸如来自所述用户的环境的周围音频或者视频数据。所述系统能够基于所述环境数据确定所述用户正观看所述电影“The Social Network”，并且能够基于分析所述口述查询以及所述环境数据来进一步确定所述用户想要知道所述用户曾看过所述男演员“Justin Timberlake”的时间。例如，能够从所述口述查询中识别所述词“男演员”，使得所述系统识别与所述环境数据中所包括的“The Social Network”的特定片段相对应的男演员，诸如所述男演员“JustinTimberlake”。此外，基于识别来自所述口述查询的所述词语“何时”，所述系统能够访问与所述用户相关联的所述媒体消费历史，并且对所述查询的响应能够被提供，该响应识别所述用户曾观看由“Justin Timberlake”作为男演员主演的其他电影的时间，例如所述用户曾观看由“Justin Timberlake”主演的电影“In Time(时间规划局)”的日期和时间。
在本说明书中所述的主题的创新方面可以实现在多个方法中，所述方法包括下列动作：接收包括提交搜索查询的用户的用户标识符以及与所述搜索查询的一个或多个查询词语相关联的实体的实体标识符的请求；确定与所述搜索查询的所述一个或多个查询词语相关联的所述实体在识别已被指示为被所述用户消费的一个或多个媒体项目的媒体消费数据库中被识别为已被指示为被所述用户消费的媒体项目、或者与所述搜索查询的所述一个或多个查询词语相关联的所述实体与已在所述媒体消费数据库中被指示为被所述用户消费的媒体项目相关联；以及基于与所述搜索查询的所述一个或多个查询词语相关联的所述实体在识别已被指示为被所述用户消费的一个或多个媒体项目的媒体消费数据库中被识别为已被指示为被所述用户消费的媒体项目、或者与所述搜索查询的所述一个或多个查询词语相关联的所述实体与已在所述媒体消费数据库中被指示为被所述用户消费的媒体项目相关联的确定，提供对所述请求的响应。
这些方面的其他实施例包括编码在计算机存储设备上的、被配置成执行所述方法的所述动作的对应系统、装置以及计算机程序。
这些以及其他实施例可以每个可选地包括下列特征中的一个或多个。在各种示例中，对所述请求的所述响应至少包括指示与所述搜索查询的所述一个或多个查询词语相关联的所述实体在识别已被指示为被所述用户消费的一个或多个媒体项目的媒体消费数据库中被识别为已被指示为被所述用户消费的媒体项目或者与所述搜索查询的所述一个或多个查询词语相关联的所述实体与在所述媒体消费数据库中已被指示为被所述用户消费的媒体项目相关联的数据；对所述请求的所述响应至少包括指示与所述搜索查询的所述一个或多个查询词语相关联的所述实体在识别已被指示为被所述用户消费的一个或多个媒体项目的媒体消费数据库中被识别为已被指示为被所述用户消费的媒体项目、或者指示与所述搜索查询的所述一个或多个查询词语相关联的所述实体与已在所述媒体消费数据库中被指示为被所述用户消费的媒体项目相关联的数据；确定与所述搜索查询的所述一个或多个查询词语相关联的所述实体在识别已被指示为被所述用户消费的一个或多个媒体项目的媒体消费数据库中被识别为已被指示为被所述用户消费的媒体项目、或者与所述搜索查询的所述一个或多个查询词语相关联的所述实体与已在所述媒体消费数据库中被指示为被所述用户消费的媒体项目相关联进一步包括识别已在所述媒体消费数据库中被指示为被所述用户消费的所述媒体项目，并且其中提供所述对请求的响应进一步包括提供至少包括识别已在所述媒体消费数据库中被指示为被所述用户消费的所述媒体项目的数据的对所述请求的响应；接收包括提交搜索查询的用户的用户标识符以及与所述搜索查询的一个或多个查询词语相关联的实体的实体标识符的请求进一步包括接收所述搜索查询的一个或多个搜索词、基于所述一个或多个查询词语来确定与所述一个或多个查询词语相关联的实体并且识别与所述实体相关联的实体标识符；识别已被指示为被所述用户消费的一个或多个媒体项目的所述媒体消费数据库识别所述媒体项目被所述用户消费的时间，并且其中提供对所述请求的响应包括提供包括指示所述媒体项目被所述用户消费的所述时间的数据的对所述请求的响应；识别已被指示为被所述用户消费的一个或多个媒体项目的所述媒体消费数据库识别所述媒体项目被所述用户消费的地点，并且其中提供对所述请求的响应包括提供包括指示所述媒体项目被所述用户消费的所述地点的数据的对所述请求的响应。
在本说明书中所述的主题的创新方面可以实现在多个方法中，所述方法包括下列动作：接收用户的自然语言查询以及环境数据，基于所述环境数据来识别媒体项目，基于所述自然语言查询来确定实体类型，选择与匹配所述实体类型的所述媒体项目相关联的实体，从识别已被指示为被所述用户消费的媒体项目的媒体消费数据库中选择已被指示为被所述用户消费并且与所选择的实体相关联的一个或多个媒体项目，并且基于选择已被指示为被所述用户消费并且与所选择的实体相关联的所述一个或多个媒体项目来提供对所述查询的响应。
这些方面的其他实施例包括编码在计算机存储设备上的、被配置成执行所述方法的所述动作的对应系统、装置以及计算机程序。
这些以及其他实施例可以每个可选地包括下列特征中的一个或多个。在各种示例中，基于所述环境数据来识别所述媒体项目进一步包括获得所述环境数据的音频指纹，比较所述环境数据的所述音频指纹与候选媒体项目的音频指纹，以及基于确定所述环境数据的所述音频指纹匹配所述媒体项目的所述音频指纹从所述候选媒体项目当中识别对应于所述环境数据的媒体项目；其中基于所述自然语言查询来确定所述实体类型进一步包括获得所述自然语言查询的转录，比较与所述用户的所述自然语言查询的所述转录相关联的文本和与实体类型相关联的一个或多个关键字短语，以及基于确定与所述用户的所述自然语言查询的所述转录相关联的文本匹配与所选择的实体类型相关联的特定关键字短语来选择实体类型；选择与匹配所述实体类型的所述媒体项目相关联的所述实体进一步包括获得所述环境数据的音频指纹，比较所述环境数据的所述音频指纹与候选媒体项目的音频指纹，所述媒体项目的所述音频指纹与对应于所述媒体项目的片段的时间戳相关联，识别对应于所述媒体项目的特定片段的时间戳，识别与对应于所述媒体项目的所述特定片段的时间戳相关联的实体，所识别的实体对应于所确定的实体类型，并且选择所识别的实体作为与所述媒体项目相关联的所述实体；所述媒体消费数据库识别与已被指示为被所述用户消费的所述媒体项目的消费相关联的特征，进一步包括基于所述用户的所述自然语言查询来识别与已被指示为被所述用户消费的所述媒体项目的所述消费相关联的特定特征，从所述媒体消费数据库中并且对于已被指示为被所述用户消费并且与所选择的实体相关联的所述媒体项目中的一个或多个识别对应于所识别的特定特征的属性，并且提供识别对应于所识别的特定特征的所述属性的信息；提供对所述查询的所述响应进一步包括提供包括识别已被指示为被所述用户消费并且与所选择的实体相关联的所述媒体项目中的一个或多个的信息的对所述查询的响应；其中提供对所述查询的所述响应进一步包括提供指示所述媒体消费数据库是否识别已被指示为被所述用户消费并且与所选择的实体相关联的一个或多个媒体项目的对所述查询的响应。在附图以及下面描述中阐明本说明书中所述的主题的一个或多个实施例的细节。将从说明书和附图中显而易见本主题的其他潜在特征、方面以及优势。
附图说明
图1描绘了用于基于媒体消费历史来响应于请求的示例系统。
图2和3描绘了用于基于媒体消费历史来响应于请求的示例系统的部分。
图4描绘了用于基于媒体消费历史来响应于请求的示例过程的流程图。
图5描绘了用于基于媒体消费历史来响应于查询的示例过程。
图6描绘了用于基于媒体消费历史来响应于查询的示例系统。
图7描绘了用于基于媒体消费历史来响应于查询的示例过程的流程图。
各附图中的相似参考符号指示相似元素。
具体实施方式
本说明书描述了识别已被指示为被用户消费的内容项目的媒体消费历史。媒体消费历史能够被访问以提供与被用户消费的内容项目相关联的信息以及与用户对内容项目的消费相关联的信息。在使用媒体消费历史的特定应用中，用户提供关于正在用户的环境中播放的内容的查询。例如，用户能够正在客户端设备处观看电影，并且能够口述问题“我以前曾何时看过该男演员？”。来自用户的环境的音频或者视频数据能够被获得并且使用以识别用户正观看的电影以及用户的查询可能涉及的男演员。基于媒体消费历史识别已被指示为被用户消费并且由男演员主演的其他内容项目，响应于用户的查询能够提供指示用户已观看由所识别的男演员主演的其他内容的位置和时间的信息。
在下面的讨论中，图1-4描述了用于创建识别已被指示为被用户消费的内容的媒体消费历史的方法以及访问媒体消费历史以响应于对信息的请求的方法。图5-7则描述了利用媒体消费历史来响应于由用户输入的查询的特定应用。
图1描绘了用于基于针对用户的媒体消费历史来响应于查询的系统100。如本说明书中所用，查询能够是提供给系统100的对于信息的任何请求，诸如在搜索引擎或者个人助理应用处输入的查询。
简要地，系统100能够接收识别用户已消费的内容以及与用户对内容的消费相关联的信息的指示。系统100能够存储识别内容、与内容相关联的一个或多个实体以及与用户对内容的消费相关联的信息的信息。
能够接收识别用户以及特定内容项目或者与内容项目相关联的实体的对于信息的请求，诸如搜索查询，其中查询的一个或多个词语识别内容项目或者实体。响应于请求，能够访问用户的消费历史并且能够识别有关由请求所指定的内容项目或者实体的一个或多个内容项目或者实体。对请求的响应然后能够包括涉及或者识别与由请求所指定的内容或者实体相关的被用户消费的内容和/或与所消费的内容相关联的实体的信息。
如本说明书中所用的，基于用户可能曾观看内容、收听内容、阅读内容或以其他方式接触内容或者内容的片段，内容能够被识别为被用户消费。因此，基于访问指示用户相当可能已消费特定的内容项目的数据，内容项目能够被归类为已被用户消费。内容能够包括内容项目，诸如一个或多个电影、电视节目、歌曲、专辑、音乐会、比赛、采访录像、视频、书籍、杂志、报纸、网站或者其他基于web的音频、视频、文本或者混合媒体内容。此外，一个或多个实体可能与内容项目相关联，例如一个或多个演员、导演、作家、歌手、音乐家、艺术家、摄影师、编辑、乐队、唱片公司、制片公司、电视网、广播网或电台、公司、产品、歌曲、配乐等。在一些情况下，内容项目可能被称为实体，例如电影、电视节目、歌曲等，或者与内容项目相关联的实体可以本身是内容项目，例如电影配乐可以构成内容项目以及与电影相关联的实体。系统100能够包括一个或多个内容消费源110(a)-110(i)、查询引擎120、内容消费引擎130、消费分析引擎142以及查询分析引擎144。
更详细地，一个或多个内容消费源110(a)-110(i)通过一个或多个网络与内容消费引擎130通信，所述网络诸如一个或多个局域网(LAN)或者广域网(WAN)，诸如因特网。内容消费引擎130能够从一个或多个内容消费源110(a)-110(i)接收数据，指示由用户消费的内容以及与用户对内容的消费相关联的信息，诸如用户消费内容的时间和地点。
数据能够被存储在与内容消费引擎130相关联的媒体消费历史数据库中，其中数据识别由用户消费的内容以及例如用户在何时以及何地消费内容的与用户对内容的消费相关联的信息以及例如与内容相关联的一个或多个实体的与内容本身相关联的信息。例如，消费分析引擎142能够识别与用户被识别为曾观看的电影相关联的演员表，并且内容消费引擎130能够存储识别电影、用户、用户看电影的时间和地点的信息以及识别电影的演艺成员的信息。
查询引擎120能够通过一个或多个网络与内容消费引擎130通信，使得内容消费引擎130能够接收并且响应于来自查询引擎120的对信息的请求。从查询引擎120接收的请求能够识别用户并且能够由查询分析引擎144来分析以识别特定内容项目或者与请求相关联的实体。然后能够在内容消费引擎130处识别对应于由查询分析引擎144所识别的特定内容项目或者实体的内容。例如，基于确定查询提及人物“Justin Timberlake”，能够识别由“Justin Timberlake”主演的消费内容项目，例如“Justin Timberlake”曾出演、演唱、导演、制片等的内容。
对提供给查询引擎120的请求的响应能够识别用户已消费的由“JustinTimberlake”主演的内容，并且还能够识别与用户对内容的消费相关联的附加信息，例如用户在何时及何地消费内容。对请求的响应还能够包括关于从查询识别的内容或者实体的信息以及关于已被用户消费的内容的信息。例如，对查询的响应能够包括有关人物“JustinTimberlake”的个人简介以及对于用户曾观看的由“Justin Timberlake”主演的电影的剧情简介。能够在系统100之外的系统处访问关于已被用户消费的内容或者与已消费内容相关联的实体的信息，例如通过在一个或多个网络中访问可用于因特网上的内容。
用户消费的内容能够通过一个或多个源110(a)–110(i)来识别。根据所述主题的一些实施方式，内容消费源110(a)–110(i)能够包括能够接收指示已被用户消费的特定内容的信息的任何源，或者能够包括能够确定已被用户消费的内容的源。在一些实施方式中，内容消费来110(a)–110(i)能够使用应用程序接口(API)来识别已被用户消费的内容。在一些示例中，内容消费源110(a)–110(i)能够是能够接收或者访问识别被用户消费的内容的信息的任何应用、服务器或者其他系统。在一些实施方式中，应用、服务器或者系统能够基于访问与用户相关联的其他信息来识别由用户消费的内容，所述其他信息诸如与用户相关联的财务信息或者与用户相关联的社交网络简档。在还有的其他实施方式中，内容消费源110(a)–110(i)能够包括能够被访问以确定被用户消费的内容的信息的源，例如电子邮箱、社交网络等。
例如，内容消费源110(a)–110(i)能够包括提供内容项目的购买凭证的源。购买凭证可以包括收据，诸如在用户的电子邮箱地址处接收的电子收据，或者由用户存档的交易单据，例如使用个人财务应用。对与用户相关联的信用卡、借记卡、礼品卡或者其他支付账户应用的费用也可以被用于确定用户已消费某一内容。例如，对信用卡开账单的费用能够指示用户很可能已购买或者租借特定电影，或者使用例如PayPal的支付账户的购买能够指示用户很可能已购买或者租借电影。这样的支付信息可以指示用户已消费特定内容的充分可能性，并且与支付相关联的特定内容能够被归类为已被用户消费。类似地，与用户相关联的购买历史能够被用于确定用户已消费特定内容。例如，来自例如Google Play(谷歌商城)、Apple iTunes(苹果影音商城)、Pay Per View(付费节目)、Comcast OnDemand(康卡斯特点播)等网上商店或者有线电视网络服务的购买和/或租借能够指示用户已消费特定内容。在一些实例中，例如由用户购买的音乐会门票的与特定事件相关联的购买凭证能够指示已被用户消费的内容。
内容消费源110(a)–110(i)也可以包括识别用户的内容消费历史的源。例如，例如与用户的计算设备相关联的浏览历史的与用户相关联的web历史能够指示被用户消费的内容。这样的web内容能够包括例如用户曾在诸如YouTube、Hulu或者其他源的网站观看的由用户消费的视频或者音频内容，能够包括例如用户已使用浏览器访问的杂志和报纸文章的杂志、报纸或者包含文字的其他内容、例如用户已经由诸如Pandora Internet Radio(潘多拉网络无线电)的因特网射频源收听的由用户消费的无线电或者其他音频内容，或者能够包括用户可能在能够访问因特网的设备处消费的任何其他内容。在一些实例中，用户的消费历史能够包括用户已使用其他应用或者媒体源访问的内容，诸如指示用户已通过其有线电视服务播放或者收看的内容或者已由用户使用第三方服务来下载和/或流送的内容的有线电视观看历史，例如针对用户的Netflix或者Spotify历史。
在一些实施方式中，内容消费源110(a)–110(i)能够包括与例如在与用户相关联的一个或多个客户端设备处由用户执行的动作或者由用户输入的请求相关联的源。例如，用户能够请求特定歌曲、电影或者使用内容识别应用来识别的其他内容，并且基于由应用识别的特定内容项目，内容项目可以被识别为已被用户消费的内容。在一些实施方式中，由用户输入并且涉及特定内容项目的请求能够被解释为与已消费内容的用户相关。例如，在搜索引擎处请求特定电影将在电影院上映的时间的查询输入能够使得系统100确定用户在用户输入查询的那日并且在对应于电影院的位置观看特定电影。
内容消费源110(a)–110(i)能够包括识别用户与一个或多个社交网络的交互的源，其中这样的交互可以指示或者被用于确定已由用户消费的内容。例如，用户可以例如在与社交网络相关联的简档或者留言板处将消息发布至社交网络，该消息标识用户已消费或者正消费的内容。在一些实例中，确定特定内容以及正消费内容的一个或多个用户能够涉及解析与消息、帖子、字幕或者可用于社交网络上的其他文本内容相关联的文本。例如，用户可以将陈述“今晚9:00点与Bob去Senator剧院看《The Social Network》”的消息发布至社交网络。基于解析帖子的文本，系统100可以识别例如名为“The Social Network”的电影的内容、例如发布消息的用户以及识别为“Bob”的用户的一个或多个用户、例如对应于“Senator剧院”的位置的与用户消费内容相关联的位置以及例如在帖子的特定日的晚9:00的消费内容的时间和日期。
除解析与在社交网络处执行的诸如消息、帖子以及字幕的交互相关联的文本之外，其他社交网络交互可以被用于识别已被用户消费的内容。在一些实施方式中，内容能够基于用户在社交网络处提供对内容的赞助而被识别为被用户消费，例如通过如在Google+下使用则为内容提供“+1”或者如在Facebook以及其他社交网络下使用则为内容提供“Like(喜欢)”。在一些实例中，由用户发布并且识别特定内容项目的图像、视频或者其他内容能够被视为用户例如在发布图像、视频或者其他内容的特定日以及特定位置消费特定内容的指示。在一些实例中，诸如提及和/或标记多个用户的评论、帖子、消息、字幕、图像、视频或者其他交互的发布至社交网络的交互可以指示与交互相关联的特定内容曾被发布交互的用户以及关联交互所提及或者标记的一个或多个其他用户消费。在一些实例中，对用户位置的“签到”或者其他指示能够被用于确定由用户消费的内容，“签到”或者其他指示还识别与用户消费内容相关联的时间和位置。
识别与用户对内容项目的消费相关联的位置能够包括识别与内容消费相关联的地理位置和/或与内容消费相关联的位置的名称。例如，用户对内容的消费能够与特定地理位置相关联，诸如一组坐标，例如纬度和经度或者其他全球定位系统(GPS)坐标，能够与到当前位置或者到家庭位置的特定距离相关联，能够与特定城市、州、邮政编码、区域代码、县、地区或者国家相关联，或者能够以其他方式通过地理位置来识别。在一些实施方式中，位置能够通过企业的名称或者企业的类型来识别，例如“Senator剧院”或者“电影院”，能够通过于特定时间在特定位置发生的事件来识别，例如在对应于“马里兰州博览会”的位置，能够通过街道地址、通过由用户对特定位置分配的名称来识别，例如被识别为用户的工作或者家庭地点的位置，或者能够通过其他方式来识别。
识别与用户对内容项目的消费相关联的时间能够包括识别当用户消费所识别的内容时的特定日期、日或者时间，例如一天中的小时。在一些实施方式中，与用户对特定内容的消费相关联的时间是基于内容消费源110(a)–110(i)、消费分析引擎142或者内容消费引擎130接收指示特定内容已被用户消费的数据。在一些实施方式中，与用户消费特定内容相关联的时间可以基于例如在内容消费源110(a)–110(i)处接收的指示内容曾被用户消费的时间的信息来被确定。例如，指示用户曾在2013年7月4日星期四晚8:00时租借电影“TheSocial Network”的信息能够在2013年7月5日星期五中午12:00时在内容消费源110(a)–110(i)、内容分析引擎142或者内容消费引擎130处被接收。基于所接收的信息、其被系统100接收的时间以及所利用的实施方式，与用户观看电影“The Social Network”相关联的时间可以被识别为2013年7月4日星期四晚8:00、2013年7月5日星期五中午12:00或者这些日期、日和时间中的一些子集，例如2013年7月4日或者2013年7月5日星期五。
可以由与由用户对内容的消费相关的一个或多个内容消费源110(a)–110(i)接收附加信息。例如，附加信息可以包括关于内容项目的信息，诸如例如MP4、WAV、JPEG、HTML等内容项目的文件类型、例如100兆字节或者长度10分钟的与内容项目相关联的文件大小或者播放长度、例如1080p或者256kbps的与文件类型相关联的质量或者压缩分辨率、或者如内容项目曾被用户消费的其他关于该内容项目的信息，例如内容项目是否为黑白内容、彩色内容、以高清晰度或者标准清晰度显示的内容等。在一些实施方式中，用于访问内容的设备能够被识别。例如，特定内容项目可以是音乐专辑，并且内容消费源110(a)–110(i)能够确定用户已使用特定的移动电话、智能电话、膝上型或桌面型计算机、平板计算机、MP3播放器、可穿戴式计算设备或者其他计算设备来收听音乐专辑。
由一个或多个内容消费源110(a)–110(i)接收的信息可以进一步指示导致特定内容被识别为被用户消费的确切源或者事件。例如，在源110(a)–110(i)处接收的信息能够指示由用户消费的特定内容以及内容曾被用户消费的位置和/或时间，并且能够进一步指示导致内容被识别为由用户消费的指示的事件或者源。作为示例，接收的数据能够识别用户已观看的特定电影、用户曾观看电影的时间和位置，并且基于在与用户相关联的电子邮箱地址处接收的、指示用户已购买电影票来出席电影的电子邮件，能够进一步指示电影被识别为已被用户观看。
在一些实施方式中，识别已由用户消费的内容能够进一步包括识别或者估计已由用户消费的内容的特定片段。在一些实施方式中，使用音频识别来识别内容能够涉及识别对应于经识别的内容的片段和/或用户接触的内容的片段的内容的时间戳。例如，响应于用户请求内容的音频识别，与请求相关联的内容消费源110(a)–110(i)可以接收识别内容项目并且进一步识别被分析以识别内容的内容项目的片段的数据，例如内容的30秒片段，对该片段执行音频识别以识别内容。
在一些实施方式中，由一个或多个内容消费源110(a)–110(i)所识别的信息能够通过由系统100所访问的其他信息来补充，以确定被用户消费的内容。例如，接收的信息可以识别由用户消费的内容以及用户曾消费内容的位置和/或时间，并且消费分析引擎142能够访问与内容、位置或者时间相关联的附加信息。
在一些实施方式中，消费分析引擎142可以是托管在一个或多个计算机上的应用，可以与服务器相关联，或者可以是能够访问有关所识别的内容和/或用户曾消费所识别的内容的位置或时间的信息的其他系统。在一些示例中，消费分析引擎142可以是与内容消费源110(a)–110(i)以及内容消费引擎130分立的组件，或者能够与内容消费源110(a)–110(i)和/或内容消费引擎130集成。消费分析引擎142可以能够通过一个或多个网络交换电子通信，例如交换与内容消费源110(a)–110(i)以及内容消费引擎130的电子通信，或者访问可在系统100外部获得的信息，例如访问可在因特网上获得的信息。在一些实施方式中，消费分析引擎142接收识别用户已消费的内容和/或与用户对内容的消费相关联的位置或者时间的信息。消费分析引擎142能够分析信息并且/或者访问与内容、位置和/或时间相关联的附加信息。
在一些实例中，消费分析引擎142能够接收识别已由用户消费的内容的指示，并且与已识别内容相关联的一个或多个内容项目能够被识别并且分类为已被用户消费。例如，基于确定用户已观看某一电影，也能够作出用户曾消费对应于该电影的配乐的内容的确定。在一些实施方式中，一个或多个相关的内容项目能够基于例如识别电影的配乐的由一个或多个源110(a)–110(i)获得的信息来识别，或者能够基于可由消费分析引擎142访问的从另一源获得的信息，例如在识别电影的配乐的数据库处。
识别已被用户消费的相关内容在一些实施方式中能够基于用于确定内容曾被用户消费的源来确定。作为示例，如果由用户提供音频识别请求并且音频识别引擎将内容识别为“The Phantom of the Opera(歌剧魅影)”配乐的一部分，消费分析引擎142可以确定用户可能曾消费“The Phantom of the Opera”配乐以及“The Phantom of the Opera”的百老汇作品，例如用户在出席“The Phantom of the Opera”的演出时曾提供音频识别请求。然而，如果基于购买历史数据，例如在内容消费源110(a)–110(i)处接收的、指示用户曾在网上音乐商店购买“The Phantom of the Opera”配乐的数据，作出用户已消费“ThePhantom of the Opera”配乐的确定，则消费分析引擎142可以确定用户不太可能已消费“The Phantom of the Opera”的配乐以及现场演出两者。
当确定与用户可能已消费的内容相关的其他内容时，也可以考虑与用户对内容的消费相关联的位置和/或时间。例如，基于接收指示用户当处在对应于剧院的位置时执行音频识别以识别“The Phantom of the Opera”配乐的信息，消费分析引擎142可以确定用户可能曾消费“The Phantom of the Opera”配乐以及“The Phantom of the Opera”的现场演出两者。然而，基于接收指示用户当处在对应于用户的工作地点的位置时执行音频识别以识别“The Phantom of the Opera”配乐的信息，可以作出用户可能仅消费“The Phantomof the Opera”配乐而不太可能已观看“The Phantom of the Opera”的现场演出的确定。
在一些实例中，消费分析引擎142能够接收识别用户曾处的时间和位置的信息，并且能够识别用户在所识别的时间期间处于特定位置时可能曾消费的内容。在一些实例中，内容能够通过例如通过一个或多个网络访问信息来识别，该信息指示在指定时间期间在所述位置处可获得的内容。例如，基于指示用户曾在特定日期位于“Radio City Music Hall(无线电城音乐厅)”的社交网络“签到”，消费分析引擎142可以访问信息以确定用户当在特定日期位于“Radio City Music Hall”时可能曾消费的内容。
关于被用户消费的内容的附加信息能够被识别。在一些实施方式中，附加信息能够由消费分析引擎142来识别。附加信息能够通过访问可在一个或多个网络上获得的信息来识别，诸如通过访问可在因特网上获得或者通过一个或多个网络可获得的数据库或服务器处的信息。在一些实例中，能够在系统100处，例如在内容消费引擎130处，保存并且访问关于已消费内容的附加信息。
在一些实施方式中，由消费分析引擎142所访问的有关特定内容的补充信息能够包括关于特定内容的信息。例如，关于所识别的内容项目的附加信息能够包括对于内容项目的内容类型，例如指示内容是否为视频、音频、图像或者文本的对于内容项目的一般内容类型或者指示内容是否为电视节目、播客、有声读物、电影、音乐会、报纸、杂志等的对于内容项目的特定内容类型。关于所识别的内容项目的信息还能够包括与内容的制作相关联的信息，诸如制作内容的年份、制作内容的位置、内容的制作人等。
由消费分析引擎142所访问的补充信息能够进一步识别与内容相关联的一个或多个实体。例如，关于所识别的内容项目的信息能够包括识别与内容项目相关联的一个或多个人的信息，例如对于内容项目的演员表、内容项目的导演或者制片人、出现在内容项目中的个人声音、与内容项目相关联的作家或者编辑等。在一些实施方式中，识别与内容项目相关联的一个或多个人包括识别一个或多个人关于内容项目的角色，例如男演员在电影中出演的角色。
在一些实施方式中，识别与内容相关联的一个或多个实体能够进一步包括识别与由用户消费的内容相关的一个或多个内容项目。例如，基于接收指示用户已观看特定电影的信息，能够识别与该特定电影相关的一个或多个其他电影或者其他内容项目，例如由来自所识别的电影的演员主演的一个或多个电影或者电视节目。根据另一示例，与被用户观看的电影相关的一个或多个内容项目可以是与所识别的电影以其他方式相关的电影或者其他内容项目，例如基于其他电影被提名与所识别的电影相同的奖项、基于电影由共同的人物来导演或者制片等。
基于识别被用户消费的特定内容，也可以确定与所识别的项目相关的一个或多个其他用户。例如，基于接收用户曾在某一位置和/或某一时间时消费特定内容的指示，可以识别与用户对内容的消费相关的一个或多个其他用户。在一些示例中，与用户对内容的消费相关的多个用户可以是被指示为在消费内容的时间与用户在一起的一个或多个用户。例如，在用户的社交网络简档的帖子可以指示例如电影的内容项目以及例如用户在看电影时与其在一起的其他人的一个或多个其他用户。
确定与特定内容项目相关联的一个或多个其他用户也可以基于一个或多个其他用户在用户消费特定内容的时间所处的位置来确定。例如，基于识别用户在位于“RadioCity Music Hall”时消费的内容，一个或多个其他用户能够基于确定其他用户也在类似的时间处于“Radio City Music Hall”而被识别为与特定内容相关。在其他示例中，与所识别的内容相关的一个或多个其他用户可以是也已消费所识别的内容的其他用户。例如，基于接收用户已观看电影“The Social Network”的指示，能够识别也已被识别为已观看电影“The Social Network”的一个或多个其他用户，例如基于在一个或多个其他用户的社交网络简档处访问的信息、基于在系统100处访问指示已被识别为已观看电影的其他用户的信息等。
在一些实例中，可以关于由用户消费的内容、用户消费内容的位置和/或内容被用户消费的时间来执行附加分析。在一些实例中，消费分析引擎142能够基于从一个或多个内容消费源110(a)–110(i)接收指示已被用户在特定的时间和/或位置消费的内容的信息来执行这样的分析。在一些实例中，分析也能够考虑在消费分析引擎142处接收的附加信息，例如与用户识别或者查看内容相关联的一个或多个时间戳、由用户用来消费内容的设备、用户已消费内容的指示的源等。
在一些实例中，有关用户对内容的消费的时间戳或者其他信息能够被识别并且用于确定或者估计被用户消费的内容项目的片段。关于内容项目的附加信息能够基于被识别为已被用户消费的内容的片段来识别。例如，用户已观看的电影可以基于有线电视历史数据来识别，例如识别用户已观看的数字有线电视内容的数据，并且有线电视历史数据可以被用于确定用户曾观看电影的特定片段并不是全部电影。在另一示例中，基于视频识别过程所检测的时间戳能够被用于确定用户可能已观看的电影的片段，例如至少包括对应于所识别的时间戳的电影片段的电影的一小时片段。基于确定由用户观看的电影的特定片段，能够访问与电影的特定片段相关的信息，例如仅与被用户观看的电影片段相关的部分演员表、在电影片段期间播放的配乐的片段或者与电影片段相关联的其他实体。
在一些实施方式中，识别用户已消费特定内容的片段或者程度能够允许内容被归类为已被用户完全消费、部分消费或者未消费的内容。例如，基于指示用户已观看第一电影的全部但仅第二个电影的一个片段的有线电视历史数据，能够作出用户已完整观看第一电影但仅部分观看第二电影的确定。在一些实例中，可以确定已消费的内容项目的片段，例如电影的数分钟或者电影的全部播放时间的一部分，并且内容项目能够基于满足一个或多个阈值的时间或部分的量而被识别为完全消费、部分消费或者未消费。例如，如果少于百分之25的内容项目被识别为已被用户消费，则内容项目可以被归类为未被用户消费，如果百分之25至百分之75的内容项目被识别为被用户消费，则内容项目可以被归类为被部分消费，并且如果多于百分之75的内容项目已被用户消费，则内容项目被识别为被完全消费。
在一些实施方式中，置信分值能够被确定并且与特定内容相关联，该置信分值指示所识别的内容已被正确识别的概率。例如，消费分析引擎142能够确定被用户消费的内容并且能够考虑与内容的消费相关联的一个或多个因素来确定置信分值以分配给内容和/或与内容相关联的一个或多个实体。例如，已基于有线电视历史数据来识别的内容项目可以被分配指示被正确识别的内容的概率比已使用音频识别来识别的内容项目高的置信分值。在一些实施方式中，较高概率可以通过例如较大量值的较高置信分值来指示，可以通过例如较低量值的较低置信分值来指示，或者可以使用其他评分方法来指示。实际上，任何数量的因素可以被用于确定该置信分值或者其他置信分值以分配给已被用户消费的特定内容，诸如通过其识别内容的源、与被消费的内容相关联的位置或者时间等。
例如，能够确定单独的置信分值，其指示识别被用户完全消费的内容的概率。内容项目能够基于用户可能已观看、收听、阅读或以其他方式接触内容项目的例如百分之75的足够部分而被归类为已被完全消费，并且置信分值能够指示用户实际上已完全消费内容项目的估计概率。例如，基于收据，例如指示用户在剧院中观看特定电影的电影院的收据，已被识别为被消费的内容可以被分配指示内容项目被用户完全消费的概率比基于音频识别过程被指示为被用户消费的内容高的置信分值。实际上，任何数量的因素可以被用于确定这样的置信分值以分配给特定内容。例如，用于识别电影的电影音频的片段可以指示用户是否已完整观看电影，例如使得使用来自电影开场的音频来识别的电影获得比基于来自电影结尾的音频所识别的电影高的置信分值。在其他示例中，与用户消费内容相关联的位置或者时间能够指示用户是否完全消费内容，例如使得如果用户在家从凌晨1:00至凌晨4:00观看电影，则用户可能已在电影期间入睡而没有完整观看电影。
在一些实施方式中，一个或多个因素和/或置信分值可以被聚合以确定与已被用户消费的特定内容相关联的总分值。例如，包括用来识别内容的置信度、内容被用户完全消费的置信度、用于确定内容被用户消费的分值、与用户消费内容相关联的位置、时间或者设备等因素能够被用于确定与特定内容相关联的总分值。在一些实例中，这样的分值也能够被识别用于与内容相关联的一个或多个实体，例如在电影中出现的特定男演员。基于诸如男演员出现在电影中的时间量、男演员何时首次出现在电影中、电影的流行度或者成就等因素，分值能够被分配给对应于男演员的实体。
在一些实施方式中，由用户提供的反馈可以被用于识别或者确认被用户消费的内容。例如，基于确定用户可能已消费特定内容，能够向用户提供通知，例如在与用户相关联的客户端设备处输出通知，该通知请求用户确认其是否已消费特定内容和/或确认与用户消费内容相关联的位置和时间。例如，音频识别结果可以指示用户已在近期观看电影“TheSocial Network”，并且能够向用户提供通知，其请求用户确认已在近期观看电影“TheSocial Network”。基于用户指示其已在近期观看电影“The Social Network”，电影“TheSocial Network”能够被识别为用户已消费的内容，并且与用户消费内容相关联的位置和时间能够被识别。在一些实例中，由用户关于特定内容所提供的反馈能够导致对于与内容或者与内容相关联的一个或多个实体相关联的置信分值的改变，例如通过基于用户确认其已消费特定内容来增加与特定内容相关联的置信分值。
根据所述主题的一些实施方式，内容和/或与内容相关联的实体可以使用内容或者实体代码来识别。例如，消费分析引擎142或者系统100的另一组件能够识别代码，诸如字母数字代码、快速响应(QR)代码、条形码或者唯一识别特定内容项目或者实体的其他代码。在一些实施方式中，代码可以被组织为使得某些代码、代码前缀或者代码类型与某些内容类型相关联。例如，全部电影内容代码可以以某一字母或者数字开始，而全部歌曲内容代码可以以不同的字母或者数字开始。唯一识别特定内容项目或者实体的代码能够与内容项目或者实体相关联，例如通过将代码与识别内容项目或者实体的数据以及例如内容被消费的位置和时间的其他相关信息关联。
通过系统100，例如通过内容消费源110(a)–110(i)、消费分析引擎142或者内容消费引擎130，代码可以被生成并且分配给内容和/或与内容相关联的实体。例如，基于接收指示用户已消费尚未存在代码的内容的信息，例如尚未被识别为被用户观看并由此尚未被分配代码的电影，例如通过报告用户观看电影的内容消费源110(a)–110(i)、消费分析引擎142或者内容消费引擎130，能够生成唯一识别电影的代码，并且已生成的代码能够被分配给特定电影。类似地，基于确定与电影相关联的一个或多个实体尚未被分配代码，例如电影中的一个或多个演员尚未被分配识别该演员的代码，能够生成唯一识别实体的代码并且将其与一个或多个实体相关联。
在其他实施方式中，与内容项目和/或与内容项目相关联的实体相关联的代码可以由系统100例如通过一个或多个网络来访问。例如，消费分析引擎142可以接收特定内容已被用户消费的指示，并且消费分析引擎142能够识别代码以分配给内容，例如通过在一个或多个网络中访问包括与特定内容项目以及与内容项目相关联的实体相关联的代码的数据库。在一些实施方式中，与内容项目和/或与内容项目相关联的实体相关联的代码可以在接收用户已消费特定内容的指示之前被系统100访问。例如，能够在内容消费引擎130处访问和存储与内容项目和/或实体相关联的代码，并且基于识别用户已消费的内容，消费分析引擎142或者另一组件能够识别与内容和/或实体相关联的一个或多个代码并且能够将适当代码分配给内容和/或实体。
基于确定由用户消费的内容，相关性分值能够被确定并且与内容项目和/或与内容项目相关联的一个或多个实体相关联。相关性分值可以指示用户被认为喜欢特定内容项目和/或实体或者对其感兴趣的程度，或者可以指示特定内容项目与和内容项目相关联的特定实体的相关性和/或特定实体与特定内容项目的相关性。
例如，相关性分值可以指示用户对所识别的内容项目或者实体感兴趣的可能水平。在一些实施方式中，这样的相关性分值可以基于识别被用户消费的内容项目以及与内容项目相关联的一个或多个实体的信息来确定。例如，基于用户在社交网络处提供对内容的赞助被识别为已被用户消费的内容可以被分配相比于基于用户的有线电视历史被识别为已被用户消费的其他内容高的相关性分值。其他信息可以被用于确定与内容项目相关联的相关性分值。例如，基于接收指示用户例如已重复观看电影的多于一次消费特定内容、指示例如在家对面影院的用户消费内容的位置等的数据，可以增加相关性分值。基于所接收的数据，相关性分值可以被生成并且分配给内容项目和/或与内容项目相关联的一个或多个实体。
分配给实体并且与特定内容项目相关联的相关性分值可以反映实体主演或者与特定内容项目相关的程度。类似地，分配给内容项目并且与特定实体相关的相关性分值可以反映特定内容项目与特定实体相关的程度。例如，消费分析引擎142能够将相关性分值分配给与男演员主演的电影相关联的男演员，使得基于男演员是电影的主要人物，相关性分值反映极高水平的相关性。类似地，基于电影是男演员因其知名的电影，例如男演员因其赢得奖项或者其是男演员的受欢迎角色，分配给电影并且与特定男演员相关联的相关性分值可以被分配极高水平的重要性。
在一些实施方式中，内容项目和/或与内容项目相关联的实体可以基于分配给内容项目和/或实体的置信分值和/或相关性分值而被分配排名。例如，例如由特定男演员主演的两个或多个电影，由特定实体主演的两个或更多个已消费的内容项目能够被分配排名，其中排名基于分配给内容项目的一个或多个置信分值和/或相关性分值。在这样的示例中，被排名第一的内容项目可以是实体具有相当大相关性的内容项目，例如电影中的主要角色，而具有低排名的内容项目可以是实体具有较低相关性的内容项目，例如男演员仅是配角的电影。
根据一些实施方式，将置信分值、相关性分值和/或排名分配给一个或多个内容项目和/或与内容项目相关联的实体能够通过消费分析引擎142来执行。例如，消费分析引擎142可以例如在因特网上访问与两个或更多个内容项目相关的信息，并且将置信分值和相关性分值分配给两个或更多个内容项目。例如，所访问的信息可以指示男演员在两个电影的每一个中的角色，并且相关性分值可以基于男演员对电影主演的程度而被分配给两个电影。相关性分值能够被保存在例如内容消费引擎130处，并且消费分析引擎142可以基于访问保存在内容消费引擎130处的分值来将两个电影和/或其他电影排名。
识别被用户消费的内容、用户消费内容的位置和时间的信息以及其他所识别的信息能够被存储在与内容消费引擎130相关联的媒体消费历史数据库中。例如，消费分析引擎142和/或内容消费源110(a)–110(i)能够通过一个或多个网络将有关被用户消费的内容的信息传送至内容消费引擎130，并且内容消费引擎130能够接收并且存储信息。在一些实例中，信息能够被存储在与内容消费引擎130相关联的媒体消费历史数据库中。
在内容消费引擎130处存储有关被用户消费的内容的信息能够包括存储对应于被用户消费的内容项目的条目132(b)–132(n)。条目132(b)–132(n)能够识别已被归类为被用户消费的内容项目，例如已在一个或多个内容消费源110(a)–110(i)处接收的信息中被识别为已被用户消费。条目132(b)–132(n)中的每一个都能够识别特定内容项目，例如使用内容项目的名称和/或与内容项目相关联的代码以及对应于所消费的内容的附加信息。
如图1所示，与条目132(b)–132(n)相关联的信息能够包括识别例如电影、电视节目、专辑、配乐、杂志等的内容类型、例如一个或多个演员、歌手、作家或者与内容相关联的其他实体的与内容相关联的演员或者艺术家、例如在2013年7月4日晚8:00的由用户消费内容的时间、例如“Radio City Music Hall”的与用户对内容的消费相关联的地点、例如在社交网络处的帖子、包含票据的电子邮件、Netflix购买历史等的已消费内容的标识的源的信息以及与用户对内容的消费和/或内容本身相关联的其他信息。例如，附加信息可以包括与内容相关联的一个或多个分值或者排名、与内容的制作相关联的信息、识别与内容相似或者相关的内容的信息、与内容或者用户对内容的消费相关联的一个或多个其他用户等。
在一些实施方式中，对应于与内容相关联的实体的附加条目132(b)–132(n)可以被保存在内容消费引擎130处。例如，基于接收指示已被用户消费的内容的信息，内容消费引擎130能够识别与已被用户消费的内容相关联的一个或多个实体，并且能够包括对应于条目132(b)–132(n)中与已消费的内容相关联的实体的条目。例如，内容消费引擎130能够接收将电影“The Social Network”识别为已被用户消费的内容的信息，并且能够识别与电影相关联的一个或多个实体，例如男演员“Justin Timberlake”、“Jesse Eisenberg(杰西·艾森伯格)”以及导演“David Fincher(大卫·芬奇)”。对应于男演员“JustinTimberlake”和“Jesse Eisenberg”以及导演“David Fincher”的条目能够被包括于在内容消费引擎130的媒体消费历史数据库处保存的条目132(b)–132(n)中，其中对应于“JustinTimberlake”、“Jesse Eisenberg”和“David Fincher”的条目132(b)–132(n)能够识别与条目132(b)–132(n)相关联的信息和/或一个或多个实体，例如与“Justin Timberlake”、“Jesse Eisenberg”和“David Fincher”中的每一个相关联的一个或多个内容项目，以及其他信息。
存储于内容消费引擎130处并且对应于被用户消费的一个或多个内容项目和/或与被用户消费的内容项目相关联的实体的数据能够被存储成许多格式。例如，数据可以被存储成表格格式或其他数据矩阵、或者被存储成分层数据结构。在一些实施方式中，每个条目132(b)–132(n)可以对应于数据矩阵的特定行或列，并且与内容项目中的每一个和/或与内容相关联的实体相关联的信息可以作为条目被包括在数据矩阵的行或列中。类似地，在其他实施方式中，每个条目132(b)–132(n)可以对应于分层数据结构中的特定高级别项目，并且与内容项目中的每一个和/或与内容相关联的实体相关联的信息可以作为依赖于高级别项目的较低级别项目被包括在分层数据结构中。
在一些实施方式中，与条目132(b)–132(n)相关联的信息的子集能够被存储在除内容消费数据库130以外的位置处。例如，识别已被用户消费的特定内容项目的信息以及例如与用户消费内容相关联的时间和位置的与用户对内容的消费相关联的信息能够被保存在内容消费引擎130处，并且例如识别内容项目的演员的信息的与内容项目相关联的附加信息能够被存储在别处，例如在内容消费引擎130外部的服务器处。在这种情况下，访问与已被用户消费的内容项目相关联的信息能够涉及在内容消费数据库130处访问与条目132(b)–132(n)相关联的、对应于内容项目的信息以及在内容消费引擎130外部的附加资源处访问与内容项目相关联的信息，例如在查询引擎120和/或查询分析引擎144能够访问的另一服务器处。在一些实例中，访问例如识别内容项目的演员的与内容相关联的信息能够通过访问内容的源和/或内容项目本身来实现。例如，能够在内容项目所存储的位置处或者通过访问与内容项目相关联的元数据来访问与内容项目相关联的附加信息。
条目132(b)–132(n)可以被识别并且访问以获得关于被用户消费的一个或多个内容项目和/或与被用户消费的内容项目相关联的实体的信息。在一些实施方式中，内容和/或与内容相关联的实体可以在内容消费引擎130处使用唯一识别特定内容项目和/或实体的代码来识别。在其他情况下，内容和/或与内容相关联的实体能够基于在内容消费引擎130处执行的搜索来识别，例如指定内容或者实体的名称的搜索。
在一些实施方式中，能够通过执行条目132(b)–132(n)的扩展来在内容消费引擎130的媒体消费历史数据库处识别内容、与内容相关联的实体和/或有关内容和/或实体的信息。例如，能够识别与特定电影相关联的条目，并且条目能够被扩展以披露与条目相关联的附加信息。例如，与特定内容项目相关联的特定条目的扩展能够使得识别与内容项目相关联的内容类型、与内容相关联的一个或多个演员、艺术家、作家或者其他实体、与用户对内容的消费相关联的时间、与用户对内容的消费相关联的位置、用户消费内容的指示的源等。
基于保存条目132(b)–132(n)的内容消费引擎130识别已被用户消费的内容和/或与内容相关联的实体，对于被用户输入的信息的请求能够被处理，使得对请求的响应提供与已被用户消费的内容相关的信息。例如，用户能够访问查询引擎120，例如与搜索引擎相关联的界面，并且能够在查询输入域122处提供一个或多个查询词语。能够从用户输入的查询的词语中识别内容和/或与内容相关联的实体，并且能够识别被用户消费的内容或者与被用户消费的内容相关联的实体。对用户输入的查询的响应能够识别对应于从用户输入的查询的词语中识别的内容和/或实体的被用户消费的内容和/或与被用户消费的内容相关联的实体。这样的结果还可以包括与被用户消费的内容和/或与用户消费的内容相关联的实体相关的附加信息，诸如用户消费所识别的内容或者内容关联实体的时间和位置。
查询引擎120能够包括能够接收请求信息的用户输入的界面。在一些实施方式中，查询引擎120可以是接受由用户提供的文本输入或者语音输入的应用界面。例如，查询引擎120可以是与用户的计算设备相关联的个人助理应用，所述用户的计算设备诸如用户的蜂窝电话、智能电话、平板计算机、膝上型计算机、桌面型计算机、MP3播放器、可穿戴式计算设备或者其他设备。在其他应用中，查询引擎120可以是可在因特网上访问的系统，例如在与搜索引擎相关联的网页处，或者查询引擎可以是可使用其他方式来访问的系统，例如通过在诸如一个或多个局域网(LAN)或者广域网(WAN)的一个或多个网络上访问数据库或者服务器系统。
查询引擎120能够识别已提供查询或者对于信息的其他请求的用户。例如，基于识别用户的姓名，基于识别例如与用户相关联的账户、用户的客户端设备、用户的电子邮件账户、与查询引擎120相关联的账户等用户账户，基于从与语音输入查询相关联的语音数据来识别用户，基于识别例如与用户相关联的字母数字代码的分配给用户的、唯一识别用户的代码，基于识别例如与用户的设备相关联的互联网协议(IP)地址的与用户的客户端设备相关联的代码或者其他标识符，或者使用其他方法，能够识别用户。在一些实施方式中，在查询引擎120处接收的查询能够是语音输入查询，并且查询引擎120能够执行语音识别以确定语音输入查询的词语。在其他实施方式中，查询引擎120能够将对应于语音输入查询的语音数据传送至查询分析引擎144或者其他系统，并且查询分析引擎144或者其他系统能够执行语音识别以确定语音输入查询的词语。在一些实施方式中，确定语音输入查询的词语能够涉及获得语音输入查询的转录并且从语音输入查询的转录的文本中确定语音输入的词语。
查询引擎120能够例如在查询输入域122处从用户接收输入，并且能够在结果域124处显示查询的结果。在一些实例中，查询引擎120通过将所接收的查询以及识别用户的信息通过一个或多个网络提交至查询分析引擎144和/或内容消费引擎130来获得结果，并且通过一个或多个网络从查询分析引擎144和/或内容消费引擎130接收结果。
更详细地，查询分析引擎144接收识别用户以及与用户输入的查询相关联的词语的数据，并且执行对词语的分析以识别与查询相关联的内容和/或实体。例如，查询分析引擎144能够解析查询的文本，例如查询的一个或多个词语，并且能够从查询的文本中识别对象。对象能够包括来自查询的文本的名词或者词组，例如演说的一个或多个专有名词、短语、名词或者其他部分，该演说可能与内容相关，例如电影的片名，或者该演说可能与和内容相关联的实体相关，例如演员的名字。
基于从查询中识别对象，查询分析引擎144能够识别对应于对象的内容项目和/或与内容项目相关联的实体。在一些实例中，查询分析引擎144基于访问存储内容项目和/或与内容项目相关联的实体的名称的数据库，例如通过在一个或多个网络中访问数据库，能够识别内容项目和/或实体。在一些实例中，数据库可以与内容消费引擎130相关联，或者能够是与在系统100外部并且可通过一个或多个网络访问的另一系统相关联的数据库。在一些实例中，识别对应于对象的内容项目和/或与内容项目相关联的实体能够包括识别与内容项目和/或与内容项目相关联的实体相关联的代码或者其他标识符。例如，查询分析引擎144能够从包括在查询内的对象中识别人物“Justin Timberlake”，并且能够进一步识别唯一识别人物“Justin Timberlake”的字母数字代码。
在一些实施方式中，查询分析引擎144可以是托管在一个或多个计算机上的应用，可以与服务器相关联，或者可以是能够基于查询中所包括的词语来识别内容和/或实体的另一系统。在一些实施方式中，查询分析引擎144是与查询引擎120以及内容消费引擎130分开的组件，或者能够与查询引擎120和/或内容消费引擎130集成。查询分析引擎144可以能够通过一个或多个网络交换电子通信，例如与查询引擎120和/或内容消费引擎130交换电子通信，或者访问可因特网上访问的信息。
查询分析引擎144与内容消费引擎130通信以识别已识别对应于从查询中识别的内容和/或实体的用户已消费的内容或者与用户消费的内容相关联的实体。例如，查询分析引擎144能够从查询的词语中识别一个或多个内容项目和/或与内容项目相关联的实体，并且能够将识别一个或多个内容项目和/或与内容项目相关联的实体的信息传送至内容消费引擎130。在一些实施方式中，查询分析引擎144能够另外将识别用户的信息传送至内容消费引擎130。
内容消费引擎130能够接收识别用户以及从查询中识别的内容和/或实体的数据，并且能够识别对应于从查询中识别的内容和/或实体的已被用户消费的内容。例如，内容消费引擎130能够接收识别从查询引擎120或者查询分析引擎144输入查询的用户的数据，并且能够接收识别已从查询分析引擎144的查询中识别的一个或多个内容项目和/或与内容项目相关联的实体的数据。内容消费引擎130能够通过一个或多个网络接收识别用户以及一个或多个内容项目和/或实体的数据。
在一些实施方式中，内容消费引擎130能够识别已识别用户已消费的内容。例如，基于接收识别提供查询的用户的数据，内容消费引擎能够在与识别已被用户消费的内容的内容消费引擎130相关联的媒体消费历史数据库处识别条目132(b)–132(n)。在一些实例中，能够通过用户的名字、通过与用户相关联的账户、通过与用户相关联的代码或者通过与用户的客户端设备相关联的代码或者其他标识，例如与用户的设备相关联的IP地址，能够识别用户。内容消费引擎130能够接收识别用户的信息并且能够基于指定对应于用户的用户标识符的条目132(b)–132(n)来识别与用户相关联的条目132(b)–132(n)，所述用户标识符例如特定的IP地址、代码、账户名或者识别用户的其他信息。
基于识别与用户相关联的条目132(b)–132(n)，能够确定对应于从查询中所识别的内容和/或实体的条目。例如，基于识别人物“Justin Timberlake”的查询，能够识别对应于人物“Justin Timberlake”的、与用户相关联的一个或多个条目。可以对应于人物“Justin Timberlake”的条目可以包括例如对应于“Justin Timberlake”是其中男演员的电影“The Social Network”的条目。
在一些实施方式中，识别对应于从查询中识别的内容和/或实体的条目能够涉及扩展在内容消费引擎130的媒体消费历史数据库处存储的条目132(b)–132(n)以识别识别从查询中识别的特定内容和/或实体的条目。在一些实施方式中，识别对应于从查询中识别的内容和/或实体的条目能够涉及在与内容消费引擎130相关联的媒体消费历史数据库处对于特定的内容和/或实体执行搜索。例如，能够提交用于从查询中识别的内容和/或实体的标识符，例如用作内容和/或实体的标识符的名称或者代码，作为在媒体消费历史数据库上的查询，并且能够确定对应于从查询中识别的那些的一个或多个内容项目和/或实体。可以使用其他技术来从条目132(b)–132(n)中识别对应于与从查询中所识别的内容和/或实体相关的用户的条目。
基于识别对应于从查询中识别的内容和/或实体的被用户消费的一个或多个内容项目和/或与被用户消费的内容项目相关联的实体，识别一个或多个用户消费的内容项目和/或与用户消费的内容项目相关联的实体的数据能够通过内容消费引擎130来传送。例如，内容消费引擎130能够通过一个或多个网络将识别一个或多个用户消费的内容项目和/或与用户消费的内容项目相关联的实体的信息传送至查询分析引擎144。在一些实例中，传送识别用户消费的内容项目和/或与用户消费的内容项目相关联的实体的数据能够涉及传送包括有关用户消费的内容项目和/或与用户消费的内容项目相关联的实体的附加信息的数据。附加信息可以包括信息，诸如内容被用户消费的位置和时间、与用户消费的内容和/或与用户消费的内容相关联的实体有关的其他内容项目和/或实体、与用户消费的内容和/或与用户消费的内容相关联的实体相关联的一个或多个分值、与用户消费的内容和/或与用户消费的内容相关联的实体相关联的一个或多个用户、或者已被确定并且与条目关联地存储在媒体消费历史数据库处的其他信息，例如通过内容消费源110(a)–110(i)、消费分析引擎142和/或内容消费引擎130来确定的其他信息。
查询分析引擎144能够接收对应于查询的、有关用户消费的内容和/或与用户消费的内容相关联的实体的信息，并且能够执行对有关用户消费的内容和/或与用户消费的内容相关联的实体的信息的分析。在一些实施方式中，由查询分析引擎144执行的分析能够包括确定所识别的用户消费的内容和/或与用户消费的内容相关联的实体与从查询中识别的内容和/或实体的相关性。例如，查询分析引擎144能够确定电影“The Social Network”与人物“Justin Timberlake”的相关性。
在一些实施方式中，识别所识别的用户消费的内容和/或与用户消费的内容相关联的实体的相关性能够包括为用户消费的内容和/或与用户消费的内容相关联的实体确定或者生成相关性分值。例如，能够为与人物“Justin Timberlake”相关的、用户已观看的电影“The Social Network”确定相关性分值。在一些实施方式中，如前所述，基于实体主演或者与特定内容项目相关的程度，例如基于男演员是否为在电影中的主要角色或者电影中的小角色，并且/或者基于两个内容项目相关的程度，例如基于两个电影彼此相关联的程度，通过相继为续集、由相同的演员或者导演主演等，能够确定相关性分值。在一些实施方式中，查询分析引擎144能够生成相关性分值，例如基于所述的因素，或者能够识别已被分配给被用户消费的内容和/或与由用户消费的内容相关联的实体的相关性分值，例如已由消费分析引擎142分配的相关性分值。在其他实施方式中，查询分析引擎144能够识别已由消费分析引擎142确定的、与用户消费的内容和/或与用户消费的内容相关联的实体相关联的相关性分值。
在一些实例中，查询分析引擎144能够基于查询的其他对象或者词语为用户消费的内容和/或与用户消费的内容相关联的实体确定相关性分值。例如，能够从查询中识别没有对应于内容和/或与内容相关联的实体的一个或多个词语或者对象。基于接收识别被用户消费的内容和/或与被用户消费的内容相关联的实体的信息，能够为被用户消费的内容项目和/或与被用户消费的内容项目相关联的实体中的每一个确定反映内容项目和/或实体与其他对象或词语的相关性的相关性分值。例如，基于确定从用户接收的查询识别人物“Justin Timberlake”并且还识别没有对应于特定内容项目或者与内容项目相关联的实体的对象“Mark Zuckerberg(马克·扎克伯格)”，查询分析引擎144可以基于电影“TheSocial Network”由名为“Mark Zuckerberg”的角色主演来确定被用户观看的、称作“TheSocial Network”的电影高度相关。在一些实施方式中，查询分析引擎144能够识别对于查询的对象或词语的同义词或者相关词语，并且相关性分值能够反映内容项目和/或实体与同义词或者相关词语的相关性。
在一些实施方式中，基于所识别和/或所确定的相关性分值，能够为内容项目和/或与内容项目相关联的实体确定指示用户消费的内容和/或与用户消费的内容相关联的实体与查询的相关性的排名。例如，基于为用户消费的内容项目和/或与用户消费的内容项目相关联的实体中的每一个确定相关性分值，能够将排名分配给用户消费的内容项目和用户消费的实体，使得具有指示较高相关性的相关性分值的内容项目和/或实体会具有较高的排名，而具有指示较低相关性的相关性分值的内容项目和/或实体会具有较低排名。在一些实例中，查询分析引擎144能够接收指示对于由用户消费的内容项目和/或与由用户消费的内容项目相关联的实体的排名的信息，并且查询分析引擎能够使用所指示的排名作为指示用户消费的内容项目和与用户消费的内容项目相关联的实体与查询的相关性的排名。
查询分析引擎144能够将识别并且指示与从查询中所识别的内容和/或实体相关联的用户消费的内容和/或与用户消费的内容相关联的实体的相关性的数据传送至查询引擎120。例如，查询分析引擎144能够将在查询分析引擎144处接收的数据从识别用户消费的内容和/或与用户消费的内容相关联的实体的内容消费引擎130传送至查询引擎120，并且还能够将指示所识别的用户消费的内容和/或与用户消费的内容相关联的实体的相关性的数据传送至查询引擎120。在一些实施方式中，能够在一个或多个网络中通过查询分析引擎144将数据传送至查询引擎120。
查询引擎120能够从查询分析引擎144接收数据并且能够提供信息以便输出给提供查询的用户。例如，查询引擎120能够接收识别与由用户输入的查询相关联的、已被用户消费的内容和/或与已被用户消费的内容相关联的实体的信息，以及识别所识别的内容和/或与内容相关联的实体的相关性的数据。查询引擎120能够基于所接收的信息来确定待提供用于在结果域124处输出的信息和/或资源。例如，基于接收识别人物“JustinTimberlake”的查询，查询引擎120能够确定输出结果，所述结果指示有关“JustinTimberlake”的例如其年龄、身高、职业等的个人信息以及与有关人物“JustinTimberlake”的用户相关的信息，例如指示用户已在用户于2013年7月4日晚8:00在特定位置观看的电影“The Social Network”中看过“Justin Timberlake”的信息。在一些实例中，提供用于由查询引擎120输出的信息能够包括未包含在从查询分析引擎144接收的信息内的信息，例如能够包括在因特网上或者在系统100外部的另一系统处访问的信息。在一些实例中，提供用于在结果域124处通过查询引擎120输出的信息能够包括诸如用户已消费的与查询有关的内容的片段的从查询引擎144接收的信息或者其他信息。在一些实例中，查询引擎120能够提供信息以便在结果域124处输出，使得在系统100外部访问的信息与从查询分析引擎144接收的提供用于输出的信息分开，例如使得在不同的信息面板中显示两组信息。
图2描绘了用于创建媒体消费历史并且利用媒体消费历史来响应请求的示例系统200的一部分。例如，系统200能够有能力接收识别被用户消费的内容的数据、确定与用户对内容的消费相关联的内容并且存储识别被用户消费的内容的信息以及与用户对内容的消费相关联的信息。系统200能够包括包含在内容消费源引擎210中的一个或多个内容消费源210(a)-210(i)、分类器引擎242、查询引擎220、查询分析引擎244以及内容消费引擎230。在一些实例中，系统200的组件能够执行类似于由系统100所执行的那些操作。
内容消费源210(a)–210(i)能够接收识别用户已消费的内容的信息。例如，电视历史引擎210(a)、收据历史引擎210(k)以及音频识别引擎210(i)能够每个接收识别被用户消费的内容的信息。例如，被用户消费的内容能够包括用户已在电视上观看的电影，并且电视历史引擎210(a)能够接收识别被用户观看的电影的信息以及与观看电影的用户相关联的附加信息。在另一示例中，基于收据历史引擎210(k)识别用户已接收的收据以及与收据相关联的内容项目，收据历史引擎210(k)能够接收识别已被识别为被用户消费的内容的信息。例如，收据历史引擎210(k)能够识别指示用户已出席音乐会的收据，并且收据历史引擎210(k)能够识别与音乐会相关联的内容，例如由在音乐会上演出的艺术家发布的最新专辑。在另一示例中，音频识别引擎210(i)能够接收由用户输入的请求以识别对应于从用户的环境中获得的音频数据的内容，并且音频识别引擎210(i)能够将音频识别为对应于特定内容。音频识别引擎210(i)能够然后将所识别的内容识别为已被用户消费的内容。在另一实施方式中，音频识别引擎210(i)能够接收识别已被例如在系统200外部的音频识别器的音频识别器识别的内容的信息，并且能够确定用户已经消费所识别的内容。
在一些实施方式中，如所描述的，可以通过内容消费源引擎210的内容消费源210(a)–210(i)来接收除识别被用户消费的内容的数据之外的信息。例如，附加信息可以识别用户消费特定内容的位置和时间，或者能够识别与用户对内容的消费相关联的其他信息。内容消费源引擎210或者内容消费源210(a)–210(i)能够将识别被用户消费的内容的数据以及附加的相关信息传送至分类器引擎242。
分类器引擎242能够接收识别被用户消费的内容的数据并且能够对所接收的数据执行分析。例如，分类器引擎242能够为所识别的内容项目中的每一个确定内容类型，例如通过将内容项目识别为电影、专辑、歌曲等。分类器引擎242能够访问与所识别的内容有关的附加信息。这样的信息能够包括与内容项目有关的附加信息，例如通过识别与内容项目相关联的一个或多个实体、识别有关内容项目的制作的信息、识别与所识别的内容项目相关的内容项目、识别与用户对内容项目的消费相关联的其他用户等。
基于为内容项目中的每一个确定内容类型以及识别与内容项目有关的附加信息，分类器引擎242能够传送识别被用户消费的内容的信息、与被用户消费的内容项目中的每一个相关联的内容类型以及与被用户消费的内容项目有关的附加信息。在一些实例中，如图2中所示，分类器引擎能够将信息传送至内容消费引擎230。
内容消费引擎230能够接收识别被用户消费的内容以及其他相关内容的信息，并且能够将信息存储为与内容消费引擎230相关联的媒体消费历史数据库中的条目。在一些实施方式中，内容消费引擎230能够在媒体消费历史数据库处生成对应于识别为被用户消费的内容项目的条目。在一些实例中，在媒体消费历史数据库处生成的条目也能够包括对应于与识别为被用户消费的内容相关联的实体的条目。例如，媒体消费历史数据库生成对应于电影的演员或者导演、与歌曲或者专辑相关联的艺术家、与杂志或者电影剧本相关联的作家等的条目。在一些实施方式中，如所描述的，能够将代码分配给被用户消费的一个或多个内容项目和/或与被用户消费的内容项目相关联的实体。
例如，基于从分类器引擎242接收数据，能够在内容消费引擎230处生成对应于被用户消费的内容项目的条目232、234和236。例如，基于电视历史引擎210(a)确定用户已观看电影“The Social Network”，在内容消费引擎230处生成对应于电影“The SocialNetwork”的条目232。例如，条目232与电影“The Social Network”相关联，其中电影“TheSocial Network”已被分配代码“001025”，并且其中条目232包括有关电影“The SocialNetwork”以及用户观看“The Social Network”的附加信息。如图所示，这样的信息包括识别例如男演员“Jesse Eisenberg(123123)”以及“Justin Timberlake(001001)”的电影的一个或多个演艺人员、例如2013年1月1日的用户观看电影的时间、例如用户在其华盛顿地区的家里观看电影以及例如Netflix电视历史的将电影识别为已被用户观看的源的信息。在其他实施方式中，如所描述的，条目232能够包括与内容项目以及内容项目的消费相关联的信息的子集。例如，条目232能够识别与由用户对电影“The Social Network”的消费相关联的信息，例如用户观看电影的时间和位置，并且与内容项目“The Social Network”相关联的信息，例如电影的演员能够在另一源处被识别，例如在存储与电影“The SocialNetwork”相关联的信息的服务器处。
类似地，能够在内容消费引擎230处生成对应于专辑“The 20/20Experience(完美视界)”的条目234。例如，条目234与专辑“The 20/20Experience”相关联，其中专辑已被分配代码“101001”，并且其中条目234包括有关专辑“The 20/20Experience”以及用户对内容消费的附加信息。这样的信息能够包括例如识别例如艺术家“Justin Timberlake(001001)”的与专辑“The 20/20Experience”相关联的艺术家、例如2013年3月3日的用户被识别为已消费内容的时间、例如“Radio City Music Hall”的用户消费内容的位置、以及例如对应于用户购买音乐会票以出席“Justin Timberlake”于2013年3月3日在“Radio CityMusic Hall”的音乐会的收据的将内容识别为已被用户消费的源的信息。
作为另一示例，在内容消费引擎230处生成对应于歌曲“Cheeseburger inParadise(天堂芝士堡)”的条目236，其中歌曲“Cheeseburger in Paradise”已被分配代码“776111”。条目236也包括有关歌曲“Cheeseburger in Paradise”以及用户接触到歌曲“Cheeseburger in Paradise”的信息。例如，如图2中所示，基于视频识别请求，歌曲“Cheeseburger in Paradise”与艺术家“Jimmy Buffett(吉米·巴菲特)(701001)”相关联、被用户于2013年7月4日收听、在称作“The American Pub(美国吧)”的位置被收听并且被识别为已被用户消费。
能够在查询引擎220处接收对信息的请求，并且对于对信息的请求的响应能够包括识别被用户消费的内容的、与在媒体消费历史数据库处存储的条目相关联的信息。例如，用户能够在与查询引擎220相关联的搜索引擎处提供查询，并且查询引擎220能够将搜索查询的词语提交至查询分析引擎244。
查询分析引擎244能够接收识别搜索查询的词语的信息，并且能够识别与搜索查询相关联的一个或多个内容项目和/或实体。识别与查询相关联的一个或多个内容项目和/或实体的数据能够被提交至内容消费引擎130。内容消费引擎230能够识别对应于从搜索查询中识别的内容项目和/或实体的、已被用户消费的内容和/或与用户消费的内容相关联的实体。例如，被用户消费的内容和/或与用户消费的内容相关联的实体能够通过访问在媒体消费历史数据库处存储的与用户相关联的条目来识别。有关所识别的被用户消费的内容项目和/或与被用户消费的内容项目相关联的实体的信息能够被传送至查询引擎220，例如基于查询分析引擎244响应于搜索查询而确定最相关的信息以提供至查询引擎220。查询引擎220能够接收信息，并且能够提供对于搜索查询的响应，该响应识别对应于搜索查询的、被用户消费的内容项目和/或与用户消费的内容项目相关联的实体。在一些实施方式中，对于搜索查询的响应能够包括有关被用户消费的内容的附加信息，例如用户消费内容的位置和时间。
图3描绘了用于响应于对信息的请求而访问媒体消费历史的示例系统300的一部分。例如，系统300能够有能力接收对信息的请求，确定有关对信息的请求的、已被用户消费的内容和/或与已被用户消费的内容相关联的实体，并且提供对于对信息的请求的响应，该响应识别对应于对信息的请求的内容和/或实体。如所示，系统300包括查询引擎320、查询分析引擎344、内容消费引擎330、分类器引擎342以及一个或多个内容消费源310(a)–310(i)。在一些实例中，系统300的组件能够执行类似于由系统100所执行的那些操作。
内容消费引擎330能够包括识别已被用户消费的内容和/或与已被用户消费的内容相关联的实体的媒体消费历史数据库。例如，如图3中所示，内容消费引擎330能够包括分别地识别已被指示为被用户消费的内容项目“The Social Network”、“The 20/20Experience”和“Cheeseburger in Paradise”的条目332、334和336。条目332、334和336能够类似于参照图2所识别的内容项目232、234和236。如所示，条目332、334和336识别被用户消费的内容项目以及有关内容项目和/或用户对内容项目的消费的信息。在一些实例中，条目332、334和336包括已通过分类器引擎342或者内容消费源310(a)–310(i)来接收和/或识别的信息。
用户能够在查询引擎320处提供对信息的请求。根据利用媒体消费历史的一个实施方式，例如用户能够例如在因特网上可访问的网页处访问搜索引擎，并且能够在搜索引擎的界面处可访问的查询输入域322处输入搜索查询。在一个示例中，用户能够在查询输入域322处输入搜索查询“Justin Timberlake”以请求有关人物“Justin Timberlake”的信息。基于接收请求有关“Justin Timberlake”的信息的输入，查询引擎320能够提交查询请求的词语，例如通过将查询请求提交至查询分析引擎344。
如所描述的，查询分析引擎344能够从查询引擎320接收包括搜索查询的词语的数据，并且能够识别与搜索查询相关联的一个或多个内容项目和/或实体。例如，基于从查询引擎320接收搜索词语“Justin”和“Timberlake”，查询分析引擎344能够识别实体“JustinTimberlake”。在一些实例中，识别特定内容项目和/或与内容项目相关联的实体能够包括识别代码，该代码识别内容项目和/或实体。例如，基于识别实体“Justin Timberlake”，能够识别与“Justin Timberlake”相关联的代码，例如代码“001001”。基于识别实体“JustinTimberlake(001001)”，查询分析引擎344能够与内容消费引擎330通信以识别对应于实体“Justin Timberlake(001001)”的已被用户消费的内容项目和/或与对应于实体“JustinTimberlake(001001)”的已被用户消费的内容相关联的实体。
例如，能够访问与条目332、334和336相关联的信息以确定与条目332、334和336相关联的内容项目中的哪些对应于实体“Justin Timberlake(001001)”，如果存在的话。在一些实例中，基于将实体“Justin Timberlake(001001)”针对条目332、334、336的名称进行匹配，例如通过确定条目332、334、336的标题中的任一个是否包括“Justin Timberlake”，能够识别匹配实体“Justin Timberlake(001001)”的条目。在其他实例中，条目332、334、336能够被扩展以确定条目332、334、336中的任一个是否包括识别实体“Justin Timberlake”的信息。例如，能够将实体“Justin Timberlake(001001)”针对与条目332、334和336相关联的信息进行匹配，例如与条目332、334、336相关联的演员和/或艺术家或者被识别为与条目332、334、336相关联的其他实体。
识别与搜索查询相关联的内容项目和/或实体能够进一步包括识别被识别为与特定查询相关或者响应于特定查询的内容项目和/或实体。例如，查询分析引擎344能够从查询引擎320接收包括搜索查询的词语的数据，并且查询分析引擎344能够识别与对搜索查询提供响应相关的一个或多个内容项目和/或实体。例如，用户可以输入查询“谁是JessicaBiel(杰西卡·贝尔)的丈夫”，并且响应于查询，查询分析引擎344能够将“JustinTimberlake”识别为“Jessica Biel”的丈夫并且识别与“Justin Timberlake”相关联的一个或多个条目，例如用户已消费的由“Justin Timberlake”主演的一个或多个电影。
在一些实施方式中，查询分析引擎344能够通过访问对应于搜索查询的词语的、识别内容项目和/或实体的信息来识别与对于搜索查询提供响应相关的内容项目和/或实体。例如，查询分析引擎344能够从搜索插叙中识别词语“Jessica”、“Biel”和“丈夫”，并且能够在内容消费引擎330或者其他位置处访问对应于搜索查询的词语的信息，例如在因特网上可访问的信息。基于访问例如指示“Jessica Biel”的丈夫是“Justin Timberlake”的对应于搜索查询的词语的信息，查询分析引擎344能够访问识别关于查询和/或响应于查询的内容项目和/或实体的信息，例如识别用户已消费的由“Justin Timberlake”主演的一个或多个内容项目的信息。
基于确定条目332、334、336中的一个或多个对应于实体“Justin Timberlake(001001)”，能够在查询分析引擎344处接收识别对应于实体“Justin Timberlake(001001)”的条目的信息。例如，与内容项目“The Social Network(001025)”和“The 20/20Experience(101001)”相关联的条目332和334能够被识别为对应于从搜索查询中识别的实体“Justin Timberlake(001001)”的条目。例如，能够作出“The Social Network(001025)”是由“Justin Timberlake(001001)”主演作为男演员以及“The 20/20Experience(101001)”是由“Justin Timberlake(001001)”主演作为表演艺术家的确定。基于确定条目332和334与实体“Justin Timberlake(001001)”相关，能够在查询分析引擎344处接收与条目332和334相关联的信息，例如内容消费引擎330能够将与条目332和334相关联的信息传送至查询分析引擎344。
在其他实施方式中，与在内容消费引擎330的媒体消费历史数据库处存储的与用户相关联的全部条目相关联的信息能够被传送至查询分析引擎344，并且查询分析引擎344能够确定条目中的哪些对应于搜索查询。例如，与条目335、334和336相关联的信息能够被传送至查询分析引擎344，并且查询分析引擎能够识别条目335、334和336中的哪些与从搜索查询中识别的内容项目和/或实体相关。
相关性分值能够被应用于条目332、334、336中的每一个和/或被识别为与搜索查询相关的条目332、334，所述相关性分值指示条目与搜索查询相关的程度。例如，相关性分值能够被确定并且分配给与“The Social Network(001025)”相关联的条目332以及与“The20/20Experience(101001)”相关联的条目334，所述相关性分值指示对于从搜索查询中识别的实体“Justin Timberlake(001001)”的条目中的每一个的相关性。如所描述的，应用于条目332、334的相关性分值能够反映条目与搜索查询相关的程度，例如基于“JustinTimberlake(001001)”在“The Social Network(001025)”中的角色并且基于“JustinTimberlake(001001)”在“The 20/20Experience(101001)”中的角色。例如，由查询分析引擎344执行的分析能够确定将50的相关性分值分配给与“Social Network(001025)”相关联的条目332并且确定将72的相关性分值分配给与“The 20/20Experience(101001)”相关联的条目334。在一些实施方式中，相关性分值能够被分配给媒体消费历史数据库中的条目332、334、336的全部，例如通过将零分值或者指示非相关性的另一分值分配给被识别为与搜索查询不相关的那些条目，例如通过将零分值分配给与“Cheeseburger in Paradise(776111)”相关联的条目336。
与媒体消费历史数据库的相关条目相关联的信息，例如与所识别的条目和分配给条目的相关性分值相关联的信息能够被传送至查询引擎320，并且查询引擎320能够确定相关信息以提供用于响应于搜索查询的输出。例如，查询分析引擎344能够将识别与媒体消费历史数据库的条目332、334相关联的内容项目、与条目332、334相关联的信息以及分配给条目332、334的相关性分值的信息传送至查询引擎320。在一些实施方式中，与媒体消费历史数据库中的条目332、334、336的全部以及分配给那些条目的相关性分值相关联的信息能够被传送至查询引擎320。
基于所接收的有关媒体消费历史数据库中的条目以及分配给那些条目的相关性分值的信息，查询引擎320能够确定用于响应于搜索查询而输出的信息，并且能够向用户提供对于搜索查询的响应。提供用于响应于搜索查询的输出的信息能够涉及提供与被用户消费的内容相关联的信息，例如与媒体消费历史数据库中的条目相关联的信息，以及其他搜索查询结果，例如从因特网获得的结果。
在一些实施方式中，关于被用户消费的内容的信息能够连同其他搜索查询结果一起被显示在例如界面的相同区域内，或者能够与其他搜索查询结果分开显示在例如界面的不同区域内或者不同界面处。例如，查询引擎320能够突出结果域324并且能够提供用于输出在结果域324处的信息，该信息包括对应于搜索查询的关于被用户消费的内容的信息以及其他搜索查询结果。
在一些实施方式中，查询引擎320的界面能够包括结果域324以及结果面板326，使得关于被用户消费的内容的信息被提供用于在结果面板326处输出并且其他结果被提供用于在结果域324处输出。例如，在结果面板326处呈现的信息能够包括对于人物“JustinTimberlake”的个人信息，例如“歌手/演员”的职业以及1981年1月31日的出生日期，并且在结果面板326处呈现的信息包括识别用户已消费的有关人物“Justin Timberlake”的内容的信息，例如于2013年3月3日在“Radio City Music Hall”处所看的“The 20/20Experience”。在一些实例中，基于分配给媒体消费历史数据库中的条目的相关性分值，能够确定在结果面板326处呈现的信息，例如使得结果面板326从媒体消费历史数据库的最相关的条目中的一个或多个中输出信息。因此，与对应于内容“The 20/20Experience(101001)”的条目324相关的信息能够被提供用于在结果面板326处输出，而其他web结果被提供用于在结果域324处输出。
图4描绘了用于基于媒体消费历史来响应于对信息的请求的示例过程400的流程图。例如，响应于由用户提供的对信息的请求，能够通过系统100来执行过程400。尽管图4的过程400是关于响应于在诸如查询引擎120的搜索引擎处的搜索查询输入来描述的，但过程400可应用于利用媒体消费历史的众多其他应用，诸如参照图5-7所述的应用。
在步骤402中，接收包括用户标识符和实体标识符的请求。例如，内容消费引擎130能够接收数据，该数据包括识别用户的数据以及识别内容和/或与内容相关联的实体的数据。在一些实例中，识别用户的数据能够是识别输入对信息的请求的用户的数据。识别用户的数据能够例如是IP地址、用户账户标识符、电子邮件账户标识符或者识别特定用户或者用户组的另一标识符。在一些实例中，识别实体的数据能够是识别与内容项目相关联的特定实体和/或内容项目的数据。如所描述的，识别实体的数据能够是识别已从对信息的请求的词语中识别的内容项目或者与内容项目相关联的实体的数据，例如已从在搜索引擎处输入的搜索查询的词语中识别的实体。例如，在内容消费引擎130处接收的数据能够是识别特定用户的数据，例如在搜索引擎处输入搜索查询的用户，并且能够包括识别特定实体的数据，例如人物“Justin Timberlake”或者电影“The Social Network”。
在步骤404中，作出所识别的实体是否为已被用户消费的内容项目或者与已被用户消费的内容项目相关联的实体的确定。例如，基于接收识别用户和特定实体的信息，能够访问与内容消费引擎130相关联的媒体消费历史数据库。能够识别与用户相关联的媒体消费历史数据库中的条目，例如识别由用户消费的内容以及与内容和/或由用户对内容的消费相关联的其他信息。能够然后将从对信息的请求中识别的实体同与用户相关联的媒体消费历史数据库中的条目进行比较以确定所识别的实体是否为已被用户消费的内容项目和/或与已被用户消费的内容项目相关联的实体。
在步骤406中，基于确定所识别的实体是已被用户消费的内容项目或者与已被用户消费的内容项目相关联的实体，提供指示所识别的实体是否为是已被用户消费的内容项目或者与已被用户消费的内容项目相关联的实体的响应。例如，内容消费引擎130能够提供指示从对信息的请求中识别的实体是否为已被用户消费的内容项目或者与已被用户消费的内容项目相关联的实体的响应，例如提供至查询引擎120或者查询分析引擎144。在一些实施方式中，如所描述的，响应能够包括与所识别的内容项目和/或用户对所识别的内容项目的消费相关联的附加信息。例如，随响应包括的附加信息可以识别用户消费与从搜索查询中识别的实体相关联的内容的时间和/或位置。可以随响应包括其他信息，例如基于访问与内容消费引擎130相关联的媒体消费历史数据库而确定的附加信息或者不同信息。
图5-7描绘了利用已建立的媒体消费历史来响应于由计算设备的用户提供的查询的特定应用。具体地，用户能够在设备处提供输入，其中该输入请求有关在用户的环境中播放的内容的信息。例如，用户能够提供语音输入“我以前何时看过该男演员？”。能够通过系统来识别与在用户的环境中播放的内容相关联的实体，例如由用户的语音输入引用的男演员，并且基于访问识别被用户消费的内容的媒体消费历史，能够提供对于用户输入的响应，该响应识别用户已消费以及由特定男演员主演的其他内容项目。
图5描绘了用于基于媒体消费历史来响应于查询的示例过程和系统500。系统500能够有能力接收包括用户输入的查询的数据以及从用户的环境中获得的环境数据。环境数据包括在用户的环境中播放的内容项目的至少一个片段，并且基于用户输入的查询以及环境数据，能够识别与内容项目相关的实体。能够识别有关所识别的实体或者由其主演并且已被指示为被用户消费的其他内容项目。能够提供对于用户输入的查询的响应，该响应识别有关所识别的实体的、由用户消费的内容项目。
简要地，系统500包括输入引擎510、内容识别引擎520、查询消歧引擎540以及内容消费引擎530。系统500的组件能够通过诸如网络150的一个或多个网络交换电子通信，或者能够以另一种方式来交换通信，诸如通过一个或多个有线或无线连接。如图5中所描述的，与基于媒体消费历史对查询作出响应相关联的过程能够根据三个阶段的过程通过系统500来完成。
在用于响应查询的过程的第一阶段期间，输入引擎510接收包括用户输入的信息以及从用户的环境中获得的环境数据。例如，与客户端设备相关联的用户能够在可在客户端设备处访问的界面处提供查询，并且环境数据能够使用客户端设备的一个或多个组件来获得，诸如设备的麦克风和/或相机。
在一些实例中，由用户提供的输入能够是例如已由用户在客户端设备的界面处键入的查询的由用户提供的文本输入，能够是例如用户已对客户端设备的麦克风口述的查询的由用户提供的语音输入，能够是例如选择与提供查询相关联的按钮或者图标的用户对控件的选择，或者能够是可在与用户相关联的客户端设备处检测或者接收的任何其他用户输入。如所描述的，与用户相关联的客户端设备能够是任何蜂窝电话、智能电话、平板计算机、膝上型计算机、桌面型计算机、MP3播放器、可穿戴式计算设备或者与用户相关联的其他设备。
环境数据能够包括从用户的环境中获得的周围音频数据、从用户的环境中获得的视频数据、从用户的环境中获得的图像数据或者能够被用于识别在用户的环境中正播放的内容项目的其他环境数据。例如，与用户的客户端设备相关联的麦克风能够从用户的环境中获得周围音频。
基于接收与用户输入的查询相关联的用户输入以及环境数据，输入引擎510能够传送识别用户输入的数据以及环境数据。例如，如图5中所示，输入引擎510能够将用户输入传送至查询消歧引擎540，并且能够将环境数据传送至内容识别引擎520。在一些实施方式中，输入引擎510通过一个或多个网络150或者通过一个或多个其他的有线或无线连接传送与用户输入相关联的信息以及与环境数据相关联的信息。
在过程的第二阶段期间，查询消歧引擎540以及内容识别引擎520能够接收与用户输入以及环境数据相关联的信息，并且能够基于用户输入和环境数据来识别实体。在一些实施方式中，查询消歧引擎540能够分析所接收的用户输入以识别特定的实体类型，例如男演员或女演员、导演、作家、音乐家、歌手、制片人、制片公司等，并且内容识别引擎520能够基于所接收的环境数据来识别特定的内容项目。至少基于所识别的实体类型以及所识别的内容项目，能够识别特定实体，诸如特定的男演员或女演员、特定的导演等。
在一些实施方式中，查询消歧引擎540接收与用户输入相关联的数据并且基于用户输入数据来识别实体类型。例如，查询消歧引擎540能够通过一个或多个网络150来接收用户输入数据，并且能够对用户输入执行分析以识别特定的实体类型。
在一些实例中，用户输入数据将用户输入的自然语言查询编码，诸如用户已在客户端设备处提供的口述查询。如在本说明书中所用的，自然语言查询可以包括由用户使用自然语言输入的任何查询，诸如通过口述一个或多个词语的查询输入，通过在客户端设备处键入一个或多个词语，或者通过使用查询词语的菜单，例如用户能够选择的查询词语的下拉式菜单。在由用户输入的自然语言查询是口述查询的情况下，查询消歧引擎540能够例如使用自动语音识别(ASR)生成口述话语的转录，并且能够分析转录的文本以识别实体类型。例如，能够通过查询消歧引擎540来转录用户输入以获得转录“我以前何时看过该男演员”，并且查询消歧引擎540能够分析转录的文本以识别实体类型，例如男演员或女演员实体类型。
为了从用户输入中确定实体类型，该用户输入例如文本性用户输入或者从用户输入的自然语言查询中产生的转录，查询消歧引擎540能够将用户输入的词语同与实体类型相关联的一个或多个关键字短语进行比较。例如，查询消歧引擎540能够确定自然语言查询的转录中所包括的词语“男演员”与男演员或女演员实体类型相关联，其中男演员或女演员实体类型能够与在诸如电影、电视节目、新闻节目等视频内容中主演的男演员或女演员们相关联。实际上，一个或多个关键字短语可以与单个实体类型相关联。例如，词语“男演员”、“女演员”、“角色”、“表演者”以及“电影明星”可以全部与男演员或女演员实体类型相关联。
除识别实体类型之外，查询消歧引擎540也能够识别用户输入的查询的其他特征。例如，查询消歧引擎540能够分析从用户输入的自然语言查询中产生的转录中的词语，并且能够识别与用户输入的查询相关联的查询类型。基于获得转录“我以前何时看过该男演员”，例如查询消歧引擎540能够识别词语“何时”和/或“以前”，并且能够确定用户可能请求与用户遇见特定的男演员或女演员的日期或者时间相关联的信息。
内容识别引擎520能够接收从用户的环境中获得的环境数据并且能够基于环境数据来识别内容项目。例如，内容识别引擎520能够通过一个或多个网络150来接收环境数据，并且能够执行对环境数据的分析以识别在用户的环境中正播放的特定内容项目。
在一些实例中，环境数据是从用户的环境中获得的周围音频数据并且能够包括在用户的环境中正播放的内容项目的音频。例如，用户能够正在观看正通过电视机播放的内容，并且周围音频数据能够包括来自正通过电视机播放的内容中的音频。基于例如在周围音频数据中所包括的口语对话、包括在环境数据中的歌曲人声、包括在环境数据中的歌曲的乐器声、在环境数据中所包括的音效、基于对环境数据执行音频指纹匹配等，内容识别引擎520能够从环境数据中识别内容项目。
此外，在一些实施方式中，内容识别引擎520能够识别通过环境数据识别的内容项目的特定片段。例如，环境数据能够包括来自电影的特定片段的音频，并且内容识别引擎520能够识别电影的特定片段，例如通过识别对应于电影的特定片段的时间戳。
系统500能够基于所识别的实体类型以及所识别的内容项目来识别经查询的实体565。例如，基于查询消歧引擎540识别男演员或女演员实体类型并且内容识别引擎520识别特定电影，能够识别在电影中主演的特定男演员。在一些实施方式中，所查询的实体565能够是对应于所识别的内容项目的特定片段的实体，例如在已从环境数据中识别的电影的特定时间戳的片段期间出现在镜头上的男演员，或者所述实体565能够是总体上与内容项目相关联的实体。例如，识别在内容中主演的特定男演员或女演员能够涉及识别在环境数据中所包括的内容项目的片段中主演的特定男演员或女演员，并且识别与所识别的内容项目相关联的特定导演或者配乐能够涉及识别与整个内容项目相关联的特定导演或者配乐。
在一些实例中，识别对应于内容项目的特定片段的实体能够涉及识别匹配所识别的实体类型并且在内容项目的特定片段中主演的实体。例如，电影的时间戳片段能够基于环境数据来识别，其中电影的时间戳片段与特定的男演员或女演员相关联。在一些实施方式中，对应于电影的时间戳片段的男演员或女演员能够是对于电影的特定片段而言最主要的男演员或女演员，能够是在电影的特定片段期间拍摄的男演员或女演员，或者能够是在电影的特定片段期间发言的男演员或女演员。替选地，基于识别特定的内容项目以及特定的实体类型，发言人识别或者其他方法能够被用于识别特定实体。
在用于响应于查询的过程的第三阶段期间，识别例如与所识别的内容项目相关联的查询实体565的特定实体的信息能够被提交至内容消费引擎530，并且已被用户消费并且有关所查询的实体565的一个或多个内容项目能够被识别。例如，基于查询消歧引擎540和/或内容识别引擎520在图5的过程的第二阶段期间识别所查询的实体565，识别所查询的实体565的信息能够被提交至内容消费引擎530。在一些实例中，提交识别所查询的实体565的信息能够涉及通过一个或多个网络150或者通过一个或多个其他的有线或无线连接将识别所查询的实体565的信息从内容识别引擎520或者查询消歧引擎540传送至内容消费引擎530。
识别对应于所查询的实体565的已被用户消费的一个或多个内容项目能够涉及访问与内容消费引擎530相关联的媒体消费历史数据库。例如，如所描述的，内容消费引擎530能够保存包括识别已被指示为被用户消费的内容项目和/或与已被指示为被用户消费的内容项目相关联的实体的条目的数据库。基于接收识别所查询的实体565的信息，内容消费引擎530能够识别与所查询的实体565相关联的媒体消费历史数据库中的条目。例如，所查询的实体565可以被识别为已被指示为被用户消费的一个或多个内容项目，例如所查询的实体565可以是用户先前已观看的电影的片名，或者所查询的实体565能够被识别为与已被指示为被用户消费的一个或多个内容项目相关联的实体，例如所查询的实体565可以是在用户先前已观看的电影中主演的男演员或女演员。
基于识别对应于所查询的实体565以及已被识别为已被用户消费的一个或多个内容项目575，能够提供对于查询的响应。在一些实例中，对于查询的响应能够识别已消费的内容项目575，或者能够提供其他信息，诸如指示用户是否已消费与所查询的实体565相关联的至少一个内容项目的指示。在一些实例中，提供对于查询的响应能够涉及将信息通过一个或多个网络150例如从内容消费引擎530传送至输入引擎510，其中输入引擎510可以除接收用户输入和环境数据之外还有能力提供信息以便在与用户相关联的客户端设备处输出。例如，内容消费引擎530能够识别与所查询的实体565相关联的、用户已消费的一个或多个内容项目575，并且内容消费引擎530能够通过网络150将识别一个或多个已消费的内容项目575的信息传送至输入引擎510。识别和/或有关一个或多个已消费的内容项目575的信息能够响应于查询而被提供以便输出给用户，例如基于输入引擎510提供信息以便在与用户相关联的客户端设备处输出。
在迄今所述的实施方式中，基于识别特定实体来处理用户输入查询，其中特定实体对应于从用户输入查询中识别并且与使用环境数据识别的内容项目相关联的实体类型。然而，在一些示例中，系统500可以仅基于识别内容项目以及确定内容项目被包括在媒体消费历史数据库中来处理用户输入。
例如，当观看特定电影时，用户可以提供用户输入查询，诸如查询“我以前在何地看过该电影？”。输入引擎510能够接收用户输入数据，诸如编码用户输入“我以前在何地看过该电影”的数据，并且能够接收从用户的环境中获得的环境数据。内容识别引擎520能够基于环境数据来识别内容项目。例如，内容识别引擎520能够基于从用户的环境中获得的音频数据来识别用户正观看的特定电影，其中音频数据包括特定电影的音频。所识别的内容项目能够被选择为所查询的实体565，并且例如识别用户正观看的特定电影的信息的识别内容项目的信息能够被提交至内容消费引擎530。
内容消费引擎530能够访问媒体消费历史数据库并且能够确定内容项目被包括在媒体消费历史数据库中，由此指示所识别的内容项目是先前已被用户消费的内容项目。内容消费引擎530能够访问在与内容项目和/或由用户对内容项目的消费相关联的媒体消费历史数据库处的信息。例如，内容消费引擎530能够访问与用户输入查询相关联的信息，诸如响应于用户提供查询“我以前在何地看过该电影？”而识别用户看过其正观看的特定电影的位置的信息。在一些实施方式中，与内容项目和/或由用户对内容项目的消费相关联的信息能够是与内容项目相关联的元数据。基于在媒体消费历史数据库处访问与所识别的内容项目相关联的信息，能够提供对于用户输入查询的响应，该响应包括已访问信息的至少一部分。例如对于用户输入查询的响应能够识别用户已观看特定电影的其他时间和/或位置。
在一些实施方式中，除识别已基于所识别的实体类型以及所识别的内容项目来确定的实体的信息或者代替该信息，识别内容项目的信息能够被提交至内容消费引擎530。例如，系统500能够基于环境数据来识别内容项目，并且能够附加地或者替选地基于识别内容项目以及实体类型来识别特定实体。仅识别内容项目、仅识别已识别的实体或者两者的信息能够被提交至内容消费引擎530。基于所接收的信息，内容消费引擎530能够相应地识别已被用户消费并且有关所识别的实体的一个或多个内容项目，在媒体消费历史数据库处识别所识别的内容项目以及访问与所识别的内容项目相关联的信息，或者两者。基于通过内容消费引擎530访问的信息，能够提供对于查询的响应，该响应包括识别和/或有关与所识别的实体相关联的、由用户消费的一个或多个内容项目的信息，并且/或者该响应包括与所识别的内容项目和/或由用户对所识别的内容项目的消费相关联的信息。
在一些实施方式中，对于用户输入查询的响应能够基于在内容消费引擎530处执行的分析而不同，其中响应于接收提交的信息和/或在媒体消费历史数据库处访问信息而执行分析。例如，提交至内容消费引擎530的信息能够识别基于环境数据识别的内容项目以及基于所识别的实体类型和所识别的内容项目识别的实体两者。基于接收提交的信息，内容消费引擎530能够试图识别已被用户消费并且有关所识别的实体的一个或多个内容项目，并且能够附加地确定所识别的内容项目是否在媒体消费历史数据库中被识别。对于查询的响应能够基于内容消费引擎530是否识别已被用户消费并且有关所识别的实体的一个或多个内容项目和/或基于所识别的内容项目是否在媒体消费历史数据库中被识别而不同。
在一些实例中，如果内容消费引擎530没有识别已被用户消费并且有关所识别的实体的一个或多个内容项目，则对于查询的响应可以仅包括与所识别的内容项目相关联的信息。类似地，如果内容消费引擎530确定所识别的内容项目没有在媒体消费历史数据库中被识别，则对于查询的响应可以仅识别已被用户消费并且有关所识别的实体的一个或多个内容项目。如果内容消费引擎530能够识别已被指示为已被用户消费并且有关所识别的实体的一个或多个内容项目并且确定所识别的内容项目在媒体消费历史数据库中被识别两者，则对于查询的响应可以识别已被用户消费并且有关所识别的实体的一个或多个内容项目，可以包括与所识别的内容项目和/或由用户对内容项目的消费相关联的信息的至少一部分，或者两者。
图6描绘了用于基于媒体消费数据库来响应于查询的系统600。具体地，系统600处理由用户采取口述查询的形式来提供自然语言查询以请求有关正在用户的环境中播放的内容的信息的实施方式。在一些实施方式中，可以由用户采取不同的形式来提供自然语言查询。例如，自然语言查询可以是由用户键入的查询，或者可以是从查询词语的菜单中选择其词语的查询。如在本说明书中所用，口述查询能够是计算系统已被指令和/或设计成接受的、通过一条语音或者多条语音提供的任何话语。
简要地，系统600能够基于从用户的环境中获得的环境音频数据以及对应于由用户输入的口述查询的话语来识别实体。基于识别实体，系统600能够识别对应于所识别的实体的、已被指示为被用户消费的内容项目。系统600包括客户端设备602、消歧引擎前端610、内容识别引擎620、内容消费引擎630、语音识别引擎640以及实体消歧引擎650。系统600的组件能够每个通过诸如网络150的一个或多个网络来通信，或者能够通过一个或多个其他的有线或无线连接来通信。
更详细地，客户端设备602通过一个或多个网络与消歧引擎前端610通信。客户端设备602能够包括用于检测与由用户604提供的口述查询相关联的话语和/或从用户604的环境中获得的环境数据的麦克风、相机或者其他检测机制。在一些实施方式中，客户端设备602能够是移动计算设备，诸如移动电话、智能电话、个人数字助理(PDA)、音乐播放器、电子书阅读器、平板计算机、膝上型计算机或者其他便携式设备。
环境数据，具体是环境音频数据包括通过客户端设备602所检测的周围噪音，例如使用客户端设备602的麦克风。消歧引擎前端610接收包括与口述查询相关联的话语以及环境音频数据两者的波形数据608，并且将波形数据608处理成片段并且/或者从波形数据608中提取话语。消歧引擎前端610将对应于口述查询的数据提供至语音识别引擎640并且将环境数据提供至内容识别引擎620。
语音识别引擎640获得口述查询的转录，并且实体消歧引擎650识别与口述查询相关联的特定实体类型。这样的实体类型能够包括例如男演员或女演员实体类型、导演实体类型、作家实体类型、艺术家实体类型、电影、电视节目、实况演出、或者识别内容类型、音乐家实体类型等的其他实体类型。使用识别内容项目以及实体类型的信息，能够识别特定实体。已被用户604消费并且对应于所识别的实体的内容项目能够在内容消费引擎630处被识别。基于识别已被用户604消费并且对应于所识别的实体的内容项目，对于查询的响应能够被提供至客户端设备602以便输出给用户604，例如识别已被用户604消费并且与所识别的实体相关联的内容项目的响应。
在一些示例中，用户604接触诸如特定的电影或者歌曲的特定内容项目，并且想要识别其已消费并且同样由特定人员主演的其他内容项目或者在内容项目中主演的其他实体。例如，用户604可能正观看电影并且可能想要知道由电影中的特定男演员主演的、他们已看过的其他电影或者电视节目。用户604可能不知道其正观看的电影的片名或者特定男演员的名字，并且可能因此说出“计算机，我以前何时看过该男演员”，意图是客户端设备602会将该短语识别为口述查询以识别用户604已观看并且由特定男演员主演的其他内容项目。在一些实施方式中，识别由特定男演员主演的、用户604已观看的其他内容项目能够包括在客户端设备602处提供对于查询的响应。响应能够被提供以便在客户端设备602处输出至用户604并且能够识别用户604已观看并且由特定男演员主演的内容项目。
客户端设备602检测构成口述查询的话语以及从用户604的环境中检测的环境音频数据。在一些实施方式中，用户604能够选择控件以触发客户端设备602来检测话语和环境音频数据。在其他实施方式中，基于对已由用户604输入的热字的检测，例如触发关键字，例如基于检测由用户604口述的热字“计算机”的输入，触发对话语和环境音频数据的检测。
从用户604的环境中获得的环境音频数据能够包括来自用户604的环境中的周围噪音。例如，环境音频数据能够包括正与由用户604输入的口述话语同时、在口述话语之前不久或者在口述话语之后不久播放的电影的声音。在一些示例中，与在用户604的环境中正播放的内容相关联的环境音频数据能够包括与内容相关联的对话、与内容相关联的音乐、与内容相关联的音效或者与内容相关联的其他音频。
在一些实施方式中，客户端设备602在检测由用户604输入的口述话语之后检测环境音频数据，例如响应于确定用户604不再对客户端设备602说话，能够在口述话语的同时检测环境音频数据，例如当用户604正对客户端设备602说话时，并且/或者能够在客户端设备602接收口述话语之前检测环境音频数据，例如基于客户端设备602持续接收和分析通过客户端设备602的麦克风所接收的音频数据。
客户端设备602处理所检测的话语和环境音频数据以生成表示话语和环境音频数据的波形数据608。客户端设备602然后在操作(A)期间将波形数据608传送至消歧引擎前端610。在一些示例中，包括由用户604输入的话语以及环境音频数据的波形数据608从客户端设备602被流送至消歧引擎前端610。
消歧引擎前端610从客户端设备602接收波形数据608。消歧引擎前端610通过从波形数据608中分离和/或提取与口述查询相关联的话语来处理波形数据608，并且在操作(B)期间将对应于话语的数据传送至语音识别引擎640。例如，消歧引擎前端610能够将对应于口述话语(例如“计算机，我以前何时看过该男演员”)的话语与从用户604的环境中获得的背景噪音中分离。在一些实例中，将对应于口述查询的话语传送至语音识别引擎640能够包括通过一个或多个网络或者通过一个或多个其他的有线或无线连接来传送与话语相关联的数据。
在一些实施方式中，消歧引擎前端610利用语音活动检测器来促进从波形数据608中分离和/或提取对应于口述查询的话语。消歧引擎前端610能够使用语音活动检测器来识别波形数据608中包括语音活动的片段或者与客户端设备602相关联的用户604的语音活动，例如不对应于从用户604的环境中正播放的内容项目中检测到的对话、歌词或者其他语音活动的语音活动。在一些示例中，话语与口述查询相关联，例如有关用户604正观看的电影的口述查询。在一些示例中，波形数据608可以仅包括所检测到的对应于口述查询的话语，并且基于仅包括话语的波形数据608，消歧引擎前端610能够请求客户端设备602从用户604的环境中获得环境音频数据。在这样的实施方式中，环境数据可以在由用户604输入的口述查询之后被获得，例如可以响应于用户604提供口述查询而被获得。
语音识别引擎640接收波形数据608中对应于话语的部分(操作(B))。语音识别引擎640获得话语的转录并且在操作(C)期间将转录提供至实体消歧引擎650。具体地，语音识别引擎640处理波形数据608中包括对应于口述查询的话语的部分。在一些示例中，语音识别引擎640通过获得话语的转录来处理话语。生成转录能够包括将话语转录成文本或者文本相关的数据。换言之，语音识别引擎640能够提供对应于话语的语言表示。例如，语音识别引擎640转录话语以生成转录“计算机，我以前何时看过该男演员”。
在一些实例中，基于确定转录包括至少一个热字，能够将转录修改成移除任何热字词语。例如，基于词语“计算机”被指定为热字，当语音识别引擎640生成话语的转录“计算机，我以前何时看过该男演员”时，语音识别引擎640能够从转录中移除词语“计算机”以获得转录“我以前何时看过该男演员”。基于移除一个或多个热字词语，代替未经修改的转录“计算机，我以前何时看过该男演员”，能够然后关于转录“我以前何时看过该男演员”执行在对应于口述查询的话语的处理中的其余部分。
实体消歧引擎650接收与口述查询相关联的话语的转录(操作(C))。在一些实施方式中，如图6中所示，实体消歧引擎650从语音识别引擎640接收话语的转录。在其他示例中，语音识别引擎640生成话语的转录并且将与话语的转录相关联的数据传送至消歧引擎前端610，其中消歧引擎前端610然后将与话语的转录相关联的数据传送或者中继转发至实体消歧引擎650。实体消歧引擎650能够通过一个或多个网络或者一个或多个其他的有线或无线连接来接收与转录相关联的数据。基于转录，实体消歧引擎650能够识别与由用户604所提供的口述查询相关联的实体类型。
基于已从用户输入的话语中获得的转录的文本，实体消歧引擎650识别与口述查询相关联的实体类型。在一些实例中，实体消歧引擎650通过将转录的文本同与特定实体类型相关联的关键字和/或语法进行比较来识别实体类型。例如，实体类型能够包括诸如男演员或女演员、导演、作家、歌手、音乐家、艺术家、摄影师、编辑、乐队、唱片公司、制片公司、电视网、广播网或者电台、公司、制品、歌曲、配乐等类型。如所描述的，在一些实例中，实体类型也能够包括内容项目类型，诸如电影、电视节目、无线电广播、电视广告、电台广告、新闻广播、实况演出、音乐会、播客等。每一个实体类型能够与一个或多个关键字和/或语法相关联，并且基于口述查询的转录中包括或者满足的一个或多个关键字和/或语法中的至少一个，实体消歧引擎650能够将特定的实体类型识别为被口述查询引用。
例如，实体消歧引擎650从语音识别引擎640接收口述查询的转录并且将转录同关键字数据库655中所存储的关键字和/或语法进行比较。关键字数据库655能够包括与各种实体类型相关的关键字和/或语法，如图6所示，例如包括关于男演员或女演员实体类型以及歌手实体类型的关键字和/或语法。为了识别与口述查询相关联的特定实体类型，实体消歧引擎650能够将转录同与实体类型中的每一个相关联的关键字和/或语法进行比较。
在一些实例中，与实体类型相关联的关键字和/或语法能够包括关键字和/或语法内的一个或多个占位符，使得转录不必确切包括特定关键字或者确切匹配特定语法才能被识别为和与关键字和/或语法相关联的特定实体类型相关。例如，口述查询能够被转录成“who does this song(谁作出该歌曲)”，并且实体消歧引擎650能够基于词语“who does”满足占位符而确定转录“who does this song”匹配语法“<>This song”，其中“<>”表示占位符。在一些实例中，占位符可以与特定格式相关联，该特定格式被用于确定转录中用于替换占位符的部分。例如，与占位符相关联的格式可以指定转录中替换占位符的部分可选地包括后缀，例如词“sings”、“singer”和“singing”全部可以被识别为匹配关键字“sing”。
基于从语音识别引擎640接收转录，例如转录“我以前何时看过该男演员”，实体消歧引擎650能够访问关键字数据库655并且能够将转录的文本同与各种实体类型中的每一个相关联的关键字和/或语法进行比较。例如，基于确定来自转录中的词语“男演员”满足关键字“act<>”，实体消歧引擎650能够确定转录“我以前何时看过该男演员”对应于男演员或女演员实体类型。基于确定转录“我以前何时看过该男演员”对应于男演员或女演员实体类型，实体消歧引擎650在操作(D)期间将识别男演员或女演员实体类型的数据提供至消歧引擎前端610。
在一些实例中，多于一个实体类型可以与特定的关键字和/或语法模式相关联。例如，关键字“<>Play<>”可以是与乐队实体类型、音乐家实体类型以及男演员或女演员实体类型相关联的关键字。在这样的情况下，实体消歧引擎650可以将识别多个实体类型的数据提供至消歧引擎前端610，例如提供指示口述查询可能与乐队实体、音乐家实体或者男演员或男演员实体相关联的数据。替选地，基于实体消歧引擎650执行对话语的转录的附加分析，实体消歧引擎650能够从多个所识别的实体类型当中识别单个实体类型，或者能够识别多个实体类型的子集。
在一些实施方式中，基于话语的转录匹配多于一个实体类型，在操作(D)中由实体消歧引擎650提供至消歧引擎前端610的数据能够识别全部已匹配的实体类型。在其他实施方式中，在实体消歧引擎650处执行附加分析以从匹配的实体类型当中识别实体类型的子集，并且在操作(D)中提供至消歧引擎前端610的数据能够识别实体类型的子集。例如，口述查询的转录能够被识别为匹配与男演员或女演员实体类型相关联的关键字和/或语法中的两个并且仅匹配与乐队实体类型和音乐家实体类型中的每一个相关联的关键字和/或语法模式中的一个。基于转录满足与男演员或女演员实体类型相关联的关键字和/或语法多于任何其他实体类型，由实体消歧引擎650提供至消歧引擎前端610的数据可以仅识别男演员或女演员实体类型。在一些实施方式中，其他方法可以被用于从多个潜在的实体类型当中识别特定的实体类型。
在所述主题的一些实施方式中，实体消歧引擎650能够附加地或者替选地基于口述话语的转录来识别一个或多个内容项目类型。内容项目类型可以被识别为与特定的实体类型相关联，例如已识别的实体类型可以与一个或多个特定的内容项目类型相关联，或者内容项目类型可以独立于实体类型而被识别，例如基于对口述查询的转录的单独分析。
例如，男演员或女演员实体类型可以被识别为与匹配电影内容类型、电视节目内容类型以及电视广告内容类型的内容项目相关联。可以由实体消歧引擎650通过访问关键字数据库655来识别与各种实体类型相关联的内容项目类型，例如使得关键字数据库655识别与实体类型中的每一个相关联的一个或多个内容项目类型。在一些实例中，将识别对应于口述查询的实体类型的数据提供至消歧引擎前端610能够进一步包括识别与所识别的实体类型相关联的一个或多个内容项目类型。
在一些实例中，内容项目类型可以与关键字和/或语法相关联，诸如在关键字数据库655处所存储的关键字或语法，并且通过使用与用于识别实体类型的那些相似的技术，能够基于口述查询的转录来识别内容项目类型。例如，口述查询可以被转录成“我以前何时看过该电影明星”，并且基于转录包括与电影内容项目类型相关联的关键字“电影”，实体消歧引擎650可以将识别电影内容项目类型的数据提供至消歧引擎前端610。
特定的内容项目类型可以与特定的实体类型相关联并且/或者可以排除特定的实体类型。例如，专辑内容项目类型可以与艺术家实体类型相关联，但可以排除与男演员或女演员实体类型相关联。
在一些实施方式中，实体消歧引擎650能够附加地基于口述查询的转录来识别一个或多个查询类型。例如，实体消歧引擎650能够通过将转录的文本同与特定查询类型相关联的关键字和/或语法进行比较来识别与口述查询相关联的查询类型。例如，查询类型能够与请求位置的查询相关联，例如用户604已接触特定实体或者内容项目的位置，能够与请求时间或者日期的查询相关联，例如用户604接触特定实体或者内容项目的时间或者日期，能够与请求用户如何消费内容的查询相关联，例如用户604是在电影院还是在家中使用电影租赁服务来观看特定电影，能够与请求与特定实体或者内容项目相关联的信息的查询相关联，例如请求对在电影中主演的特定男演员或女演员的识别或者对与特定男演员或女演员相关联的实体的识别，能够与请求系统600识别一个或多个实体和/或内容项目的查询相关联，例如请求由特定男演员或女演员主演的、用户604已观看的其他电影，或者能够与有关内容和/或与内容相关联的实体的其他查询类型相关联。每一个查询类型能够与一个或多个关键字和/或语法相关联，并且基于口述查询的转录中包括或者满足的一个或多个关键字和/或语法中的至少一个，实体消歧引擎650能够将特定的查询类型识别为被口述查询引用。
例如，实体消歧引擎650能够将转录同在诸如关键字数据库655的可由实体消歧引擎650访问的数据库处所存储的关键字和/或语法进行比较。数据库能够包括与各种查询类型相关联的关键字和/或语法，诸如关于与识别用户已接触特定的内容项目或者与内容项目相关联的实体的时间或者日期相关联的查询类型的关键字和/或语法。为了识别与口述查询相关联的特定查询类型，实体消歧引擎650能够将口述查询的转录同与查询类型中的每一个相关联的关键字和/或语法进行比较。
在一些实施方式中，如关于与实体类型相关联的关键字和/或语法所述，口述查询的转录可以包括匹配多于一个查询类型的关键字和/或语法。响应于基于口述查询的转录来识别多于一个查询类型，实体消歧引擎650可以识别全部匹配的查询类型，或者可以执行附加分析以确定所识别的查询类型的子集。实体消歧引擎650能够将识别一个或多个所识别的查询类型的信息提供至消歧引擎前端610。
在一些实例中，特定的查询类型可以关联于或者排除特定的内容项目类型和/或特定的实体类型。例如，与请求位置或者时间的查询相关联的查询类型可能不与播客内容类型或者电视台实体类型相关联，但可能与电影内容类型或者男演员内容类型相关联。
基于识别与语音查询相关联的一个或多个查询类型，能够将识别一个或多个查询类型的信息从实体消歧引擎650提供至消歧引擎前端610。在多于一个查询类型被识别的情况下，例如基于话语的转录匹配查询类型中的多于一个，实体消歧引擎650可以提供识别一个或多个查询类型的全部或者识别一个或多个查询类型的子集的信息。例如，实体消歧引擎650可以执行对话语的转录的附加分析以从一个或多个所识别的查询类型当中识别单个查询类型并且可以将识别单个查询类型的信息提供至消歧引擎前端610。
消歧引擎前端610在操作(D)中从实体消歧引擎650接收识别实体类型并且可选地识别内容项目类型和/或查询类型的数据。例如，消歧引擎前端610能够通过一个或多个网络从实体消歧引擎650接收识别与用户输入的话语相关联的实体类型的信息。
消歧引擎前端610在操作(E)期间将环境音频数据提供至内容识别引擎620。在一些实施方式中，消歧引擎前端610通过一个或多个网络将波形数据608的对应于环境音频数据的部分传送至内容识别引擎620。波形数据608的对应于环境音频数据的部分能够包括例如来自在用户604的环境中正播放的电影的音频，例如包括在通过客户端设备602获得的环境音频数据中的来自电影的对话、来自电影的音乐或者来自电影的其他声音的片段。
内容识别引擎620从消歧引擎前端610接收环境音频数据。内容识别引擎620基于环境音频数据来识别一个或多个内容项目，并且在操作(F)期间将识别一个或多个内容项目的数据提供至消歧引擎前端610。具体地，内容识别引擎620处理环境音频数据以识别包括在环境音频数据中的一个或多个内容项目。例如，内容识别引擎620能够基于包括在环境数据中的对话的片段、基于包括在环境数据中的配乐或者其他音乐的片段、基于包括在环境数据中的音效或者基于包括在环境数据中的其他音频数据来识别一个或多个内容项目。
在一些示例中，可以基于处理环境音频数据识别单个内容项目。例如，环境音频数据可以包括来自特定电影的对话，并且内容识别引擎620可以基于环境音频数据来识别特定电影。在其他示例中，可以基于处理环境音频数据识别多于一个内容项目。例如，环境音频数据可以包括来自特定电影的配乐的片段，并且内容识别引擎620可以将包括在环境数据中的电影、配乐以及来自配乐的特定歌曲识别为与环境音频数据相关联的内容项目。基于识别电影、配乐以及特定歌曲，内容识别引擎620可以将识别电影、配乐以及特定歌曲的信息提供至消歧引擎前端610。
在一些实施方式中，除将环境音频数据提供给内容识别引擎620之外，消歧引擎前端610能够将识别一个或多个实体类型和/或内容项目类型的信息提供至内容识别引擎620。例如，消歧引擎前端610能够将从波形数据608获得的环境音频数据提供给内容识别引擎620，并且能够进一步将识别男演员或女演员实体类型和/或电影内容项目类型的信息提供给内容识别引擎620。
基于识别对应于环境音频数据的多于一个内容项目，内容识别引擎620能够将仅识别对应于环境音频数据并且是对应于指定的内容项目类型和/或由对应于指定的实体类型的实体主演的内容项目的那些内容项目的信息提供至消歧引擎前端610。例如，内容识别引擎620能够识别电影、配乐以及特定歌曲，例如来自所识别的配乐的特定歌曲。基于接收识别男演员或女演员实体类型和/或电影内容项目类型的信息，内容识别引擎620可以确定将识别电影而没有识别配乐和歌曲的信息提供至消歧引擎前端610。在另一示例中，基于识别对应于环境音频数据的电影、配乐以及特定歌曲，并且附加地基于接收识别音乐家实体类型的指示，内容识别引擎620可以将识别配乐以及特定歌曲两者的信息提供至消歧引擎前端610。尽管该示例描述了内容识别引擎620从消歧引擎前端610接收实体类型和/或内容项目类型的指示，但在其他实施方式中，内容识别引擎620可以从实体消歧引擎650或者从系统600的另一组件接收实体类型和/或内容项目类型的指示。
在一些实例中，内容项目可以通过内容识别引擎620来识别并且内容识别引擎620能够将有关所识别的内容项目的附加内容项目数据提供至消歧引擎前端610。附加内容项目数据能够识别内容项目的名称、例如一个或多个演员、导演、艺术家、制片公司等的与内容项目相关联的一个或多个实体、与内容项目相关联的国际标准音像制品编码(ISRC)、识别内容项目的特定片段的磁道、插曲或者章节标识符、或者识别内容项目或者内容项目的片段的其他信息。在一些实施方式中，内容识别引擎620通过诸如网络150的一个或多个网络或者通过一个或多个其他的有线或无线连接将识别内容项目的信息以及附加内容项目数据传送至消歧引擎前端610。
在一些实施方式中，内容识别引擎620是利用内容指纹的音频指纹引擎，所述内容指纹使用小波来识别内容项目。具体地，内容识别引擎620将波形数据608的对应于环境音频数据的部分转换成频谱。从频谱中，内容识别引擎620提取频谱图像。频谱图像能够被表示为小波。对于从频谱中提取的频谱图像中的每一个，内容识别引擎620基于小波的相应振幅来提取“尖顶”小波。对于每个频谱图像，内容识别引擎620计算图像的小波签名。在一些示例中，小波签名是图像的小波分解的截断量化版本。
例如，为用小波来描述m×n图像，在不压缩的条件下返回m×n个小波。此外，内容识别引擎620利用最表征内容项目的小波子集。具体地，选择t个“尖顶”小波(通过振幅)，其中t<<m×n。此外，内容识别引擎620创建上述稀疏小波向量的紧凑表示，例如使用MinHash算法来计算用于这些稀疏位向量的子指纹。
除确定内容项目的身份之外，在一些实施方式中，内容识别引擎620还能够识别与内容项目的特定分段相关联的时间戳。所识别的时间戳能够对应于包括在环境音频数据中的内容项目的特定分段。在一些示例中，时间戳能够是计数器值，例如电影或者歌曲的特定时间点的指示。
在一些实施方式中，时间戳能够是唯一识别特定内容项目的特定分段的字母数字代码。例如，内容识别引擎620能够确定电影的对话的特定分段对应于电影的特定分段并且能够响应于确定对话的分段对应于电影的特定分段而识别特定的字母数字时间戳。在这样的实施例中，字母数字代码能够对于内容项目的分段以及内容项目而言是唯一的，例如使得任何内容项目的分段都不与和任何其他内容项目的任何其他分段相同的字母数字代码相关联。
在其他实施方式中，用于识别特定内容项目的特定分段的时间戳能够是时间计数器的表示，其中时间戳对于特定的内容项目而言不是唯一的。例如，特定时间戳能够基于确定第一电影的对话的片段发生在第一电影的特定时间来识别，并且相同时间戳能够基于确定环境音频数据的另一样本对应于第二电影中的相同时间来识别。识别内容项目的数据能够然后被用于确定特定时间戳对应于第一电影的对话的片段，而非第二电影中对应于该时间戳的时间。
在一些实施方式中，识别内容项目以及对应的时间戳能够通过将环境音频数据与在预先记录的内容项目数据库(未示出)中存储的内容项目的音频数据进行比较来获得。例如，内容识别引擎620可以与包含已被预处理并且分配时间戳的预先记录的内容项目的语料库的数据库相关联，并且内容识别引擎620能够通过将环境音频数据与预先记录的内容项目数据库中的内容项目进行比较来识别对应于内容项目的片段的内容项目和时间戳。
在一些实施方式中，预先记录的内容项目数据库包括各种内容项目的预处理版本，例如大量电影、电视节目、新闻广播、体育赛事、无线电广播、广播和电视广告等的预处理版本。能够以整批方式预处理内容项目以及与内容项目相关联的元数据并且能够将所处理的内容数据存储在预先记录的内容项目数据库中。在一些实施方式中，所处理的数据能够包括内容项目的音频指纹，其中音频指纹能够被索引并且用于通过将环境音频数据的音频指纹与特定内容项目的音频指纹进行匹配从环境音频数据中识别内容项目。在一些实施方式中，所处理的内容项目数据也包括对应于各种内容项目的片段的时间戳，并且基于环境音频数据来识别时间戳能够涉及确定环境音频数据对应于内容项目的特定时间戳片段。例如，内容项目的时间戳片段能够与特定音频指纹相关联，并且识别对应于环境音频数据的内容项目的时间戳能够涉及将环境音频数据的音频指纹与内容项目的音频指纹进行匹配以及识别对应于已匹配的音频指纹的内容项目的时间戳。
在一些实例中，基于环境音频数据来识别的时间戳能够是对应于包括在环境音频数据中的已识别内容的片段的时间戳。例如，环境音频数据能够包括来自电影的特定片段的音频，并且所识别的时间戳能够是对应于电影的该特定片段的时间戳。
在其他实例中，基于环境音频数据来识别的内容项目的时间戳能够是与不同于包括在环境音频数据中的内容项目的片段的那一个相关联的时间戳。例如，在内容识别音频620处接收的环境音频数据能够包括电影的特定片段的音频，并且基于所接收的环境音频数据识别的时间戳能够是对应于在环境音频数据中所包括的电影片段之前不久出现的电影片段的时间戳。在一些实施方式中，所识别的时间戳能够是与出现于包括在环境音频数据中的内容项目的片段之前、同时或者之后的所识别的内容项目的片段相关联的时间戳。在一些实例中，识别对应于出现于环境音频数据中所包括的内容项目的片段之前的内容项目的片段的时间戳能够使得系统600更好地解决用户604的意图。例如，基于用户604在确定其想要提供查询之后可能需要附加时间来输入口述查询，能够识别对应于略先于环境音频数据中所包括的内容项目的片段的所识别的内容项目的片段的时间戳。
在一些实施方式中，能够识别与通过内容识别音频620识别的内容项目相关联的一个或多个实体和/或通过内容识别引擎620识别的内容项目的特定时间戳片段。例如，基于识别电影的特定时间戳片段，能够识别与时间戳片段相关联的男演员或女演员，例如在电影的时间戳片段期间出现最频繁的男演员或女演员。一些实体可以与内容项目的全部时间戳片段相关联，例如电影的导演可以与电影的全部时间戳片段相关联。识别与内容项目或者内容项目的时间戳片段相关联的一个或多个实体可以涉及在可由内容识别引擎620访问的数据库处访问识别与内容项目相关联的实体的信息。例如，预先记录的内容项目数据库可以存储识别与内容项目和/或内容项目的特定片段相关联的实体的信息，并且识别与所识别的内容项目或者所识别的内容项目的特定时间戳分段相关联的一个或多个实体能够包括在预先记录的内容项目数据库处识别与所识别的内容项目和/或所识别的内容项目的特定时间戳分段相关联的一个或多个实体。
在一些实例中，基于消歧引擎前端610将识别实体类型的信息提供至内容识别引擎620，内容识别引擎620能够识别对应于与所识别的内容项目相关联的所识别的实体类型的一个或多个实体。例如，内容识别引擎620能够接收识别男演员或女演员实体类型的信息，并且基于识别对应于所接收的环境音频数据的电影的特定片段，内容识别引擎620能够识别与电影的特定片段相关联的男演员或女演员。内容识别引擎620能够然后将识别对应于所识别的实体类型的特定实体的信息提供至消歧引擎前端610。例如，内容识别引擎620能够将识别与电影的特定片段相关联的特定男演员或女演员的数据传送至消歧引擎前端610。
内容识别引擎620能够将识别一个或多个内容项目以及可选地识别一个或多个时间戳和/或实体的信息提供至消歧引擎前端610(操作(F))。在一些实施方式中，消歧引擎前端610能够通过一个或多个网络150或者通过一个或多个其他的有线或无线连接来接收识别一个或多个内容项目、时间戳和/或实体的信息。基于例如从实体消歧引擎650接收识别实体类型的信息以及例如从内容识别引擎620接收识别一个或多个内容项目的信息，消歧引擎前端610能够识别特定实体。
识别特定实体能够涉及识别与通过内容识别引擎620识别的特定内容项目相关联并且匹配通过实体消歧引擎650识别的实体类型的实体。例如，消歧引擎前端610能够接收识别特定电影的信息以及识别导演实体类型的信息，所述特定电影例如已基于环境音频数据来识别的电影“World War Z(末日之战)”，并且消歧引擎前端610能够将电影的导演识别为实体，例如电影“World War Z”的导演Marc Forster(马克·福斯特)。
在一些实例中，多于一个实体可以对应于针对所识别的内容项目的特定实体类型。例如，消歧引擎前端610能够接收识别例如电影“World War Z”的特定电影的信息以及识别男演员或女演员实体类型的信息。由于电影可能由多于一个匹配男演员或女演员实体类型的实体主演，例如电影“World War Z”由演员“Brad Pitt(布拉德·皮特)”、“MireilleEnos(米瑞·伊诺丝)”、“Daniella Kertesz(达妮埃拉·科特兹)”等主演，因此消歧引擎前端610可以从匹配所识别的实体类型的多个实体当中选择单个实体，例如可以选择“BradPitt”作为实体。在一些实施方式中，消歧引擎前端610能够选择在匹配所选择的实体类型的所识别的内容项目中出现最频繁或者担任最主要角色的实体，可以从匹配实体类型的实体当中选择首先出现在所识别的内容项目中的实体，或者可以使用另一度量或者评估来从匹配所选择的实体类型并且与特定内容项目相关联的多个实体当中选择单个实体。
如所讨论的，在一些实施方式中，消歧引擎前端610能够从内容识别引擎620接收识别内容项目以及与内容项目相关联的时间戳的信息，并且能够从实体消歧引擎650接收识别实体类型的信息。消歧引擎前端610能够基于所识别的内容项目、时间戳以及实体类型来识别实体。例如，消歧引擎前端610能够接收识别例如电影“World War Z”的电影的信息、例如识别电影“World War Z”的特定片段的时间戳的对应于电影的特定片段的时间戳以及男演员或女演员实体类型，并且能够基于识别电影、时间戳以及男演员或女演员实体类型等的信息来识别特定实体，例如能够基于男演员“Brad Pitt”在由时间戳识别的电影“World War Z”的片段中主演而将“Brad Pitt”识别为实体。
在一些实例中，消歧引擎前端610能够接收识别多于一个内容项目的信息以及识别实体类型的信息。例如，消歧引擎前端610能够接收识别电影、配乐和歌曲等的信息，例如包括在配乐中的歌曲，并且能够包括识别实体类型的信息，例如男演员或女演员实体类型或者乐队实体类型。在一些实施方式中，消歧引擎前端610能够识别对应于所选择的实体类型的内容项目类型，并且能够从多个内容项目当中选择单个内容项目，其中所选择的内容项目匹配所识别的内容项目类型中的一个。例如，消歧引擎前端610能够确定男演员或女演员实体类型与电影内容项目类型、电视节目内容项目类型以及电视广告内容项目类型相关联。基于电影内容项目是与男演员或女演员实体类型关联的内容项目类型中的一个匹配的内容项目类型相关联的唯一内容项目，消歧引擎前端610能够从电影、配乐和歌曲内容项目当中选择电影内容项目。类似地，消歧引擎前端610能够确定乐队实体类型与歌曲内容项目类型、专辑内容项目类型以及配乐内容项目类型相关联。基于歌曲以及配乐内容项目都匹配与所选择的实体类型相关联的内容项目类型，消歧引擎前端610能够从电影、配乐或者歌曲内容项目当中选择歌曲或者配乐内容项目。
基于例如响应于实体类型是男演员或女演员实体类型而将电影识别为内容项目，消歧引擎前端610能够选择满足男演员或女演员实体类型的、与电影相关联的实体，例如首先出现在电影中的男演员或女演员、在电影中担任最主要角色的男演员或女演员等。基于例如响应于实体类型是乐队实体类型而识别歌曲或者配乐内容项目，消歧引擎前端610能够选择满足乐队实体类型的、与歌曲或者配乐相关联的实体，例如演唱歌曲的乐队或者演唱配乐中的歌曲的乐队。在多于一个实体可以与内容项目相关联的情况下，例如基于多于一个乐队在配乐上主演，消歧引擎前端610可以从实体当中选择特定实体，例如通过确定乐队是在配乐上主演的第一个乐队，通过确定乐队是在配乐上主演最主要角色等。
在一些实例中，消歧引擎前端610能够接收识别多于一个内容项目的信息、对应于内容项目中的每一个的特定片段的时间戳以及识别实体类型的信息。例如，消歧引擎前端610能够接收识别电影、配乐和歌曲的信息、识别电影、配乐和歌曲中的每一个的特定片段的信息以及识别实体类型的信息，例如男演员或女演员实体类型。消歧引擎前端610能够选择与特定实体类型相关联的内容项目类型，并且能够从匹配所识别的内容项目类型中的一个的多个内容项目当中选择单个内容项目，如所描述的。例如，基于所识别的实体类型是男演员或女演员实体类型，消歧引擎前端610能够选择该电影作为所识别的内容项目。如所描述的，消歧引擎前端610能够然后选择与匹配所识别的实体类型并且与对应于时间戳的电影的特定片段相关联的电影相关联的特定实体，例如在与对应于时间戳的电影片段相关联的电影中主演的特定男演员或女演员。
在一些实例中，除识别一个或多个内容项目的信息之外，消歧引擎前端610能够接收识别多于一个实体类型的信息。可选地，消歧引擎前端610也能够接收识别对应于一个或多个内容项目的片段的时间戳的信息。基于接收识别多于一个实体类型的信息，消歧引擎前端610能够从所识别的实体类型中选择单个实体类型。例如，消歧引擎前端610能够接收识别乐队实体类型、音乐家实体类型以及男演员或女演员实体类型的信息，并且能够从乐队、音乐家以及男演员或女演员实体类型当中选择单个实体类型。消歧引擎前端610也能够从通过内容识别引擎620所识别的一个或多个内容项目当中选择内容项目，如所描述的。消歧引擎前端610能够然后选择对应于所选择的实体类型的特定实体，其中特定实体在已选择的特定内容项目中主演，例如在已选择的内容项目中主演并且与已选择的内容项目的时间戳片段相关联的、对应于已选择的实体类型的实体。
从多个所识别的实体类型中选择特定实体类型能够包括从用户604请求附加输入以识别特定实体类型。例如，基于接收识别乐队实体类型、音乐家实体类型以及男演员或女演员实体类型的信息，消歧引擎前端610能够提供能够在与用户604相关联的客户端设备602处输出的对于信息的请求。对于信息的请求能够要求用户604从所识别的实体类型当中选择预期的实体类型，例如用户604选择乐队实体类型、音乐家实体类型或者男演员或女演员实体类型中的一个。消歧引擎前端610能够接收指示用户604的选择的信息，并且能够从所识别的实体类型当中选择由用户604指示的实体类型。
在一些实例中，通过将多个所识别的实体类型与所识别的内容项目类型进行比较并且选择对应于内容项目类型的实体类型，能够从多个所识别的实体类型中选择特定实体类型。例如，消歧引擎前端610能够接收识别乐队实体类型、音乐家实体类型以及男演员或女演员实体类型的信息，并且能够接收识别电影的信息，例如电影内容项目类型。基于确定只有男演员或女演员实体类型对应于电影内容项目类型，消歧引擎前端610能够从所识别的实体类型中选择男演员或女演员实体类型。在其他实施方式中，能够执行不同或者附加的分析以从多个所识别的实体类型中选择实体类型。不同或者附加的分析能够基于识别多个所识别的实体类型的信息、识别一个或多个内容项目类型和/或其他所接收的信息来选择实体类型。一旦已选择单个实体类型并且已选择单个内容项目，消歧引擎前端610能够选择在所识别的内容项目中主演并且匹配所识别的实体类型的实体。
在一些实例中，除接收识别一个或多个所识别的内容项目以及一个或多个所识别的实体类型的信息之外，消歧引擎前端610还能够接收识别内容项目类型的信息。识别内容项目类型的信息能够被用于在已识别多于一个内容项目的情况下从内容项目当中选择特定内容项目。例如，消歧引擎前端610能够接收识别电影内容项目、配乐内容项目以及歌曲内容项目的信息，并且能够附加地接收识别电影内容项目类型的信息。基于接收识别电影内容项目类型的信息，能够从所识别的内容项目当中选择电影内容项目作为与用户输入的查询相关联的内容项目。
类似地，消歧引擎前端610能够接收识别多于一个实体类型的信息以及识别内容项目类型的信息，并且消歧引擎前端610能够基于所识别的内容项目类型从多个所识别的实体类型当中选择特定实体类型。例如，消歧引擎前端610能够接收识别乐队实体类型、音乐家实体类型以及男演员或女演员实体类型的信息，并且基于接收识别电影内容项目类型的信息，消歧引擎前端610能够选择男演员或女演员实体类型作为与由用户604提供的口述查询相关联的实体类型。
在一些实例中，可以在消歧引擎前端610处接收识别一个以上内容项目类型的信息，并且基于多个所识别的内容项目类型，可以从一个或多个所识别的内容项目和/或实体类型当中选择特定的内容项目和/或实体类型。例如，当从多个所识别的内容项目当中选择特定内容项目时，不匹配所识别的内容项目类型中的一个的所识别的内容项目可以不予考虑。类似地，当从多个所识别的实体类型当中选择特定实体类型时，不对应于所识别的内容项目类型中的一个的所识别的实体类型可以不予考虑。可以对识别一个或多个内容项目、一个或多个实体类型以及一个或多个内容项目类型的信息执行附加分析，以选择与由用户604输入的口述查询相关联的特定实体。此外，在一些实例中，可以在消歧引擎前端610处接收识别一个或多个查询类型的信息，并且消歧引擎前端610能够使用识别一个或多个查询类型的信息、识别一个或多个内容项目的信息、识别一个或多个实体类型的信息和/或识别一个或多个内容项目类型的信息以选择与用户输入的查询相关联的实体。
在一些实施方式中，能够生成并且使用一个或多个置信分值以选择实体。例如，基于消歧引擎前端610接收识别一个或多个内容项目、一个或多个实体类型、一个或多个内容项目类型和/或一个或多个查询类型的信息，能够为内容项目和/或实体类型确定置信分值，该置信分值能够被用于识别特定的内容项目和/或实体类型。识别特定的内容项目和/或实体类型能够涉及选择与最高置信分值或者以其他方式指示内容项目和/或实体类型是由用户604提供的查询所引用的内容项目和/或实体类型的最高置信度的置信分值相关联的特定的内容项目和/或实体类型。能够然后选择与所选择的内容项目相关联并且匹配所选择的实体类型的实体，如所描述的。
在一些实例中，消歧引擎前端610能够访问识别与内容项目相关联的实体的信息、指示与内容项目相关联的内容项目类型、与实体类型相关联的内容项目类型的信息和/或消歧引擎前端610可访问的一个或多个数据库或者其他数据源处的其他信息。例如，消歧引擎前端610能够在与内容识别引擎620相关联的预先记录的内容项目数据库处访问识别与内容项目相关联的实体的信息。消歧引擎前端610能够类似地在预先记录的内容项目数据库处访问识别与内容项目相关联的内容项目类型的信息，并且能够通过与实体消歧引擎650通信来访问识别与实体类型相关联的内容项目类型的信息。
在步骤(G)中，消歧引擎前端610能够选择实体并且能够将识别实体的信息传送至内容消费引擎630。例如，消歧引擎前端610能够通过诸如网络150的一个或多个网络或者一个或多个其他的有线或无线连接将识别所选择的实体的数据传送至内容消费引擎630，并且内容消费引擎630能够接收识别所选择的实体的数据。在一些实施方式中，识别所选择的实体的数据能够是识别所选择的实体的名称的数据，例如男演员“Brad Pitt”的名字，能够是识别与所选择的实体相关联的代码的数据，例如与男演员“Brad Pitt”相关联的字母数字代码“501501”，或者能够是识别通过消歧引擎前端610选择的实体的任何其他数据。
基于接收识别所选择的实体的信息，内容消费引擎630选择已指示为被用户604消费并且由所选择的实体主演或者以其他方式与其相关联的一个或多个内容项目。例如，内容消费引擎630能够接收识别男演员“Brad Pitt”的信息，并且内容消费引擎630能够通过访问识别已被指示为被用户604消费的内容项目的内容数据库635来选择已被指示为被用户604消费并且由男演员“Brad Pitt”主演的一个或多个内容项目。例如，内容消费引擎630能够访问内容数据库635并且能够确定用户604也消费均由男演员“Brad Pitt”主演的与字母数字代码“500500”相关联的内容项目“Moneyball(点球成金)”以及与字母数字代码“605506”相关联的“Ocean’s Eleven(十一罗汉)”，并且内容消费引擎630能够选择内容项目“Moneyball”和“Ocean’sEleven”。使用参照图1-3所述的技术，内容消费引擎630能够选择已被用户604消费并且由所选择的实体主演的一个或多个内容项目。
在一些实施方式中，除选择已被指示为被用户604消费并且与所选择的实体相关联或者由其主演的内容项目之外，内容消费引擎630能够访问与所选择的内容项目和/或用户604对所选择的内容项目的消费相关联的附加信息。例如，如所描述的，内容消费引擎630能够识别与所选择的内容项目相关联的实体，能够访问所选择的内容项目的摘要，或者能够访问与所选择的内容项目相关联的其他信息。内容消费引擎630也能够识别与用户604对所选择的内容项目的消费相关联的信息，诸如用户604消费所选择的内容项目的位置、用户604消费所选择的内容项目的时间和日期、指示用户604如何消费所选择的内容项目的信息或者指示系统600如何确定用户604消费所选择的内容项目的信息。
在一些实施方式中，除识别所选择的实体的信息之外，内容消费引擎630还能够接收识别与用户输入的查询相关联的查询类型，并且内容消费引擎630可以仅访问对应于与已被指示为被用户604消费并且由所选择的实体主演或者以其他方式与其相关联的所选择的内容项目相关联的所识别的查询类型的信息。例如，内容消费引擎630能够接收识别男演员“Brad Pitt”的信息以及指示用户604输入的查询是请求用户604先前看过男演员“BradPitt”的时间和日期的查询的信息。响应于接收将查询识别为对于用户604先前看过男演员“Brad Pitt”的时间和日期的请求的信息，内容识别引擎620可以仅访问指示用户604消费均由男演员“Brad Pitt”主演的电影“Moneyball”和“Ocean’sEleven”的时间和日期的信息。
内容消费引擎630能够选择已被指示为被用户604消费并且由所选择的实体主演或者以其他方式与其相关联的一个或多个内容项目，并且能够在操作(H)期间将识别一个或多个所选择的内容项目的信息提供至消歧引擎前端610。此外，在一些实例中，内容消费引擎630能够访问与所选择的内容项目或者用户604对所选择的内容项目的消费相关联的附加信息，并且能够将附加信息传送至消歧引擎前端610。例如，响应于接收识别男演员“Brad Pitt”的信息，内容消费引擎630能够选择已被用户604消费并且由“Brad Pitt”主演的内容项目“Moneyball”和“Ocean’s Eleven”以及与内容项目“Moneyball”和“Ocean’sEleven”和/或用户604对内容项目“Moneyball”和“Ocean’s Eleven”的消费相关联的附加信息。内容消费引擎630能够然后通过一个或多个网络或者通过一个或多个有线或无线连接将识别所选择的内容项目“Moneyball”和“Ocean’s Eleven”的信息以及附加信息传送至消歧引擎前端610。
消歧引擎前端610能够接收识别已被指示为被用户消费并且由所选择的实体主演或者以其他方式与其相关联的所选择的内容项目的信息以及与所选择的内容项目和/或用户604对所选择的内容项目的消费相关联的信息。在操作(I)中，消歧引擎前端610能够将识别一个或多个所选择的内容项目的信息传送至客户端设备602。此外，在一些实施方式中，消歧引擎前端610能够将与所选择的内容项目或者用户604对所选择的内容项目的消费相关联的附加信息传送至客户端设备602。在一些实施方式中，能够由消歧引擎前端610通过诸如网络150的一个或多个网络或者通过一个或多个其他的有线或无线连接将信息传送至客户端设备602。
客户端设备602能够接收识别已被指示为被用户604消费并且与所选择的实体相关联或者由其主演的所选择的内容项目的信息，并且能够将对于口述查询的响应提供至用户604。例如，客户端设备602能够接收识别内容项目“Moneyball”和“Ocean’s Eleven”的信息，并且响应于用户604输入的查询，能够在客户端设备602处输出识别内容项目“Moneyball”和“Ocean’s Eleven”的信息。在一些实施方式中，客户端设备602能够附加地接收与所选择的内容项目和/或用户604对所选择的内容项目的消费相关联的信息，例如与内容项目“Moneyball”和“Ocean’s Eleven”和/或用户604对内容项目“Moneyball”和“Ocean’s Eleven”的消费相关联的信息。基于接收与所选择的内容项目相关联的信息和/或与用户604对所选择的内容项目的消费相关联的信息，客户端设备602能够提供所接收的信息或者所接收的信息的子集，以便输出至用户604。
在一些实施方式中，响应于口述查询而提供用于输出至用户604的信息能够涉及将用于输出至用户604的信息显示在客户端设备602的界面606上。例如，界面606可以显示由用户604输入的口述查询的转录，例如查询“我以前何时看过该男演员？”。界面606可以显示识别已被识别为正在用户604的环境中播放并且已基于环境音频数据和口述查询识别的内容项目的信息。界面606也能够显示识别已基于环境音频数据和口述查询选择的实体的信息。例如，客户端设备602可以在界面606上输出消息“您正在观看有“Brad Pitt”的“World War Z””。界面606可以响应于由用户604输入的口述查询而显示与已被指示为被用户604消费并且由所选择的实体主演或者以其他方式与其相关联的所选择的内容项目相关联的信息。例如，界面606可以响应于由用户604输入的口述查询而显示“您也曾在“Moneyball”和“Ocean’s Eleven”中看过“Brad Pitt””。在一些实例中，响应于查询而在界面606上显示的信息能够包括与内容项目相关联的附加信息和/或与用户604对内容项目的消费相关联的信息，例如能够包括从消歧引擎前端610接收的附加信息。
图7描绘了用于基于媒体消费历史来响应查询的示例过程700的流程图。例如，响应于接收由用户604输入的口述查询，能够通过系统600来执行过程700。
在步骤702中，接收对由用户提供的自然语言查询以及从用户的环境中获得的环境数据进行编码的数据。例如，消歧引擎前端610能够接收对由用户604提供的口述查询以及从用户604的环境中获得的环境音频数据进行编码的数据。在一些实施方式中，对自然语言查询和环境数据进行编码的数据能够是通过客户端设备602传送至消歧引擎前端610的数据。能够例如通过与客户端设备602相关联的麦克风来获得自然语言查询以及从用户604的环境中所获得的环境数据。消歧引擎前端610能够通过一个或多个网络或者通过一个或多个其他的有线或无线连接来接收将自然语言查询和环境数据进行编码的数据。
在步骤704中，基于环境数据来识别内容项目。例如，内容识别引擎620能够从消歧引擎前端610接收将环境音频数据进行编码的数据，并且能够基于环境音频数据来识别内容项目。内容识别引擎620能够使用例如音频指纹或者其他内容识别技术来识别内容项目，并且能够通过一个或多个网络将识别内容项目的数据提供至消歧引擎前端610。在一些实例中，内容项目能够是正在用户604的环境中播放的内容项目，例如电影、电视节目、无线电广播等。
在步骤706中，能够基于自然语言查询来确定实体类型。例如，语音识别引擎640能够从消歧引擎前端610接收对用户604的自然语言查询进行编码的数据，并且语音识别引擎640能够获得自然语言查询的转录。在一些实施方式中，语音识别引擎640能够使用ASR或者其他技术来生成自然语言查询的转录。语音识别引擎640能够将自然语言查询的转录提供至实体消歧引擎650，并且实体消歧引擎650能够基于自然语言查询的转录来确定实体类型。实体消歧引擎650能够通过一个或多个网络或者一个或多个其他的有线或无线连接将识别实体类型的数据传送至消歧引擎前端610。
在步骤708中，选择与所识别的内容项目相关联并且匹配所确定的实体类型的实体。例如，消歧引擎前端610能够从内容识别引擎620接收识别内容项目的数据并且能够从实体消歧引擎650接收识别所确定的实体类型的数据。基于所识别的内容项目以及所确定的实体类型，消歧引擎前端610选择与所识别的内容项目相关联并且匹配所确定的实体类型的实体。
在步骤710中，选择已被指示为被用户消费并且与所选择的实体相关联的一个或多个内容项目。例如，消歧引擎前端610能够通过一个或多个网络或者一个或多个其他的有线或无线连接将识别所选择的实体的数据传送至内容消费引擎630，并且内容消费引擎630能够接收识别所选择的实体的数据。基于接收识别所选择的实体的数据，内容消费引擎630能够选择已指示为被用户604消费并且由所选择的实体主演或者以其他方式与其相关联的一个或多个内容项目。内容消费引擎630能够选择一个或多个内容项目，并且能够通过一个或多个网络或者通过一个或多个有线或无线连接将识别一个或多个所选择的内容项目的数据传送至消歧引擎前端610。
在步骤712中，能够提供对于自然语言查询的响应。例如，消歧引擎前端610能够接收识别已被指示为被用户604消费并且与所选择的实体相关联的一个或多个所选择的内容项目的数据，并且能够将识别一个或多个所选择的内容项目的数据提供至客户端设备602。在一些实施方式中，消歧引擎前端610能够通过一个或多个网络或者通过一个或多个有线或无线连接将识别一个或多个所选择的内容项目的数据传送至客户端设备602。在其他示例中，消歧引擎前端610能够接收识别一个或多个所选择的内容项目的信息，并且通过将指示用户604已消费与所选择的实体相关联的至少一个内容项目的数据提供至客户端设备602，能够提供对于自然语言查询的响应。
在一些实施方式中，客户端设备602能够接收与响应于自然语言查询相关联的数据，并且能够提供与响应于自然语言查询相关联的信息，以便输出至用户604。例如，客户端设备602能够接收识别一个或多个所选择的内容项目的数据，并且能够提供识别一个或多个所选择的内容项目的、用于输出至用户604的信息。在另一示例中，客户端设备602能够接收指示用户604是否已消费与所选择的实体相关联的至少一个内容项目的数据，并且能够提供指示用户604是否已消费与所选择的实体相关联的至少一个内容项目的、用于输出至用户604的信息。在一些实施方式中，响应于查询而提供用于输出至用户604的信息能够涉及将响应于用户输入的查询的信息显示在与客户端设备602相关联的界面606上。
已描述数个实施方式。然而，将理解的是，可以在不脱离本公开的精神和范围的情况下作出各种修改。例如，可以使用上文所示流程的各种形式，重新排序、增加或者删除步骤。因此，其他实施方式落入所附权利要求的范围内。
对于在此所讨论的系统和/或方法可以采集有关用户的个人信息或者可以使用个人信息的情况，可以为用户提供用于控制程序或者特征是否采集个人信息的机会，例如有关用户的社交网络、社交行动或活动、职业、偏好或者当前位置的信息，或者可以为用户提供用于控制系统和/或方法是否和/或如何能够执行与用户更加相关的操作的机会。此外，可以在存储或者使用某些数据之前通过一种或多种方式将其匿名，使得移除个人可识别信息。例如，可以将用户的身份匿名，使得不会针对用户来确定个人可识别信息，或者在获取位置信息的情况下使用户的地理位置泛化，诸如泛化到城市、邮政编码或者国家的程度，使得用户的特定位置不会被确定。因此，用户可以控制到如何采集有关他或她的信息并且使用该信息。
本说明书中所述的实施例和全部功能性操作可以在包括本说明书中所公开的结构及其结构性等同物的数字电子电路中、或者在计算机软件、固件或者硬件中或者其一个或多个的结合中来实现。实施例可以被实现为一个或多个计算机程序产品，即用于由数据处理装置来执行或者用于控制数据处理装置的操作的、在计算机可读介质上编码的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基体、存储器设备、影响机器可读传播信号的物质组合物或者其一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的全部装置、设备以及机器，例如包括可编程处理器、计算机或者多个处理器或者计算机。该装置除硬件之外还可以包括创建用于所讨论的计算机程序的执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或者其一个或多个的组合的代码。传播信号是人工生成的信号，例如生成用于编码信息以便传送给适当的接收器装置的机器生成的电子、光或者电磁信号。
计算机程序(又称程序、软件、软件应用、脚本或者代码)可以通过任何形式的编程语言来编写，包括编译或者解释语言，并且其可以通过任何形式来部署，包括作为独立程序或者模块、组件、子例程或者适用于计算环境中的其他单元。计算机程序不一定必须对应于文件系统中的文件。程序可以被存储在持有其他程序或者数据的文件的一部分中(例如存储在标记语言文档中的一个或多个脚本)、存储在专用于所讨论的程序的单个文件中、或者存储在多个协同文件中(例如存储一个或多个模块、子程序或者代码部分的文件)。计算机程序可以被部署成在位于一个场地或者分布在多个场地并且通过通信网络来互联的一个计算机或者多个计算机上来执行。
本说明书中所述的过程和逻辑流程可以通过执行一个或多个计算机程序以通过对输入数据进行操作并且生成输出来执行功能的一个或多个可编程处理器来执行。过程和逻辑流程也可以由专用逻辑电路来执行并且装置也可以被实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或者ASIC(专用集成电路)。
适用于计算机程序的执行的处理器例如包括通用和专用的微处理器两者以及任何一种数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器、随机存取存储器或者二者接收指令和数据。
计算机的必要元素是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机也会包括或者可操作地耦合以从用于存储数据的一个或多个大容量存储设备(例如磁性的磁光盘或者光盘)接收数据、将数据传送至一个或多个大容量存储设备或者两者。然而，计算机无需具有这样的设备。此外，计算机可以被嵌入另一设备，例如在此仅列出平板计算机、移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器。适用于存储计算机程序指令和数据的计算机可读介质包括任何形式的非易失性存储器、媒介和存储设备，例如包括例如EPROM、EEPROM和快闪存储设备的半导体存储设备，例如内置硬盘或者移动硬盘的磁盘，磁光盘以及CD-ROM和DVD-ROM磁盘。处理器和存储器可以增补或者结合专用逻辑电路。
为了提供与用户交互，实施例可以在计算机上来实现，该计算机具有例如CRT(阴极射线管)或者LCD(液晶显示器)监视器的用于向用户显示信息的显示设备以及键盘和例如鼠标或者跟踪球的指示设备，由此用户可以将输入提供至计算机。也可以使用其他种类的设备来提供与用户的交互，例如提供给用户的反馈可以是任何形式的感知反馈，例如视觉反馈、听觉反馈或者触觉反馈；并且可以通过任何形式来接收来自用户的输入，包括声响、语音或者触觉输入。
实施例可以在包括例如数据服务器的后端组件、或者包括例如应用服务器的中间件组件、或者包括例如具有用户可以借此与实施方式交互的图形用户界面或者web浏览器的客户端计算机的前端组件、或者一个或多个这样的后端、中间件或者前端组件的任何组合的计算系统中来实现。系统的组件可以通过任何形式或者介质的数字数据通信(例如通信网络)互联。通信网络的示例包括局域网(“LAN”)以及广域网(“WAN”)，例如因特网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且典型地通过通信网络来交互。客户端和服务器之间的关系因在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而发生。
尽管本说明书包含许多特性，但这些特性不应被理解为限制本公开的范围或者可以要求保护的内容，而应被理解为对特定于特定实施例的特征的描述。本说明书中在独立实施例的上下文中所述的某些特征也可以通过组合在单个实施例中来实现。反之，在单个实施例的上下文中所述的各种特征也可以分别在多个实施例中或者以任何适当的子组合来实现。此外，尽管在上文中可以将特征描述为以特定组合形式动作甚至最初照此来要求保护，但来自要求保护的组合中的一个或多个特征可以在某些情况下自组合中删除，并且要求保护的组合可以针对子组合或者子组合的变体。
类似地，尽管在附图中以特定次序来描绘操作，但其不应当被理解为要求以所示的特定次序或者相继次序来执行这样的操作或者执行全部所示的操作才能达成预期结果。在某些情况下，多任务以及并行处理可能是有利的。此外，在上述实施例中的各种系统组件的分离不应被理解为在全部实施例中要求这样的分离，并且其应当被理解成所述的程序组件和系统通常可以被一起集成于单个软件产品中或者被封装到多个软件产品中。
在提及HTML文件的每一实例中，可以用其他文件类型或者格式来代替。例如，HTML文件可以被替换成XML、JSON、纯文本或者其他类型的文件。此外，在提及表格或者散列表的情况下，可以使用其他数据结构(诸如电子数据表、关系数据库或者结构化文件)。
因此，已对特定的实施例进行描述。其他实施例落入所附权利要求的范围内。例如，在权利要求中记载的动作可以采用不同次序来执行并且仍可以达成预期结果。

Claims (37)

1.一种计算机实现的方法，包括：
接收(i)请求与和媒体项目的先前消费相关联的场境相关的信息的用户所提交的自然语言查询、以及(ii)从用户的环境获得的周围环境数据；
基于检测到从所述用户的所述环境获得的所述周围环境数据的一个或多个特征与特定媒体项目的一个或多个特征之间的匹配来识别所述特定媒体项目；
确定所述特定媒体项目在媒体消费数据库中被识别，所述媒体消费数据库识别被识别为已被所述用户先前消费的媒体项目；
在所述媒体消费数据库处访问信息，所述信息(i)识别与所述用户对所述特定媒体项目的所述先前消费相关联的场境、并且(ii)被识别为响应于由所述用户提交的所述自然语言查询；以及
提供对由所述用户提交的所述自然语言查询的响应，所述响应包括在所述媒体消费数据库处访问的所述信息的至少一部分。
2.根据权利要求1所述的方法，进一步包括：
基于由所述用户提交的所述自然语言查询来选择媒体项目类型；以及
基于(i)检测到从所述用户的所述环境获得的所述周围环境数据的一个或多个特征与所述特定媒体项目的一个或多个特征之间的匹配、以及(ii)确定所述特定媒体项目与和所选择的媒体项目类型相对应的媒体项目类型相关联，来识别所述特定媒体项目。
3.根据权利要求2所述的方法，其中，基于由所述用户提交的所述自然语言查询来选择所述媒体项目类型，包括：
获得由所述用户提交的所述自然语言查询的转录；
将由所述用户提交的所述自然语言查询的所述转录与和媒体项目类型相关联的一个或多个关键字短语进行比较；以及
基于确定由所述用户提交的所述自然语言查询的所述转录与和所选择的媒体项目类型相关联的特定关键字短语相匹配，来选择所述媒体项目类型。
4.根据权利要求1所述的方法，其中，基于检测到从所述用户的所述环境获得的所述周围环境数据的一个或多个特征与所述特定媒体项目的一个或多个特征之间的所述匹配来识别所述特定媒体项目，包括：
获得从所述用户的所述环境获得的所述周围环境数据的音频指纹；
将从所述用户的所述环境获得的所述周围环境数据的音频指纹与所述特定媒体项目的音频指纹进行比较；以及
确定从所述用户的所述环境获得的所述周围环境数据的音频指纹与所述特定媒体项目的音频指纹相匹配。
5.根据权利要求1所述的方法，其中，访问(i)识别与所述用户对所述特定媒体项目的所述先前消费相关联的场境、并且(ii)被识别为响应于由所述用户提交的所述自然语言查询的所述信息，包括：
获得由所述用户提交的所述自然语言查询的转录；
基于将由所述用户提交的所述自然语言查询的所述转录与和一个或多个相对应的信息类型相关联的一个或多个关键字短语进行比较来确定由所述用户提交的所述自然语言查询的转录与和特定信息类型相关联的特定关键字短语相匹配，所述一个或多个相对应的信息类型中的每一个与和用户对媒体项目的消费相关联的场境相关；以及
在所述媒体消费数据库处访问识别与所述用户对所述特定媒体项目的所述消费相关联的特性的信息，所述特性对应于所述特定信息类型。
6.根据权利要求1所述的方法，其中，访问(i)识别与所述用户对所述特定媒体项目的所述先前消费相关联的场境、并且(ii)被识别为响应于由所述用户提交的所述自然语言查询的所述信息，包括：在所述媒体消费数据库处访问指示位置、时间、日期、或所述用户对所述特定媒体项目的消费的方法中的至少一个的信息。
7.根据权利要求1所述的方法，其中，从所述用户的所述环境获得的所述周围环境数据是以下中的一个：从所述用户的所述环境获得的周围音频数据、从所述用户的所述环境获得的图像数据、或从所述用户的所述环境获得的视频数据。
8.一种系统，包括：
一个或多个计算机和存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时，可操作为使得所述一个或多个计算机执行操作，所述操作包括：
接收(i)请求与和媒体项目的先前消费相关联的场境相关的信息的用户所提交的自然语言查询、以及(ii)从用户的环境获得的周围环境数据；
基于检测到从所述用户的所述环境获得的所述周围环境数据的一个或多个特征与特定媒体项目的一个或多个特征之间的匹配来识别所述特定媒体项目；
确定所述特定媒体项目在媒体消费数据库中被识别，所述媒体消费数据库识别被识别为已被所述用户先前消费的媒体项目；
在所述媒体消费数据库处访问信息，所述信息(i)识别与所述用户对所述特定媒体项目的所述先前消费相关联的场境、并且(ii)被识别为响应于由所述用户提交的所述自然语言查询；以及
提供对由所述用户提交的所述自然语言查询的响应，所述响应包括在所述媒体消费数据库处访问的所述信息的至少一部分。
9.根据权利要求8所述的系统，其中，所述操作进一步包括：
基于由所述用户提交的所述自然语言查询来选择媒体项目类型；以及
基于(i)检测到从所述用户的所述环境获得的所述周围环境数据的一个或多个特征与所述特定媒体项目的一个或多个特征之间的匹配、以及(ii)确定所述特定媒体项目与和所选择的媒体项目类型相对应的媒体项目类型相关联，来识别所述特定媒体项目。
10.根据权利要求9所述的系统，其中，基于由所述用户提交的所述自然语言查询来选择所述媒体项目类型，包括：
获得由所述用户提交的所述自然语言查询的转录；
将由所述用户提交的所述自然语言查询的所述转录与和媒体项目类型相关联的一个或多个关键字短语进行比较；以及
基于确定由所述用户提交的所述自然语言查询的所述转录与和所选择的媒体项目类型相关联的特定关键字短语相匹配，来选择所述媒体项目类型。
11.根据权利要求8所述的系统，其中，基于检测到从所述用户的所述环境获得的所述周围环境数据的一个或多个特征与所述特定媒体项目的一个或多个特征之间的所述匹配来识别所述特定媒体项目，包括：
获得从所述用户的所述环境获得的所述周围环境数据的音频指纹；
将从所述用户的所述环境获得的所述周围环境数据的音频指纹与所述特定媒体项目的音频指纹进行比较；以及
确定从所述用户的所述环境获得的所述周围环境数据的音频指纹与所述特定媒体项目的音频指纹相匹配。
12.根据权利要求8所述的系统，其中，访问(i)识别与所述用户对所述特定媒体项目的所述先前消费相关联的场境、并且(ii)被识别为响应于由所述用户提交的所述自然语言查询的所述信息，包括：
获得由所述用户提交的所述自然语言查询的转录；
基于将由所述用户提交的所述自然语言查询的所述转录与和一个或多个相对应的信息类型相关联的一个或多个关键字短语进行比较来确定由所述用户提交的所述自然语言查询的转录与和特定信息类型相关联的特定关键字短语相匹配，所述一个或多个相对应的信息类型中的每一个与和用户对媒体项目的消费相关联的场境相关；以及
在所述媒体消费数据库处访问识别与所述用户对所述特定媒体项目的所述消费相关联的特性的信息，所述特性对应于所述特定信息类型。
13.根据权利要求8所述的系统，其中，访问(i)识别与所述用户对所述特定媒体项目的所述先前消费相关联的场境、并且(ii)被识别为响应于由所述用户提交的所述自然语言查询的所述信息，包括：在所述媒体消费数据库处访问指示位置、时间、日期、或所述用户对所述特定媒体项目的消费的方法中的至少一个的信息。
14.根据权利要求8所述的系统，其中，从所述用户的所述环境获得的所述周围环境数据是以下中的一个：从所述用户的所述环境获得的周围音频数据、从所述用户的所述环境获得的图像数据、或从所述用户的所述环境获得的视频数据。
15.一种编码有计算机程序的计算机可读存储设备，所述程序包括指令，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机执行操作，所述操作包括：
接收(i)请求与和媒体项目的先前消费相关联的场境相关的信息的用户所提交的自然语言查询、以及(ii)从用户的环境获得的周围环境数据；
基于检测到从所述用户的所述环境获得的所述周围环境数据的一个或多个特征与特定媒体项目的一个或多个特征之间的匹配来识别所述特定媒体项目；
确定所述特定媒体项目在媒体消费数据库中被识别，所述媒体消费数据库识别被识别为已被所述用户先前消费的媒体项目；
在所述媒体消费数据库处访问信息，所述信息(i)识别与所述用户对所述特定媒体项目的所述先前消费相关联的场境、并且(ii)被识别为响应于由所述用户提交的所述自然语言查询；以及
提供对由所述用户提交的所述自然语言查询的响应，所述响应包括在所述媒体消费数据库处访问的所述信息的至少一部分。
16.根据权利要求15所述的计算机可读存储设备，所述操作进一步包括：
基于由所述用户提交的所述自然语言查询来选择媒体项目类型；以及
基于(i)检测到从所述用户的所述环境获得的所述周围环境数据的一个或多个特征与所述特定媒体项目的一个或多个特征之间的匹配、以及(ii)确定所述特定媒体项目与和所选择的媒体项目类型相对应的媒体项目类型相关联，来识别所述特定媒体项目。
17.根据权利要求16所述的计算机可读存储设备，其中，基于由所述用户提交的所述自然语言查询来选择所述媒体项目类型，包括：
获得由所述用户提交的所述自然语言查询的转录；
将由所述用户提交的所述自然语言查询的所述转录与和媒体项目类型相关联的一个或多个关键字短语进行比较；以及
基于确定由所述用户提交的所述自然语言查询的所述转录与和所选择的媒体项目类型相关联的特定关键字短语相匹配，来选择所述媒体项目类型。
18.根据权利要求15所述的计算机可读存储设备，其中，基于检测到从所述用户的所述环境获得的所述周围环境数据的一个或多个特征与所述特定媒体项目的一个或多个特征之间的所述匹配来识别所述特定媒体项目，包括：
获得从所述用户的所述环境获得的所述周围环境数据的音频指纹；
将从所述用户的所述环境获得的所述周围环境数据的音频指纹与所述特定媒体项目的音频指纹进行比较；以及
确定从所述用户的所述环境获得的所述周围环境数据的音频指纹与所述特定媒体项目的音频指纹相匹配。
19.根据权利要求15所述的计算机可读存储设备，其中，访问(i)识别与所述用户对所述特定媒体项目的所述先前消费相关联的场境、并且(ii)被识别为响应于由所述用户提交的所述自然语言查询的所述信息，包括：
获得由所述用户提交的所述自然语言查询的转录；
基于将由所述用户提交的所述自然语言查询的所述转录与和一个或多个相对应的信息类型相关联的一个或多个关键字短语进行比较来确定由所述用户提交的所述自然语言查询的转录与和特定信息类型相关联的特定关键字短语相匹配，所述一个或多个相对应的信息类型中的每一个与和用户对媒体项目的消费相关联的场境相关；以及
在所述媒体消费数据库处访问识别与所述用户对所述特定媒体项目的所述消费相关联的特性的信息，所述特性对应于所述特定信息类型。
20.根据权利要求15所述的计算机可读设备，其中，访问(i)识别与所述用户对所述特定媒体项目的所述先前消费相关联的场境、并且(ii)被识别为响应于由所述用户提交的所述自然语言查询的所述信息，包括：在所述媒体消费数据库处访问指示位置、时间、日期、或所述用户对所述特定媒体项目的消费的方法中的至少一个的信息。
21.一种计算机实现的方法，包括：
接收由用户的用户设备生成的波形数据，所述波形数据包括：
由所述用户设备检测的话语，所述话语对应于由所述用户所提交的请求与媒体项目的在先消费的场境相关的信息的自然语言查询；以及
由所述用户设备在检测到由所述用户输入的所述话语之前或之后检测的环境音频数据，所述环境音频数据与在所述用户的环境中播放的内容相关联；
通过以下来处理所述波形数据以将对应于所述自然语言查询的所述话语与所述环境音频数据分离：
在所述波形数据的部分中检测所述用户的语音活动；以及
提取包括所述用户的所检测的语音活动的波形数据的所述部分，以将对应于所述自然语言查询的所述话语与所述环境音频数据分离；
通过以下基于所述环境音频数据来识别特定媒体项目的在先消费：
基于检测与在所述用户的环境中播放的所述内容相关联的所述环境音频数据的一个或多个特征与所述特定媒体项目的一个或多个特征之间的匹配来识别所述特定媒体项目；以及
确定所述特定媒体项目在媒体消费数据库中被识别，所述媒体消费数据库识别被识别为先前已被所述用户消费的媒体项目；以及
向所述用户设备提供对由所述用户提交的所述自然语言查询的响应，所述响应识别所述特定媒体项目的所识别的在先消费的场境。
22.根据权利要求21所述的计算机实现的方法，其中，提供对由所述用户提交的所述自然语言查询的响应包括：
在所述媒体消费数据库处访问指定与由所述用户对所述特定媒体项目的所述在先消费相关联的场境信息的信息；以及
提供对由所述用户提交的所述自然语言查询的所述响应，所述响应包括与由所述用户对所述特定媒体项目的所述在先消费相关联的场境信息的至少一部分。
23.根据权利要求21所述的计算机实现的方法，其中，提供对由所述用户提交的所述自然语言查询的响应包括：
在所述用户的所述用户设备处显示的用户接口的第一区域中提供对所述特定媒体项目的所述在先消费的所述场境进行识别的信息；以及
在所述用户的所述用户设备处显示的所述用户接口的第二区域中提供指示所述特定媒体项目的一个或多个特性的信息。
24.根据权利要求21所述的计算机实现的方法，其中，提供对由所述用户提交的所述自然语言查询的响应包括：
在所述用户的所述用户设备处显示的用户接口的第一区域中提供识别所述特定媒体项目的所述在先消费的所述场境的信息；以及
在所述用户的所述用户设备处显示的所述用户接口的第二区域中提供响应于由所述用户提交的所述自然语言查询而识别的一个或多个搜索结果。
25.一种计算机实现的方法，包括：
接收由用户的用户设备生成的波形数据，所述波形数据包括：
由所述用户设备检测的话语，所述话语对应于由所述用户提交的请求与媒体项目的在先消费的场境相关的信息的自然语言查询，其中，由所述用户提交的所述自然语言查询指定实体类型；以及
由所述用户设备在检测到由所述用户输入的所述话语之前或之后检测的环境音频数据，所述环境音频数据与在所述用户的环境中播放的内容相关联；
通过以下来处理所述波形数据以将对应于所述自然语言查询的所述话语与所述环境音频数据分离：
在所述波形数据的部分中检测所述用户的语音活动；以及
提取包括所述用户的所检测的语音活动的波形数据的所述部分，以将对应于所述自然语言查询的所述话语与所述环境音频数据分离；
基于所述环境音频数据来识别特定媒体项目的在先消费；以及
向所述用户设备提供对由所述用户提交的所述自然语言查询的响应，所述响应识别至少基于与所述用户的所述环境中播放的所述内容相关联的所述环境音频数据确定的所指定的实体类型的所述特定媒体项目的在先消费的场境。
26.根据权利要求25所述的计算机实现的方法，其中，提供对所指定的实体类型的特定媒体项目的在先消费的场境进行识别的对由所述用户提交的所述自然语言查询的响应包括：
获得由所述用户提交的所述自然语言查询的转录；
将由所述用户提交的所述自然语言查询的所述转录和每个与实体类型相关联的一个或多个关键字短语进行比较；以及
基于确定由所述用户提交的所述自然语言查询的所述转录包含与实体类型相关联的特定关键字短语来选择该实体类型。
27.一种系统，包括：
一个或多个计算机和存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时，可操作为使得所述一个或多个计算机执行操作，所述操作包括：
接收由用户的用户设备生成的波形数据，所述波形数据包括：
由所述用户设备检测的话语，所述话语对应于由所述用户所提交的请求与媒体项目的在先消费的场境相关的信息的自然语言查询；以及
由所述用户设备在检测到由所述用户输入的所述话语之前或之后检测的环境音频数据，所述环境音频数据与在所述用户的环境中播放的内容相关联；
通过以下来处理所述波形数据以将对应于所述自然语言查询的所述话语与所述环境音频数据分离：
在所述波形数据的部分中检测所述用户的语音活动；以及
提取包括所述用户的所检测的语音活动的波形数据的所述部分，以将对应于所述自然语言查询的所述话语与所述环境音频数据分离；
通过以下基于所述环境音频数据来识别特定媒体项目的在先消费：
基于检测与在所述用户的环境中播放的所述内容相关联的所述环境音频数据的一个或多个特征与所述特定媒体项目的一个或多个特征之间的匹配来识别所述特定媒体项目；以及
确定所述特定媒体项目在媒体消费数据库中被识别，所述媒体消费数据库识别被识别为先前已被所述用户消费的媒体项目；以及
向所述用户设备提供对由所述用户提交的所述自然语言查询的响应，所述响应识别所述特定媒体项目的所识别的在先消费的场境。
28.根据权利要求27所述的系统，其中，提供对由所述用户提交的所述自然语言查询的响应包括：
在所述媒体消费数据库处访问指定与由所述用户对所述特定媒体项目的所述在先消费相关联的场境信息的信息；以及
提供对由所述用户提交的所述自然语言查询的所述响应，所述响应包括与由所述用户对所述特定媒体项目的所述在先消费相关联的场境信息的至少一部分。
29.根据权利要求27所述的系统，其中，提供对由所述用户提交的所述自然语言查询的响应包括：
在所述用户的所述用户设备处显示的用户接口的第一区域中提供对所述特定媒体项目的所述在先消费的所述场境进行识别的信息；以及
在所述用户的所述用户设备处显示的所述用户接口的第二区域中提供指示所述特定媒体项目的一个或多个特性的信息。
30.根据权利要求27所述的系统，其中，提供对由所述用户提交的所述自然语言查询的响应包括：
在所述用户的所述用户设备处显示的用户接口的第一区域中提供识别所述特定媒体项目的所述在先消费的所述场境的信息；以及
在所述用户的所述用户设备处显示的所述用户接口的第二区域中提供响应于由所述用户提交的所述自然语言查询而识别的一个或多个搜索结果。
31.一种系统，包括：
一个或多个计算机和存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时，可操作为使得所述一个或多个计算机执行操作，所述操作包括：
接收由用户的用户设备生成的波形数据，所述波形数据包括：
由所述用户设备检测的话语，所述话语对应于由所述用户提交的请求与媒体项目的在先消费的场境相关的信息的自然语言查询，其中，由所述用户提交的所述自然语言查询指定实体类型；以及
由所述用户设备在检测到由所述用户输入的所述话语之前或之后检测的环境音频数据，所述环境音频数据与在所述用户的环境中播放的内容相关联；
通过以下来处理所述波形数据以将对应于所述自然语言查询的所述话语与所述环境音频数据分离：
在所述波形数据的部分中检测所述用户的语音活动；以及
提取包括所述用户的所检测的语音活动的波形数据的所述部分，以将对应于所述自然语言查询的所述话语与所述环境音频数据分离；
基于所述环境音频数据来识别特定媒体项目的在先消费；以及
向所述用户设备提供对由所述用户提交的所述自然语言查询的响应，所述响应识别至少基于与所述用户的所述环境中播放的所述内容相关联的所述环境音频数据确定的所指定的实体类型的所述特定媒体项目的在先消费的场境。
32.根据权利要求31所述的系统，其中，提供对所指定的实体类型的特定媒体项目的在先消费的场境进行识别的对由所述用户提交的所述自然语言查询的响应包括：
获得由所述用户提交的所述自然语言查询的转录；
将由所述用户提交的所述自然语言查询的所述转录和每个与实体类型相关联的一个或多个关键字短语进行比较；以及
基于确定由所述用户提交的所述自然语言查询的所述转录包含与实体类型相关联的特定关键字短语来选择该实体类型。
33.一种编码有计算机程序的计算机可读存储设备，所述程序包括指令，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机执行操作，所述操作包括：
接收由用户的用户设备生成的波形数据，所述波形数据包括：
由所述用户设备检测的话语，所述话语对应于由所述用户所提交的请求与媒体项目的在先消费的场境相关的信息的自然语言查询；以及
由所述用户设备在检测到由所述用户输入的所述话语之前或之后检测的环境音频数据，所述环境音频数据与在所述用户的环境中播放的内容相关联；
通过以下来处理所述波形数据以将对应于所述自然语言查询的所述话语与所述环境音频数据分离：
在所述波形数据的部分中检测所述用户的语音活动；以及
提取包括所述用户的所检测的语音活动的波形数据的所述部分，以将对应于所述自然语言查询的所述话语与所述环境音频数据分离；
通过以下基于所述环境音频数据来识别特定媒体项目的在先消费：
基于检测与在所述用户的环境中播放的所述内容相关联的所述环境音频数据的一个或多个特征与所述特定媒体项目的一个或多个特征之间的匹配来识别所述特定媒体项目；以及
确定所述特定媒体项目在媒体消费数据库中被识别，所述媒体消费数据库识别被识别为先前已被所述用户消费的媒体项目；以及
向所述用户设备提供对由所述用户提交的所述自然语言查询的响应，所述响应识别所述特定媒体项目的所识别的在先消费的场境。
34.根据权利要求33所述的计算机可读存储设备，其中，提供对由所述用户提交的所述自然语言查询的响应包括：
在所述媒体消费数据库处访问指定与由所述用户对所述特定媒体项目的所述在先消费相关联的场境信息的信息；以及
提供对由所述用户提交的所述自然语言查询的所述响应，所述响应包括与由所述用户对所述特定媒体项目的所述在先消费相关联的场境信息的至少一部分。
35.根据权利要求33所述的计算机可读存储设备，其中，提供对由所述用户提交的所述自然语言查询的响应包括：
在所述用户的所述用户设备处显示的用户接口的第一区域中提供对所述特定媒体项目的所述在先消费的所述场境进行识别的信息；以及
在所述用户的所述用户设备处显示的所述用户接口的第二区域中提供指示所述特定媒体项目的一个或多个特性的信息。
36.根据权利要求33所述的计算机可读存储设备，其中，提供对由所述用户提交的所述自然语言查询的响应包括：
在所述用户的所述用户设备处显示的用户接口的第一区域中提供识别所述特定媒体项目的所述在先消费的所述场境的信息；以及
在所述用户的所述用户设备处显示的所述用户接口的第二区域中提供响应于由所述用户提交的所述自然语言查询而识别的一个或多个搜索结果。
37.一种编码有计算机程序的计算机可读存储设备，所述程序包括指令，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机执行操作，所述操作包括：
接收由用户的用户设备生成的波形数据，所述波形数据包括：
由所述用户设备检测的话语，所述话语对应于由所述用户提交的请求与媒体项目的在先消费的场境相关的信息的自然语言查询，其中，由所述用户提交的所述自然语言查询指定实体类型；以及
由所述用户设备在检测到由所述用户输入的所述话语之前或之后检测的环境音频数据，所述环境音频数据与在所述用户的环境中播放的内容相关联；
通过以下来处理所述波形数据以将对应于所述自然语言查询的所述话语与所述环境音频数据分离：
在所述波形数据的部分中检测所述用户的语音活动；以及
提取包括所述用户的所检测的语音活动的波形数据的所述部分，以将对应于所述自然语言查询的所述话语与所述环境音频数据分离；
基于所述环境音频数据来识别特定媒体项目的在先消费；以及
向所述用户设备提供对由所述用户提交的所述自然语言查询的响应，所述响应识别至少基于与所述用户的所述环境中播放的所述内容相关联的所述环境音频数据确定的所指定的实体类型的所述特定媒体项目的在先消费的场境。
CN201910388042.XA 2013-08-15 2014-08-14 使用媒体消费历史的查询响应 Active CN110275982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910388042.XA CN110275982B (zh) 2013-08-15 2014-08-14 使用媒体消费历史的查询响应

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201361866234P 2013-08-15 2013-08-15
US61/866,234 2013-08-15
US14/047,708 US9002835B2 (en) 2013-08-15 2013-10-07 Query response using media consumption history
US14/047,708 2013-10-07
US14/133,791 US10275464B2 (en) 2013-08-15 2013-12-19 Media consumption history
US14/133,791 2013-12-19
US14/142,171 2013-12-27
US14/142,171 US10198442B2 (en) 2013-08-15 2013-12-27 Media consumption history
US14/217,940 US9477709B2 (en) 2013-08-15 2014-03-18 Query response using media consumption history
US14/217,940 2014-03-18
PCT/US2014/051126 WO2015023878A1 (en) 2013-08-15 2014-08-14 Query response using media consumption history
CN201480056623.9A CN105659230B (zh) 2013-08-15 2014-08-14 使用媒体消费历史的查询响应
CN201910388042.XA CN110275982B (zh) 2013-08-15 2014-08-14 使用媒体消费历史的查询响应

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480056623.9A Division CN105659230B (zh) 2013-08-15 2014-08-14 使用媒体消费历史的查询响应

Publications (2)

Publication Number Publication Date
CN110275982A CN110275982A (zh) 2019-09-24
CN110275982B true CN110275982B (zh) 2023-11-24

Family

ID=52467569

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910388042.XA Active CN110275982B (zh) 2013-08-15 2014-08-14 使用媒体消费历史的查询响应
CN201480056623.9A Active CN105659230B (zh) 2013-08-15 2014-08-14 使用媒体消费历史的查询响应

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480056623.9A Active CN105659230B (zh) 2013-08-15 2014-08-14 使用媒体消费历史的查询响应

Country Status (5)

Country Link
US (11) US9002835B2 (zh)
EP (1) EP3033694A1 (zh)
CN (2) CN110275982B (zh)
TW (1) TWI685755B (zh)
WO (2) WO2015023876A1 (zh)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9679061B2 (en) 2011-12-08 2017-06-13 Google Technology Holdings LLC Method and apparatus that collect and uploads implicit analytic data
US9594810B2 (en) * 2012-09-24 2017-03-14 Reunify Llc Methods and systems for transforming multiple data streams into social scoring and intelligence on individuals and groups
US9002835B2 (en) 2013-08-15 2015-04-07 Google Inc. Query response using media consumption history
US9767501B1 (en) * 2013-11-07 2017-09-19 Amazon Technologies, Inc. Voice-assisted scanning
US9485543B2 (en) 2013-11-12 2016-11-01 Google Inc. Methods, systems, and media for presenting suggestions of media content
US9552395B2 (en) 2013-11-13 2017-01-24 Google Inc. Methods, systems, and media for presenting recommended media content items
US9618343B2 (en) 2013-12-12 2017-04-11 Microsoft Technology Licensing, Llc Predicted travel intent
US20150227522A1 (en) * 2014-02-07 2015-08-13 Chacha Search, Inc Method and system for selection of a media file based on a response
US20150271248A1 (en) * 2014-03-21 2015-09-24 Chacha Search, Inc Method and system of delivering content based on peer interactions
US10425686B2 (en) 2014-04-24 2019-09-24 Free Stream Media Corp. Device-based detection of ambient media to be used by a server to selectively provide secondary content to the device
KR20150125287A (ko) * 2014-04-30 2015-11-09 삼성전자주식회사 전자장치에서 미디어 추천 방법 및 장치
JP2015225445A (ja) * 2014-05-27 2015-12-14 ソニー株式会社 情報処理装置及び情報処理方法
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10628483B1 (en) * 2014-08-07 2020-04-21 Amazon Technologies, Inc. Entity resolution with ranking
US9558283B2 (en) * 2014-09-26 2017-01-31 Microsoft Technology Licensing, Llc Service personalization with familiarity sensitivity
US9830321B2 (en) * 2014-09-30 2017-11-28 Rovi Guides, Inc. Systems and methods for searching for a media asset
US10362391B2 (en) * 2014-10-24 2019-07-23 Lenovo (Singapore) Pte. Ltd. Adjusting audio content based on audience
US9767102B2 (en) * 2014-12-01 2017-09-19 Comcast Cable Communications, Llc Content recommendation system
US10509829B2 (en) * 2015-01-21 2019-12-17 Microsoft Technology Licensing, Llc Contextual search using natural language
US20160232543A1 (en) * 2015-02-09 2016-08-11 Salesforce.Com, Inc. Predicting Interest for Items Based on Trend Information
CN104679848B (zh) * 2015-02-13 2019-05-03 百度在线网络技术（北京）有限公司 搜索推荐方法和装置
US10255300B1 (en) * 2015-05-14 2019-04-09 Google Llc Automatically extracting profile feature attribute data from event data
US10402410B2 (en) 2015-05-15 2019-09-03 Google Llc Contextualizing knowledge panels
US10769184B2 (en) * 2015-06-05 2020-09-08 Apple Inc. Systems and methods for providing improved search functionality on a client device
US11423023B2 (en) 2015-06-05 2022-08-23 Apple Inc. Systems and methods for providing improved search functionality on a client device
US9489401B1 (en) * 2015-06-16 2016-11-08 My EyeSpy PTY Ltd. Methods and systems for object recognition
US9911410B2 (en) * 2015-08-19 2018-03-06 International Business Machines Corporation Adaptation of speech recognition
US10739960B2 (en) * 2015-09-22 2020-08-11 Samsung Electronics Co., Ltd. Performing application-specific searches using touchscreen-enabled computing devices
US10452710B2 (en) 2015-09-30 2019-10-22 Microsoft Technology Licensing, Llc Selecting content items based on received term using topic model
US11232522B2 (en) * 2015-10-05 2022-01-25 Verizon Media Inc. Methods, systems and techniques for blending online content from multiple disparate content sources including a personal content source or a semi-personal content source
US10387432B2 (en) 2015-10-05 2019-08-20 Oath Inc. Methods, systems and techniques for ranking blended content retrieved from multiple disparate content sources
US11675824B2 (en) * 2015-10-05 2023-06-13 Yahoo Assets Llc Method and system for entity extraction and disambiguation
US10599390B1 (en) * 2015-12-28 2020-03-24 Amazon Technologies, Inc. Methods and systems for providing multi-user recommendations
US10380208B1 (en) * 2015-12-28 2019-08-13 Amazon Technologies, Inc. Methods and systems for providing context-based recommendations
US10516746B2 (en) * 2015-12-30 2019-12-24 Facebook, Inc. Correlating media consumption data with user profiles
US10162907B2 (en) * 2015-12-30 2018-12-25 Samsung Electronics Co., Ltd. Ordering items within a list component of an application card based on bias parameters
US10467673B2 (en) * 2016-02-26 2019-11-05 Dell Products, Lp Method, system and medium for multi-language classification in a search query system
US20170272825A1 (en) * 2016-03-16 2017-09-21 Rovi Guides, Inc. System and method for locating content related to a media asset
CN109074544A (zh) * 2016-03-28 2018-12-21 开利公司 用于冷链产品的社交媒体反馈系统
US10102844B1 (en) * 2016-03-29 2018-10-16 Amazon Technologies, Inc. Systems and methods for providing natural responses to commands
US10664484B2 (en) * 2016-05-26 2020-05-26 Oath Inc. Computerized system and method for optimizing the display of electronic content card information when providing users digital content
US10423661B2 (en) * 2016-08-08 2019-09-24 Google Llc Methods, systems, and media for providing a media consumption history annotated with social context
US11184766B1 (en) * 2016-09-07 2021-11-23 Locurity Inc. Systems and methods for continuous authentication, identity assurance and access control
DE102017219596A1 (de) * 2016-12-22 2018-06-28 Volkswagen Aktiengesellschaft Sprachausgabestimme eines Sprachbediensystems
US11010643B1 (en) * 2017-05-10 2021-05-18 Waylens, Inc System and method to increase confidence of roadway object recognition through gamified distributed human feedback
US11803617B1 (en) * 2017-05-10 2023-10-31 Waylens, Inc. System and method to increase confidence of roadway object recognition through gamified distributed human feedback
US10170112B2 (en) 2017-05-11 2019-01-01 Google Llc Detecting and suppressing voice queries
US11537644B2 (en) * 2017-06-06 2022-12-27 Mastercard International Incorporated Method and system for conversational input device with intelligent crowd-sourced options
EP3679484A1 (en) 2017-10-03 2020-07-15 Google LLC Identifying the music as a particular song
US10510346B2 (en) * 2017-11-09 2019-12-17 Microsoft Technology Licensing, Llc Systems, methods, and computer-readable storage device for generating notes for a meeting based on participant actions and machine learning
US10810266B2 (en) * 2017-11-17 2020-10-20 Adobe Inc. Document search using grammatical units
US10375191B2 (en) * 2017-11-29 2019-08-06 Microsoft Technology Licensing, Llc Notifications on an online social networking system
US10831845B2 (en) * 2017-12-28 2020-11-10 Google Llc Generation of enhanced search results
US20190347068A1 (en) * 2018-05-10 2019-11-14 Microsoft Technology Licensing, Llc Personal history recall
US11073971B2 (en) * 2018-08-01 2021-07-27 Paypal, Inc. System and method for generating a customized user interface comprising movable modules by prioritizing personas of a user
US11238508B2 (en) * 2018-08-22 2022-02-01 Ebay Inc. Conversational assistant using extracted guidance knowledge
US20200137224A1 (en) * 2018-10-31 2020-04-30 International Business Machines Corporation Comprehensive log derivation using a cognitive system
CN111274382A (zh) * 2018-11-20 2020-06-12 北京京东尚科信息技术有限公司 文本分类方法、装置、设备及存储介质
US11397770B2 (en) * 2018-11-26 2022-07-26 Sap Se Query discovery and interpretation
US10779042B1 (en) * 2019-01-07 2020-09-15 Alphonso Inc. Automatically generated personalized media channel
US11106746B2 (en) * 2019-03-21 2021-08-31 Verizon Media Inc. Determining sentiment of content and selecting content items for transmission to devices
US11328238B2 (en) * 2019-04-01 2022-05-10 Microsoft Technology Licensing, Llc Preemptively surfacing relevant content within email
CN110209939B (zh) * 2019-05-31 2021-10-12 腾讯科技（深圳）有限公司 推荐信息的获取方法、装置、电子设备及可读存储介质
US11689753B2 (en) * 2019-06-18 2023-06-27 The Nielsen Company (Us), Llc Use of steganographically-encoded data as basis to disambiguate fingerprint-based channel-multi-match
US20210026901A1 (en) * 2019-07-26 2021-01-28 Rovi Guides, Inc. Systems and methods for generating search suggestions for a search query of multiple entities
US11455361B2 (en) * 2019-08-09 2022-09-27 Microsoft Technology Licensing, Llc Query entity-experience classification
US11281736B1 (en) * 2019-12-12 2022-03-22 Amazon Technologies, Inc. Search query mapping disambiguation based on user behavior
WO2021162489A1 (en) 2020-02-12 2021-08-19 Samsung Electronics Co., Ltd. Method and voice assistance apparatus for providing an intelligence response
CN112307162A (zh) * 2020-02-26 2021-02-02 北京字节跳动网络技术有限公司 用于信息交互的方法和装置
US11880416B2 (en) * 2020-10-21 2024-01-23 International Business Machines Corporation Sorting documents according to comprehensibility scores determined for the documents
US11798530B2 (en) * 2020-10-30 2023-10-24 Google Llc Simultaneous acoustic event detection across multiple assistant devices
US11688035B2 (en) 2021-04-15 2023-06-27 MetaConsumer, Inc. Systems and methods for capturing user consumption of information
US11836886B2 (en) 2021-04-15 2023-12-05 MetaConsumer, Inc. Systems and methods for capturing and processing user consumption of information
US20220358088A1 (en) * 2021-05-04 2022-11-10 At&T Intellectual Property I, L.P. Media content memory retrieval
CN113707300A (zh) * 2021-08-30 2021-11-26 康键信息技术（深圳）有限公司 基于人工智能的搜索意图识别方法、装置、设备及介质
US11836141B2 (en) * 2021-10-04 2023-12-05 Red Hat, Inc. Ranking database queries
WO2023081684A1 (en) * 2021-11-02 2023-05-11 MetaConsumer, Inc. Systems and methods for capturing and processing user consumption of information
US20240012847A1 (en) * 2022-07-07 2024-01-11 Spotify Ab Systems and methods for generating personalized pools of candidate media items
US11954136B2 (en) 2022-08-30 2024-04-09 Tencent America LLC Method and apparatus for multi-view conversational query production

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467171A (zh) * 2006-06-29 2009-06-24 尼尔逊媒介研究股份有限公司 监测与基于位置的网络服务相关联的消费者行为的方法和装置
CN101981895A (zh) * 2008-02-22 2011-02-23 诺基亚公司 用于确定针对实时和回放消费的行为的系统和方法
CN102782690A (zh) * 2010-02-10 2012-11-14 爱克发医疗保健公司 用于处理针对临床文档的不同语言的消费者查询的系统和方法
CN102918528A (zh) * 2010-03-12 2013-02-06 微软公司 作为联网服务的信息上的查询模型
US8484017B1 (en) * 2012-09-10 2013-07-09 Google Inc. Identifying media content

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6791580B1 (en) 1998-12-18 2004-09-14 Tangis Corporation Supplying notifications related to supply and consumption of user context data
US7444353B1 (en) 2000-01-31 2008-10-28 Chen Alexander C Apparatus for delivering music and information
US8117281B2 (en) 2006-11-02 2012-02-14 Addnclick, Inc. Using internet content as a means to establish live social networks by linking internet users to each other who are simultaneously engaged in the same and/or similar content
US20020103920A1 (en) 2000-11-21 2002-08-01 Berkun Ken Alan Interpretive stream metadata extraction
JP2003330942A (ja) * 2002-05-10 2003-11-21 Minolta Co Ltd ディジタルデータ検索装置
FR2842108B1 (fr) 2002-07-09 2008-05-02 Effik Composes a base d'hormone et de monoxyde d'azote et leur utilisation en obstetrique et en gynecologie
US9110954B2 (en) 2003-08-15 2015-08-18 Intel Corporation Single access method for multiple media sources
US8438147B2 (en) 2003-09-29 2013-05-07 Home Box Office, Inc. Media content searching and notification
US7289806B2 (en) * 2004-03-30 2007-10-30 Intel Corporation Method and apparatus for context enabled search
WO2007052285A2 (en) 2005-07-22 2007-05-10 Yogesh Chunilal Rathod Universal knowledge management and desktop search system
US7746895B2 (en) 2005-07-29 2010-06-29 Dell Products L.P. Guided discovery of media content
US20070192319A1 (en) 2006-01-27 2007-08-16 William Derek Finley Search engine application with ranking of results based on correlated data pertaining to the searcher
KR100735820B1 (ko) * 2006-03-02 2007-07-06 삼성전자주식회사 휴대 단말기에서 음성 인식에 의한 멀티미디어 데이터 검색방법 및 그 장치
US8843467B2 (en) * 2007-05-15 2014-09-23 Samsung Electronics Co., Ltd. Method and system for providing relevant information to a user of a device in a local network
US20070239675A1 (en) * 2006-03-29 2007-10-11 Microsoft Corporation Web search media service
US7937403B2 (en) 2006-10-30 2011-05-03 Yahoo! Inc. Time-based analysis of related keyword searching
AU2007336832B2 (en) 2006-12-22 2012-05-24 Apple Inc. Communicating and storing information associated with media broadcasts
US20080222105A1 (en) 2007-03-09 2008-09-11 Joseph Matheny Entity recommendation system using restricted information tagged to selected entities
US20080243504A1 (en) * 2007-03-30 2008-10-02 Verizon Data Services, Inc. System and method of speech recognition training based on confirmed speaker utterances
US20080275846A1 (en) 2007-05-04 2008-11-06 Sony Ericsson Mobile Communications Ab Filtering search results using contact lists
US8375131B2 (en) 2007-12-21 2013-02-12 Yahoo! Inc. Media toolbar and aggregated/distributed media ecosystem
US8799814B1 (en) 2008-02-22 2014-08-05 Amazon Technologies, Inc. Automated targeting of content components
EP2324475A1 (en) * 2008-08-26 2011-05-25 Dolby Laboratories Licensing Corporation Robust media fingerprints
US20100070488A1 (en) 2008-09-12 2010-03-18 Nortel Networks Limited Ranking search results based on affinity criteria
US20100145971A1 (en) * 2008-12-08 2010-06-10 Motorola, Inc. Method and apparatus for generating a multimedia-based query
US20100161643A1 (en) 2008-12-24 2010-06-24 Yahoo! Inc. Segmentation of interleaved query missions into query chains
US9405752B2 (en) * 2009-02-13 2016-08-02 T-Mobile Usa, Inc. System and method for automatically presenting a media file on a mobile device based on relevance to a user
US8180765B2 (en) 2009-06-15 2012-05-15 Telefonaktiebolaget L M Ericsson (Publ) Device and method for selecting at least one media for recommendation to a user
US8583674B2 (en) 2010-06-18 2013-11-12 Microsoft Corporation Media item recommendation
US8359020B2 (en) * 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
GB2483370B (en) 2010-09-05 2015-03-25 Mobile Res Labs Ltd A system and method for engaging a person in the presence of ambient audio
US20120059838A1 (en) * 2010-09-07 2012-03-08 Microsoft Corporation Providing entity-specific content in response to a search query
US9978022B2 (en) 2010-12-22 2018-05-22 Facebook, Inc. Providing context relevant search for a user based on location and social information
US9031958B2 (en) * 2011-04-18 2015-05-12 International Business Machines Corporation File searching on mobile devices
US20120296458A1 (en) * 2011-05-18 2012-11-22 Microsoft Corporation Background Audio Listening for Content Recognition
US9781540B2 (en) * 2011-07-07 2017-10-03 Qualcomm Incorporated Application relevance determination based on social context
WO2013011670A1 (ja) * 2011-07-21 2013-01-24 パナソニック株式会社 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ配信システム
US20130031110A1 (en) * 2011-07-28 2013-01-31 Kikin Inc. Systems and methods for rich query construction
US8954448B1 (en) 2011-08-31 2015-02-10 Amazon Technologies, Inc. Presenting content related to current media consumption
US20130117259A1 (en) 2011-11-04 2013-05-09 Nathan J. Ackerman Search Query Context
US20130124371A1 (en) 2011-11-15 2013-05-16 Verizon Patent And Licensing Inc. Determining local catalog of digital content
US9665643B2 (en) 2011-12-30 2017-05-30 Microsoft Technology Licensing, Llc Knowledge-based entity detection and disambiguation
US20130212081A1 (en) 2012-02-13 2013-08-15 Microsoft Corporation Identifying additional documents related to an entity in an entity graph
US9965129B2 (en) * 2012-06-01 2018-05-08 Excalibur Ip, Llc Personalized content from indexed archives
US9792285B2 (en) * 2012-06-01 2017-10-17 Excalibur Ip, Llc Creating a content index using data on user actions
US9288121B2 (en) * 2012-10-03 2016-03-15 Google Technology Holdings LLC System and method for associating online content to a second indexed content
US9454530B2 (en) 2012-10-04 2016-09-27 Netflix, Inc. Relationship-based search and recommendations
US9817827B2 (en) 2012-10-04 2017-11-14 Netflix, Inc. Relationship-based search and recommendations
US9268880B2 (en) * 2013-03-14 2016-02-23 Google Inc. Using recent media consumption to select query suggestions
US9128988B2 (en) 2013-03-15 2015-09-08 Wal-Mart Stores, Inc. Search result ranking by department
US9002835B2 (en) 2013-08-15 2015-04-07 Google Inc. Query response using media consumption history
US10430024B2 (en) 2013-11-13 2019-10-01 Microsoft Technology Licensing, Llc Media item selection using user-specific grammar
US10332151B2 (en) 2014-05-28 2019-06-25 Blake F. Megdal Method and system for using media points to influence content delivery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467171A (zh) * 2006-06-29 2009-06-24 尼尔逊媒介研究股份有限公司 监测与基于位置的网络服务相关联的消费者行为的方法和装置
CN101981895A (zh) * 2008-02-22 2011-02-23 诺基亚公司 用于确定针对实时和回放消费的行为的系统和方法
CN102782690A (zh) * 2010-02-10 2012-11-14 爱克发医疗保健公司 用于处理针对临床文档的不同语言的消费者查询的系统和方法
CN102918528A (zh) * 2010-03-12 2013-02-06 微软公司 作为联网服务的信息上的查询模型
US8484017B1 (en) * 2012-09-10 2013-07-09 Google Inc. Identifying media content

Also Published As

Publication number Publication date
CN110275982A (zh) 2019-09-24
TWI685755B (zh) 2020-02-21
US20240037137A1 (en) 2024-02-01
US11960526B2 (en) 2024-04-16
US11853346B2 (en) 2023-12-26
US11816141B2 (en) 2023-11-14
CN105659230B (zh) 2019-06-25
US9002835B2 (en) 2015-04-07
US10275464B2 (en) 2019-04-30
US9477709B2 (en) 2016-10-25
US20150052168A1 (en) 2015-02-19
CN105659230A (zh) 2016-06-08
US10198442B2 (en) 2019-02-05
US20150052121A1 (en) 2015-02-19
US20160283486A1 (en) 2016-09-29
US20210056133A1 (en) 2021-02-25
US20190251117A1 (en) 2019-08-15
WO2015023876A1 (en) 2015-02-19
US10303779B2 (en) 2019-05-28
US20150052128A1 (en) 2015-02-19
WO2015023878A1 (en) 2015-02-19
US20170004132A1 (en) 2017-01-05
US20190236094A1 (en) 2019-08-01
TW201528011A (zh) 2015-07-16
US20150052115A1 (en) 2015-02-19
US10860639B2 (en) 2020-12-08
US20240119086A1 (en) 2024-04-11
EP3033694A1 (en) 2016-06-22

Similar Documents

Publication Publication Date Title
US11960526B2 (en) Query response using media consumption history
US9824150B2 (en) Systems and methods for providing information discovery and retrieval
US9123330B1 (en) Large-scale speaker identification
CN111104496B (zh) 从先前会话检索情境
US20150012271A1 (en) Speech recognition using domain knowledge
CN114817706A (zh) 用于个性化即时查询建议的媒体消费场境
JP6322125B2 (ja) 音声認識装置、音声認識方法および音声認識プログラム
US11640426B1 (en) Background audio identification for query disambiguation
WO2020240996A1 (ja) 情報処理装置、情報処理方法、および、プログラム
US20230009983A1 (en) Responding to queries with voice recordings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant