CN108475281A - 使用聚合用户会话数据的视频注释 - Google Patents

Abstract

一种用于识别与内容项相关联的产品的方法，包括：由服务器从第一客户端设备接收对第一内容项的第一请求；响应于对第一内容项的第一请求，由服务器从数据存储器检索第一内容项；由服务器从数据存储器中检索在由第二客户端设备回放第一内容项的预定时间窗内由第二客户端设备发送的互联网搜索请求的标识；由服务器从数据存储器检索响应于由第二客户端设备发送的互联网搜索请求而选择的第二内容项；以及由服务器向第一客户端设备提供第一内容项和第二内容项。

Description

使用聚合用户会话数据的视频注释

相关申请

本申请要求2016年5月6日提交的第62/332770号、题目为“Annotation of VideosUsing Aggregated User Session Data”的美国临时专利申请以及2016年6月2日提交的第15/171,779号、题目为“Annotation of Videos Using Aggregated User Session Data”的美国非临时申请的优先权，全部内容通过引用结合于此。

背景技术

内容提供者制作可用于互联网上供消费者使用和/或购买的许多内容项，诸如视频，图片，音频记录，文本，交互式游戏，测验或其他此类内容。当用户观看视频时，可以显示这样的内容，有时称为广播，流，节目，电影，种子，或者通过其他这样的名称。包括视频或其他此类内容的内容可以包括各种项目或产品，并且可以与各种类型，关键字或主题相关或相关联。其结果是，用户在不查看/收听内容项的情况下可能难以判断视频或其他内容项与什么相关，并且用户通常会开始查看内容项，却只以发现它与他们预期或正在寻找的主题无关。结果是，用户将在短时间后放弃查看内容项，并且将搜索其他内容项——这意味着检索内容项的过程可能是资源效率低的，因为在提供用户不想要的内容项中使用了网络资源。

发明内容

传统的识别尝试包括耗费时间和昂贵的内容手动标记，或处理器密集型视觉分析或“屏幕抓取”。然而，通过在查看内容期间和之后利用用户搜索或web浏览活动，本文讨论的系统和方法通过大量用户的请求之间的聚合和相关性来提供内容的自动识别。这可以使得内容的搜索/检索过程更加资源有效，因为更准确的内容识别增加了用户在其初始搜索中定位和检索期望内容的概率，因此避免了用户进行重复搜索的需要。

本文公开的一种实现方式是一种用于识别与内容项相关联的项/产品的方法。所述方法包括：由服务器从第一客户端设备接收对第一内容项的第一请求；响应于对第一内容项的第一请求，由服务器从数据存储器检索第一内容项；以及由服务器从数据存储器中检索在由第二客户端设备回放第一内容项的预定时间窗内由第二客户端设备发送的互联网搜索请求的标识。所述方法还包括：由服务器从数据存储器检索响应于由第二客户端设备发送的互联网搜索请求而选择的第二内容项；以及由服务器向第一客户端设备提供第一内容项和第二内容项。

在一些实现方式中，所述方法包括：由服务器计算由第二客户端设备播放第一内容项的时间与执行互联网搜索的时间之间的差；以及由服务器将差与预定阈值进行比较，以确定由第二客户端设备发送的互联网搜索请求是否发生在回放的预定时间窗内。

在一些实现方式中，所述方法包括由服务器聚合在由多个客户端设备回放多个相应内容项的多个预定时间窗内由多个客户端设备发送的多个互联网搜索请求的标识。在其他实现方式中，所述方法包括由服务器确定互联网搜索请求包括对产品的搜索。在其他实现方式中，所述方法包括由服务器聚合在由多个客户端设备回放第一内容项的多个预定时间窗内由多个客户端设备发送的多个互联网搜索请求的标识。在一些实现方式中，所述方法包括在播放第一内容项时由第二客户端设备发送的互联网搜索请求的标识。

在另一方面，本公开涉及一种用于识别与内容项相关联的产品的系统。所述系统包括：服务器，与数据存储器和多个客户端设备通信。服务器执行用于以下的操作：从第一客户端设备接收对第一内容项的第一请求；响应于对第一内容项的第一请求，从数据存储器检索第一内容项；以及从数据存储器中检索在由第二客户端设备回放第一内容项的预定时间窗内由第二客户端设备发送的互联网搜索请求的标识。在一些实现方式中，系统从数据存储器检索响应于由第二客户端设备发送的互联网搜索请求而选择的第二内容项；以及向第一客户端设备提供第一内容项和第二内容项。

在一些实现方式中，所述系统包括服务器，所述服务器执行用于以下的操作：计算由第二客户端设备播放第一内容项的时间与执行互联网搜索的时间之间的差；以及将差与预定阈值进行比较，以确定由第二客户端设备发送的互联网搜索请求是否发生在回放的预定时间窗内。在其他实现方式中，所述系统包括服务器，所述服务器执行用于以下的操作：聚合在由多个客户端设备回放多个相应内容项的多个预定时间窗内由多个客户端设备发送的多个互联网搜索请求的标识。在其他实现方式中，所述系统包括服务器，所述服务器执行操作以确定互联网搜索请求包括对产品的搜索。

在其他实现方式中，所述系统包括服务器，所述服务器执行操作，以：聚合在由多个客户端设备回放第一内容项的多个预定时间窗内由多个客户端设备发送的多个互联网搜索请求的标识。在一些实现方式中，所述系统包括：在回放第一内容项的预定时间窗内由第二客户端设备发送的互联网搜索请求的标识包括在播放第一内容项时由第二客户端设备发送的互联网搜索请求的标识。

在另一方面，本公开涉及一种动态选择和显示相关内容的方法。在一些实现方式中，所述方法包括：由服务器向多个客户端设备中的每一个提供用于显示的第一内容项；由服务器从多个客户端设备中的每一个接收互联网搜索请求；以及响应于所接收的互联网搜索请求的子集的每个互联网搜索请求的时间戳在向相应客户端设备提供第一内容项的时间的预定时间窗内，由服务器提取子集。在其他实现方式中，所述方法包括：由服务器聚合互联网搜索请求的子集，以生成具有大于预定阈值的聚合频率的上下文相关互联网搜索请求的第二子集；由服务器从附加客户端设备接收对第一内容项的请求；以及由服务器向附加客户端设备提供第一内容项和基于上下文相关互联网搜索请求的第二子集选择的第二内容项。

在一些实现方式中，所述方法包括：提取接收的互联网搜索请求的子集还包括：由服务器计算相应客户端设备播放第一内容项的时间与执行互联网搜索的时间之间的差；以及由服务器将差与预定阈值进行比较，以确定相应客户端设备发送的互联网搜索请求是否发生在回放的预定时间窗内。在其他实现方式中，所述方法还包括：由服务器确定互联网搜索请求包括对产品的搜索。在其他实现方式中，所述方法还包括：从数据存储器中检索响应于由附加客户端设备发送的互联网搜索请求而选择的第二内容项。在其他实现方式中，所述方法包括检索第二内容项。在可选实现方式中，所述方法包括：提供第一内容项的时间的预定时间窗包括第一内容项正在相应客户端设备上播放的时间段。

在另一方面，本公开涉及一种用于识别与内容项相关联的项的系统，包括：服务器，与数据存储器和多个客户端设备通信，服务器执行用于以下的操作：向多个客户端设备中的每一个提供用于显示的第一内容项；从多个客户端设备中的每一个接收互联网搜索请求；响应于所接收的互联网搜索请求的子集的每个互联网搜索请求的时间戳在向相应客户端设备提供第一内容项的时间的预定时间窗内，提取子集；聚合互联网搜索请求的子集，以生成具有大于预定阈值的聚合频率的上下文相关互联网搜索请求的第二子集；从附加客户端设备接收对第一内容项的请求；以及向附加客户端设备提供第一内容项和基于上下文相关互联网搜索请求的第二子集选择的第二内容项。

在另一方面，本公开涉及一种系统，包括：服务器，与数据存储器和多个客户端设备通信，服务器执行包括根据本文描述的任何方面或实现方式的方法的操作。在另一方面，本公开涉及一种系统，包括：服务器和具有存储的指令的计算机可读介质，当由服务器执行所述指令时，使服务器执行包括根据本文描述的任何方面或实现方式的方法的操作。

在另一方面，本公开涉及一种包括指令的计算机程序产品，当由计算机执行指令时，使计算机执行根据本文定义的任何方面或实现方式的方法。

在另一方面，本公开涉及一种具有存储指令的计算机可读介质，在由服务器执行指令时，使得服务器执行包括根据本文定义的任何方面或实现方式的方法的操作。

提及这些实现方式不是为了限制或限定本公开的范围，而是提供本公开的实现方式的示例以帮助理解本公开。可以开发特定实现方式以实现以下优点中的一个或多个。

附图说明

在附图和以下描述中阐述了一个或多个实现方式的细节。根据说明书，附图和权利要求，本公开的其他特征，方面和优点将变得显而易见，在附图中：

图1A是使用滑动时间窗的根据一个实现方式的、与视频回放相关联的在时间线上对各种内容项的聚合搜索请求的示图；

图1B是使用加权滑动时间窗的根据一个实现方式的、与视频回放相关联的在时间线上对各种内容项的聚合搜索请求的示图；

图1C是根据一个实现方式的与将关键字识别与视频的全部或一部分相关的阈值相比，时间线上的关键字的聚合搜索分数的示图；

图2是用于识别，选择和传递与视频回放相关的内容的示例环境的框图；

图3A是根据一个实现方式的客户端设备的框图；

图3B是根据一个实现方式的内容管理服务器的框图；以及

图4是在用于识别，选择和传递与视频回放相关的内容的示例过程的一个实现方式中采取的步骤的流程图。

各附图中相似的附图标记和名称表示相似的元件。

具体实施方式

如上所述，在播放视频期间(或在播放结束后立即)识别和选择这种相关内容来显示迄今为止是手动且耗时的过程。例如，内容提供者可能需要对无数视频进行分类以识别每个视频的内容，以便准确地表征视频的内容。此外，许多视频可能无法包括准确描述视频内容的标题，或者视频可能包括许多不同的主题，这些主题无法用共同标题描述。甚至，视频可能根本没有标题或者根本不具有相关联的元数据或文本数据(例如，关键字，描述，评论，创建者注释，标签等)以指示视频的主题。在每种情况下，内容提供者可能需要观看整个视频以便确定视频的内容。

观看内容项的大量用户的搜索行为可以被分组在一起以识别可能与内容项相关的共同搜索关键字或短语。例如，在观看包括时尚风衣中的演员的视频之后，大量用户可能在线搜索与风衣、外套制造商或零售商等相关的信息。通过将这些搜索聚合在一起并注意搜索和用户何时观看视频之间的时间关系，系统可以自动识别出视频包括风衣。聚合可以是时间相关的，以便排除比用户观看内容项时早很多或晚很多的搜索。最常搜索的短语或关键字可以被识别为可能与内容项相关联，其中基于搜索频率或最近观看视频的用户的搜索率与基线相比的变化来应用的置信度分数或类似加权。

因此，在本文讨论的系统和方法的一个实现方式中，识别与内容项相关联的产品而不需要显式元数据或文本数据可以包括已观看视频的许多用户的聚合行为的数据分析。在一些实现方式中，可以聚合在回放期间或之后不久由用户在时间窗中执行的互联网搜索。来自该窗口的聚合数据可以用于识别可能与视频相关的项目，其中基于聚合搜索数量的大小增加关联的置信度。在一些实现方式中，聚合数据可以用于识别与视频或视频的特定时隙相关的文本数据，其中该文本数据可以用于识别与视频或者视频的特定时隙相关的项目。在其他实现方式中，可以识别可能与视频相关的其他内容项，并且例如可以被包括在视频的未来回放中。

图1A是使用滑动时间窗的根据一个实现方式的、与视频回放相关联的在时间线上对各种内容项的聚合搜索请求的示图。时间线100、120、140中的每一个表示相同的时间段，但是为了清楚起见分开示出。因此，该时间段可以被统称为时间线100。如所示，时间线100可以包括从开始104到结束106在客户端设备206上回放视频，其中视频持续时间108是指从结束106到开始104的时间上的正差。尽管以固定的持续时间示出，但是在许多实现方式中，视频持续时间108可以具有不同的回放时间，诸如1秒、30秒、1分钟、1小时或任何其他视频回放时间的持续时间(即，视频持续时间108可以是任何宽度)。

另外，时间线100可以包括时间线100上的开始104、结束106和视频持续时间108的多个实例，示出在一个或多个客户端设备206上同一视频的回放的连续开始和停止。为了说明这一点，时间线100包括其时间差被称为视频持续时间114的开始110和结束112，其表示在视频持续时间108期间回放同一视频或者与视频持续时间108完全不同的视频(例如，网球比赛)。例如，客户端设备206的用户可以在由视频持续时间108表示的时间段内观看关于汽车的电视剧集的视频。在观看电视剧集之后，用户可以等待一段时间，显示为结束106与开始104之间的差。在此之后，用户可以在客户端设备206或与客户端设备206相关联的任何其他设备上开始连续或间歇回放(暂停和恢复一次或多次)持续由视频持续时间114所示的持续时间的网球比赛的视频回放。

在一些实现方式中，开始104是在视频持续时间108期间播放的同一视频，但是播放部分在视频持续时间108之后。例如，用户可以在结束106暂停体育赛事的视频回放然后在开始104之后的某个时间恢复暂停的体育赛事。在其他实现方式中，在视频持续时间114期间播放的部分是开始104之前的时间，这可以是用户将在视频持续时间108期间播放的视频倒带到开始104之前的时间的情况。在一些实现方式中，视频持续时间114可以与在视频持续时间108期间播放的视频中的部分或全部重叠。例如，用户可能已经观看在视频持续时间108期间播放的视频不止一次，其中视频持续时间114表示在视频持续时间108期间观看的视频的额外回放。

在视频持续时间108期间播放的视频可以包括一个或多个剪辑、电影、影片、电视剧集或系列、商业广告、广告、用户创建的内容、纪录片、音乐剧或多媒体流。因此，视频持续时间108可以与视频内容或节目的任何一个或任何组合相关联。例如，视频持续时间108可以表示与关于宇宙的电影的回放相关联的时间，其可以持续2小时35分0秒，或者以另一种方式显示，作为视频时间索引00:00:00至02:35:00。然而，紧接着，同一视频可能包括回放持续1小时24分59秒或者显示为视频时间索引02:35:01至04:00:00的关于动物王国的电视剧集。

虽然在此提供的示例描述了具有两个不同节目的单个视频(即，关于宇宙的电影，然后是关于动物王国的剧集)，但是单个视频可以包含许多节目，诸如同一视频中的2个节目、5个节目、10个节目、20个节目、50个节目或任何其他数量节目的串联。另外，每个节目可以是相同的主题。例如，视频可以包含电视节目的一个以上或全部的剧集。在其他实现方式中，每个节目在主题、风格、时间段、持续时间、语言或可以将一个节目或视频与另一个节目或视频区分开的任何其他特征中可以是不相关的。例如，如上所述，视频持续时间108可以包含关于宇宙的电影直到时间索引02:35:00，之后是关于动物王国的电视剧集。在该示例中，电影和电视剧集在主题方面都不相关。在其他实现方式中，包含在单个视频内的节目在主题中是相关的。在其他实现方式中，视频可以被划分为多个场景，其可以进一步被划分为相机镜头。在各种实现方式中，视频持续时间108可以是指这些不同部分和子部分中的任何一个。

在一些实现方式中，结束106和开始104之间的时间差是随机的。在其他实现方式中，结束106和开始104之间的时间差是固定的。例如，在停止视频回放(例如，结束106)之后，然后在30秒之后、1分钟之后、30分钟之后、1小时之后或任何其他时刻之后恢复同一视频的回放。在另一实现方式中，结束106和开始104之间的时间差与触发事件同步。触发事件可以包括但不限于与客户端设备相关联的日历、由视频内容提供者准备或管理的节目指南、与客户端设备相关联的记录调度、链接到诸如DVR的另一设备的记录调度、或者触发在客户端设备或与客户端设备相关联的第二客户端设备上配置的规则。

如上所述，时间线120和140是指与时间线100相同的时间段。这些时间线120、140中的每一个示出来自通过多个区间(bin)或时间窗接收的大量用户的对于主题的聚合请求的示例图。例如，时间线120示出与随时间接收的与汽车有关的搜索请求的示例。时间线140示出与随时间接收的与网球相关的搜索请求的示例。如所示，时间线120的搜索请求包括在视频持续时间108之后不久的激增或尖峰——这指示在视频持续时间108期间播放的视频或视频的一部分可能与汽车相关联或相关。相应地，时间线140没有示出在视频持续时间108之后不久的搜索请求中的激增或尖峰，指示视频的播放部分可能不与网球相关联。

相反，如在时间线140上所示，在视频持续时间114之后不久，对于网球相关关键字的搜索请求的激增或尖峰指示在视频持续时间114期间播放的视频或视频的一部分可能与网球相关联或相关。同样地，如在时间线120上所示，在视频持续时间114之后不久，在对于汽车相关关键字的搜索请求中没有任何明显的尖峰或激增，指示在此期间播放的视频或视频的一部分可能不与汽车相关联或相关。

仍然参考时间线120并且更详细地，在该时间段期间，如所示，搜索提供者可以在视频回放期间接收对一个或多个内容项的搜索请求。这些搜索请求可能在大多数时间期间达到基线速率(baseline rate)，但在显示相关内容之后不久可能会出现激增或尖峰，因为用户会搜索他们在视频中看到的内容。因此，如所示，每个条表示在短时间窗内(例如，10秒、30秒、1分钟或任何其他这样的时间帧)接收的搜索请求的数量。基线速率可能非常低，诸如每个窗口1到2个搜索请求。然而，如所示，在视频播放之后不久可能在某些点会出现激增。例如，第一用户可以观看视频，并且在30秒之后搜索与汽车相关的东西。第二用户可以类似地观看视频并在1分钟后执行类似搜索。系统将在存储器中记录、录入或缓存来自观看同一视频并执行关键字或短语的搜索的多个用户的搜索结果。然后，可以将这些搜索请求聚合或分组到时间窗中，如时间线120和140所示，每个搜索请求由聚合搜索请求122表示，聚合搜索请求122被示为条，条的高度表示在该时间窗内接收的聚合搜索数量(例如，在t时间内同一主题的n个搜索请求)。

区间(bin)130是表示在特定时间针对特定关键字的搜索的聚合数量(或聚合分数)的条。如时间线120和140所示，区间130可以由内容管理服务器230指定为连续的、非重叠的固定时间间隔，诸如以秒、分、小时、天或任何其他时间划分。在其他实现方式中，区间130可以基于改变的事件而改变，诸如但不限于对视频内容的请求的频率、请求视频内容的客户端设备的数量、请求的视频内容的大小或其他因素。此外，每个区间130可以是相邻的并且具有相同的大小(例如，每个区间表示相等且连续的时间段)。例如，因为区间具有相同的大小，因此它们看起来像竖立在区间上方的矩形，其高度与来自一个客户端设备或多个客户端设备针对特定关键字或短语的搜索请求的数量成比例。为清楚起见，每个区间可以称为区间0、区间1、区间2等，从时间0开始并继续向前。例如，时间线120上的第一个区间可以被称为区间0，而滑动时间窗124中的第一个区间可以被称为区间3。此外，每个区间可以跨越时间线的x轴上的刻度线。例如，当每个区间为1分钟时，从视频回放的开始大于等于-30秒到小于30秒的所有搜索请求将落入区间1。同样，从视频回放的开始大于等于30秒到小于60秒的所有搜索请求将落入区间2。

用户可以在开始视频回放之后的任何时间搜索内容，称为搜索请求时间。具体地，搜索请求时间表示在客户端设备上执行的搜索请求与视频回放的开始时间之间的时间差，诸如时间线120上的开始104或开始110。如所讨论，这些单独的搜索请求被聚合并且分析以确定搜索的关键字或短语是否与视频的全部或部分相关联或相关。在时间线120和140上这些聚合数据点被表示在对应于其搜索请求时间的区间中。给定区间的搜索请求时间与视频回放的开始之间的时间差被称为聚合搜索请求时间126。

内容管理器服务器可以使用任何算法来聚合落入同一区间中的搜索请求。作为示例，8个客户端设备可以在相对于特定视频回放的开始的以下搜索请求时间执行对于“汽车”的搜索：1分0秒、1分10秒、1分15秒、1分35秒、1分50秒、1分58秒、2分5秒和2分45秒。通过将每个区间设置为1分钟，可以如下聚合搜索请求：区间0包含聚合搜索请求0，区间1包含聚合搜索请求3，区间2包含聚合搜索请求4，以及区间3包含聚合搜索请求1。

虽然关于聚合搜索请求122的单个区间130示出了聚合搜索请求时间126，但是聚合搜索请求时间126在时间线上与聚合搜索请求122的每个区间相关联。这样，聚合搜索请求时间126可以是负的，指示在视频回放之前执行互联网搜索。相反，聚合搜索请求时间126可以是正的，指示在视频回放期间或之后执行互联网搜索。尽管比先前场景相比不太可能发生，但是在一些实现方式中，聚合搜索请求时间126可以是零，与视频回放的开始完全同时地执行互联网搜索请求。在这种情况下，视频回放可以在第一客户端设备上开始，并且互联网搜索可以在第二客户端设备上同时执行。

另外，与关键字或短语相关联的每个时间线(诸如时间线120和140)上的每个区间具有与时间线上的每个视频持续时间相关的对应聚合搜索请求时间126。例如，参考时间线120，每个区间130具有两个聚合搜索请求时间：一个相对于开始104(对于视频持续时间108)和一个相对于开始106(相对于视频持续时间114)。

在自视频回放起的时间窗内，每个搜索请求与对于相同关键字(例如，汽车)或短语(例如，红色汽车)的其他搜索请求聚合。该聚合可以包括来自相同客户端设备的搜索请求或跨多个客户端设备的搜索请求。例如，在移动电话上在对于视频持续时间108的2分钟搜索请求时间对关键字“汽车”的搜索请求可以与在第二移动设备上在对于相同视频持续时间的相同搜索请求时间对相同关键字的第二搜索请求聚合。这样，这些聚合数据点将落在与关键字“汽车”相关联的时间线上的同一区间130内。作为另一示例，在移动设备上在对视频持续时间114的3分钟搜索请求时间对关键字“引擎”的搜索请求可以与在个人计算机上对相同关键字的第二搜索请求聚合。这两个数据点的聚合将落在与关键字“引擎”相关联的时间线上的同一区间130内。在一些实现方式中，多个客户端设备与单个设备标识符314相关联或与多个设备标识符314相关联。

在其他实现方式中，聚合搜索请求122表示关于一类搜索关键字而不是单个关键字的聚合分数。例如，可以将在同一搜索请求时间或同一区间发生的对于诸如“传输”、“引擎”和“消声器”的关键字的单独互联网搜索聚合在一起并且显示在单个时间线上，诸如时间线120。在这种情况下，聚合搜索请求122表示在对特定视频回放的给定时间对于汽车相关关键字的搜索的聚合。

在一些实现方式中，由客户端设备的用户做出的搜索请求可以是匿名的，以便保护用户的隐私。在这种情况下，内容管理器服务器可以聚合搜索请求标识(例如，搜索请求ID 224)，而不是搜索结果本身。例如，移动设备可以向内容管理服务器230发送对于与短语“红色汽车”相关的内容的搜索请求。如稍后更详细描述的，搜索请求可以包括多种标识符，诸如设备标识符、会话标识符和由与移动设备相关联的收集代理收集的任何其他数据。因此，在该实现方式中，可以在时间线120上绘制聚合搜索请求ID，诸如搜索请求ID 224的聚合。

在对每个区间计算聚合搜索请求122之后，内容管理服务器230然后可以计算落入滑动时间窗内的一个或多个区间的单个聚合分数。如前所述，在视频回放期间或之后立即进行的聚合搜索请求可以与该视频相关，尤其是与观看视频时间接近的聚合搜索请求。因此，内容管理服务器230可以通过使用滑动时间窗来选择最适合使用的区间，诸如紧接在视频回放开始之后的那些区间。从这些选择的区间中，可以计算单个聚合分数，而没有在滑动时间窗之外的聚合搜索请求122干扰计算。这对于通过减少数据处理负荷来提高内容管理服务器230的准确度和处理速度特别有用。

参考时间线120并且更详细地，内容管理服务器230可以将滑动时间窗124放置在任何数量的区间周围，诸如1、2、5、10或任何其他整数值。例如，利用10个区间的滑动时间窗，内容管理服务器230可以检索与区间3到区间12——在时间线120上从左到右计数——相关联的10个聚合搜索请求122。随后，内容管理服务器230然后可以聚合或者将每个聚合搜索请求122加到用于滑动时间窗124的给定位置的单个聚合分数中。在一些实现方式中，内容管理服务器230然后可以进一步沿时间增加或滑动窗口，使得它包括没有包括在滑动时间窗的先前位置的一个或多个新的区间。例如，通过将滑动时间窗124向右增加1个区间位置并保持窗口大小固定，滑动时间窗124现在可以包括区间4到区间13。在该新位置，内容管理服务器230可以计算关于窗口的新聚合分数。内容管理服务器230可以重复该滑动在(以任何增量值)并计算任何数量的滑动时间窗位置并将每个聚合分数存储在数据库中。

虽然这里提供了滑动时间窗的特定大小作为示例实施例，但是没有特别要求任何这样的限制。例如，可以使用其他滑动时间窗大小。在一些实现方式中，滑动时间窗124可以仅包括区间的一部分。例如，滑动时间窗124的大小可以被设置为9.5个区间。在这种情况下，对于该大小的滑动时间窗的聚合分数的计算将仅包括添加到部分包括在滑动时间窗中的区间的聚合搜索请求122的一半的、9个区间的聚合搜索请求122。此外，响应于对视频内容的请求的频率、请求视频内容的客户端设备的数量、请求的视频内容的大小或其他因素，内容管理服务器230可以调整滑动窗口的大小。另外，滑动时间窗可以被成形为三角形、矩形、正方形、钟形曲线、陷波滤波器或任何其他形状。

如时间线120所示，为每个滑动时间窗位置计算的聚合分数对与每个区间相关联的每个聚合搜索请求122应用相等加权。然而，当客户端设备发送互联网搜索请求并且内容管理服务器230接收到该请求时，发生定时差或等待时间(latency)。该等待时间可能影响确定特定关键字或短语与视频的全部或部分相关的准确性。为了减轻该等待时间对计算的影响，内容管理服务器230可以实现将不同的加权因子应用于窗口内的每个区间的滑动时间窗。换句话说，为每个区间分配的加权因子可以指示包括在滑动时间窗的聚合分数计算中的该区间的聚合搜索请求122的比率。每个加权因子可以被设置为0％至100％的任何值，并且可以是固定的或随时间变化。

图1B是使用加权滑动时间窗的根据一个实现方式的与视频回放相关联的在时间线上对各种内容项的聚合搜索请求的示图。如所示，滑动时间窗内的每个区间可以被分配自视频回放起沿时间越远的每个区间而减小的加权因子。在这种情况下，滑动时间窗可以对沿时间最接近视频开始的区间给予更大的权重，并且对于自视频开始沿时间最远的区间给予更小的权重。例如，如时间线120所示，滑动时间窗124包括下文中从左到右称为区间3到区间11的9个区间。每个区间可以分别具有等于5、10、20、17、13、9、8、3和1的聚合搜索请求。内容管理服务器230可以为从区间3到区间11的每个区间分配加权因子，分别等于100％、90％、80％、70％、60％、50％、40％、30％和20％。因此，如图1B所示，对于包括用于汽车相关关键字的搜索请求的区间3到区间11的位置处的滑动时间窗的聚合分数计算可以如下：5(100％)+10(90％)+20(80％)+17(70％)+13(60％)+9(50％)+8(40％)+3(30％)+1(20％)＝58.5。尽管图1B中示出的加权滑动时间窗对最接近视频回放的区间给予更大权重，但是任何加权分配方案都可以应用于区间。例如，与如图所示的三角形或锯齿形功能不同，在一些实现方式中，可以应用钟形曲线函数来对区间进行加权。例如，第一区间可以被赋予20％的权重，下一个区间40％，下一区间80％，下一区间90％和下一个100％，并且再次下降返回。这可以为滑动窗口中心的区间提供更大权重，潜在地提高分类的准确性，并且考虑用户在看到有趣的事物和发起搜索请求之间的滞后和延迟。

内容管理服务器230可以使用对每个滑动窗口或加权滑动窗口位置计算的聚合分数来识别与视频的全部或一部分相关的特定关键字或短语。相关性可以基于视频的一个或多个特征，诸如标题、字幕、主题、风格、时间段、持续时间、语言、视频分辨率、或可以将一个节目或视频与另一个节目或视频区分开的任何其他特征。对于内容管理服务器230识别相关特征，可能需要聚合分数等于或超过阈值。该阈值可以设置为任何整数或非整数值。

图1C是根据一个实现方式的与将关键字识别与视频的全部或一部分相关的阈值相比，时间线上的关键字的聚合搜索分数的示图。阈值182可以由内容管理服务器230指定为固定值，在时间线180上示为水平线。在特定关键字的聚合分数——在时间线180上显示为聚合分数线184——等于或超过阈值182的点，内容管理服务器230可以将视频的全部或一部分识别为与聚合分数相关联的关键字。例如，在前面的示例中，对包括汽车相关关键字的搜索请求的9个区间的加权滑动时间窗计算聚合分数58.5。如果阈值被设置为65，则内容管理服务器230将不将与视频持续时间108相关联的视频的一部分或全部识别为与汽车相关关键字相关。相反，如果阈值被设置为55，则内容管理服务器230将与视频持续时间108相关联的视频的一部分或全部识别为与汽车相关关键字相关。相同的分析将适用于使用非加权滑动时间窗的实现方式。

图2是用于识别、选择和传递与视频回放相关的内容的示例环境200的框图。环境200包括提供搜索服务的搜索服务器212和提供多媒体内容216(例如，视频)的内容管理服务器230，包括提供与多媒体内容相关的赞助内容220(例如，视频、图像、文本、广告)。示例环境200包括多媒体内容存储器232，存储由内容管理服务器230从网络202接收或收集的多媒体内容216。示例环境200还可以包括赞助内容存储器，存储由内容赞助者上传到内容管理服务器230的赞助内容220。示例环境200可以包括网络202，例如，局域网(LAN)、广域网(WAN)、互联网或它们的组合，其连接发布者、客户端设备206、搜索服务器212、内容赞助者和内容管理服务器230。环境200可以包括数千个发布者、内容赞助者和客户端设备206。

如下面的段落中所描述的那样，特别是在图3的描述中，内容管理服务器(例如，内容管理服务器230)执行一系列操作以发现可能与多媒体内容(例如，多媒体内容216)相关的赞助内容(例如，赞助内容220)。这些操作可以分为两组：服务器的训练和服务器的内容传递。在训练阶段期间，内容管理服务器可以执行许多操作，包括例如：i)从客户端设备接收对多媒体内容(例如，视频)的请求；ii)检索多媒体内容并将多媒体内容传递到客户端设备；iii)接收或检索与客户端设备在客户端设备回放多媒体内容的时间窗内发送的搜索请求(例如，搜索请求218)相关联的搜索请求ID(例如，搜索请求ID 224)，包括会话标识符(例如，会话标识符316)、设备标识符(例如，设备标识符314)、搜索请求(例如，搜索请求218)、搜索结果(例如，搜索结果222)以及由收集代理(诸如收集代理312)收集的任何其他数据；iv)计算与搜索请求ID相关联的时间记录与客户端设备上传递的多媒体内容的回放时间之间的时间差；v)将时间差与时间窗大小阈值(例如，滑动时间窗124)进行比较；vi)如果时间差在时间窗大小阈值内，则将搜索请求ID与从其他客户端设备接收/检索的搜索请求ID聚合在同一区间位置；vii)计算每个唯一关键字的聚合分数；以及viii)如果满足聚合分数(例如，大于阈值，大于等于阈值)，则将多媒体内容216识别和/或标记为与搜索请求ID相关。在一些实现方式中，内容管理服务器230可以替换地聚合每个搜索请求而不是搜索请求ID。

在内容传递阶段期间，内容管理服务器230可以执行许多操作，包括例如：i)从客户端设备接收对多媒体内容216的请求；ii)检索多媒体内容216；iii)检索由内容管理服务器230识别为与多媒体内容216相关的赞助内容220；以及iv)将多媒体内容216和相关赞助内容220传递到客户端设备。在一些实现方式中，内容管理服务器230可以将赞助内容220插入多媒体内容216中，使得在多媒体内容216回放期间或之后立即显示赞助内容220。在其他实现方式中，内容管理服务器230可以向客户端设备传递赞助内容220和多媒体内容216，作为单独但相关联的内容项。

网站204可以包括与域名相关联并由一个或多个服务器托管的一个或多个资源208。示例网站是以超文本标记语言(HTML)格式化的网页的集合，其可以包含文本、图像、多媒体内容和编程元素(例如，脚本)。每个网站204可以由发布者维护，例如，管理和/或拥有网络财产的实体。

资源208是可以由网站204通过网络202提供并且与资源地址相关联的任何数据。仅举几个例子，资源208包括HTML页面、文字处理文档、便携式文档格式(PDF)文档、图像、多媒体内容(例如，视频)和馈送源。资源208可以包括内容，例如，单词、短语、图像和声音，并且可以包括嵌入信息(例如，元信息和超链接)和/或嵌入指令(例如，JavaScript脚本)。

客户端设备206是受用户控制并且能够通过网络202请求和接收资源的电子设备。示例客户端设备206包括个人计算机、移动通信设备(例如，智能电话)，、以及可以通过网络202发送和接收数据的其他设备。客户端设备206通常包括用户应用，例如网络浏览器，以促进通过网络202发送和接收数据。

为了促进搜索资源208，搜索服务器212可以通过对发布者提供的资源208进行抓取和编索引来识别资源208。可以基于数据对应的资源208来对关于资源208的数据编索引。编索引后的资源208和可选地高速缓存的副本被存储在搜索索引存储器214中。

客户端设备206将搜索请求218提交到搜索服务器212。作为响应，搜索服务器212访问搜索索引存储器214以识别与预测与搜索请求218相关的资源208，例如基于已经为资源208计算的相关性分数。搜索服务器212选择资源208，生成识别资源208的搜索结果222，并将搜索结果222返回到客户端设备206。搜索结果222是搜索服务器212引用作为对特定搜索查询的响应的资源208生成的数据，并且包括到资源的活动链接(例如，URL)。示例搜索结果222可以包括关键字或元标签、多媒体内容、多媒体标题(例如，视频)、网页标题、文本片段或从网页提取的图像的一部分、以及网页的URL。

在一些实现方式中，搜索服务器212被配置为与内容管理服务器230处于主从关系，使得内容管理服务器230管理和控制如本文所述的搜索服务器212的所有功能。例如，响应于接收搜索请求218，搜索服务器212将选择并生成搜索结果222而不将搜索结果222传递给客户端设备206。然而，搜索服务器212将应内容管理服务器230的请求、或者在某些情况下，没有来自内容管理服务器230的请求，将搜索结果222传递到内容管理服务器230。内容管理服务器230的这种请求可以是经由网络202或搜索服务器212与内容管理服务器230之间的任何其他直接连接。在一些实现方式中，搜索服务器212可以作为独立单元存在，如图2所示，或者可以是集成或容纳在内容管理服务器230内的组件。

客户端设备206还可以向搜索服务器212提交对多媒体内容216(例如，视频，电影)而不是对搜索结果222(例如，URL)的搜索请求218。搜索服务器212可以向内容管理服务器230发送搜索请求218，内容管理服务器230进而向多媒体内容存储器232查询客户端设备206所寻找的多媒体内容(例如，多媒体内容216)。如果多媒体内容未在多媒体内容存储器232中找到，则内容管理服务器230可以向搜索服务器212通知多媒体内容未被发现或不可用于传递到客户端设备206。在接收到通知时，搜索服务器212可以改为查询搜索索引存储器214以识别与请求的多媒体内容相关或包含请求的多媒体内容的资源208。

客户端设备206接收搜索结果222并且例如以一个或多个网页的形式渲染搜索结果222以呈现给用户。响应于用户在客户端设备206选择搜索结果中的链接(例如，URL)，客户端设备206请求由链接引用的资源208。托管资源208的网站204从客户端设备206接收对资源208的请求，并将资源208提供给请求客户端设备206。资源208可以包括一旦客户端设备206接收就可以自动开始播放的多媒体内容。

在用户会话期间提交的搜索请求218被存储在诸如搜索日志数据存储器226的数据存储器中。指定响应于提供的搜索结果222而采取的用户动作的选择数据228也被存储在诸如搜索日志数据存储器226的数据存储器中。这些动作可以包括用户是否选择了搜索结果。在一些实现方式中，指定提交搜索查询的用户设备的位置的位置数据也可以被存储在搜索日志数据存储器226中。存储在搜索日志数据存储器226中的数据可以用于将在搜索会话期间提交的搜索查询114映射到在搜索结果222中识别的资源208以及用户采取的动作。在一些实现方式中，搜索日志数据存储器226可以是匿名的，以便保护用户的隐私。在其他实现方式中，可以概括任何所识别的用户偏好或用户交互(例如，基于用户人口统计来概括)而不是与特定用户相关联。加密和混淆技术也可用于保护用户的隐私。

图3A示出客户端设备300(诸如客户端设备206)的一个实现方式的框图。客户端设备300可以是被配置为经由网络通信的任何数量的不同类型的用户电子设备，包括但不限于膝上型计算机、台式计算机、平板计算机、智能手机、数字视频记录器、用于电视的机顶盒、视频游戏控制台或任何其他类型和形式的计算设备或设备组合。在一些实现方式中，客户端设备300的类型可以被分类为移动设备、桌面设备或旨在保持静止或被配置为主要经由局域网访问网络的设备或者另一类电子设备(诸如媒体消费设备)。

在许多实现方式中，客户端设备300包括处理器302和存储器304。存储器304可以存储机器指令，当由处理器302执行时，机器指令使处理器302执行本文描述的一个或多个操作。处理器302可以包括微处理器、ASIC、FPGA等或其组合。在许多实现方式中，处理器302可以是多核处理器或处理器阵列。存储器304可以包括但不限于电子、光学、磁性或能够向处理器302提供程序指令的任何其他存储设备。存储器304可以包括软盘、CD-ROM、DVD、磁盘、存储器芯片、ROM、RAM、EEPROM、EPROM、闪存、光学介质或处理器302可以从其读取指令的任何其他合适的存储器。指令可以包括来自任何合适的计算机编程语言的代码，诸如但不限于C、C++、C#、Java、JavaScript、Perl、HTML、XML、Python和Visual Basic。

客户端设备300可以包括一个或多个用户接口设备308。网络接口306可以包括任何类型和形式的接口，包括以太网(包括10Base T、100Base T或1000Base T(“Gigabit”))；802.11无线的任何一种(诸如802.11a、802.11b、802.11g、802.11n或802.11ac)；蜂窝网络(包括CDMA、LTE、3G或4G蜂窝网络)；蓝牙或其他短距离无线连接；或者用于与网络或其他计算设备通信的这些或其他接口的任何组合。在许多实现方式中，客户端设备300可以包括不同类型的多个网络接口306，允许经由不同的子网络连接到各种网络，诸如局域网或包括互联网的广域网。

客户端设备300可以包括一个或多个用户接口或输入/输出设备308。用户界面设备308可以是通过生成传感信息(例如，显示器上的可视化、一个或多个声音、触觉反馈等)向用户传达数据和/或将从用户接收的感觉信息转换成电子信号的任何电子设备(例如，键盘、鼠标、指示设备、触摸屏显示器、麦克风等)。根据各种实现方式，一个或多个用户接口设备可以在客户端设备300的壳体内部，诸如内置显示器、触摸屏、麦克风等，或者在客户端设备300的壳体外部，诸如连接到客户端设备300的监视器、连接到客户端设备300的扬声器等。

客户端设备300在存储器304中包括应用310或者可以利用处理器302执行应用310。应用310可以是用于接收内容和用于发送响应、命令或其他数据的应用、小程序、脚本、服务、守护进程、例程或其他可执行逻辑。在一个实现方式中，应用程序310可以是web浏览器，而在另一实现方式中，应用310可以是媒体呈现应用。应用310可以包括用于显示经由网络接口306接收和/或由处理器302本地生成的内容，以及用于发送经由用户接口设备308接收的交互的功能，诸如对网站的请求、调查响应选项的选择，输入文本串，等。

在一些实现方式中，应用310可以包括收集代理312。收集代理312可以包括应用插件、应用扩展、子例程、浏览器工具栏、守护进程或用于收集由应用310处理的数据和/或监视用户与接口308的交互的其他可执行逻辑。在其他实现方式中，收集代理312可以是单独的应用、服务、守护进程、例程或与应用310分离但被配置用于拦截和/或收集由应用310处理的数据的其他可执行逻辑，诸如屏幕抓取器、数据包拦截器、API挂钩处理或其他此类应用。

收集代理312可以被配置用于拦截或接收经由用户接口设备308输入的数据，包括鼠标点击、滚轮移动、诸如滑动、捏合或触摸的手势，或任何其他这样的交互；以及由应用310接收和处理的数据，包括显示的内容或播放的媒体、开始时间、结束时间和回放持续时间，以及与回放控制的交互，包括暂停、重置或重启、快进、静音或任何其他这种互动。收集代理312可以识别由客户端设备接收的流式多媒体内容，诸如电视节目、电影、歌曲，、音乐视频或其他这样的内容。可以基于包括ID3标签或其他这样的元数据的标识符标签、统一资源定位符(URL)或统一资源标识符(URI)、文件名、字幕、标题或伴随内容的任何其他类型和形式的数据来识别内容。收集代理312可以识别或跟踪多媒体内容216的持续时间或累积回放时间的回放或查看。

客户端设备300可以包括设备标识符314或者用设备标识符314识别。设备标识符314可以包括任何类型和形式的标识，包括但不限于MAC地址、文本和/或数字数据串、用户名、加密公钥、cookie、设备序列号、用户简档数据、网络地址或可用于将客户端设备300与其他客户端设备300区分开的任何其他此类标识符。在一些实现方式中，设备标识符314可以与一个或多个其他设备相关联(例如，移动设备的设备标识符、家用计算机的设备标识符等)。在许多实现方式中，为了保护隐私，可以以加密方式生成、加密或以其他方式模糊设备标识符314。在一些实现方式中，客户端设备300可以包括会话标识符316，其可以类似于设备标识符314，但是更频繁地生成，诸如每小时、每天、在激活应用310时或者任何其他这样的时段。会话标识符316可以由客户端设备300生成或者从服务器、内容提供者或其他设备接收。会话标识符316可以用于代替设备标识符314以增加匿名性，或者可以与设备标识符314结合使用以区分一个会话与另一个会话的交互。会话可以包括一个或多个关键字搜索，并且每个会话可以包括与每个会话相关联的时间和/或日期记录。

收集代理312可以被配置为将设备标识符314、会话标识符316和由收集代理312收集的任何数据传递到搜索日志数据存储器(例如，搜索日志数据存储器226)。将这样的数据的副本存储在搜索日志数据存储器中具有的优点在于，在客户端设备300与网络(例如，网络202)断开连接，在较差的信号环境中发送或接收数据(例如，衰落)，或者是断电的情况下，可用于内容管理服务器(例如，内容管理服务器230)。

现在参照图3B，示出了内容管理服务器(诸如内容管理服务器318)的实现方式的框图。与客户端设备300一样，内容管理服务器318可以包括一个或多个处理器302、存储器304、网络接口306和用户接口308。在被称为无终端服务器(headless server)的一些实现方式中，内容管理服务器318可以不包括用户接口308，但是可以经由网络使用用户接口308与客户端设备300通信。存储器204可以包括聚合数据存储器330，其存储由聚合引擎332处理的数据。在一些实现方式中，存储器304可以存储用于由内容管理服务器318的处理器302执行的一个或多个应用310(未示出)，包括FTP服务器、web服务器、邮件服务器、文件共享服务器、点对点服务器或用于传递存储在多媒体内容存储器232和赞助内容存储器中的内容的其他此类应用。

内容管理服务器318可以包括内容选择引擎324。内容选择引擎324可以包括应用、服务、例程、服务器、守护进程或其他可执行逻辑，用于响应于来自包括一个或多个标识符的客户端设备300的请求从多媒体内容存储器232或赞助内容存储器中选择内容。客户端设备300对多媒体内容(例如，多媒体内容216)的请求可以包括设备标识符(例如，设备标识符314)、会话标识符(例如，会话标识符316)、请求日期和时间、关键字、风格、类型、创作者、创作日期、未观看的标志、或任何其他类型和形式的标识或特征。内容选择引擎324可以识别与请求中的特征或标识符匹配的多媒体内容存储器232中的一个或多个多媒体内容项216，并且可以将一个或多个多媒体内容项216传递到内容传递引擎328，以将其传递到客户端设备300。在一些实现方式中，内容选择引擎324可以限制识别的多媒体内容项的数量，返回10、20、50或任何其他预定数量的项。

内容选择引擎324还可以被配置为选择一个或多个赞助内容项(例如，赞助内容220)。选择的项可以被传递到内容传递引擎328，以传递到客户端设备300。内容选择引擎324可以基于第一内容项的一个或多个特征(包括风格、类型、标题、关键字、创作者、创作日期或任何其他此类信息)从诸如赞助内容存储器234的数据库中选择内容项。

在一些实现方式中，内容选择引擎324可以基于与请求的多媒体内容相关联的聚合分数来选择一个或多个赞助内容项。例如，响应于从客户端设备接收对多媒体内容(例如，电影)的请求，内容选择引擎324可以将请求传递到聚合引擎332。作为响应，聚合引擎332可以返回赞助内容的标识符或标识符的列表。另外，列表可以包括关于每个赞助内容项的聚合分数，表示赞助内容与多媒体内容的相关性。例如，列表可以是由分隔字符(诸如逗号、下划线、空格、连字符或任何其他分隔符号)分隔的ascii字符串。示例字符串可以如下所示：Content ID_45，Content ID_55，Content ID_23，Content ID_41；其中Content ID表示特定内容项的标识符，并且后面的数字表示与Content ID相关联的内容项的聚合分数。根据返回的列表，内容选择引擎324可以选择具有等于或高于阈值的聚合分数的赞助内容项。在一些实现方式中，当列表包括满足阈值的多于一个赞助内容项时，内容选择引擎324可以基于各种方法从数据库(例如，赞助内容存储器234)中选择一个或多个赞助内容项，以传递到内容传递引擎328，诸如随机选择，循环选择或任何其他选择过程。在一些实现方式中，内容选择引擎324可以将整个列表发送到内容传递引擎328，以供内容传递引擎328从数据库中选择一个或多个赞助内容项。

内容管理服务器318可以包括内容传递引擎328。内容传递引擎328可以包括应用、服务、例程、服务器、守护进程或其他可执行逻辑，用于响应于来自客户端设备300的包括一个或多个标识符的请求从多媒体内容存储器232或赞助内容存储器中选择内容。在一些实现方式中，内容传递引擎328可以从内容选择引擎324接收一个或多个内容项并且传递到一个或多个客户端设备。在其他实现方式中，内容传递引擎328可以从内容选择引擎224接收一个或多个内容项的列表，并将列表传递到一个或多个客户端设备。在其他实现方式中，内容传递引擎328将从数据库(诸如多媒体内容存储器232或赞助内容存储器234)检索在列表上找到的一个或多个内容项，并将一个或多个项传递到一个或多个客户端设备。在一些实现方式中，内容传递引擎328将计算机代码(例如，C、C++、TCL、PERL、VBA、HTML、超文本、VBscript、flash等)插入到一个或多个赞助内容项中，使得客户端设备上的浏览器导航到编码到赞助内容中的资源位置。

在其他实现方式中，内容传递引擎328可以从列表中选择一个或多个赞助内容项的标识符，并使用该标识符从赞助内容存储器234中检索赞助内容项。此外，内容传递引擎328可以将一个或多个赞助内容项插入到客户端设备请求的多媒体内容中。例如，客户端设备可以请求关于狗的电影。响应于接收到请求，内容选择引擎324将从多媒体内容存储器232中检索关于狗的电影，并且还从赞助内容存储器234中检索与狗相关的一个或多个赞助内容项。内容传送引擎32可以将赞助内容项(或多个)插入或嵌入到关于狗的电影中的任何时间位置，包括在开始、结束时、在开始和结束之间的任何时间、或者在电影结束之后立即。另外，内容传递引擎328可以将赞助内容项(或多个)定位在客户端设备上的任何区域中，包括屏幕的任何角落、在屏幕的中间、或者客户端设备的用户在视频回放期间可查看的任何其他区域。多媒体内容存储器232

内容管理服务器318可以包括聚合引擎332。聚合引擎332可以包括应用、服务、例程、服务器、守护进程或其他可执行逻辑，用于响应于来自客户端设备300的包括一个或多个标识符的请求从多媒体内容存储器232或赞助内容存储器中选择内容。在一些实现方式中，聚合引擎332可以聚合对从多个客户端设备接收的且在与特定视频回放相关的相同或相似时刻接收的同一关键字或短语的搜索请求。例如，客户端设备可以请求关于狗的视频并且在接收的视频开始回放并等待5分钟之后，使用关键字“小狗”发送对于搜索结果的请求。也请求关于狗的相同视频的第二客户端设备也可以在观看视频5分钟后使用同一关键字“小狗”发送搜索请求。在该示例中，聚合引擎332将聚合或添加每个搜索计数，使得聚合分数将为2。其他客户端设备对同一关键字并且在关于狗的相同视频开始回放5分钟之后发送的任何后续搜索将与存储的聚合分数2聚合。在一些实现方式中，聚合引擎332聚合分数的搜索时间不必相同。例如，聚合引擎332可以将区间或装箱(binning)应用于原始数据。例如，如果区间被设置为2分钟，则在观看关于狗的视频4分钟之后执行的搜索请求可以与在观看相同视频5分钟之后执行的来自另一客户端设备的搜索请求聚合。区间可以被设置为任何时间值，包括秒、分钟、小时或天。在一些实现方式中，聚合引擎332可以使用任何算法来聚合落入相同区间中的搜索请求。

在一些实现方式中，内容管理服务器318可以执行支付引擎334。支付引擎334可以包括应用程序、服务、服务器、守护进程、例程或其他可执行逻辑，用于响应于检测到的与第一内容项的交互将第一内容项的创建者、发布者、分发者或赞助者与插入到列表中的支付第二内容项相关联。支付引擎334可以向吸引观众的流行第一内容项的创建者提供付费/赞助内容的创建者或发布者分享的收益，和/或向第三方支付系统指示为这种交互提供支付和/或收益分享。在一些实现方式中，支付引擎334可以维护哪些内容项被插入视频和/或与视频相关联的记录或日志、与之交互的内容项、与项交互的客户的设备标识符、为包括在显示列表中提供的第二内容项、第二内容项是否与之交互的标识等。支付引擎334可以将回放持续时间或观看时间与货币化阈值进行比较，以确定是否查看内容项足够的时间量，以向付费内容的创建者或发布者收取费用。

图4是在用于识别、选择和传递与视频回放相关的内容的示例过程400的一个实现方式中采取的步骤的流程图。在一些实现方式中，处理400可以由例如内容管理服务器318执行。处理400可以包括训练阶段(步骤402-420)和内容传递阶段(步骤422-428)。可以重新排序、添加或删除这些步骤。

在处理400的训练阶段，接收对第一内容项的请求(步骤402)。内容项可以是任何类型的内容，包括多媒体内容(例如，电影、视频、卡通、电影、流视频)或赞助内容(以图片或多媒体的形式)。例如，可以接收对于关于恐龙的电影或者包含连接在一起的一系列电影或短片的视频——诸如关于动物王国的电影、关于音乐剧的电影和计算机上的一系列30秒剪辑——的请求。多媒体内容可以是任何持续时间，诸如以秒、分钟、小时或天。请求的内容项被传递到一个或多个客户端设备(步骤404)。项可以通过有线或无线信道(红外、蓝牙、移动通信信道)被传递。从播放多媒体内容的客户端设备以关键字或短语的形式(步骤406)接收搜索请求或搜索请求的标识。例如，可以接收关键字“引擎”或“轮胎”，其中，过程检索与关键字相关联或相关的搜索结果。关键字或短语可以基于主题、风格、类别、聚合分数或内容项的任何其他特征与搜索结果相关。检索的搜索结果被传递到请求客户端设备(步骤408)。将搜索结果或请求时间与自开始回放或传递第一内容项起的时间窗进行比较(步骤410)，其中，不在自回放或传递第一内容项起的时间窗内的搜索结果或请求时间被丢弃(步骤412)。例如，客户可以在晚上8点开始回放关于“猫”的视频，可以在10分钟后发送对于关于“猫”的搜索结果的互联网搜索请求。如果时间窗是9分钟，则搜索请求的结果被传递到客户端设备，但随后因为它在时间窗之外而被丢弃。相反，如果时间窗是11分钟，则搜索请求的结果(和相关联的搜索ID)与来自观看关于猫的相同视频的其他客户端设备的搜索结果(或相关联的搜索ID)聚合(步骤414)。将来自多个客户端设备的聚合搜索请求或聚合分数与阈值进行比较(步骤418)。阈值可以被设置为任何整数或非整数值，诸如-10、0、1、1.5、5、10、100、999。如果聚合搜索结果或聚合分数不满足阈值，则处理400可以不将请求的内容项(例如，多媒体内容)识别为与搜索请求ID相关。例如，10个客户端设备可能请求关于“猫”的相同视频，并且然后在每个客户端设备上开始回放视频之后不迟于10分钟跟随对于关于猫的搜索结果的搜索请求。过程400可以聚合10个搜索请求的分数并计算例如50的分数。如果阈值是60，则与猫相关联的搜索请求ID将不被识别为与关于猫的视频相关(步骤416)。然而，如果阈值是40，则与猫相关联的搜索请求ID将被识别为与关于猫的电影相关(步骤420)。用于识别回放时间的时间戳可以由客户端设备提供(例如，从点击播放按钮时)，或者可以基于对流内容块的请求的时间戳来推断。

仍然参照图4，在内容传递阶段400，接收对第一内容项的请求(步骤422)。内容项可以是任何类型的内容，包括多媒体内容(例如、电影、视频、卡通、电影、流视频)或赞助内容(以图片或多媒体的形式)。多媒体内容可以是任何持续时间，诸如以秒、分、小时或天。请求的内容项被传递到一个或多个客户端设备(步骤424)。这些项可以通过有线或无线信道(红外、蓝牙、移动通信信道)传递。在一些实现方式中，可以选择与第一内容项相关的第二项内容(例如，赞助内容)(步骤426)，然后除了传递请求的多媒体内容之外，还将其传递到客户端设备(步骤428)。客户端设备可以请求用于流式回放的电影，其具有涉及滑冰但在电影的元数据中未识别的场景。服务器可以从包含多媒体内容的数据库中检索电影。此外，服务器还可以基于与来自电影或场景的先前观看者的与滑冰相关的聚合搜索来确定内容与滑冰相关，并且可以作为响应从包含赞助内容的数据库中检索关于滑冰的赞助内容项，以及将多媒体内容和赞助内容传递到客户端设备。在一些实现方式中，可以在传递到请求客户端设备之前将选择的相关内容插入或嵌入到请求的多媒体内容。

除了上面的描述之外，可以向用户提供控制，允许用户对在此描述的系统、程序或特征是否以及何时能够收集用户信息(例如，关于用户的社交网络的信息、社交动作或活动、专业、用户的偏好或用户的当前位置)以及用户是否从服务器发送内容或通信做出选择。另外，特定数据可以在存储或使用之前以一种或多种方式处理，从而移除个人可识别信息。例如，可以处理用户的身份，以便不能为用户确定个人身份信息，或者可以将用户的地理位置概括为获得位置信息的地方(诸如城市，邮政编码或州级)，这样就无法确定用户的特定位置。因此，用户可以控制收集关于用户的什么信息，如何使用该信息以及向用户提供什么信息。在许多实现方式中，收集的关于用户的数据可以是匿名的或消除歧义以保护隐私。在可以收集关于客户端设备的用户的个人信息以用于测量或用于选择第三方内容的许多实现方式中，可以向用户提供控制收集个人信息的程序或特征(例如，关于用户的社交网络的信息、社交动作或活动、用户的偏好或用户的当前位置)是否可以这样做的机会，或者控制是否或如何将测量数据发送到内容管理服务器的机会。另外，在内容管理服务器存储或使用特定数据之前，可以以一种或多种方式处理特定数据，以便在生成参数(例如，人口统计参数)时移除个人可识别信息。

在参考提供赞助内容描述的实现方式中，赞助内容可以例如是与内容中标识的一个或多个对象、项或产品相关的广告或赞助内容。在这样的实现方式中，方法可以包括检索与在内容中识别的一个或多个对象、项或产品相关的产品的广告或其他赞助内容。在单独或连续地显示内容项的一些情况下，相关赞助内容可以以横幅、与内容相邻或弹出窗口显示。对于多媒体内容(诸如视频)，可以在播放用户已经选择的视频之前(前滚动)或之后(后滚动)显示赞助内容，作为画中画(PIP)赞助内容——其中，赞助内容在用户选择的视频的一角播放——来显示赞助内容，或者作为插入到选择的视频中间的中断或内容中间项中的插页式赞助内容来显示赞助内容。赞助内容可以允许视频的观看者点击赞助内容或与赞助内容交互，以便在观看视频时或在其结束后立即购买产品或服务。这具有允许用户在不离开视频(或播放视频的网站)或者不必对产品或服务执行附加搜索的情况下购买产品或服务的优点。

本说明书中描述的主题和操作的实现方式可以在数字电子电路中实现，或者在计算机软件、固件或硬件中实现，包括本说明书中公开的结构及其结构等同物，或者其一个或多个的组合。本说明书中描述的主题的实现方式可以实现为一个或多个计算机程序，即计算机程序指令的一个或多个模块，编码在一个或多个计算机存储介质上，用于由数据操作装置执行或控制由数据操作装置的操作。可替代地或另外地，程序指令可以在人工生成的传播信号上编码，例如，机器生成的电，光或电磁信号，其被生成以对信息进行编码以便传输到合适的接收器装置以由数据处理装置执行。计算机存储介质可以是或包括在计算机可读存储设备，计算机可读存储基板，随机或串行存取存储器阵列或设备中，或者它们中的一个或多个的组合中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是以人工生成的传播信号编码的计算机程序指令的源或目的地。计算机存储介质也可以是或包括在一个或多个单独的组件或介质(例如，多个CD，磁盘或其他存储设备)中。因此，计算机存储介质可以是有形的。

本说明书中描述的操作可以实现为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。

术语“客户端”或“服务器”包括用于处理数据的所有类型的装置，设备和机器，包括可编程处理器，计算机，片上系统或前述的多个或组合。装置可以包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件，协议栈，数据库管理系统，操作系统，跨平台运行环境，虚拟机或其中一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础结构，诸如web服务，分布式计算和网格计算基础结构。

计算机程序(也称为程序，软件，软件应用，脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，声明或过程语言，并且可以以任何形式部署，包括作为独立程序或作为适合在计算环境中使用的模块，组件，子例程，对象或其他单元。计算机程序可以但不必对应于文件系统中的文件。程序可以存储在文件的一部分中，该文件保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或存储在多个协同文件中(例如，存储一个或多个模块，子程序或代码部分的文件)。可以部署计算机程序以在一个计算机上或在位于一个站点上或分布在多个站点上并通过通信网络互连的多个计算机上执行。

本说明书中描述的处理和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行动作。处理和逻辑流程也可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

适合于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地耦合以从一个或多个大容量存储设备接收数据或将数据传送到一个或多个大容量存储设备，以便存储数据，例如，磁盘，磁光盘或光盘。然而，计算机不需要这样的设备。此外，计算机可以嵌入在另一个设备中，例如，移动电话，个人数字助理(PDA)，移动音频或视频播放器，游戏控制台，全球定位系统(GPS)接收器或便携式存储设备(例如，通用串行总线(USB)闪存驱动器)，仅举几例。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器，介质和存储器设备，包括半导体存储器设备(例如，EPROM，EEPROM和闪存设备)；磁盘(例如，内部硬盘或可移动磁盘)；磁光盘；和CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

为了提供与用户的交互，本说明书中描述的主题的实现方式可以在计算机上实现，该计算机具有显示设备(例如，CRT(阴极射线管)，LCD(液晶显示器)，OLED(有机发光二极管)，TFT(薄膜晶体管)，等离子体，其他柔性配置，或用于向用户显示信息的任何其他监视器)和键盘，指示设备(例如鼠标，轨迹球等)或触摸屏，触摸板等，用户可以通过该触摸板向计算机提供输入。其他类型的设备也可以用于提供与用户的交互；提供给用户的反馈可以是任何形式的感官反馈，例如，视觉反馈，听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声学，语音或触觉输入。另外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互；例如，通过响应于从web浏览器接收的请求将网页发送到用户的客户端设备上的web浏览器。

本说明书中描述的主题的实现方式可以在包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可通过该图形用户界面或Web浏览器与本说明书中描述的主题的实现进行交互)，或者一个或多个这样的后端，中间件或前端组件的任何组合的计算系统中实现。系统的组件可以通过任何数字数据通信形式或介质的互连，例如，通信网络。通信网络可以包括局域网(“LAN”)，广域网(“WAN”)，网络间(例如，互联网)和点对点网络(例如，ad hoc点对点网络)的各种组合。

本文公开的特征可以在智能电视模块(或连接的电视模块，混合电视模块等)上实现，其可以包括处理电路，该处理电路被配置为将互联网连接与更传统的电视节目源集成(例如，通过电缆，卫星，无线或其他信号接收)。接收内容并向观众测量服务和/或面板提供者提供中继ping，标识符或其他数据的客户端设备可以是智能电视模块。智能电视模块可以物理地结合到电视机中，或者可以包括单独的设备，诸如机顶盒，蓝光或其他数字媒体播放器，游戏控制台，酒店电视系统和其他伴随设备。智能电视模块可以被配置为允许观看者在网络上，在本地有线电视频道上，在卫星电视频道上或者在本地硬盘驱动器上的存储搜索和查找视频，电影，照片和其他内容。机顶盒(STB)或机顶盒单元(STU)可以包括信息家电设备，该信息家电设备可以包含调谐器并连接到电视机和外部信号源，将信号转换成内容，然后电视屏幕或其他显示设备上显示内容。智能电视模块可以被配置为提供主屏幕或顶级屏幕，其包括用于多个不同应用的图标，诸如网络浏览器和多个流媒体服务，连接的有线或卫星媒体源，其他网络“频道”。智能电视模块还可以被配置为向用户提供电子节目指南。智能电视模块的伴随应用可以在移动计算设备上操作，以向用户提供关于可用节目的附加信息，允许用户控制智能电视模块等。在替换实现方式中，可以在膝上型计算机或其他个人计算机，智能手机，其他移动电话，手持式计算机，平板电脑或其他计算设备上实现。

虽然本说明书包含许多具体的实现细节，但是这些不应被解释为对任何发明或可能要求保护的范围的限制，而是作为特定于特定发明的特定实现方式的特征的描述。在单独实现的上下文中在本说明书中描述的特定特征也可以在单个实现中组合实现。相反，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实现中实现。此外，尽管上面的特征可以描述为以特定组合起作用并且甚至最初如此要求，但是在一些情况下可以从组合中切除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或按次序执行这些操作，或者执行所有示出的操作，以实现期望的结果。在特定情况下，多任务处理和并行处理可能是有利的。此外，上述实现方式中的各种系统组件的分离不应被理解为在所有实现方式中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以在单个软件产品中集成在一起或者被打包到多个软件产品。

因此，已经描述了主题的特定实现方式。其他实现方式在所附权利要求的范围内。在一些情况下，权利要求中记载的动作可以以不同的顺序执行并且仍然实现期望的结果。另外，附图中描绘的处理不一定需要所示的特定顺序或连续顺序来实现期望的结果。在特定实现方式中，可以使用多任务处理或并行处理。

Claims (19)

1.一种用于识别与内容项相关联的项的方法，包括：

由服务器从第一客户端设备接收对第一内容项的第一请求；

响应于对第一内容项的第一请求，由服务器从数据存储器检索第一内容项；

由服务器从数据存储器中检索在由第二客户端设备回放第一内容项的预定时间窗内由第二客户端设备发送的互联网搜索请求的标识；

由服务器从数据存储器检索响应于由第二客户端设备发送的互联网搜索请求而选择的第二内容项；以及

由服务器向第一客户端设备提供第一内容项和第二内容项。

2.根据权利要求1所述的方法，还包括：

由服务器计算由第二客户端设备播放第一内容项的时间与执行互联网搜索的时间之间的差；以及

由服务器将差与预定阈值进行比较，以确定由第二客户端设备发送的互联网搜索请求是否发生在回放的预定时间窗内。

3.根据权利要求1或2所述的方法，还包括：由服务器聚合在由多个客户端设备回放多个相应内容项的多个预定时间窗内由所述多个客户端设备发送的多个互联网搜索请求的标识。

4.根据权利要求1、2或3所述的方法，还包括：由服务器确定互联网搜索请求包括对产品的搜索。

5.根据任何前述权利要求所述的方法，还包括：由服务器聚合在由多个客户端设备回放第一内容项的多个预定时间窗内由所述多个客户端设备发送的多个互联网搜索请求的标识。

6.根据任何前述权利要求所述的方法，其中，在回放第一内容项的预定时间窗内由第二客户端设备发送的互联网搜索请求的标识包括在播放第一内容项时由第二客户端设备发送的互联网搜索请求的标识。

7.一种用于识别与内容项相关联的项的系统，包括：

服务器，与数据存储器和多个客户端设备通信，服务器执行用于以下的操作：

从第一客户端设备接收对第一内容项的第一请求；

响应于对第一内容项的第一请求，从数据存储器检索第一内容项；

从数据存储器中检索在由第二客户端设备回放第一内容项的预定时间窗内由第二客户端设备发送的互联网搜索请求的标识；

从数据存储器检索响应于由第二客户端设备发送的互联网搜索请求而选择的第二内容项；以及

向第一客户端设备提供第一内容项和第二内容项。

8.根据权利要求7所述的系统，其中，服务器执行用于以下的操作：

计算由第二客户端设备播放第一内容项的时间与执行互联网搜索的时间之间的差；以及

将差与预定阈值进行比较，以确定由第二客户端设备发送的互联网搜索请求是否发生在回放的预定时间窗内。

9.根据权利要求7或8所述的系统，其中，服务器执行用于以下的操作：聚合在由多个客户端设备回放多个相应内容项的多个预定时间窗内由所述多个客户端设备发送的多个互联网搜索请求的标识。

10.根据权利要求7、8或9所述的系统，其中，服务器执行用于以下的操作：确定互联网搜索请求包括对产品的搜索。

11.根据权利要求7至10中的任何一项所述的系统，其中，服务器执行用于以下的操作：聚合在由多个客户端设备回放第一内容项的多个预定时间窗内由多个客户端设备发送的多个互联网搜索请求的标识。

12.根据权利要求7至11中的任何一项所述的系统，其中，在回放第一内容项的预定时间窗内由第二客户端设备发送的互联网搜索请求的标识包括在播放第一内容项时由第二客户端设备发送的互联网搜索请求的标识。

13.一种动态选择和显示相关内容的方法，包括：

由服务器向多个客户端设备中的每一个提供用于显示的第一内容项；

由服务器从多个客户端设备中的每一个接收互联网搜索请求；

响应于所接收的互联网搜索请求的子集的每个互联网搜索请求的时间戳在向相应客户端设备提供第一内容项的时间的预定时间窗内，由服务器提取所接收的互联网搜索请求的子集；

由服务器聚合互联网搜索请求的子集，以生成具有大于预定阈值的聚合频率的上下文相关互联网搜索请求的第二子集；

由服务器从附加客户端设备接收对第一内容项的请求；以及

由服务器向附加客户端设备提供第一内容项和基于上下文相关互联网搜索请求的第二子集而选择的第二内容项。

14.根据权利要求13所述的方法，其中，提取接收的互联网搜索请求的子集还包括：

由服务器计算由相应客户端设备播放第一内容项的时间与执行互联网搜索的时间之间的差；以及

由服务器将差与预定阈值进行比较，以确定由相应客户端设备发送的互联网搜索请求是否发生在回放的预定时间窗内。

15.根据权利要求13或14所述的方法，还包括：由服务器确定互联网搜索请求包括对产品的搜索。

16.根据权利要求13、14或15所述的方法，还包括：从数据存储器中检索响应于由附加客户端设备发送的互联网搜索请求而选择的第二内容项。

17.根据权利要求13至16中的任何一项所述的方法，其中，提供第一内容项的时间的预定时间窗包括第一内容项正在相应客户端设备上播放的时间段。

18.一种用于识别与内容项相关联的项的系统，包括：

服务器，与数据存储器和多个客户端设备通信，服务器执行用于以下的操作：

向多个客户端设备中的每一个提供用于显示的第一内容项；

从多个客户端设备中的每一个接收互联网搜索请求；

响应于所接收的互联网搜索请求的子集的每个互联网搜索请求的时间戳在向相应客户端设备提供第一内容项的时间的预定时间窗内，提取所接收的互联网搜索请求的子集；

聚合互联网搜索请求的子集，以生成具有大于预定阈值的聚合频率的上下文相关互联网搜索请求的第二子集；

从附加客户端设备接收对第一内容项的请求；以及

向附加客户端设备提供第一内容项和基于而上下文相关互联网搜索请求的第二子集选择的第二内容项。

19.一种存储指令的计算机可读介质，所述指令在由服务器执行时使服务器执行包括如权利要求1至6和13至17中任一项所述的方法的操作。