CN108351879A - 用于提高识别媒体段的效率的划分搜索索引的系统和方法 - Google Patents

Abstract

公开了用于识别音频或视频内容的媒体段的系统和方法。通过从媒体内容导出数据并将所述数据与参考数据库进行比较以便识别视频段，从而识别所述视频段。例如，通过有利地将索引划分成多个细分部分，其中高值参考信息与大量信息分离，本发明的实施例提高媒体识别过程的速度和准确度。

Description

用于提高识别媒体段的效率的划分搜索索引的系统和方法

相关申请的交叉引用

本申请要求于2015年7月16日提交的美国临时专利申请No.62/193,351的权益，其公开内容通过引用整体并入本文。

本申请涉及2014年11月24日提交的美国专利申请No.14/551,933，其是2010年5月27日提交的美国专利申请No.12/788,721(现为美国专利No.8,595,781 B2)的继续申请，该专利No.8,595,781 B2要求2009年5月29日提交的美国临时专利申请No.61/182,334的权益；以及2009年12月29日提交的美国临时专利申请No.61/290,714，上述专利申请或专利的公开内容通过引用整体并入本文。

技术领域

本公开涉及改善用于识别由媒体系统(例如，电视系统、计算机系统或能够连接到互联网的其它电子设备)显示的内容的系统资源的管理。此外，本公开涉及有效和高效地识别内容。例如，提供了用于将搜索索引划分为可以并行搜索的桶以提高内容的识别效率的各种技术和系统。

背景技术

光纤和数字传输技术的进步使得电视产业能够快速增加频道容量，并因此除了数千或更多的点播节目频道之外还提供数百个电视节目频道。从全国范围内监控电视接收机的自动内容识别(ACR)系统的角度来看，如果每个主要DMA存在10到20个地方频道(在美国大约为100个)，总计有数千个广播频道以及数以万计的点播内容片段，这个问题更具挑战性。

发明内容

本发明的实施例总体涉及用于识别在电视系统的屏幕上显示的视频段或来自任何源的音频段的系统和方法，并且涉及用于基于这种视频段或音频段识别向媒体系统提供背景指向的内容的系统和方法。如本文所使用的，术语“媒体系统”包括但不限于电视系统、音频系统等。如本文所使用的，术语“电视系统”包括但不限于诸如网络电视和连线的电视(也被称为“智能电视”)的电视以及与电视结合或共同定位的设备，诸如机顶盒(STB)、数字视频光盘(DVD)播放器或数字录像机(DVR)。如本文所使用的，术语“电视信号”包括这样的信号：其表示被一起广播(具有或不具有元数据)的视频和音频数据以提供电视节目或商业广告的图片和声音分量。如本文所使用的，术语“元数据”是指关于或涉及电视信号中的视频/音频数据的数据。

本发明的实施例涉及用于有利地划分非常大量的内容以实现自动内容识别的目的的系统和方法，其导致来自未知源(诸如包括智能电视的客户端媒体设备、有线和卫星机顶盒以及互联网连接的网络媒体播放器等)的内容识别的准确度提高。可以设想，本发明不仅可以应用于媒体数据，而且可以应用于必须同时在多个维度上进行搜索的任何大型数据库。

在大量内容源的负荷下，通过创建内容标识符的多个索引(在本文中也被称为“线索”)，可以显著增强最小化错误的肯定性匹配和最大化正确内容识别的任务，其中某些索引是更大量信息集合的各种子集。可以使用各种参数来选择这些分组索引，诸如例如由电视评级或社交媒体提醒确定的电视节目的流行度。例如，更流行的频道(可能是前10％)可以被分组成一个搜索索引，并且其余的90％被分组成另一个索引。另一个分组可能是将内容分割成仅仅是地方电视频道的第三索引，而第四示例可能是将来自广播内容的点播分割成点播索引。另一个内容组可以从被认为商业上重要的内容中获得，并且通过被隔离在单独的搜索空间中而受益。可以利用任何适当的相关内容的分离来进一步实现本发明的实施例的益处。

一旦被分割成内容组并被索引(散列化)，结果是从16到100的任意地方的多维向量空间，被称为“空间”，并且俗称“桶”。分别地搜索各个桶并将搜索结果馈送到美国专利No.8,595,781中描述的路径追踪过程，该专利通过引用整体并入本文。路径追踪过程试图在每个相应的桶中寻找匹配的媒体段，并且可以同时或并行执行。将来自每个所述桶的候选者加权，并作出最终决策以选择最接近的匹配视频段，从而识别哪个视频段正被显示在电视系统的屏幕上。特别地，可以使用识别当前正在观看的视频段的结果数据来实现捕获并且适当地对电视观众的反应作出响应(诸如请求关于正在播放广告的产品的更多信息或者屏幕上的演员的背景信息)。此外，识别在屏幕上正在显示哪个视频段允许本发明的中央系统为了各种数据分析用途而维持当前观看的电视节目的普查。当前视频段的所述认识的许多其它用途也可能包括在检测到的商业广告插播间隙期间用更相关的商业消息进行替换，以及提供其它选项。

根据一些实施例，通过以特定间隔(例如，100毫秒)对正在屏幕上显示的像素数据(或相关联的音频数据)的子集进行采样，并且然后在内容数据库中查找相似的像素(或音频)数据来识别视频段。根据其它实施例，通过提取与这种视频段相关联的音频或图像数据，并且然后在内容数据库中查找相似的音频或图像数据来识别视频段。根据替代实施例，通过使用已知的自动语音识别技术处理与这种视频段相关联的音频数据来识别视频段。根据进一步的替代实施例，通过处理与这种视频段相关联的元数据来识别视频段。

本发明的实施例进一步涉及用于向交互式电视系统提供背景指向内容的系统和方法。背景指向不仅基于正在显示的视频段的识别，而且还基于当前显示的视频段的特定部分的播放时间或偏移时间的确定。术语“播放时间”和“偏移时间”在本文中可互换使用，并且指的是从固定时间点(诸如特定电视节目或商业广告的开始时间)偏移的时间。

更具体地，本发明的实施例包括这样的技术：其可检测在连线的电视上正在播放的内容，推断正在播放的内容的主题并相应地与观众交互。具体地，本文公开的技术克服了交互式电视经由互联网从服务器严格推送功能的有限能力，由此实现了新颖的商业模式，包括提供对内容的视频点播版本的即时访问的能力，并向用户提供选项以查看更高分辨率或3D格式的内容(如果可用)，以及重启、快进、暂停和倒带的附加能力。本发明还使得能够使包括在现在的VOD节目中的一些或全部广告消息作为示例而非限制地关于观众的位置、人口统计群组或购物历史被定制，或者减少商业广告的数量或长度或完全消除商业广告以支持某些商业模式。

根据一些实施例，通过对在屏幕上正在显示的像素数据(或相关联的音频数据)的子集进行采样，并且然后在内容数据库中查找相似的像素(或音频)数据，来识别视频段并且确定偏移时间。根据其它实施例，通过提取与这种视频段相关联的音频或图像数据，并且然后在内容数据库中查找相似的音频或图像数据，来识别视频段并且来确定偏移时间。根据替代实施例，通过使用已知的自动语音识别技术处理与这种视频段相关联的音频数据来识别视频段并确定偏移时间。根据进一步的替代实施例，通过处理与这种视频段相关联的元数据，来识别视频段并且确定偏移时间。

如在此更详细描述的，用于识别在连线的电视上观看的视频段以及可选地确定偏移时间的系统可以驻留在连线的电视是其组件的电视系统上。根据替代实施例，用于识别视频段的软件的一部分驻留在电视系统上，而另一部分驻留在经由互联网连接到电视系统的服务器上。

根据本发明的一个实施例，提供了一种方法。该方法包括接收多个已知媒体内容。多个已知媒体内容具有相关联的已知内容标识符(即，线索)。该方法进一步包括将多个已知媒体内容划分为第一索引和第二索引，并且将第一索引分割成一个或多个第一桶。使用与第一索引中的已知媒体内容相关联的已知内容标识符将第一索引分割成第一桶。该方法进一步包括将第二索引分割成一个或多个第二桶。使用与第二索引中的已知媒体内容相关联的已知内容标识符将第二索引分割成第二桶。该方法进一步包括接收与由媒体系统正在显示的未知媒体内容对应的未知内容标识符，并且同时搜索第一桶和第二桶中的未知内容标识符。该方法进一步包括从第一桶或第二桶中选择已知媒体内容。选择的已知媒体内容与未知内容标识符相关联。该方法进一步包括将未知媒体内容识别为已知媒体内容。该方法可以在计算机上实现。

根据本发明的另一个实施例，提供了一种系统。该系统包括一个或多个处理器。该系统进一步包括包含指令的非暂态机器可读存储介质，该指令在一个或多个处理器上执行时使一个或多个处理器执行包括以上方法中所述的步骤的操作。

根据本发明的另一个实施例，可以提供有形地体现在计算设备的非暂态机器可读存储介质中的计算机程序产品。计算机程序产品可以包括被配置成使一个或多个数据处理器执行上述方法中所述的步骤的指令。

已经使用的术语和表达被用作描述性术语而不是限制性术语，并且不旨在使用这种术语和表达来排除所示出和描述的特征或者其一些部分的任何等同物。然而，认识到在所要求保护的系统和方法的范围内可以进行各种修改。因此，应该理解的是，尽管本发明的系统和方法已经通过示例和可选的特征进行了具体公开，但是本领域技术人员可以使用本文公开的概念的修改和变化，并且这种修改和变化被认为在由所附权利要求限定的系统和方法的范围内。

本发明内容不旨在识别所要求保护的主题的关键或基本特征，也不旨在孤立地用于确定所要求保护的主题的范围。应当通过参考本专利的整个说明书的适当部分、任何或所有附图以及每个权利要求来理解主题。

通过参考以下说明书、权利要求书和附图，前述内容以及其它特征和实施例将变得更加明显。

附图说明

以下参考下面的附图详细描述本发明的说明性实施例，其中在多个附图中相同的附图标记表示相同的组件或部分。

图1是根据本发明实施例的用于识别由媒体系统正在显示的媒体内容的匹配系统的示例的框图。

图2是根据本发明实施例的识别未知数据点的匹配系统的示例。

图3是根据本发明实施例的媒体捕获系统的示例的框图。

图4是根据本发明实施例的用于收集由显示器呈现的媒体内容的系统的示例的框图。

图5是示出根据本发明实施例的线索数据的处理路径的图。

图6是根据本发明实施例的使用过度聚集的伪随机投影布置的向量图的图形绘制。

图7是根据本发明实施例的使用更均匀间隔的伪随机投影布置的向量图的图形绘制。

图8示出根据本发明实施例的不以随机生成的向量为中心的聚集的线索数据。

图9示出根据本发明实施例的使用数学偏移函数以随机生成的向量为中心的聚集的线索数据。

图10是示出在被称为“桶”的两个向量之间的区域中的中等数量的线索点的图形绘制，其由本发明的实施例使用以定位候选匹配线索。

图11是示出根据本发明实施例的桶中的大量线索点的图形绘制。

图12是根据本发明实施例的搜索匹配候选的桶的图形表示，该匹配候选被提供给媒体匹配引擎。

图13是根据本发明实施例的可以同时或并行搜索的不同大小的桶的图形表示，每个桶馈送到媒体匹配引擎中。

图14是根据本发明实施例的用于处理视频线索的交互式电视系统和相关服务器系统的图，其中媒体类型被处理成由各个媒体匹配处理搜索以产生单独输出的单独索引。

图15是根据本发明的实施例的用于处理视频线索的方法的流程图，其中媒体类型被处理成由各个媒体匹配处理搜索以产生单独输出的单独索引。

图16是根据本发明实施例的用于处理视频线索的交互式电视系统和相关服务器系统的图，其中媒体类型被处理成单独的索引并且在由媒体匹配处理搜索之前被组合在一起。

图17是根据本发明实施例的用于处理视频线索的方法的流程图，其中媒体类型被处理成在由媒体匹配处理搜索之前被组合在一起的单独索引。

图18是根据本发明实施例的用于处理视频线索的交互式电视系统和相关服务器系统的示意图，其中媒体类型被处理成在由媒体匹配处理搜索之前被单独标记和加权的单独索引。

图19是根据本发明实施例的用于处理视频线索的方法的流程图，其中媒体类型被处理成在由媒体匹配处理搜索之前被单独标记和加权的单独索引。

图20是根据本发明实施例的检测电视广告的媒体处理中心的图。

图21是根据本发明实施例的用于识别电视广告的方法的流程图。

图22是根据本发明实施例的具有广告块(即广告独立单元)的视频段的图，在广告块中电视广告被替换。

图23是根据本发明实施例的检测视频节目段的媒体处理中心的图。

图24是根据本发明实施例的用于识别视频节目段并覆盖背景相关的多媒体的方法的流程图。

图25是根据本发明实施例的具有覆盖的背景相关的多媒体内容的视频段的图。

图26是根据本发明实施例的具有和不具有覆盖的背景相关的多媒体内容的视频段的图。

图27是示出根据本发明实施例的点位置和它们周围的路径点的图表。

图28是示出根据本发明实施例的位于距查询点的一定距离内的点集合的图表。

图29是示出根据本发明实施例的可能的点值的图表。

图30是示出根据本发明实施例的被划分为具有指数增长宽度的环的空间的图表。

图31是示出根据本发明实施例的自相交路径和查询点的图表。

图32是示出根据本发明实施例的三个连续的点位置和它们周围的路径点的图表。

具体实施方式

在下面的描述中，出于解释的目的，阐述了具体细节以便提供对本发明实施例的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实施各种实施例。附图和描述不旨在是限制性的。

接下来的描述仅提供示例性实施例，而不旨在限制本公开的范围、适用性或配置。相反，示例性实施例的随后描述将向本领域技术人员提供用于实施示例性实施例的可能性描述。应该理解的是，在不脱离如所附权利要求阐述的本发明的精神和范围的情况下，可以对各要素的功能和布置进行各种改变。

在以下描述中给出具体细节以提供对实施例的透彻理解。然而，本领域的普通技术人员将会理解，可以在没有这些具体细节的情况下实施这些实施例。例如，电路、系统、网络、过程和其它组件可以被图示为框图形式的组件，以免因不必要的细节使得实施例变得晦涩难懂。在其它情况下，为了避免使这些实施例变得晦涩难懂，可以在没有不必要的细节的情况下示出公知的电路、过程、算法、结构和技术。

另外，应注意的是，各个实施例可被描述为过程，该过程被描绘为流程图、流程示图、数据流程图、结构图或框图。尽管流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，操作的顺序可以重新排列。过程在操作完成时被终止，但是可以具有不包括在图中的附加步骤。过程可以对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时，其终止可以对应于将函数返回到调用函数或主函数。

术语“机器可读存储介质”或“计算机可读存储介质”包括但不限于便携式或非便携式存储设备、光存储设备以及能够存储、包含或携带指令和/或数据的各种其它介质。机器可读存储介质或计算机可读存储介质可以包括其中数据可以被存储并且不包括载波和/或无线地或通过有线连接传播的暂态电子信号的非暂态介质。非暂态介质的示例可以包括但不限于磁盘或磁带，诸如光盘(CD)或数字多功能盘(DVD)的光存储介质、闪速存储器、存储器或存储器设备。计算机程序产品可以包括表示过程、功能、子程序、程序、例程、子例程、模块、软件包、类、或者指令、数据结构或程序语句的任何组合的代码和/或机器可执行指令。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码段或硬件电路。信息、自变量、参数、数据或其它信息可以使用包括存储器共享、消息传递、令牌传递、网络传输或其它传输技术的任何合适的手段来传递、转发或发送。

此外，可以通过硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实现实施例。当以软件、固件、中间件或微码实现时，执行必要任务的程序代码或代码段(例如，计算机程序产品)可存储在机器可读介质中。处理器可以执行必要的任务。

在一些附图中描绘的系统可以以各种配置来提供。在一些实施例中，系统可以被配置为分布式系统，其中系统的一个或多个组件横跨云计算系统中的一个或多个网络分布。

光纤和数字传输技术的进步使得电视产业能够迅速增加频道容量，并且在全国范围内能够提供数千个电视节目频道和数十万个点播节目频道。为了支持涉及监控数百万个有效的电视显示系统并迅速识别(有时接近实时)如此多的成千上万个广播频道和成千上万点播内容传递系统的国家商业模式，并且在利用商业上合理的计算资源是无法满足的需求时仍然要这样做，然而本文描述的系统和方法解决了这个问题。

如下面进一步详细描述的，本公开的某些方面和特征涉及通过将未知数据点与一个或多个参考数据点进行比较来识别未知视频段。本文描述的系统和方法提高了存储和搜索用于识别未知视频段的大数据集的效率。例如，该系统和方法允许识别未知数据段，同时减少执行识别所需的大数据集的密度。这些技术可以应用于获取和操纵大量数据的任何系统。这些系统的说明性示例包括基于内容的自动搜索系统(例如，用于视频相关应用程序或其它合适的应用程序的自动内容识别)、Map Reduce系统、Big table系统、图案识别系统、面部识别系统、分类系统、计算机视觉系统、数据压缩系统、聚类分析或任何其它合适的系统。本领域的普通技术人员将认识到，本文描述的技术可以应用于存储与未知数据进行比较的数据的任何其它系统。例如，在自动内容识别(ACR)的情况下，系统和方法减少了为了使匹配系统搜索并寻找未知数据组和已知数据组之间的关系所必须存储的数据量。

仅作为示例而非限制，为了说明的目的，本文描述的一些示例使用自动音频和/或视频内容识别系统。然而，本领域的普通技术人员将认识到，其它系统可以使用相同的技术。

使用大量数据的ACR系统和其它系统的一个重大挑战可以是管理系统运行所需的数据量。另一个挑战包括需要建立和维护已知内容的数据库以作为匹配传入内容的参考。建立和维护这种数据库涉及收集和摘录巨量(例如，数百、数千或更多)的内容(例如，全国分布的电视节目和在许多其它潜在的内容源中的更大量的地方电视广播)。可以使用将原始数据(例如，视频或音频)精简为压缩的可搜索的数据的任何可用技术来执行摘录。通过每周7天，每天24小时的操作时间表和大概两周内容(例如电视节目)的滑动窗口来存储，执行ACR所需的数据量可以迅速增加。收集和处理大量数据的其它系统(诸如上述示例系统)可能存在类似的挑战。

采用本文描述的中央自动内容识别(ACR)系统来检测和识别当前正在远程客户端电视系统上显示的视频节目，并且可以接近实时地进行以支持某些商业模式。媒体匹配引擎利用被分成多个段的媒体搜索索引(例如，散列表)，通常被称为桶。在一些实施例中，线索数据(例如，内容标识符)基于多个决策因素被处理为独立索引，诸如通过将全国内容与地方内容分离，或将最受欢迎的10％的内容与剩余的90％的不太受欢迎的内容分离，或将广播媒体与点播媒体分离等。一旦分离，来自客户端电视系统或其它设备的未知线索数据可由中央服务器针对每个索引进行测试。搜索一个或多个索引可以并行(即同时)完成。每个索引查找(即，搜索)的结果可以并行地应用于内容匹配系统，诸如美国专利No.8,595,781 B2的路径追踪系统，其全部内容通过引用并入本文。

较小的数据集(即，桶)可以产生更精确的匹配结果，并因此提高内容匹配系统的搜索效率。

图1示出可以识别未知内容的匹配系统100。在一些示例中，未知内容可以包括一个或多个未知数据点。在这种示例中，匹配系统100可以将未知数据点与参考数据点匹配以识别与未知数据点相关联的未知视频段。参考数据点可以被包括在参考数据库116中。

匹配系统100包括客户端设备102和匹配服务器104。客户端设备102包括媒体客户端106、输入设备108、输出设备110以及一个或多个背景应用程序126。媒体客户端106(其可以包括电视系统、计算机系统或能够连接到互联网的其它电子设备)可以解码与视频节目128相关联的数据(例如，广播信号、数据分组或其它帧数据)。媒体客户端106可以将视频的每个帧的解码内容放置到视频帧缓冲器中以准备显示或进一步处理视频帧的像素信息。客户端设备102可以是可接收和解码视频信号的任何电子解码系统。客户端设备102可以接收视频节目128并将视频信息存储在视频缓冲器(未示出)中。客户端设备102可以处理视频缓冲器信息并且产生未知的数据点(其可以被称为“线索”)，如下面参考图3更详细描述的。媒体客户端106可以将未知数据点发送到匹配服务器104，以与参考数据库116中的参考数据点进行比较。

输入设备108可以包括允许请求或其它信息被输入到媒体客户端106的任何合适的设备。例如，输入设备108可以包括键盘、鼠标、语音识别输入设备、用于从无线设备(例如，从遥控器、移动设备或其它合适的无线设备)接收无线输入的无线接口，或者任何其它合适的输入设备。输出设备110可以包括可呈现或以其它方式输出信息的任何合适的设备，诸如显示器、用于向无线设备(例如，向移动设备或其它合适的无线设备)发送无线输出的无线接口、打印机或其它合适的输出设备。

匹配系统100可通过首先从已知视频数据源118收集数据样本来开始识别视频段的过程。例如，匹配服务器104收集数据以从各种视频数据源118建立和维护参考数据库116。视频数据源118可以包括电视节目、电影或任何其它合适的视频源的媒体提供者。来自视频数据源118的视频数据可以作为无线电广播、有线电视频道、来自互联网和来自任何其它视频数据源的流式来源来提供。在一些示例中，如下所述，匹配服务器104可以处理从视频数据源118接收的视频以在参考数据库116中生成和收集参考视频数据点。在一些示例中，来自视频数据源118的视频节目可以由参考视频节目摘录系统(未示出)处理，所述参考视频节目摘录系统可以产生参考视频数据点并将其发送到参考数据库116以供存储。可以如上所述使用参考数据点来确定随后用于分析未知数据点的信息。

匹配服务器104可以将在某一时间段(例如，若干天、若干周、若干个月或任何其它合适的时间段)内接收的每个视频节目的参考视频数据点存储在参考数据库116中。匹配服务器104可以建立并连续或周期性地更新电视节目样本(例如，包括也可以被称为线索或线索值的参考数据点)的参考数据库116。在一些示例中，收集的数据是从周期性视频帧(例如，每五个视频帧、每十个视频帧、每十五个视频帧或其它适当数量的帧)采样的视频信息的压缩表示。在一些示例中，为每个节目源收集每帧的数据字节数(例如，每帧25字节、每帧50字节、每帧75字节、每帧100字节，或者每帧的任何其它数量的字节)。任何数量的节目源可用于获得视频，诸如25个频道、50个频道、75个频道、100个频道、200个频道或任何其它数量的节目源。使用示例量的数据，在三天24小时期间收集的总数据变得非常大。因此，减少实际参考数据点集合的数量有利于减少匹配服务器104的存储负载。

媒体客户端106可以将通信122发送到匹配服务器104的匹配引擎112。通信122可以包括对匹配引擎112的请求以识别未知内容。例如，未知内容可以包括一个或多个未知数据点，并且参考数据库116可以包括多个参考数据点。匹配引擎112可以通过将未知数据点与参考数据库116中的参考数据进行匹配来识别未知内容。在一些示例中，未知内容可以包括由显示器(对于基于视频的ACR)呈现的未知视频数据、搜索查询(对于Map Reduce系统，Bigtable系统或其它数据存储系统)、未知的面部图像(用于面部识别)、未知的图案图像(用于图案识别)或可以比对参考数据的数据库进行匹配的任何其它未知数据。参考数据点可以从从视频数据源118接收的数据中导出。例如，数据点可以从视频数据源118提供的信息中提取，并且可以被索引并存储在参考数据库116中。

匹配引擎112可以向候选确定引擎114发送请求以从参考数据库116确定候选数据点。候选数据点可以是与未知数据点相隔一确定距离的参考数据点。在一些示例中，参考数据点和未知数据点之间的距离可以通过将参考数据点的一个或多个像素(例如，单个像素、表示一组像素的值(例如，平均数、平均值、中值，或其它值)或其它合适数量的像素)与未知数据点的一个或多个像素进行比较来确定。在一些示例中，当每个样本位置处的像素在特定像素值范围内时，参考数据点可以与未知数据点相隔一确定的距离。

在一个说明性示例中，像素的像素值可以包括红色值、绿色值和蓝色值(在红-绿-蓝(RGB)颜色空间中)。在这种示例中，可以通过如下方式将第一像素(或者表示第一组像素的值)与第二像素(或者表示第二组像素的值)进行比较：分别比较相应的红色值、绿色值和蓝色值，并确保该值在一定的值范围内(例如在0-5的值内)。例如，当(1)第一像素的红色值在第二像素的红色值的0-255值范围(正或负)中的5个值内时，(2)第一像素的绿色值在第二像素的绿色值的0-255值范围(正或负)中的5个值内时，以及(3)第一像素的蓝色值在第二像素的蓝色值的0-255值范围(正或负)中的5个值内时，第一像素可以与第二像素匹配。在这种示例中，候选数据点是与未知数据点近似匹配的参考数据点，导致对于未知数据点识别多个候选数据点(与不同媒体段有关)。候选确定引擎114可以将候选数据点返回到匹配引擎112。

对于候选数据点，匹配引擎112可以将令牌添加到仓中，该仓与候选数据点相关联并被分配给从中导出候选数据点的已识别视频段。可将相应的令牌添加到与识别的候选数据点对应的所有仓。当匹配服务器104从客户端设备102接收到更多未知数据点(对应于正在观看的未知内容)时，可以执行类似候选数据点确定过程，并且可以将令牌添加到与识别的候选数据点对应的仓。这些仓中只有一个仓对应于正在观看的未知视频内容段，其它仓对应于由于类似的数据点值(例如，具有相似的像素颜色值)而匹配但是不对应于正在观看的实际视频内容段的候选数据点。正在观看的未知视频内容段的仓将比没有被观看的视频内容段的其它仓具有分配给它的更多令牌。例如，随着接收到更多的未知数据点，与该仓对应的更大量的参考数据点被识别为候选数据点，导致更多的令牌被添加到该仓。一旦仓包括特定数量的令牌，则匹配引擎112可以确定与仓相关联的视频段当前正在客户端设备102上显示。视频段可以包括整个视频节目或视频节目的一部分。例如，视频段可以是视频节目、视频节目的场景、视频节目的一个或多个帧或视频节目的任何其它部分。

图2示出用于识别未知数据的匹配系统200的组件。例如，匹配引擎212可以使用已知内容(例如，已知的媒体段、存储在数据库中用于比对搜索的信息、已知的面部或图案等)的数据库来执行用于识别未知内容(例如，未知媒体段、搜索查询、面部或者图案的图像等)的匹配处理。例如，匹配引擎212接收将与参考数据库中的参考数据点204的参考数据点匹配的未知数据内容202(其可以被称为“线索”)。未知数据内容202也可以由候选确定引擎214接收，或者从匹配引擎212发送到候选确定引擎214。候选确定引擎214可以进行搜索处理以通过搜索参考数据库中的参考数据点204来识别候选数据点206。在一个示例中，搜索处理可以包括产生邻近值集合(与未知数据内容202的未知值相距一定距离)的最近邻居搜索处理。候选数据点206被输入到匹配引擎212以进行匹配处理以生成匹配结果208。取决于应用，匹配结果208可以包括由显示器呈现的视频数据、搜索结果、使用面部识别确定的脸部、使用图案识别确定的图案或任何其它结果。

在确定未知数据点(例如，未知数据内容202)的候选数据点206时，候选确定引擎214确定未知数据点与参考数据库中的参考数据点204之间的距离。与未知数据点相隔一定距离的参考数据点被识别为候选数据点206。在一些示例中，参考数据点与未知数据点之间的距离可以通过将参考数据点的一个或多个像素与未知数据点的一个或多个像素进行比较来确定，如上面关于图1所描述的。在一些示例中，当每个样本位置处的像素在特定值范围内时，参考数据点可以与未知数据点相隔一定的距离。如上所述，候选数据点是与未知数据点近似匹配的参考数据点，并且由于近似匹配，对于该未知数据点识别出多个候选数据点(与不同媒体段有关)。候选确定引擎114可以将候选数据点返回到匹配引擎112。

图3示出了包括解码器的存储缓冲器302的视频摘录捕捉系统400的示例。解码器可以是匹配服务器104或媒体客户端106的一部分。解码器可以不与物理电视显示面板或设备一起操作或者不需要物理电视显示面板或设备。解码器可以解码并且在需要时将数字视频节目解密为电视节目的未压缩的位图表示。为了建立参考视频数据的参考数据库(例如，参考数据库316)，匹配服务器104可以获取从视频帧缓冲器读取的视频像素的一个或多个阵列。视频像素阵列被称为视频块。视频块可以是任何形状或图案，但是为了该具体示例的目的，被描述为10×10像素阵列，包括水平十个像素和垂直十个像素。同样为了该示例的目的，假设存在从视频帧缓冲器内提取的均匀分布在缓冲器的边界内的25个像素块位置。

像素块(例如，像素块304)的示例分配在图3中示出。如上所述，像素块可以包括像素阵列，诸如10×10阵列。例如，像素块304包括10×10像素阵列。像素可以包括颜色值，诸如红色值、绿色值和蓝色值。例如，示出了具有红-绿-蓝(RGB)颜色值的像素306。像素的颜色值可以由每种颜色的八位二进制值表示。可以用于表示像素的颜色的其它合适的颜色值包括亮度和色度(Y，Cb，Cr)值或任何其它合适的颜色值。

取每个像素块的平均数(或在某些情况下的平均值)，并且创建所得的数据记录并用时间码(或时间戳)标记它。例如，为每个10×10像素的块阵列寻找平均值，在这种情况下，对于每帧总共600位的像素信息，25个显示缓冲器位置中的每个显示缓冲器位置产生24位数据。在一个示例中，像素块304的平均值被计算，并且由像素块平均值308示出。在一个说明性示例中，时间码可以包括“新纪元时间”，其表示自1970年1月1日午夜起总的经过时间(以几分之一秒为单位)。例如，像素块平均值308的值与时间码412组合。在计算系统(包括例如基于Unix的系统)中，新纪元时间是公认的惯例。关于视频节目的信息(称为元数据)被附加到数据记录。元数据可以包括关于节目的任何信息，诸如节目标识符、节目时间、节目长度或任何其它信息。包括像素块的平均值、时间码和元数据的数据记录形成“数据点”(也被称为“线索”)。数据点310是参考视频数据点的一个示例。

识别未知视频段的过程以类似于创建参考数据库的步骤开始。例如，图4示出包括解码器的存储器缓冲器402的视频摘录捕捉系统400。视频摘录捕捉系统400可以是处理由显示器(例如，在互联网连接的电视监控器(诸如智能电视)、移动设备或其它电视观看设备上)呈现的数据的客户端设备102的一部分。视频摘录捕捉系统400可以利用类似的过程来生成未知视频数据点410，如创建参考视频数据点310的系统300所使用的未知视频数据点410。在一个示例中，媒体客户端106可以将未知视频数据点410发送到匹配引擎112以由匹配服务器104识别与未知视频数据点410相关联的视频段。

如图4中所示，视频块404可以包括10×10像素阵列。视频块404可以从显示器呈现的视频帧中提取。可以从视频帧中提取多个这种像素块。在一个说明性示例中，如果从视频帧中提取25个这种像素块，则结果将是表示75维空间中的位置的点。可以为阵列的每个颜色值(例如，RGB颜色值、Y、Cr、Cb颜色值等)计算平均数(或平均值)。数据记录(例如，未知视频数据点410)由平均像素值形成，并且当前时间被附加到数据。可以使用上述技术将一个或多个未知视频数据点发送到匹配服务器104以与来自参考数据库116的数据匹配。

根据本发明的一些实施例，被搜索的数据的大小被减小以产生搜索所述数据的更有效的方法。生成索引的过程的框图在图5中示出，其中以视频帧501的区域的平均像素值的形式的传入线索由散列函数502处理，生成存储在数据库510中的值503。数据库510由向量508和509分成四个部分。应用散列函数502的结果用于寻址存储区域。在该示例中，两个最高有效位505确定存储空间(即，向量空间)，在这种情况下是与左上象限中的位10相关联的存储空间。其余的位506寻址存储空间的细分部分。在该示例中，较低的六位506寻址64个细分部分中的一个，也被称为桶507。

适合于ACR的细分数据库的过程进一步在图6和图7中示出。在图6中，图示了用于绘制分割笛卡尔空间的伪随机生成的向量以准备用于寻址大媒体线索数据库的过程。在一个实施例中，向量可以由蒙特卡罗法生成。在该示例中，伪随机过程没有绘出足够均匀分布的一组向量。在对照向量603和向量604之间的角度差检查向量601和向量602之间的角度差时，这是显而易见的。

在图7中，可以看出，通过对照向量703和向量704之间的角度差检查向量701和向量702之间的角度差，可以看出向量明显更均匀地分布。在一个实施例中，向量可以由蒙特卡罗法生成。如本领域技术人员将会理解的，该过程可以被自动地或简单地通过观察来量化和测量。一旦找到一组随机投影，该过程不需要重复。

准备ACR系统的存储和搜索空间的后续步骤涉及将地址空间归一化为以数据样本的代表性选择为中心。图8示出线索数据801的数据集，该数据集不在其所表示的向量空间中居中。该数据在搜索空间中的偏移可能导致在ACR系统中找到匹配数据的准确性较低。因此，可以将过程应用于数据集的值，使得线索数据901在向量空间中居中，如图9中所示。

为了ACR目的优化线索数据的数据集的进一步考虑涉及考虑在数据库的每个桶中找到的数据密度。例如，在图10中，示出了包含中等数量的数据项1001的桶1002，其表示理想的数据密度。相反，图11示出了具有包含过量数据项1101的桶1102的另一向量空间。根据一些实施例，当该过程被用作媒体匹配引擎的一部分时，丢弃数据并且当遇到桶过度充满时，对搜索结果执行Albert延迟。

图12是可涉及将所有参考数据(诸如例如视频数据线索)存储到涉及每个地址空间段的单桶1201的寻址方案中的系统的示图。单桶方法提供用于定位候选匹配数据(即，“可疑者”)的搜索空间以供媒体匹配引擎1202使用。取决于媒体源的数量，可能会有大量的桶过度充满，并且降低ACR系统的准确性，导致更多错误的肯定性匹配或错过找到匹配的机会。此外，整个系统的计算负荷增加，这可能导致产生匹配结果的延迟，这可能使特定特征或商业模式的功能下降或甚至失效。

本发明的实施例提供了优化数据存储的多种方法，使得不希望的桶满度被最小化。作为示例，图13中示出了本发明的实施例的表示。在图13中，利用多个桶1301-1303来表示在该示例中基于媒体类型或地方因素而分割的数据的细分部分。该多桶方法还提供了用于定位候选匹配数据以供媒体匹配引擎1304使用的搜索空间。

在为了更高效的存储而分割数据的具体示例中，图14示出了其中视频点播(VOD)内容馈送1401被提供给摘录处理器1404的系统，该摘录处理器1404提取线索，将线索编索引并将结果存储在数据库1407中。类似地，主要电视馈送1402被提供给摘录处理器1405，该摘录处理器1405提取线索，对线索编索引，并将结果存储在数据库1408中。电视事件馈送1403被提供给摘录处理器1406，该摘录处理器1406提取线索，对线索编索引并将结果存储在数据库1409中。VOD内容馈送1401、主要电视馈送1402和电视事件馈送1403可以统称为“已知内容”。电视事件馈送1403可以是例如由图14的系统检测的电视广告，用于指向性地显示广告的目的，这要求对事件准确和及时的检测。类似地，电视事件馈送1403可以包括具有在某些节目场景期间要显示的相关联的交互式内容的节目，这也是需要准确性和实时响应的过程。

在该示例中，每种类型的节目1401-1403与显示在媒体系统上的未知媒体1413并行(即，同时)处理。然而，在其它实施例中，可以在接收未知媒体1413之前处理节目1401-1403。未知媒体1413由线索克隆引擎1414复制。未知线索(即，未知内容标识符)然后可以被提供给独立媒体匹配引擎1410-1412。媒体匹配引擎1410-1412可以类似于图1的匹配引擎112。媒体匹配引擎1410可将未知线索和与VOD内容馈送1401相关联的线索进行比较。媒体匹配引擎1411可将未知线索和与主要电视馈送1402相关联的线索进行比较。媒体匹配引擎1412可将未知线索和与电视事件馈送1403相关联的线索进行比较。每个媒体匹配引擎1410-1412可以选择一个或多个匹配(例如，每个桶一个匹配)并将匹配提供给结果引擎1415。结果引擎1415可以类似于图1的结果引擎120。结果引擎1415累积和处理匹配并确定最终结果1416。如本文进一步描述的，最终结果1416可以存储在数据库中，用于节目普查，和/或用于提供背景指向信息。

可以由图14的系统利用的方法参考图15的流程图进行描述。在步骤1501处，接收至少一种类型的已知媒体内容(例如，VOD内容馈送1401、主要电视馈送1402、电视事件馈送1403等)。在步骤1502处，将散列函数应用于与由摘录处理器1404-1406生成的已知媒体内容相关联的线索，并且对已知线索编索引。在步骤1503处，散列线索索引被存储在相应的数据库1407-1409中。

在步骤1504处，接收未知媒体内容1413，其线索由线索克隆引擎1414复制，并且未知线索被提供给媒体匹配引擎1410-1412。在步骤1506处，确定收获的可疑者数量(即，匹配)是否大于任何索引的阈值(即，对于与VOD内容馈送1401、主要电视馈送1402和/或电视事件馈送1403相关联的线索索引)。如果收获的可疑者的数量大于阈值，则在步骤1507处丢弃这些可疑者，并且该方法返回到步骤1505。可以执行步骤1507，因为例如大量的可疑者可能包括大量错误的肯定性匹配。如果收获的可疑者的数量不大于阈值，则在步骤1508处，在未知媒体内容线索和已知媒体内容线索之间执行匹配过程，由此导致对匹配的已知媒体内容的识别。在步骤1510处，基于匹配的已知媒体内容的识别来执行结果，诸如事件被触发(例如，显示背景指向信息)，统计被清点等。

在图16中示出了优化ACR系统的另一个示例。在图16中，VOD内容馈送1601、主要电视馈送1602和电视事件馈送1603分别由摘录处理器1604-1606处理(例如，形成线索、编索引、并分割成桶)处理并存储在各个数据库1607-1609中。图16的实施例不是独立地进一步处理数据，而是独立地寻址桶然后将它们与桶组合器引擎1610组合。根据一个实施例，如果桶过度充满，则它可能被拒绝并且不与其它桶组合。

由媒体系统正在显示的未知媒体1613被提供给媒体匹配和结果处理引擎1614。媒体匹配和结果处理引擎1614从组合桶中提取可疑者并使用路径追踪系统例如执行匹配处理以寻找匹配结果1615。例如，媒体匹配和结果处理引擎1614可以类似于图1的匹配引擎112和结果引擎120。图16的实施例的优点在于，在检查每个桶的满度之后桶被组合，并且如果高于预定阈值则被拒绝。使用馈送1601-1603的独立数据分组，图16的系统实现了更高的精度和更低的处理要求。

参考图17的流程图描述可以由图16的系统利用的方法。在步骤1701处，接收至少一种类型的已知媒体内容(例如，VOD内容馈送1601、主要电视馈送1602、电视事件馈送1603等)。在步骤1702处，将散列函数应用于与由摘录处理器1604-1606生成的已知媒体内容相关联的线索，并且已知线索被索引和分桶。在步骤1703处，散列线索索引被存储在相应的数据库1607-1609中。在步骤1704处，由桶组合器引擎1610组合索引。

在步骤1705处，接收未知媒体内容1613，其线索被复制，并且未知线索被提供给媒体匹配引擎1614。在步骤1706处，媒体匹配引擎1614收获来自组合桶的可疑者，并在步骤1707处执行已知线索与未知线索之间的匹配过程以识别匹配。在步骤1708处，基于匹配的已知媒体内容的识别来执行结果，诸如事件被触发(例如，显示背景指向信息)、统计被清点等。

本发明的另一个实施例在图18中示出。在图18中，VOD内容馈送1801、主要电视馈送1802和电视事件馈送1803分别由摘录处理器1804-1806处理(例如，形成线索、编索引和分割成桶)并存储在各个数据库1807-1809中。根据该实施例，通过索引标记和加权引擎1810-1812对索引独立地加标签和加权。然后，使用桶组合器引擎1810将加标签、加权和分桶的线索与它们相应的标签组合。根据一个实施例，如果桶过度充满，则桶可能被拒绝并且不与其它桶组合。

由媒体系统显示的未知媒体1813被提供给媒体匹配和结果处理引擎1814。例如，媒体匹配和结果处理引擎1814可以类似于图1的匹配引擎112和结果引擎120。媒体匹配和结果处理引擎1814从组合桶提取可疑者，并使用路径追踪系统执行匹配处理，以例如寻找匹配结果1815。结果1815具有应用于索引的加权函数的进一步优点。图18的实施例的优点在于，在检查每个桶的满度之后桶被组合，并且如果高于预定阈值则被拒绝。通过使用馈送1801-1803的独立数据分组，图18的系统实现了更高的精度和更低的处理要求。此外，可以评估附加到匹配结果的相应索引的标签信息，以在匹配结果的肯定识别时提供动作的优先级。

参考图19的流程图描述可以由图18的系统利用的方法。在步骤1901处，接收至少一种类型的已知媒体内容(例如，VOD内容馈送1801、主要电视馈送1802、电视事件馈送1803等)。在步骤1902处，将散列函数应用于与由摘录处理器1804-1806生成的已知媒体内容相关联的线索，并且已知线索被索引和分桶。在步骤1903处，散列线索索引被存储在相应的数据库1807-1809中。在步骤1904处，通过索引标记和加权引擎1810-1812对索引加标签和加权。在步骤1905处，由桶组合器引擎1810组合索引。

在步骤1906处，接收未知媒体内容1813，复制其线索，并将未知线索提供给媒体匹配引擎1814。在步骤1907处，媒体匹配引擎1814从组合桶中收集可疑者，并在步骤1908处执行已知线索和未知线索之间的匹配过程来识别匹配。在步骤1909处，基于匹配的已知媒体内容的识别来执行结果，诸如事件被触发(例如，显示背景指向信息)、统计被清点等。

图20是根据本发明实施例的检测电视广告的媒体处理中心2000的图。媒体处理中心2000例如可以是中央服务器。媒体处理中心2000在电视摘录2001处从参与内容源接收参考电视节目信息。可以例如通过电视数据库2002处理和存储电视节目。可以设想，节目可以由基于有线和基于卫星的多频道视频节目分配器(MVPD)以及通过借助于互联网的源分配内容来提供。

在电视广告替换的该具体示例中，图20的系统利用第二参考数据库(即，视频段数据库2004)，该第二参考数据库与高速视频段检测器2005结合使用以检测诸如作为替代的候选的电视广告的特殊事件。这些事件由事件管理器2006检测，该事件管理器2006维护候选视频段(例如电视广告)的列表，并且当检测到视频段时向电视系统2007发布指令。背景事件管理器2008接收根据命令由电视系统2007执行的指令。

电视客户端2009从显示的电视节目中提取视频或音频或视频、音频两者的媒体线索。媒体线索经由网络发送到媒体处理中心2000的视频段匹配引擎2003。如果发现与特定视频段匹配，则向当前正在显示视频段的所有登记的电视发布消息2011(例如，经由背景事件管理器2008的电视系统2007)。在接收到消息2011时，背景事件管理器2008检索先前提供的要替换的电视广告的地址以及替换时间和持续时间。背景事件管理器2008然后在2012处在所提供的开始时间对替换广告数据库2010进行寻址，然后将所寻址的替换广告2013流式传输到电视系统2007。在由事件管理器2006传送的替换时段结束时，电视系统2007切换回到替换序列开始时播放的原始电视节目。

参考图21的流程图描述可以由图20的系统利用的方法。在步骤2101处，接收电视摘录并提取未知视频段的媒体线索。在步骤2102处，比对从视频段数据库2103提取的已知视频段的线索来测试未知视频段的线索。在步骤2104处，确定在已知视频段中是否找到匹配。如果未找到匹配，则该方法循环回到步骤2102，并将未知视频段与其它已知视频段进行比较。如果找到匹配，则该方法在步骤2106处继续。

在步骤2106处，比对广告替换标识符2105的数据库，测试与匹配的已知视频段相关联的视频段标识符。在步骤2107处，确定是否存在广告替换事件匹配(即，视频段标识符是否匹配数据库2105中的标识符)。如果没有找到匹配，则该方法循环回到步骤2106，并且将视频段标识符与另外的广告替换标识符进行比较。如果发现匹配，则该方法在步骤1808处继续。

在步骤2108处，将即将播出替换广告的通知发送到被调谐到相应频道的所有有效电视系统。在步骤2109处，电视系统启动倒数计时器来播出替换广告。在步骤2110处，确定是否发生超时。如果超时没有发生，则倒数计时器继续。如果发生超时(即，倒数已经到期)，则在步骤2111处，从替换广告服务器或数据库2112中抽取替换广告。在步骤2113处，在电视系统上显示的视频和/或音频被切换到替换广告。在步骤2114处，确定是否发生超时。如果超时没有发生，则替换广告继续播出。如果发生超时(即，替换广告已经结束)，则在步骤2115处将视频和/或音频切换回电视系统上的原始节目。

为了进一步理解上述电视广告替换系统和方法的时间安排，图22示出了在媒体处理中心(例如，媒体处理中心2000)处接收到的视频段时间线2201，该视频段时间线2201具有电视广告组2204(也被称为“广告独立单元”2204)。广告独立单元2204包含多个不同持续时间的单独电视广告。视频段2201由媒体处理中心(例如，媒体处理中心2000)处理并被添加到视频匹配参考数据库。30秒的广告开始于2202，然后是短广告和长广告，然后在2203处播出15秒的广告。广告独立单元2204结束并且在2205处恢复节目。

电视系统2007(例如，家庭中常见的消费者电视)接收与媒体处理中心相同的电视节目2206。然而，由于电视分配网络的结构，媒体处理中心在用户的电视(例如，电视系统2007)接收到相同的节目时提前大约四到五秒接收电视节目。利用该延迟，根据本发明的实施例的媒体处理中心具有足够的时间来检测可能是用于附加处理的候选的任何特定视频段，然后在时间2208处确定事件是否被存储在视频段数据库2004中。如果事件被存储，则事件管理器2006可以提供指令，并且如果适当的话，经由背景事件管理器2008向合格的电视客户端(例如，电视系统2007)提供附加媒体。然后，背景事件管理器2008在时间2207处作出响应以对替换视频段2209b进行寻址，并且使替换视频段代替原始广播视频段2209a显示在电视系统2007上。在具有媒体处理中心的前提下，替换视频段2209b可以从视频服务器寻址，或者可以从连接到互联网的任何服务器寻址。

在本发明的又一个实施例中，视频段的检测可以从在电视客户端2309内操作的过程触发拟显示的附加信息。图23示出了媒体处理中心2300，其在许多服务中通过例如将视频帧2309b的线索与已知内容的已知线索进行比较来检测在电视客户端2309上显示的视频段。可以通过电视摘录2301接收已知内容，提取线索并将其存储在电视数据库2302中。线索由视频段匹配引擎2303进行匹配。然后可以将匹配结果应用于事件管理器2306。

如果事件已被登记成在匹配的视频段存在的情况下触发动作，则背景资产管理器2305将被寻址以提供图形覆盖窗口形式的媒体，该媒体例如由背景资产数据库2304存储。然后，图形覆盖窗口连同某些定时信息经由网络2311被发送到被检测为正在显示视频段的每个电视系统2307的背景事件管理器2308。在接收到背景相关的媒体时，背景事件管理器2308可以将媒体显示为例如占据显示区域的一部分并且包含通常与当前正在显示的视频段的主题相关的信息的覆盖窗口。

参考图24的流程图描述可以由图23的系统利用的方法。在步骤2401处，接收电视摘录并提取未知视频段的媒体线索。在步骤2402处，比对从视频段数据库2403提取的已知视频段的线索，测试未知视频段的线索。在步骤2404处，确定在已知视频段中是否发现匹配。如果未发现匹配，则该方法循环回到步骤2402，并将未知视频段与其它已知视频段进行比较。如果发现匹配，则该方法在步骤2406处继续。

在步骤2406处，比对背景相关联的媒体2405的数据库，测试与匹配的已知视频段相关联的视频段标识符。在步骤2407处，确定是否存在背景相关的媒体事件匹配(即，视频段标识符是否与数据库2405中的标识符匹配)。如果未发现匹配，则该方法循环回到步骤2406，并且将视频段标识符与进一步背景相关的事件标识符进行比较。如果发现匹配，则该方法在步骤2408继续。

在步骤2408处，将即将播出视频段的通知发送到被调谐到相应频道的所有活动的电视系统。在步骤2409处，电视系统启动倒数计时器来播出视频段。在步骤2410处，确定是否发生超时。如果超时没有发生，则倒数计时器继续。如果发生超时(即，倒计数已经到期)，则在步骤2411处，从覆盖媒体数据库2412触发覆盖的媒体。在步骤2413处，覆盖的窗口被打开并显示在原始节目上。在步骤2414处，在定时器结束时(例如，在30秒结束时)，或者在视频段变化触发时(例如，在视频段的结束和新视频段的开始处)，关闭覆盖的窗口。

背景媒体覆盖图形的定时在图25中示出。在媒体处理中心处接收电视节目频道2501，并且检测视频段并将其存储在参考媒体数据库中。当检测到具有用于在电视系统上本地显示的相关联的背景相关媒体的视频段2502时，在2506处将信号发送到被检测为正在显示相同电视节目频道2504(即，2501和2504表示相同的电视节目频道)的电视系统。在电视系统上的视频段2的开始处(即，在时间2505a处)，电视系统的本地处理器执行从媒体处理中心接收到的指令。该指令显示具有与下层视频节目相关的附加信息的图形覆盖窗口(即，补充电视内容2507)。补充电视内容2507显示直到视频段2 2505b结束。

根据一个实施例，图26的视频帧示出基于图25的时间线的动作。在图26中，视频段2601显示热带岛屿的场景。在视频段2602处，内容策划者希望显示一覆盖窗口，该覆盖窗口邀请观众接收用于预订到热带岛屿度假的信息。如上所讨论，在作为视频段2602的开始的时间2505处，电视系统的处理器遵循所提供的指令来显示具有补充信息的图形覆盖窗口2604。在段2505b的结束时，到电视系统的处理器的指令使视频覆盖窗口被移除，导致不被遮挡的视频段2603。

现在详细描述先前提到的最近的邻居和路径追踪技术。给出使用模糊线索来跟踪视频传输示例，但一般的概念可以应用于任何领域，诸如上面描述的那些领域。

呈现了一种用于高效视频追踪的方法。给定大量视频段，系统必须能够实时识别给定的查询视频输入来自哪个段以及处于什么时间偏移下。段和偏移一起被称为位置。该方法被称为视频追踪，因为它必须能够有效地检测和适应暂停、快进、倒带、突然切换到其它段和切换到未知段。在能够追踪实时视频之前，处理数据库。视觉线索(少数像素值)每隔几分之一秒从帧中被取出，并被放入专门的数据结构(请注意，这也可以实时完成)。视频追踪通过不断接收来自输入视频的线索并更新关于其当前位置的一组确信或估计来执行。每个线索或者同意或者不同意该估计，并且它们被调节以反映新的证据。如果对此为真的信心足够高，则假设视频位置是正确的位置。通过仅追踪一小部分可能的“可疑”位置，这可以高效地完成。

描述了用于视频追踪的方法，但是使用数学结构来解释和调查它。引入数学结构的目的是给读者提供在这两个领域之间转换的必要工具。视频信号由连续帧组成。每一帧可以被认为是静止图像。每一帧都是像素的光栅。每个像素由对应于构成该像素颜色的红色、绿色和蓝色(RGB)的三个强度值构成。在本文使用的术语中，线索是帧中的像素的子集的RGB值的列表以及对应的时间戳。线索中的像素数量明显小于帧中的像素数量，通常在5到15之间。作为标量值的有序列表，线索值实际上是向量。该向量也被称为点。

尽管这些点在高维度中，通常在15到150之间，但它们可以被想象成二维中的点。事实上，插图将作为二维绘图给出。现在，考虑视频的进展及其对应的线索点。通常，小的时间变化会导致像素值的小变化。像素点可以被视为在帧之间略微“移动”。从帧到帧之间的这些微小的移动之后，该线索跟随空间中的路径，如珠子串绕在弯曲线上那样。

在这种类比的语言中，在视频追踪中，接收珠子在空间中的位置(线索点)，并且寻找珠子跟随的线的一部分(路径)。出于两个事实这显著更困难。首先，珠子不准确地跟随线，而是与线保持某一变化的未知距离。其次，线都缠在一起。这些陈述在第2节中更为精确。下面描述的算法在两个概念步骤中完成了这个任务。当接收到线索时，它查找所有已知路径上足够接近线索点的所有点；这些点被称为可疑者。这使用等球算法中概率点位置有效地进行。这些可疑者被添加到历史数据结构中，并且计算它们中每一个指示真实位置的概率。该步骤还包括移除可能性不大的可疑位置。该历史更新过程一方面确保只保留一小段历史，另一方面永远不会删除可能的位置。通用算法在算法1中给出，并在图27中示出。

文件以描述第1节中的等球中概率点位置(PPLEB)算法开始。使用它以便有效地执行算法1中的第5行。迅速执行搜索可疑者的能力对于该方法的适用至关重要。稍后，在第2节中，描述了执行第6和7行的一个可能的统计模型。所描述的模型是设置的自然选择。它也显示了如何可以非常有效地使用它。

第1节-等球中的概率点位置

下节描述了用于执行等球中概率点位置(PPLEB)的简单算法。在传统的PLEB(等球中的点位置)中，在lR d和半径为r的特定球中，算法以n点集合x开始。该算法被给予O(多(n))预处理时间以产生有效的数据结构。然后，给定查询点x，算法需要返回所有点x，使得||x-x_i||≤r。点的集合使得||x-x_i||≤r几何地位于围绕查询x的半径r的球内(见图23)。该关系被称为x，接近x或者作为x，并且x是邻居。

PPLEB的问题和最近邻居搜索的问题是在学术界受到很多关注的两个类似的问题。事实上，这些问题是计算几何学领域最早研究的问题。许多不同的方法迎合环境维度d较小或不变的情况。这些以不同的方式划分空间，并递归搜索各部分。这些方法包括KD树、覆盖树和其它。尽管在低维度方面非常有效，但是当环境维度高时，它们往往表现很差。这被称为“维度诅咒”。各种方法试图解决这个问题，同时克服维度诅咒。本文使用的算法使用更简单和更快的版本的算法，并且可以依靠局部敏感散列(Local Sensitive Hashing)。

第1.1节局部敏感散列

在局部敏感散列的方案中，人们设计了散列函数族H，使得：

换句话说，如果x和y彼此接近，x和y被映射到相同的值h的概率显著更高。

为了清楚起见，让我们首先讨论所有进入的向量具有相同长度r'和的简化情况。后一条件的原因稍后会变得清楚。首先定义随机函数u∈U，它根据x和y之间的角度在x和y之间分开。令是从单位球S^d-1中均匀选择的随机向量，令很容易验证Pr_u-U(u(x))≠u(y))＝0_x，y/π。此外，对于圆上的任何点x、y、x'、y'，使得实现||x＇-y＇||≤2||x-y||，0_x′，y≤20_x，y。定义p，使用以下方程：

函数族H被设定为u的t个独立副本的叉积，即h(x)＝[u1(x),…,u_t(x)]。直觉上，人们希望如果h(x)＝h(y)，则x和y很可能彼此接近。让我们量化一下。首先，计算误报错误的预期数量n_fp。这些是h(x)＝h(y)但是||x-y||>2r的情况。找到n_fp不超过1的值t，即，一预计不会是错的。

E[n_ft]≤n(l-2p)^t≤1

→t≥log(l/n)/log(1-2P)

假设h(x)和h(y)是邻居，现在计算h(x)＝h(y)的概率：

这里注意，必须使2p<1，这需要这听起来可能不像是非常高的成功概率。事实上，显著小于1/2。下一节将介绍如何将这个概率提高到1/2。

第1.2节点搜索算法

每个函数h将空间中的每个点映射到桶。将点x的桶函数相对于散列函数h定义为B_h(x)≡{x_i|h(xi)＝h(x)}。所维护的数据结构是桶函数[Bh₁,…,Bh_m]的实例。当搜索点x时，函数返回根据上一节，有两个期望的结果：

Pr(x_i∈B(x)|||x_i-x||≤r)≥1/2

换句话说，尽管发现x的每个邻居至少有1/2的概率，但是不可能找到许多非邻居。

第1.3节处理不同的半径输入向量

前一节仅处理搜索相同长度的向量，即r'。现在描述的是如何使用该构造作为构件块来支持不同半径的搜索。如图11中可见，空间被分成若干具有指数增长宽度的环。由R_i表示的环i包括所有的点x_i，使得||x_i||∈[2r(1+∈)ⁱ，2r(1+∈)ⁱ⁺¹]。这样做达到了两个目的。首先，如果xi和x_j属于同一个环，则||x_j||/(1+∈)≤||x_i||≤||x_j||(1+∈)。其次，任何搜索都可以在最多1/∈这种环中执行。此外，如果数据集中的最大长度向量是r'，则系统中环的总数是O(log(r'/r))。

第2节路径追踪问题

在路径追踪问题中，空间中的固定路径与时间点序列中的粒子的位置一起给出。术语“粒子”、“线索”和“点”将可以互换使用。该算法需要输出粒子在路径上的位置。这因为几个因素而变得更加困难：粒子只是近似跟随路径；路径可以不连续并多次自行相交；粒子和路径位置二者都是按时间点序列给出的(每个时间点都不相同)。

注意到该问题可以模拟在任何数量的路径上跟踪粒子是重要的。这可以简单地通过将路径连接成一个长路径并将所得位置解释为单个路径上的位置来完成。

更准确地说，令路径P为参数曲线曲线参数将被称为时间。我们所知的路径上的点是在任意时间点t_i给出的，即给出n对(t_i,P(t_i))。粒子跟随路径，但其位置在不同的时间点给出，如图12中所示。此外，还给出了m对(t’_j,x(t’_j))，其中x(t’_j)是时间t’_j中粒子的位置。

第2.1节似然估计

由于粒子不精确地跟随路径，并且由于路径可以多次自行相交，所以通常不可能明确地识别粒子实际上在路径上的位置。因此，在所有可能的路径位置上计算概率分布。如果位置概率是显著可能的，则假定粒子位置是已知的。下节描述如何有效地完成此操作。

如果粒子跟随路径，则粒子时间戳与P上相应点的偏移之间的时间差应相对固定。换句话说，如果x(t')当前在路径上的偏移t中，则它应该接近P(t)。另外，τ秒之前，它应该已经在偏移t-τ中。因此x(t'-τ)应该接近P(t-τ)(注意，如果粒子与路径相交，且x(t')暂时接近P(t)，则x(t'-τ)和P(t-τ)不大可能也接近)。定义相对偏移为Δ＝t-t'。注意，只要粒子遵循路径，则相对偏移Δ保持不变。即，x(t')接近P(t'+Δ)。

通过计算得到最大似然相对偏移：

换句话说，最有可能的相对偏移是粒子历史对其而言最有可能的那个相对偏移。然而该方程不能在没有统计模型的情况下求解。该模型必须量化：x跟随路径有多紧；x在各个位置之间跳跃的概率有多大；路径和粒子曲线在测量点之间有多平滑。

第2.2节时间折扣建仓

现在描述用于估计似然函数的统计模型。该模型假设粒子偏离路径的偏差以标准偏差ar正常分布。它还假定在任何给定的时间点，粒子将突然切换到另一条路径的一些非零的概率。这体现在对过去点数的指数折扣。除了作为建模观点的合理选择之外，该模型还具有可高效更新的优点。对于一些恒定的时间单位1，设定似然函数与f成比例，其定义如下：

这里α<<1是比例系数并且ζ＞0是粒子将以给定时间单位跳到路径上的随机位置的概率。

有效地更新函数f可以使用以下简单的观察来实现。

此外，由于α<<1，如果||x(t′_m)-P(t_i)||≤r，则发生以下情况：

这是似然函数的重要性质，因为总和更新现在可以仅在x(t’_j)的邻居上而不是在整个路径上执行。用S表示(t_i，P(t_i))的集合使得||x(t′_m)-P(t_i)||≤r。以下方程发生：

这在下面的算法2.2中描述。项f被用作也接收负整数索引的稀疏向量。集合S是路径上x(t_i)的所有邻居的集合，并且可以使用PPLEB算法快速计算。很容易验证，如果x(t_i)的邻居数受一些常数n_near限制，则向量f中非零的数量由仅是更大的常数因子的n_near/ζ限制。该算法的最后阶段是如果超过一些阈值，则输出特定值δ。

图28给出三个连续的点位置和它们周围的路径点。请注意，无论是最低点还是中间点单独都不足以识别路径的正确部分。然而它们在一起可以识别。添加顶点增加了粒子确实是路径的最终(左)曲线的确定性。

在图29中，给定n(灰色)点集合，该算法被给予查询点(黑色)，并返回与查询点相隔距离r内的点集合(圆内的点)。在传统设定中，算法必须返回所有这些点。在概率设定中，每个这种点应该以一些恒定的概率返回。

图30示出了u(x₁)、u(x₂)和u(x)的值。直观地说，如果虚线在它们之间经过，则函数u给x₁和x₂赋予不同的值，如若不然，则赋予相同的值。沿随机方向经过的虚线确保发生这种情况的概率与x₁和x₂之间的角度成正比。

图31示出通过将空间划分为多个环使得环R_i在半径2r(1+∈)ⁱ和2r(1+∈)ⁱ⁺¹之间，可以确保环内的任何两个向量长度跨多个(1+∈)因子都是相同的，并且任何搜索在至多1/∈环中执行。

图32示出自相交的路径和查询点(黑色)。它表明，没有粒子位置的历史，就不可能知道它在路径上的位置。

图32给出三个连续的点位置和它们周围的路径点。请注意，x(t₁)和x(t₂)单独都不足以识别路径的正确部分。然而它们在一起可以识别。添加x(t₃)增加了粒子确实是路径的最终(左)曲线的确定性。

总之，本发明的实施例通过将参考数据(即，已知媒体内容数据)划分为可以独立、同步、同时或组合地搜索的多个参考数据库来改进媒体匹配和识别过程。然后可以对搜索过程的结果进行加权并对最终结果进行评分。

虽然在此针对电视节目的实时识别进行了描述，但是可以设想，本文描述的系统和方法可以应用于可以通过将数据集划分成优选子集来增进多维搜索的任何“大数据”问题。此外，尽管在本文中实质上被描述为涉及视频数据和图形显示，但是可以设想，本文描述的系统和方法可以类似地用于音频数据和可听显示。例如，在某些实施例中可以提供替代音频数据。

可以根据具体要求做出实质性的变化。例如，也可以使用定制的硬件，和/或可以用硬件、软件(包括便携式软件，诸如小应用程序等)或硬件、软件两者来实现特定的元件。此外，可以利用到诸如网络输入/输出设备的其它访问或计算设备的连接。

在前述说明书中，参考其具体实施例描述了本发明的各方面，但是本领域技术人员将认识到，本发明不限于此。以上描述的本发明的各种特征和方面可以单独或联合使用。此外，在不脱离本说明书的更宽泛的精神和范围的情况下，可以在除本文所描述的那些以外的任何数量的环境和应用中使用实施例。因此，说明书和附图被认为是说明性的而不是限制性的。

在前面的描述中，为了说明的目的，以特定的顺序描述了方法。应该理解的是，在替代实施例中，可以以与所描述的顺序不同的顺序来执行这些方法。还应该理解的是，上述方法可以由硬件组件来执行，或者可以按照机器可执行指令的顺序来实施，该机器可执行指令可用于使机器(诸如通用或专用处理器或用这些指令编程的逻辑电路)来执行该方法。这些机器可执行指令可以存储在一个或多个机器可读介质上，诸如CD-ROM或其它类型的光盘、软盘、ROM、RAM、EPROM、EEPROM、磁卡或光卡、闪速存储器或适于存储电子指令的其它类型机器可读介质。可替代地，该方法可以通过硬件和软件的组合来执行。

在将组件描述为被配置为执行某些操作的情况下，可以例如通过执行操作的设计电子电路或其它硬件，通过执行操作的编程可编程电子电路(例如，微处理器或其它合适的电子器件电路)，或其任何组合来实现这种配置。

虽然本文已经详细描述了本申请的说明性实施例，但是应该理解，本发明构思可以以其它方式被不同地体现和采用，并且所附权利要求旨在被解释为包括这种变体，除了受现有技术的限制。

Claims (22)

1.一种系统，包括：

一个或多个处理器；以及

包含指令的一个或多个非暂态机器可读存储介质，所述指令在所述一个或多个处理器上执行时使所述一个或多个处理器执行操作，所述操作包括：

接收多个已知媒体内容，其中所述多个已知媒体内容具有相关联的已知内容标识符；

将所述多个已知媒体内容划分为第一索引和第二索引；

将所述第一索引分割成一个或多个第一桶，其中使用与所述第一索引中的所述已知媒体内容相关联的所述已知内容标识符将所述第一索引分割成第一桶；

将所述第二索引分割成一个或多个第二桶，其中使用与所述第二索引中的所述已知媒体内容相关联的所述已知内容标识符将所述第二索引分割成第二桶；

接收与由媒体系统正在显示的未知媒体内容对应的未知内容标识符；

同时搜索所述第一桶和所述第二桶以寻找所述未知内容标识符；

从所述第一桶或所述第二桶中选择已知媒体内容，其中所述选择的已知媒体内容与所述未知内容标识符相关联；以及

将所述未知媒体内容识别为所述选择的已知媒体内容。

2.根据权利要求1所述的系统，其中使用所述已知媒体内容的参数将所述多个已知媒体内容划分为所述第一索引和所述第二索引。

3.根据权利要求1所述的系统，其中所述操作进一步包括：

检索与所述选择的已知媒体内容相关联的背景指向数据；以及

将所述背景指向数据发送到所述媒体系统以供显示。

4.根据权利要求1所述的系统，其中所述未知内容标识符包括与所述未知媒体内容相关联的元数据。

5.根据权利要求1所述的系统，其中所述未知内容标识符包括与所述未知媒体内容相关联的像素数据。

6.根据权利要求1所述的系统，其中所述未知内容标识符包括与所述未知媒体内容相关联的音频数据。

7.根据权利要求6所述的系统，其中搜索所述第一桶和所述第二桶以寻找所述未知内容标识符包括将语音识别技术应用于所述第一桶中的所述已知媒体内容和所述第二桶中的所述已知媒体内容。

8.根据权利要求1所述的系统，其中所述操作进一步包括：

使用所述未知内容标识符来确定所述选择的已知媒体内容内的偏移时间，其中所述偏移时间对应于由所述媒体系统正在显示的所述未知媒体内容内的时间。

9.根据权利要求1所述的系统，其中将所述第一索引分割成一个或多个第一桶包括对与所述第一索引中的所述已知媒体内容相关联的所述已知内容标识符进行散列化，并且其中将所述第二索引分割成一个或多个第二桶包括对与所述第二索引中的所述已知媒体内容相关联的所述已知内容标识符进行散列化。

10.根据权利要求9所述的系统，其中所述操作进一步包括：

对与所述第一索引中的所述已知媒体内容相关联的所述经散列化的已知内容标识符进行归一化；以及

对与所述第二索引中的所述已知媒体内容相关联的所述经散列化的已知内容标识符进行归一化。

11.根据权利要求1所述的系统，其中所述操作进一步包括：

确定所述一个或多个第一桶中的第一桶中的已知媒体内容的量高于阈值；以及

丢弃所述第一桶。

12.一种方法，包括：

接收多个已知媒体内容，其中所述多个已知媒体内容具有相关联的已知内容标识符；

将所述多个已知媒体内容划分为第一索引和第二索引；

将所述第一索引分割成一个或多个第一桶，其中使用与所述第一索引中的所述已知媒体内容相关联的所述已知内容标识符将所述第一索引分割成第一桶；

将所述第二索引分割成一个或多个第二桶，其中使用与所述第二索引中的所述已知媒体内容相关联的所述已知内容标识符将所述第二索引分割成第二桶；

接收与由媒体系统正在显示的未知媒体内容对应的未知内容标识符；

同时搜索所述第一桶和所述第二桶以寻找所述未知内容标识符；

从所述第一桶或所述第二桶中选择已知媒体内容，其中所述选择的已知媒体内容与所述未知内容标识符相关联；以及

将所述未知媒体内容识别为所述选择的已知媒体内容。

13.根据权利要求12所述的方法，其中使用所述已知媒体内容的参数将所述多个已知媒体内容划分为所述第一索引和所述第二索引。

14.根据权利要求12所述的方法，进一步包括：

检索与所述选择的已知媒体内容相关联的背景指向数据；以及

将所述背景指向数据发送到所述媒体系统以供显示。

15.根据权利要求12所述的方法，其中所述未知内容标识符包括与所述未知媒体内容相关联的元数据。

16.根据权利要求12所述的方法，其中所述未知内容标识符包括与所述未知媒体内容相关联的像素数据。

17.根据权利要求12所述的方法，其中所述未知内容标识符包括与所述未知媒体内容相关联的音频数据。

18.根据权利要求17所述的方法，其中搜索所述第一桶和所述第二桶以寻找所述未知内容标识符包括将语音识别技术应用于所述第一桶中的所述已知媒体内容和所述第二桶中的所述已知媒体内容。

19.根据权利要求12所述的方法，进一步包括：

使用所述未知内容标识符来确定所述选择的已知媒体内容内的偏移时间，其中所述偏移时间对应于由所述媒体系统正在显示的所述未知媒体内容内的时间。

20.根据权利要求12所述的方法，其中将所述第一索引分割成一个或多个第一桶包括对与所述第一索引中的所述已知媒体内容相关联的所述已知内容标识符进行散列化，并且其中将所述第二索引分割成一个或多个第二桶包括对与所述第二索引中的所述已知媒体内容相关联的所述已知内容标识符进行散列化。

21.根据权利要求20所述的方法，进一步包括：

对与所述第一索引中的所述已知媒体内容相关联的所述经散列化的已知内容标识符进行归一化；以及

对与所述第二索引中的所述已知媒体内容相关联的所述经散列化的已知内容标识符进行归一化。

22.根据权利要求12所述的方法，进一步包括：

确定所述一个或多个第一桶中的第一桶中的已知媒体内容的量高于阈值；以及

丢弃所述第一桶。