CN108353208B - 优化媒体指纹保持以提高系统资源利用率 - Google Patents

Abstract

提供了用于移除与帧相关联的冗余数据的设备、计算机程序产品和方法。例如，一种方法可以包括接收初始帧，确定初始帧的初始线索数据，并且将初始线索数据发送到服务器。该方法可以进一步包括接收新帧并确定新帧的新线索数据。该方法可以进一步包括识别像素值范围。该方法可以进一步包括确定初始像素数据样本与新像素数据样本之间的像素值差。该方法可以进一步包括确定像素值差在像素值范围内，并且当像素值差在像素值范围内时，通过从新线索数据中移除新像素数据样本来更新新线索数据。该方法可以进一步包括将更新的新线索数据发送到服务器。

Description

优化媒体指纹保持以提高系统资源利用率

相关申请的交叉引用

本申请要求于2015年7月16日提交的美国临时申请No.62/193,342的权益，其全部内容通过引用并入本文。本申请还通过引用以下内容整体并入：2013年11月25日提交的美国专利申请No.US 14/089,003，2009年5月29日提交的美国临时申请No.61/182,334，2009年12月29日提交的美国临时申请No.61/290,714，2015年5月27日提交的美国申请No.12/788,748和2015年5月27日提交的美国申请No.12/788,721。

技术领域

本公开涉及改进用于识别由媒体系统(例如，电视系统、计算机系统或能够连接到互联网的其它电子设备)显示的内容的系统资源的管理。在一些示例中，提供各种技术和系统来移除发送到匹配服务器的数据的一些部分，以便减少发送到匹配服务器的数据量以及由匹配服务器或与匹配服务器相关联的数据库存储的数据量。

背景技术

管理密集数据集提供了重大的挑战。例如，在存储、索引和管理大量数据方面存在困难。在使用存储在数据集中的参考数据来搜索和识别数据之间最接近的匹配的系统中可出现这种困难。

发明内容

提供了用于移除与帧相关联的冗余数据的设备、计算机程序产品和方法。移除可以由媒体系统或匹配服务器执行。在一些实施方式中，提供了一种用于移除冗余数据的设备、计算机程序产品和方法。例如，一种方法可以包括接收初始帧。在一些示例中，初始帧包括像素数据。该方法可以进一步包括确定初始帧的初始线索数据。在一些示例中，初始线索数据包括与初始帧相关联的多个初始像素数据样本。

该方法可以进一步包括发送初始线索数据。在一些示例中，初始线索数据被寻址到服务器。该方法可以进一步包括接收新帧。在一些示例中，新帧包括像素数据。该方法可以进一步包括确定新帧的新线索数据。在一些示例中，新线索数据包括与新帧相关联的多个新像素数据样本。该方法可以进一步包括识别像素值范围。在一些示例中，当像素数据样本之间的像素值差在像素值范围内时，像素数据样本被确定为相似。

该方法可以进一步包括确定初始像素数据样本与新像素数据样本之间的像素值差。在一些示例中，初始像素数据样本对应于新像素数据样本。该方法可以进一步包括确定像素值差在像素值范围内。该方法可以进一步包括：当像素值差在像素值范围内时，通过从新线索数据中移除新像素数据样本来更新新线索数据。该方法可以进一步包括发送更新的新线索数据。在一些示例中，更新的新线索数据被寻址到服务器。

在一些实施方式中，该方法可以进一步包括发送指示从新线索数据中移除新像素数据样本的标志。在一些示例中，标志被寻址到服务器。

在一些实施方式中，该方法可以进一步包括发送指示从新线索数据中移除一行像素数据样本的标志。在这种实施方式中，新像素数据样本被包括在该行中。在一些示例中，标志被寻址到服务器。

在一些实施方式中，像素数据样本从像素块计算。在一些示例中，标志被寻址到服务器。在这种实施方式中，像素块包括帧的像素阵列。在一些实施方式中，像素数据样本通过取像素块中的像素的像素值的平均值来计算。

在一些实施方式中，提供了用于将数据与移除的一个或多个部分匹配的设备、计算机程序产品和方法。例如，该方法可以包括将多个参考数据集存储在参考数据库中。在一些示例中，参考数据集与媒体段相关联。该方法可以进一步包括由服务器接收帧的线索数据。在一些示例中，线索数据包括来自帧的多个像素数据样本。在一些示例中，该帧与未识别的媒体段相关联。

该方法可以进一步包括识别帧的线索数据中不存在像素数据样本。该方法可以进一步包括将帧的线索数据与参考数据集匹配。在一些示例中，匹配包括使用先前线索数据的先前像素数据样本。在一些示例中，先前线索数据来自先前帧。在一些示例中，先前像素数据样本对应于不存在于帧中的像素数据样本。在一些示例中，参考数据集与媒体段相关联。该方法可以进一步包括确定未识别的媒体段是该媒体段。

在一些实施方式中，该方法可以进一步包括接收指示像素数据样本不存在于线索数据的标志。在这种实施方式中，像素数据样本的不存在使用标志来识别。

在一些实施方式中，该方法可以进一步包括接收指示一行像素数据样本不存在于线索数据的标志。在这种实施方式中，像素数据样本被包括在行中。

在一些实施方式中，识别不存在像素数据样本包括分析线索数据以寻找丢失的像素数据样本。

在一些实施方式中，该方法可以进一步包括识别先前的线索数据。在这种实施方式中，该方法可以进一步包括确定先前的线索数据包括先前的像素数据样本。

在一些实施方式中，该方法可以进一步包括识别先前的线索数据。在这种实施方式中，该方法可以进一步包括确定先前的像素数据样本不存在于先前的线索数据。在这种实施方式中，该方法可以进一步包括确定使用先前的像素数据样本来将帧的线索数据与参考数据集进行匹配。

当参考附图来阅读以下描述时，本公开的特征、方面和优点将是最容易理解的，在该附图中相同的数字标识在整个附图中表示相同的组件或部分。

附图说明

以下参考以下附图详细描述说明性示例：

图1是用于识别由媒体系统正在观看的视频内容的匹配系统的示例的框图。

图2示出识别未知数据点的匹配系统的示例。

图3是视频捕捉系统的示例的框图。

图4是用于收集由显示器呈现的视频内容的系统的示例的框图。

图5示出可以发送到匹配服务器的帧序列的示例。

图6示出移除了若干行的像素数据样本的帧序列的示例。

图7示出帧序列的示例，这些帧未被发送到匹配服务器。

图8是示出用于从帧的线索数据丢弃像素数据样本的过程的示例的流程图。

图9是示出用于使用初始帧数据来确定未识别的媒体段以补充新帧数据的过程的示例的流程图。

图10是示出点位置和它们周围的路径点的图表。

图11是示出位于距查询点的距离内的一组点的图表。

图12是示出可能的点值的图表。

图13是示出被分割成具有指数增长的宽度的若干环的空间的图表。

图14是示出自相交路径和查询点的图表。

图15是示出三个连续的点位置和它们周围的路径点的图表。

具体实施方式

在下面的描述中，出于解释的目的，阐述了具体细节以便提供对本公开的示例的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践各种示例。附图和描述不旨在是限制性的。

接下来的描述仅提供示例性示例，而不旨在限制本公开的范围、适用性或配置。相反，示例性示例的随后描述将向本领域技术人员提供用于实施示例性示例的可能描述。应该理解的是，在不脱离如所附权利要求阐述的本公开的精神和范围的情况下，可以对各要素的功能和布置进行各种改变。

在以下描述中给出具体细节以提供对示例的透彻理解。然而，本领域的普通技术人员将会理解，可以在没有这些具体细节的情况下实践这些示例。例如，电路、系统、网络、过程和其它组件可以以框图形式显示为组件，以免以不必要的细节使示例变得晦涩难懂。在其它情况下，为了避免使这些示例变得晦涩难懂，可以在没有不必要的细节的情况下示出公知的电路、过程、算法、结构和技术。

另外，应注意的是，各个示例可被描述为过程，所述过程被描绘为流程图、流程示图、数据流程图、结构图或框图。尽管流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，操作的顺序可以重新排列。过程在操作完成时被终止，但是可以具有不包括在图中的额外步骤。过程可以对应于方法、功能、程序、子例程、子程序等。当过程对应于函数时，其终止可以对应于将功能返回到调用函数或主函数。

术语“机器可读存储介质”或“计算机可读存储介质”包括但不限于便携式或非便携式存储设备、光存储设备以及能够存储、包含或携带指令和/或数据的各种其它介质。机器可读存储介质或计算机可读存储介质可以包括其中可以存储数据的非暂态介质并且不包括无线地或通过有线连接传播的载波和/或暂态电子信号。非暂态介质的示例可以包括但不限于磁盘或磁带，诸如光盘(CD)或数字多功能盘(DVD)的光存储介质、闪速存储器、存储器或存储器设备。计算机程序产品可以包括表示程序、函数、子程序、程序、例程、子例程、模块、软件包、类、或者指令、数据结构或程序语句的任何组合的代码和/或机器可执行指令。一代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码段或硬件电路。信息、自变量、参数、数据或其它信息可以使用包括存储器共享、消息传递、令牌传递、网络传输或其它传输技术的任何合适的手段来传递、转发或发送。

此外，可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现示例。当以软件、固件、中间件或微代码实现时，执行必要任务(例如，计算机程序产品)的程序代码或代码段可存储在机器可读介质中。处理器可以执行必要的任务。

在一些附图中描绘的系统可以以各种配置来提供。在一些示例中，系统可以被配置为分布式系统，其中系统的一个或多个组件横跨云计算系统中的一个或多个网络分布。

如下面进一步详细描述的，本公开的某些方面和特征涉及通过将未知数据点与一个或多个参考数据点进行比较来识别未知视频段。本文描述的系统和方法提高了存储和搜索用于识别未知视频段的大数据集的效率。例如，该系统和方法允许识别未知数据段，同时减少执行识别所需的大数据集的密度。该技术可以应用于收获和操纵大量数据的任何系统。这些系统的说明性示例包括自动化的基于内容的搜索系统(例如，用于视频相关应用程序或其它合适的应用程序的自动内容识别)、Map Reduce系统、Big table系统、图案识别系统、面部识别系统、分类系统、计算机视觉系统、数据压缩系统、聚类分析或任何其它合适的系统。本领域的普通技术人员将认识到，本文描述的技术可以应用于存储与未知数据进行比较的数据的任何其它系统。例如，在自动内容识别(ACR)的情况下，系统和方法减少了为使匹配系统搜索并找到未知数据组和已知数据组之间的关系所必须存储的数据量。

仅作为示例而非限制，为了说明的目的，本文描述的一些示例使用自动音频和/或视频内容识别系统。然而，本领域的普通技术人员将认识到，其它系统可以使用相同的技术。

使用大量数据的ACR系统和其它系统的重大挑战可能是管理系统发挥其作用所需的数据量。另一个挑战包括需要建立和维护已知内容的数据库以作为匹配传入内容的参考。建立和维护这种数据库涉及收集和摘录大量(例如，数百、数千或更多)的内容(例如，全国分布的电视节目和在许多其它潜在的内容源中的更大量的本地电视广播)。可以使用将原始数据(例如，视频或音频)精简为经压缩的可搜索的数据的任何可用技术来执行摘录。通过24小时，每周7天的操作时间表和大概两周内容(例如电视节目)的滑动窗口来存储，执行ACR所需的数据量可以迅速建立。收获和操纵大量数据的其它系统(诸如上述示例系统)可能存在类似的挑战。

本文描述的系统和方法可以允许对ACR系统中的系统资源的改进管理。例如，示例可以通过管理发送到和/或存储在ACR系统上的数据来提高系统资源利用的效率。尽管本文的描述可以涉及视频段，但是也可以使用其它的媒体段，包括音频段。

图1示出可以识别未知内容的匹配系统100。在一些示例中，未知内容可以包括一个或多个未知数据点。在这种示例中，匹配系统100可以将未知数据点与参考数据点匹配以识别与未知数据点相关联的未知视频段。参考数据点可以被包括在参考数据库116中。

匹配系统100包括客户端设备102和匹配服务器104。客户端设备102包括媒体客户端106、输入设备108、输出设备110以及一个或多个背景应用程序126。媒体客户端106(其可以包括电视系统、计算机系统或能够连接到互联网的其它电子设备)可以解码与视频节目128相关联的数据(例如，广播信号、数据分组或其它帧数据)。媒体客户端106可以将视频的每个帧的解码内容放置到视频帧缓冲器中以准备显示或进一步处理视频帧的像素信息。客户端设备102可以是可接收和解码视频信号的任何电子解码系统。客户端设备102可以接收视频节目128并将视频信息存储在视频缓冲器(未示出)中。客户端设备102可以处理视频缓冲器信息并且产生未知的数据点(其可以被称为“线索”)，如下面参考图3更详细描述的。媒体客户端106可以将未知数据点发送到匹配服务器104，以与参考数据库116中的参考数据点进行比较。

输入设备108可以包括允许请求或其它信息被输入到媒体客户端106的任何合适的设备。例如，输入设备108可以包括键盘、鼠标、语音识别输入设备、用于从无线设备(例如，从遥控器、移动设备或其它合适的无线设备)接收无线输入的无线接口，或者任何其它合适的输入设备。输出设备110可以包括可呈现或以其它方式输出信息的任何合适的设备，诸如显示器、用于向无线设备(例如，向移动设备或其它合适的无线设备)发送无线输出的无线接口、打印机或其它合适的输出设备。

匹配系统100可通过首先从已知视频数据源118收集数据样本来开始识别视频段的过程。例如，匹配服务器104收集数据以从各种视频数据源118建立和维护参考数据库116。视频数据源118可以包括电视节目、电影或任何其它合适的视频源的媒体提供者。来自视频数据源118的视频数据可以作为无线电广播、有线电视频道、来自互联网和来自任何其它视频数据源的流式传送来源来提供。在一些示例中，如下所述，匹配服务器104可以处理从视频数据源118接收的视频以在参考数据库116中生成和收集参考视频数据点。在一些示例中，来自视频数据源118的视频节目可以由参考视频节目摘录系统(未示出)处理，所述参考视频节目摘录系统可以产生参考视频数据点并将其发送到参考数据库116以供存储。可以如上所述使用参考数据点来确定随后用于分析未知数据点的信息。

匹配服务器104可以将在某一时间段(例如，若干天、若干周、若干个月或任何其它合适的时间段)内接收的每个视频节目的参考视频数据点存储在参考数据库116中。匹配服务器104可以建立并连续或周期性地更新电视节目样本的参考数据库116(例如，包括也可以被称为线索或线索值的参考数据点)。在一些示例中，收集的数据是从周期性视频帧(例如，每五个视频帧、每十个视频帧、每十五个视频帧或其它适当数量的帧)采样的视频信息的压缩表示。在一些示例中，为每个节目源收集每帧的数据字节数(例如，每帧25字节、50字节、75字节、100字节，或者任何其它数量的字节)。任何数量的节目源可用于获得视频，诸如25个频道、50个频道、75个频道、100个频道、200个频道或任何其它数量的节目源。使用示例量的数据，在三天内每天24小时期间收集的总数据变得非常大。因此，减少实际参考数据点集合的数量有利于减少匹配服务器104的存储负荷。

媒体客户端106可以将通信122发送到匹配服务器104的匹配引擎112。通信122可以包括对匹配引擎112的请求以识别未知内容。例如，未知内容可以包括一个或多个未知数据点，并且参考数据库116可以包括多个参考数据点。匹配引擎112可以通过将未知数据点与参考数据库116中的参考数据进行匹配来识别未知内容。在一些示例中，未知内容可以包括由显示器呈现的未知视频数据(对于基于视频的ACR)、搜索查询(对于Map Reduce系统，Bigtable系统或其它数据存储系统)、未知的面部图像(用于面部识别)、未知的图案图像(用于图案识别)或可以比对参考数据的数据库进行匹配的任何其它未知数据。参考数据点可以从从视频数据源118接收的数据中导出。例如，数据点可以从视频数据源118提供的信息中提取，并且可以被索引并存储在参考数据库116中。

匹配引擎112可以向候选确定引擎114发送请求以从参考数据库116确定候选数据点。候选数据点可以是与未知数据点相隔某一确定距离的参考数据点。在一些示例中，参考数据点和未知数据点之间的距离可以通过将参考数据点的一个或多个像素(例如，单个像素、表示一组像素的值(例如，平均数、平均值、中值，或其它值)或其它合适数量的像素)与未知数据点的一个或多个像素进行比较来确定。在一些示例中，当每个样本位置处的像素在特定像素值范围内时，参考数据点可以与未知数据点相隔的某一确定的距离。

在一个说明性示例中，像素的像素值可以包括红色值、绿色值和蓝色值(在红-绿-蓝(RGB)颜色空间中)。在这种示例中，可以通过如下方式将第一像素(或者表示第一组像素的值)与第二像素(或者表示第二组像素的值)进行比较：分别比较相应的红色值、绿色值和蓝色值，并确保该值在一定的值范围内(例如在0-5的值内)。例如，当(1)第一像素的红色值在第二像素的红色值的0-255值范围(正或负)中的5个值内时，(2)第一像素的绿色值在第二像素的绿色值的0-255值范围(正或负)中的5个值内，以及(3)第一像素的蓝色值在第二像素的蓝色值的0-255值范围(正或负)中的5个值内时，第一像素可以与第二像素匹配。在这种示例中，候选数据点是与未知数据点近似匹配的参考数据点，由此导致对于未知数据点识别多个候选数据点(与不同媒体段有关)。候选确定引擎114可以将候选数据点返回到匹配引擎112。

对于候选数据点，匹配引擎112可以将令牌添加到仓中，该仓与候选数据点相关联并被分配给已识别视频段，从已知视频段中导出候选数据点。可将相应的令牌添加到与识别的候选数据点对应的所有仓。当匹配服务器104从客户端设备102接收到更多未知数据点(对应于正在观看的未知内容)时，可以执行类似候选数据点确定过程，并且可以将令牌添加到与识别的候选数据点对应的仓。这些仓中只有一个仓对应于正在观看的未知视频内容段，其它仓对应于由于类似的数据点值(例如，具有相似的像素颜色值)而匹配但是不对应于正在观看的实际视频内容段的候选数据点。正在观看的未知视频内容段的仓将比没有被观看的视频内容段的其它仓具有分配给它的更多令牌。例如，随着接收到更多的未知数据点，与该仓对应的更大量的参考数据点被识别为候选数据点，导致更多的令牌被添加到该仓。一旦仓包括特定数量的令牌，则匹配引擎112可以确定与仓相关联的视频段当前正在客户端设备102上显示。视频段可以包括整个视频节目或视频节目的一部分。例如，视频段可以是视频节目、视频节目的场景、视频节目的一个或多个帧或视频节目的任何其它部分。

图2示出用于识别未知数据的匹配系统200的组件。例如，匹配引擎212可以使用已知内容(例如，已知的媒体段、存储在数据库中用于进行对比搜索的信息、已知的面部或图案等)的数据库来执行用于识别未知内容(例如，未知的媒体段、搜索查询、面部图像或者图案等)的匹配处理。例如，匹配引擎212接收将与参考数据库中的参考数据点204中的某一参考数据点匹配的未知数据内容202(其可以被称为“线索数据”)。未知数据内容202也可以由候选确定引擎214接收，或者从匹配引擎212发送到候选确定引擎214。候选确定引擎214可以进行搜索处理以通过搜索参考数据库中的参考数据点204来识别候选数据点206。在一个示例中，搜索过程可以包括产生邻近值集合(与未知数据内容202的未知值相距一定距离)的最近邻居搜索过程。候选数据点206被输入到匹配引擎212以进行匹配过程以生成匹配结果208。取决于应用，匹配结果208可以包括由显示器呈现的视频数据、搜索结果、使用面部识别确定的脸部、使用图案识别确定的图案或任何其它结果。

在确定未知数据点(例如，未知数据内容202)的候选数据点206时，候选确定引擎214确定未知数据点与参考数据库中的参考数据点204之间的距离。与未知数据点相隔一定距离的参考数据点被识别为候选数据点206。在一些示例中，参考数据点与未知数据点之间的距离可以通过将参考数据点的一个或多个像素与未知数据点的一个或多个像素进行比较来确定，如上面关于图1所描述的。在一些示例中，当每个样本位置处的像素在特定值范围内时，参考数据点可以与未知数据点相隔一定的距离。如上所述，候选数据点是与未知数据点近似匹配的参考数据点，并且由于近似匹配，对于该未知数据点识别出多个候选数据点(与不同媒体段有关)。候选确定引擎114可以将候选数据点返回到匹配引擎112。

图3示出了包括解码器的存储缓冲器302的视频摘录捕捉系统400的示例。解码器可以是匹配服务器104或媒体客户端106的一部分。解码器可以不与或需要物理电视显示面板或设备一起操作。解码器可以解码并且在需要时将数字视频节目解密为电视节目的未压缩的位图表示。为了建立参考视频数据的参考数据库(例如，参考数据库316)，匹配服务器104可以获取从视频帧缓冲器读取的视频像素的一个或多个阵列。视频像素阵列被称为视频块。视频块可以是任何形状或图案，但是为了该具体示例的目的，被描述为10×10像素阵列，包括水平十个像素和垂直十个像素。同样为了该示例的目的，假设存在从视频帧缓冲器内提取的均匀分布在缓冲器的边界内的25个像素块位置。

像素块(例如，像素块304)的示例分配在图3中示出。如上所述，像素块可以包括像素阵列，诸如10×10阵列。例如，像素块304包括10×10像素阵列。像素可以包括颜色值，诸如红色、绿色和蓝色值。例如，示出了具有红-绿-蓝(RGB)颜色值的像素306。像素的颜色值可以由每种颜色的八位二进制值表示。可以用于表示像素的颜色的其它合适的颜色值包括亮度和色度(Y，Cb，Cr)值或任何其它合适的颜色值。

取每个像素块的平均数(或在某些情况下的平均值)，并且创建所得的数据记录并用时间码(或时间戳)标记它。例如，为每个10×10像素的块阵列找到平均值，在这种情况下，对于每帧总共600位的像素信息，每25个显示缓冲器位置产生24位数据。在一个示例中，像素块304的平均值被计算，并且由像素块平均值308示出。在一个说明性示例中，时间码可以包括“新纪元时间”，其表示自1970年1月1日午夜起总的经过时间(以几分之一秒为单位)。例如，像素块平均308值与时间码412组合。在计算系统(包括例如基于Unix的系统)中，新纪元时间是公认的惯例。关于视频节目的信息(称为元数据)被附加到数据记录。元数据可以包括关于节目的任何信息，诸如节目标识符、节目时间、节目长度或任何其它信息。包括像素块的平均值、时间码和元数据的数据记录形成“数据点”(也被称为“线索”)。数据点310是参考视频数据点的一个示例。

识别未知视频段的过程以类似于创建参考数据库的步骤开始。例如，图4示出包括解码器的存储器缓冲器402的视频摘录捕捉系统400。视频摘录捕捉系统400可以是处理由显示器(例如，在互联网连接的电视监控器(诸如智能电视)、移动设备或其它电视观看设备上)呈现的数据的客户端设备102的一部分。视频摘录捕捉系统400可以利用类似的过程来生成未知视频数据点410，如创建参考视频数据点310的系统300所使用的。在一个示例中，媒体客户端106可以将未知视频数据点410发送到匹配引擎112以由匹配服务器104识别与未知视频数据点410相关联的视频段。

如图4中所示，视频块404可以包括10×10像素阵列。视频块404可以从显示器呈现的视频帧中提取。可以从视频帧中提取多个这种像素块。在一个说明性示例中，如果从视频帧中提取25个这种像素块，则结果将是表示75维空间中的位置的点。可以为阵列的每个颜色值(例如，RGB颜色值、Y、Cr、Cb颜色值等)计算平均数(或平均值)。数据记录(例如，未知视频数据点410)由平均像素值形成，并且当前时间被附加到该数据。可以使用上述技术将一个或多个未知视频数据点发送到匹配服务器104以与来自参考数据库116的数据匹配。

在一些示例中，可以在将线索数据发送到匹配服务器(例如，匹配服务器104)之前分析线索数据以减少发送到匹配服务器的数据量以及远离媒体系统的位置(例如在匹配服务器上或在与匹配服务器相关联的数据库中)存储的数据量。在一些示例中，新线索数据的至少一部分可以根据确定新线索数据是否与已经被发送到匹配服务器的先前线索数据足够相似而被丢弃。例如，可以从新线索数据中丢弃一个或多个像素数据样本。在其它示例中，在像素数据样本被匹配服务器接收之后，本文所述的用于丢弃像素数据样本的方法可以发生在匹配服务器上。

图5示出可以发送到匹配服务器(例如，匹配服务器104)的帧序列的示例。帧序列可以包括第一帧510、第二帧520、第三帧530和第四帧540。本领域的普通技术人员将认识到，在帧序列中可以存在更多或更少的帧。

在一些示例中，将帧序列的帧转换为线索数据的过程可以类似于图3中所讨论的。例如，可以在帧中识别一个或多个位置(例如，位置1、位置2、位置3、位置4、位置5、位置6、位置7和位置8)。在一些示例中，位置可以是像素块，其可以包括像素阵列(例如，以诸如10×10的格式排列的一个或多个像素)。在一些示例中，像素可以包括红色值、绿色值和蓝色值(在红-绿-蓝(RGB)颜色空间中)。本领域的普通技术人员将认识到可以使用其它颜色空间。在一些示例中，像素阵列中的一个或多个像素可以在发送到匹配服务器之前被概括。例如，一个或多个像素可以各自具有被平均的一个或多个像素的红色值，以为该一个或多个像素创建平均红色值。一个或多个像素还可以各自具有被平均的一个或多个像素的绿色值，以为该一个或多个像素创建平均绿色值。一个或多个像素还可以各自具有被平均的一个或多个像素的蓝色值，以为该一个或多个像素创建平均蓝色值。在一些示例中，像素的平均红色值、平均绿色值和平均蓝色值可以以类似方式与像素阵列中像素的其它平均红色值、平均绿色值和平均蓝色值一起求平均以针对位置创建像素数据样本。例如，一个或多个像素的红色平均值可以是0，一个或多个像素的绿色平均值可以是255，并且一个或多个像素的蓝色平均值可以是45。在这种示例中，一个或多个像素的像素数据样本可以是0、255和45，允许使用三位数来概括一个或多个像素。

在其它示例中，可以将像素的红色值、绿色值和蓝色值一起求平均以为像素创建平均像素值。可以将像素阵列中的像素的平均像素值与像素阵列中的其它像素的其它平均像素值一起求平均，以创建位置的像素数据样本。在这种示例中，可以将一个或多个红色值、一个或多个绿色值和一个或多个蓝色值一起求平均以创建一个数字来概括一个或多个像素。在上面的示例中，概括一个或多个像素的一个数字可以是100，它是0、255和45的平均值。

在一些示例中，可以为帧中的每个位置计算像素数据样本。帧的像素数据样本然后可以被组合以发送到匹配服务器。在一些示例中，组合可以包括将数字附加在一起以创建一个数字。例如，可以将100、25和55组合成100025055。在其它示例中，可以为每个位置用变量创建线索数据对象。在这种示例中，线索数据对象可以发送到匹配服务器。在其它示例中，像素数据(例如，像素的红色值、绿色值和蓝色值)可以用指示位置(如上所述)是否包括值的位图来串联。例如，包括值的位置可以包括“1”，并且不包括值的位置(例如，值被移除)可以包括“0”。本领域的普通技术人员将认识到，可以使用其它方法来概括帧中的位置。

图6示出其中若干像素数据样本行被移除的帧序列的示例。通过移除若干像素数据样本行，可以减小帧序列的大小，并且可以减少存储帧序列所需的存储器量。本领域的普通技术人员将认识到，可以从线索数据中移除单个像素数据样本，而不是移除整行。

在一些示例中，当线索数据的一个或多个像素数据样本类似于先前线索数据时，可从线索数据中移除一行像素数据样本。在一些示例中，当两个像素数据样本之间的差在像素值范围内时，像素数据样本可以类似于另一个像素数据样本。像素值范围可以被预配置。例如，像素值范围可以是在0-255的值范围(正或负)中的5个值。在这种示例中，当第一像素数据样本在第二像素数据样本的5个值内时，第一像素数据样本类似于第二像素数据样本。

在一个说明性示例中，帧610可以包括全部八个像素数据样本。然而，帧620可以包括像素数据样本4-8，而不是1-3。因为帧620的像素数据样本1-3的至少一个像素数据样本类似于帧610的像素数据样本1-3的对应像素数据样本，所以可以移除帧620的像素数据样本1-3。此外，帧630可以包括像素数据样本1-3和6-8，但不包括像素数据样本4-5。因为帧630的像素数据样本1-3不同于帧620的像素数据样本1-3，所以可以保留帧620的像素数据样本1-3。然而，因为帧630的像素数据样本4-5中的至少一个像素数据样本类似于帧620的像素数据样本4-5中的对应像素数据样本，所以可以移除帧630的像素数据样本4-5。另外，帧640可以包括像素数据样本6-8，而不是像素数据样本1-5。因为帧640的像素数据样本1-3中的至少一个像素数据样本类似于帧630的像素数据样本1-3中的对应像素数据样本，所以可以移除帧640的像素数据样本1-3。因为帧640的像素数据样本4-5中的至少一个像素数据样本类似于帧620的像素数据样本4-5中的对应像素数据样本，所以可以移除帧640的像素数据样本4-5(因为已经移除帧630的像素数据样本4-5，所以与帧630的比较可以被跳过)。在其它示例中，媒体系统可以存储帧630的像素数据样本4-5，使得媒体系统不必存储来自多个帧的像素数据样本。在这种示例中，帧640可以针对所有像素数据样本与帧630进行比较。

在一些示例中，一个或多个标志可以与线索数据一起或者作为线索数据的附加被发送到匹配服务器。一个或多个标志可以指示行是否已经从帧中移除。例如，标志“0”可以指示行没有被移除，并且“1”可以指示行已经被移除。在其它示例中，标志可以与每个像素数据样本相关联，指示特定像素数据样本是否被移除。本领域的普通技术人员将认识到，可以以不同的方式实现一个或多个标志，只要一个或多个标志向匹配服务器指示哪些行或哪些像素数据样本已经被移除。

图6示出帧的每一行的标志。标志612与帧610相关联。标志612包括第一标志614、第二标志616和第三标志618。第一标志614可以与帧610的第一行像素数据样本相关联，其可以包括像素数据样本1-3。第一标志614包括“0”，指示帧610的像素数据样本1-3还没有被移除。第二标志616可以与帧610的第二行像素数据样本相关联，其可以包括像素数据样本4-5。第二标志616包括“0”，指示帧610的像素数据样本4-5还没有被移除。第三标志616可以与帧610的第三行像素数据样本相关联，其可以包括像素数据样本6-8。第三标记618包括“1”，指示帧610的像素数据样本6-8还没有被移除。

标志622与帧620相关联。标志622包括第一标志624、第二标志626和第三标志。第一标志624可以与帧620的第一行像素数据样本相关联，其可以包括像素数据样本1-3。第一标志624包括“1”，指示帧610的像素数据样本1-3已经被移除。第二标志626可以与帧620的第二行像素数据样本相关联，其可以包括像素数据样本4-5。第二标志616包括“0”，指示帧620的像素数据样本4-5还没有被移除。

在一些示例中，匹配服务器可以接收标志。匹配服务器可以基于与线索数据相关联的一个或多个标志来确定在对线索数据执行操作时要使用什么像素数据样本。例如，当对帧620的线索数据执行操作时，匹配服务器可以确定对于像素数据样本1-3使用帧610的线索数据并且对于像素数据样本4-8使用帧620的线索数据。在一些示例中，操作可以包括将线索数据与参考数据集相匹配，如上所述。

在先前帧(例如，帧630)具有与当前帧(例如，帧640)相同的被移除的像素数据样本情况下，匹配服务器可以使用先前帧之前的帧(例如，帧620)。例如，当在帧640上执行操作时，匹配服务器可以使用帧630的像素数据样本1-3、帧620的像素数据样本4-5和帧640的像素数据样本6-8。

在一些示例中，可能没有像素数据样本不存在的指示(例如，标志)被发送到匹配服务器。通过不发送丢失的像素数据样本的指示，媒体系统可以向匹配的服务器发送更少的数据。在这种示例中，匹配服务器可以检测像素数据样本的不存在。确定像素数据样本不存在的一种方法是识别线索数据的一部分是否丢失。例如，当线索数据是位置中每一个位置的具有变量的对象时，当变量不包括值(或者包括空值、负值或像素数据样本还没有被包括的一些其它指示)时，匹配服务器可以识别丢失的像素数据样本。当线索数据是非对象格式时，可以使用字段分隔符，诸如逗号、空格或其它字符。预期丢失的数据可以通过在两个字段分隔符之间不包括一个或多个值来传达。在检测到丢失的像素数据样本时，匹配服务器可以替换来自一个或多个先前帧的最后一个非相似像素数据样本。

通过从帧中移除像素数据样本，还可以降低匹配服务器的整体存储负荷。这种情况如何发生的示例将是包括蓝天的视频段，该蓝天对于许多帧来说不会改变。与许多帧的蓝天相关联的像素数据样本可以从线索数据中移除，并且不被发送到匹配服务器，也不被匹配服务器存储。冗余数据的另一个示例可以在新闻、体育或娱乐访谈节目中找到，其中只有一部分帧正在移动(例如，人在说话)。不移动的帧的部分可以从线索数据中移除，并且不被发送到匹配服务器也不被匹配服务器存储。

图7示出帧序列700的示例，其中有帧未被发送到匹配服务器(例如，匹配服务器104)。在一些示例中，当帧与先前帧足够相似时，媒体系统可以确定不将该帧发送到匹配服务器。在其它示例中，媒体系统可以确定在一天中的特定时间时不将帧发送到匹配服务器。在这种示例中，较低的帧速率可足以用于监控观看统计。

在一些示例中，可通过将当前帧的一个或多个当前像素数据样本与先前帧的一个或多个先前像素数据样本进行比较来确定足够类似，如上面所讨论的。在一些示例中，当前帧的一个或多个当前像素数据样本可与相似像素数据样本的任何先前像素数据样本进行比较。媒体系统可以比较当前帧的当前像素数据样本与先前帧的先前像素数据样本匹配的数量。在一些实施方式中，如果数量超过阈值，则媒体系统可以确定不将当前帧发送到匹配服务器。在一些示例中，阈值可以是像素数据样本的百分比(例如，80％、90％或指示媒体系统足够确信当前帧和先前帧足够相似的一些其它百分比)。本领域的普通技术人员将认识到，阈值可以是不同的格式(例如，相似像素数据样本的最小数量，每行上相似的像素数据样本的数量，或指示在一帧到另一帧之间相似性的一些其它度量)。

为了示出帧未被发送的示例，帧序列700包括若干帧(例如，第一帧710、第二帧720、第三帧730、第四帧740、第五帧750、第六帧760和第七帧770)。包括实线的帧可以指示该帧从媒体系统发送到匹配服务器。包括虚线的帧可以指示该帧不从媒体系统发送到匹配服务器。第一帧710包括实线，指示第一帧710发送到匹配服务器。第一帧710可以发送到匹配服务器，因为第一帧710不具有与之匹配的先前帧。另一方面，媒体系统可以确定第二帧720不应发送到匹配服务器，因为第二帧720与第一帧710足够相似。

第三帧730可发送到匹配服务器，指示第三帧与第二帧720足够不同以需要将第三帧730发送到匹配服务器。

在一些示例中，当帧未发送到匹配服务器时，媒体系统可能不存储该帧。在这种示例中，与当前帧和先前帧的比较可以跳过没有发送到匹配服务器的任何帧。例如，由于第五帧750和第六帧760二者均未被发送到匹配服务器，所以可以将第七帧770与第四帧740进行比较。在这种示例中，媒体系统可以仅存储发送到匹配服务器的先前帧。

在其它实施例中，媒体系统可能仅存储被转换成线索数据的先前帧，而不管线索数据是否被发送到匹配服务器。在这种示例中，可以对未被发送到匹配服务器的帧进行与当前帧和先前帧的比较。例如，即使第六帧760未被发送到匹配服务器，也可以将第七帧770与第六帧760进行比较。

类似的帧的示例可以在新闻、体育或娱乐访谈节目中找到，但不限于此，其中仅帧的声音分量在改变(例如，固定的图片)。在这种示例中，媒体系统可以确定特定数量的连续帧还没有被发送到匹配系统。在确定特定数量的连续帧还没有被发送时，媒体系统可以确定将其它信息发送到匹配服务器以识别在媒体系统上正在显示的帧(例如，可以发送帧的音频部分而不是视频部分)。在这种示例中，匹配服务器可以使用一个或多个音频部分而不是一个或多个视频部分(例如，一个或多个帧中的像素)来识别在媒体系统上正在显示的视频段。

在帧未被发送到匹配服务器的示例中，媒体系统可以发送指示帧未被发送的标志。在其它实施例中，标志可以被包括在发送到匹配服务器的帧中，该标志指示帧号，使得匹配服务器可以确定帧何时未被发送。在其它实施例中，可以不向匹配服务器发送标志。在这种实施例中，匹配服务器可以在没有对丢失帧的任何认识的情况下继续将帧匹配到视频段。本文的匹配方法允许匹配服务器在一个或多个帧未被发送到匹配服务器时仍识别视频段。

图8是示出用于从帧的线索数据丢弃像素数据样本的过程800的示例的流程图。在一些示例中，过程800可以由媒体系统执行。过程800被示为逻辑流程图，其操作表示可以在硬件、计算机指令或其组合中实现的一系列操作。在计算机指令的背景中，该操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，该计算机可执行指令在由一个或多个处理器执行时执行所述操作。通常，计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被解释为限制，并且任何数量的所述操作可以以任何顺序和/或并行地组合以实现这些过程。

另外，过程800可以在用可执行指令配置的一个或多个计算机系统的控制下被执行，并且可以被实现为通过硬件或其组合在一个或多个处理器上一同执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用程序)。如上所述，例如以包括可由一个或多个处理器执行的多个指令的计算机程序的形式，代码可以存储在机器可读存储介质上。机器可读存储介质可以是非暂态的。

在步骤805处，过程800包括接收初始帧。在一些示例中，初始帧可以与第一视频段相关联。在这种示例中，媒体系统可能不知道第一视频段的标识。媒体系统可以从远程源(包括广播提供者或网络(例如互联网)上的服务器)接收初始帧。在一些示例中，初始帧可以包括像素数据。像素数据可以包括允许显示帧的像素。在一些示例中，像素可以包括一个或多个像素值(例如，在红-绿-蓝(RGB)颜色空间中的红色值、绿色值和蓝色值)。

在步骤810处，过程800包括确定初始帧的初始线索数据。初始线索数据可以包括与初始帧相关联的多个初始像素数据样本。在一些示例中，可以对于初始帧的一个或多个位置(例如，像素块)中的每一个位置确定初始像素数据样本。在一些示例中，可以通过对某一位置中包括的一个或多个像素进行概括(例如，取平均值)来对于该位置计算初始像素数据样本。一个或多个像素可以是像素的阵列(例如10×10)。在一些示例中，可以分别概括一个或多个像素的红色值、绿色值和蓝色值。在其它示例中，可以将一个或多个像素的红色值、绿色值和蓝色值概括在一起以创建该位置的一个数字。

在步骤815处，过程800包括发送初始线索数据。初始线索数据可以通过向服务器寻址初始线索数据而被发送到服务器(例如，匹配服务器)。服务器可以尝试将初始线索数据与第一参考数据集匹配。匹配可以通过将初始线索数据与其它线索数据(例如，第一参考数据集)进行比较而发生。

在步骤820处，过程800包括接收新帧。在一些示例中，新帧可以包括像素数据，并且在初始帧之后被接收。新帧可以与第二视频段相关联。在一些示例中，第二视频段可以与第一视频段相同。例如，媒体系统可以从相同的视频段接收两个帧。在其它示例中，第二视频段可以不同于第一视频段。例如，在接收初始帧和新帧之间可能发生第一视频段和第二视频段之间的过渡。

在步骤825处，过程800包括确定新帧的新线索数据。新线索数据可以包括与新帧相关联的多个新像素数据样本。新线索数据可以与上面针对初始线索数据讨论的相同方式来确定。

在步骤830处，过程800包括识别像素值范围。在一些示例中，像素值范围可以是多个像素值。在一些示例中，当像素数据样本之间的像素值差在像素值范围内时，像素数据样本被确定为相似。例如，像素值范围可以是5个值。在这种示例中，当第二像素数据样本在第一像素数据样本的正5或负5的值内时，第一像素数据样本将在第二像素数据样本的像素值范围内。

在步骤835处，过程800包括确定初始像素数据样本与新像素数据样本之间的像素值范围差。在一些示例中，初始像素数据样本可以对应于新像素数据样本。例如，如果初始像素数据样本与图5的第一帧510的位置1相关联，则与第二帧520的位置1相关联的像素数据样本将与初始像素数据样本对应。

在步骤840处，过程800包括确定像素值差在像素值范围内。在一些示例中，通过将像素值差与像素值范围进行比较以识别像素值差是否小于像素值范围，可以确定像素值差在像素值范围内。

在步骤845处，过程800包括当像素值差在像素值范围内时，通过从新线索数据中移除新像素数据样本来更新新线索数据。在一些示例中，从新线索数据中移除新像素数据样本可以包括从新线索数据中移除一行像素数据样本。在这种示例中，新像素数据样本可以被包括在该行像素数据样本中。在其它示例中，可以从新线索数据仅移除新像素数据样本，而不是移除整行。

在步骤850处，过程800包括发送更新的新线索数据。通过将更新的新线索数据寻址到服务器，可以将更新的新线索数据发送到服务器。服务器可以尝试将更新的新线索数据与第二参考数据集匹配。匹配可以通过将新的更新线索数据与其它线索数据(例如，第二参考数据集)进行比较来进行。在一些示例中，当将新的更新线索数据与其它线索数据进行比较时，匹配服务器可以使用来自在更新的新线索数据之前接收到的线索数据的像素数据样本来替换移除的像素数据样本。在这种示例中，匹配服务器可以使用先前帧中与移除的像素数据样本对应的像素数据样本。

在一些示例中，过程800可以进一步包括发送标志，该标志指示从新的线索数据中移除新像素数据样本。在其它示例中，过程800可以进一步包括发送标志，该标志指示从新线索数据中移除一行像素数据样本。在这种示例中，新像素数据样本可以被包括在该行中。在任何一组示例中，都可以通过将标志寻址到服务器来将标志发送到服务器。

图9是示出使用初始帧数据来确定未识别的媒体段以补充新的帧数据的过程900的示例的流程图。在一些示例中，过程800可以由媒体系统执行。过程900被示为逻辑流程图，其操作表示可以在硬件、计算机指令或其组合中实施的操作序列。在计算机指令的背景中，该操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，该计算机可执行指令在由一个或多个处理器执行时执行所述操作。通常，计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、组件、数据结构等。所描述的操作的顺序不旨在被解释为限制，并且任何数量的所述操作可以以任何顺序和/或并行地组合以实现该过程。

另外，过程900可以在用可执行指令配置的一个或多个计算机系统的控制下执行，并且可以被实现为通过硬件或其组合在一个或多个处理器上一同执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用程序)。如上所述，例如以包括可由一个或多个处理器执行的多个指令的计算机程序的形式，代码可以存储在机器可读存储介质上。机器可读存储介质可以是非暂态的。

在步骤910处，过程900包括将多个参考数据集存储在参考数据库中。在一些示例中，参考数据集可以与媒体段相关联。在一些示例中，参考数据集可以对应于线索数据(例如，可以与线索数据类似的方式来确定参考数据集，使得参考数据集可以与线索数据匹配)。

在步骤920处，过程900包括接收帧的线索数据。线索数据可以从服务器(例如，匹配服务器)接收。在一些示例中，线索数据可以包括与帧相关联的多个像素数据样本。该帧可以与第一未识别的媒体段相关联。

在步骤930处，过程900包括识别帧的线索数据中不存在像素数据样本。在一些示例中，如上所述，识别不存在像素数据样本包括针对丢失的像素数据样本分析线索数据。

在其它示例中，过程900可以通过以下步骤识别像素数据样本不存在。如上所述，匹配服务器可以识别先前的线索数据并且确定先前的线索数据包括先前的像素数据样本。先前的线索数据可以在该线索数据之前被接收。在其它示例中，匹配服务器可以识别先前的线索数据，确定先前的像素数据样本不存在于先前的线索数据，并且确定使用先前的像素数据样本来匹配参考数据集的帧的线索数据，如上所述。

在步骤940处，过程900包括将帧的线索数据与参考数据集匹配。参考数据集可以与媒体段相关联。在一些示例中，匹配可以包括使用先前线索数据的先前像素数据样本。先前的线索数据可以来自先前帧。在一些示例中，先前像素数据样本对应于不存在于帧中的像素数据样本。

在步骤950处，过程900包括确定未识别的媒体段是该媒体段。如上所述，当与该媒体段相关联的仓达到阈值时，未识别的媒体段可被识别为该媒体段。

在一些示例中，过程900可以进一步包括接收标志，该标志指示像素数据样本不存在于线索数据。像素数据样本的不存在可以使用该标志来识别。在其它示例中，过程900可以进一步包括接收标志，该标志指示一行像素数据样本不存在于线索数据。在这种示例中，像素数据样本可以被包括在该行中。

在一些示例中，过程900可以进一步包括从中间帧识别中间线索数据。中间线索数据可以包括来自中间帧的多个像素数据样本。在一些示例中，中间帧可以与第一未识别媒体段相关联。在这种示例中，过程900可以进一步包括识别没有中间像素数据样本来自该中间帧的中间线索数据。

在这种示例中，过程900可以进一步包括从先前帧中识别先前的线索数据。先前的线索数据可以包括来自先前帧的多个像素数据样本。在一些示例中，先前帧可以与第二未识别的媒体段相关联。在一些示例中，第二未识别视频段可以与第一未识别视频段相同。例如，媒体系统可以从同一未识别的视频段接收两个帧，并将这两个帧发送给匹配服务器。在其它示例中，第二未识别视频段可以不同于第一未识别视频段。例如，第一未识别视频段与第二未识别视频段之间的过渡可能发生在接收初始帧与新帧之间。

如上所讨论，视频匹配系统可以被配置成当媒体内容流包括未识别的媒体段时识别该媒体内容流。如上面进一步讨论的，识别媒体内容流可以包括识别在未识别的媒体段之前或之后由媒体显示设备呈现的媒体内容。以上关于图1讨论了用于识别媒体内容的过程。具体地，视频内容系统可以使用从媒体内容设备的显示机构取得的样本(例如，图形和/或音频样本)并且从这些样本生成线索。视频匹配系统然后可以将线索与参考数据库匹配，其中数据库包含已知内容的线索。

视频匹配系统可以进一步包括用于提高查找数据库中的潜在匹配或“候选者”的效率的各种方法。数据库可以包含大量的线索，并且因此视频匹配系统可以包括用于找出候选线索以匹配从媒体内容设备的显示机构生成的线索的算法。定位候选提示可能比用于将线索值与数据库中的值匹配的其它方法(诸如，将线索与数据库中的每个条目匹配)更有效。

最近的邻居和路径追踪是可用于在参考数据库中定位候选队列的技术的示例。下面给出使用模糊线索跟踪视频传输的示例，但一般概念可以应用于从参考数据库中选择候选匹配的任何领域。

呈现了一种用于高效视频追踪的方法。给定大量视频段，系统必须能够实时识别给定查询视频输入取自什么视频段以及在什么时间偏移。视频段和偏移一起被称为位置。该方法被称为视频追踪，因为它必须能够有效地检测和适应暂停、快进、倒带、突然切换到其它视频段并切换到未知视频段。在能够追踪实时视频之前，处理数据库。视觉线索(少数像素值)从帧中每隔恒定的几分之一秒被取出，并放入专门的数据结构(请注意，这也可以实时完成)。视频追踪通过不断接收来自输入视频的线索并更新关于其当前位置的一组信念或估计来执行。每个线索或者同意或者不同意该估计，并且它们被调节以反映新的证据。如果对此为真的置信度足够高，则假设视频位置是正确的位置。通过仅追踪一小部分可能的“可疑”位置，这可以高效地完成。

描述了用于视频追踪的方法，但是该方法使用数学构造来解释和调查它。该介绍的目的是给读者提供在这两个领域之间转换的必要工具。视频信号由连续帧组成。每一帧可以被认为是静止图像。每一帧都是像素的光栅。每个像素由对应于构成该像素颜色的红色、绿色和蓝色(RGB)的三个强度值构成。在本文使用的术语中，线索是帧中的像素的子集的RGB值的列表以及对应的时间戳。线索中的像素数量明显小于帧中的像素数量，通常在5到15之间。作为标量值的有序列表，线索值实际上是向量。该向量也被称为点。

尽管这些点在高维度中，通常在15到150之间，但它们可以被想象成二维空间中的点。事实上，插图将作为二维绘图给出。现在，考虑视频的进展及其对应的线索点。通常，小的时间变化会导致像素值的小变化。像素点可以被视为在帧之间少许“移动”。从帧到帧之间的这些微小的移动之后，该线索跟随空间中的路径，如珠子将在弯曲线上那样。

在这种类比的语言中，在视频追踪中，接收珠子在空间中的位置(线索点)，并且寻找珠子跟随的线的一部分(路径)。出于两个事实这明显更困难。首先，珠子不准确地跟随线，而是与线保持具有一些变化的未知距离。其次，线都缠在一起。这些陈述在第2节中变得更准确。下面描述的算法在两个概念步骤中完成这项任务。当接收到线索时，算法查找所有已知路径上足够接近线索点的所有点；这些点被称为可疑者。这使用等球算法中概率点位置有效地完成。这些可疑者被添加到历史数据结构中，并且计算它们中每一个指示真实位置的概率。该步骤还包括移除概率不大的可疑位置。该历史更新过程一方面确保只保留一小段历史，另一方面不会删除可能的位置。通用算法在算法1中给出，并在图10中示出。

下节以描述第1节中的等球中概率点位置(PPLEB)算法开始。使用PPLEB算法以便有效地执行上述算法1中的第5行。迅速执行搜索可疑者的能力对于该方法的适用性至关重要。在第2节中，描述了执行第6和7行的一个可能的统计模型。所描述的模型是设置的自然选择。它也显示了如何可以非常有效地使用它。

第1节-等球中的概率点位置

下节描述了用于执行等球(PPLEB)中概率点位置的简单算法。在传统的PLEB(等球中的点位置)中，在lR d和半径为r的特定球中，算法以n点集合x开始。该算法被给予O(多(n))预处理时间以产生有效的数据结构。然后，给定查询点x，算法需要返回所有点x，使得||x-x_i||≤r。点的集合使得||x-x_i||≤r几何地位于围绕查询x的半径r的球内。该关系被称为x，接近x或者作为x，并且x是邻居。

PPLEB的问题和最近邻居搜索的问题是在学术界受到很多关注的两个类似的问题。事实上，这些问题是计算几何学领域最早研究的问题。许多不同的方法迎合环境维度较小或不变的情况。这些以不同的方式划分空间，并递归搜索各部分。这些方法包括KD树、覆盖树和其它。尽管在低维度方面非常有效，但是当环境维度高时，它们往往表现很差。这被称为“维度诅咒”。各种方法试图解决这个问题，同时克服维度诅咒。本文使用的算法使用更简单和更快的版本的算法，并且可以依靠局部敏感散列(Local Sensitive Hashing)。

第1.1节局部敏感散列

在局部敏感散列的方案中，人们设计了散列函数族H，使得：

换句话说，如果x和y彼此接近，x和y被映射到相同的值h的概率显著更高。

为了清楚起见，让我们首先处理所有进入的向量具有相同长度r'和

的简化情况。后一条件的原因稍后会变得清楚。首先定义随机函数u∈U，它根据x、y之间的角度在x和y之间分开。令

是从单位球S^d-1中均匀选择的随机向量，令

很容易验证Pr_u-U(u(x))≠u(y))＝0_x,y/π。此外，对于圆上的任何点x、y、x'、y'，使得

函数族H被设定为u的t个独立副本的叉积，即h(x)＝[u1(x)，...，u_t(x)]。直觉上，人们希望：如果h(x)＝h(y)，则x和y很可能彼此接近。让我们量化一下。首先，计算假阳性错误的预期数量

这些是h(x)＝h(y)但是||x-y||＞2r的情况。找到n_fp不超过1的值t，即一预计不会是错的。

E[n_ft/≤n(1-2p)^t≤1

→t≥log(1/n)/log(1-2p)

现在计算h(x)＝h(y)在给定它们是邻居时的概率：

这里注意，必须具有2p＜1，这需要

这听起来可能不像是非常高的成功概率。事实上，

显著小于1/2。下一节将介绍如何将这个概率提高到1/2。

第1.2节点搜索算法

每个函数h将空间中的每个点映射到桶。将点x的桶函数

相对于散列函数h定义为B_h(x)≡{x_i|h(x_i)＝h(x)}。所维持的数据结构是桶函数[Bh₁，...，Bh_m]的

实例。当搜索点x时，函数返回

根据上一节，有两个期望的结果：

Pr(x_i∈B(x)|||x_i-x||≤r)≥1/2

换句话说，尽管发现x的每个邻居至少有1/2的概率，但是不可能找到许多非邻居。

第1.3节处理不同的半径输入向量

之前的章节仅处理搜索相同长度的向量，即r'。现在描述的是如何使用该构建作为构件块来支持不同半径的搜索。如图13中可见，空间被分成若干个具有指数增长宽度的环。由R_i表示的环i包括所有的点x_i，使得‖x_i‖∈[2r(1+∈)ⁱ,2r(1+∈)ⁱ⁺¹]。这样做达到了两个目的。首先，如果x_i和x_j属于同一个环，则||x_j||/(1+∈)≤‖x_i‖≤||x_j||(1+∈)。其次，任何搜索都可以在最多1/∈这种环中执行。此外，如果数据集中的最大长度向量是r'，则系统中环的总数是O(log(r'/r))。

第2节路径追踪问题

在路径追踪问题中，空间中的固定路径与时间点序列中的粒子的位置一起给出。术语“粒子”、“线索”和“点”将可以互换使用。该算法需要输出粒子在路径上的位置。这因为几个因素而变得更加困难：粒子只是近似跟随路径；路径可以不连续并多次自行相交；粒子和路径位置二者都是按时间点序列给出的(每个时间点都不相同)。

重要的是，要注意该问题可以模拟在任何数量的路径上跟踪粒子。这可以简单地通过将路径连接成一个长路径并将所得位置解释为单个路径上的位置来完成。

更准确地说，令路径P为参数曲线

曲线参数将被称为时间。我们所知的路径上的点是在任意时间点t_i给出的，即给出n对(t_i,P(t_i))。粒子跟随路径，但其位置在不同的时间点给出，如图14中所示。此外，还给出了m对(t’_j,x(t’_j))，其中x(t’_j)是时间t’_j中粒子的位置。

第2.1节似然估计

由于粒子不精确地跟随路径，并且由于路径可以多次自行相交，所以通常不可能肯定地识别粒子实际上在路径上的位置。因此，在所有可能的路径位置上计算概率分布。如果位置概率是显著可能的，则假定粒子位置是已知的。下节描述如何有效地完成此操作。

如果粒子跟随路径，则粒子时间戳与P上相应点的偏移之间的时间差应相对固定。换句话说，如果x(t')当前在路径上的偏移t中，则它应该接近P(t)。另外，τ秒之前，它应该已经在偏移t-τ中。因此x(t'-τ)应该接近P(t-τ)(注意，如果粒子与路径相交，且x(t')暂时接近P(t)，则x(t'-τ)和P(t-τ)不大可能也接近)。定义相对偏移为Δ＝t-t'。注意，只要粒子遵循路径，则相对偏移Δ保持不变。即，x(t')接近P(t'+Δ)。

通过计算得到最大似然相对偏移：

换句话说，最有可能的相对偏移是粒子历史对它而言最有可能的那个相对偏移。然而该方程不能在没有统计模型的情况下求解。该模型必须量化：x跟随路径有多紧；x在各个位置之间跳跃的概率有多大；路径和粒子曲线在测量点之间有多平滑。

第2.2节时间折扣建仓

现在描述用于估计似然函数的统计模型。该模型假设粒子偏离路径的偏差以标准偏差ar正常分布。它还假定在任何给定的时间点，粒子将突然切换到另一条路径的概率是非零的。这体现在对过去点数的指数折扣。除了作为建模观点的合理选择之外，该模型还具有可高效更新的优点。对于一些恒定的时间单位1，设定似然函数与f成比例，其定义如下：

这里α<<1是比例系数并且ζ＞0是粒子将以给定时间单位跳到路径上的随机位置的概率。

有效地更新函数f可以使用以下简单的观察来实现。

此外，由于α<<1，如果||x(t′_m)-P(t_i)||≥r，则发生以下情况：

这是似然函数的重要性质，因为总和更新现在可以仅在x(t’_j)的邻居上执行而不是在整个路径上执行。用S表示(t_i,P(t_i))的集合使得||x(t′_m)-P(t_i)||≤r。以下方程发生：

这在下面的算法2.2中描述。项f被用作也接收负整数索引的稀疏向量。集合S是路径上x(t_i)的所有邻居的集合，并且可以使用PPLEB算法快速计算。很容易验证，如果x(t_i)的邻居数受一些常数n_near限制，则向量f中非零的数量由仅是更大的常数因子的n_near/ζ限制。该算法的最后阶段是如果

超过一些阈值，则输出特定值δ。

图10给出三个连续的点位置和它们周围的路径点。请注意，无论是最低点还是中间点单独都不足以识别路径的正确部分。然而它们在一起可以识别。添加顶点增加了粒子确实是路径的最终(左)曲线的确定性。

在图11中，给定n(灰色)点集合，该算法被给予查询点(黑色)，并返回与它相隔距离r内的点集合(圆内的点)。在传统设定中，算法必须返回所有这些点。在概率设定中，每个这种点应该以一些恒定的概率返回。

图12示出了u(x₁)、u(x₂)和u(x)的值。直观地说，如果虚线在它们之间经过，则函数u给x₁和x₂赋予不同的值，如若不然，则赋予相同的值。沿随机方向经过的虚线确保发生这种情况的概率与x₁和x₂之间的角度成正比。

图13示出通过将空间划分为多个环使得环R_i在半径2r(1+∈)ⁱ和2r(1+∈)ⁱ⁺¹之间，可以确保环内的任何两个向量是相同长度的，直至(1+∈)因子，并且任何搜索在至多1/∈环中执行。

图14示出自相交的路径和查询点(黑色)。它表明，没有粒子位置的历史，就不可能知道它在路径上的位置。

图15给出三个连续的点位置和它们周围的路径点。请注意，x(t₁)和x(t₂)单独都不足以识别路径的正确部分。然而它们在一起可以识别。添加x(t₃)增加了粒子确实是路径的最终(左)曲线的确定性。

可以根据具体要求做出实质性的变化。例如，也可以使用定制的硬件，和/或可以用硬件、软件(包括便携式软件，诸如小应用程序等)或两者来实现特定的要素。此外，可以利用到诸如网络输入/输出设备的其它访问或计算设备的连接。

在前述说明书中，参考其具体示例描述了本公开的各方面，但是本领域技术人员将认识到，本公开不限于此。以上公开的各种特征和方面可以单独或联合使用。此外，在不脱离本说明书的更宽泛的精神和范围的情况下，可以在除本文所描述的那些以外的任何数量的环境和应用中使用示例。因此，说明书和附图被认为是说明性的而不是限制性的。

在前面的描述中，为了说明的目的，以特定的顺序描述了方法。应该理解的是，在替代示例中，可以以与所描述的顺序不同的顺序来执行这些方法。还应该理解的是，上述方法可以由硬件组件来执行，或者可以按照机器可执行指令的顺序来实施，该机器可执行指令可用于使机器(诸如通用或专用处理器或用这些指令编程的逻辑电路)来执行该方法。这些机器可执行指令可以存储在一个或多个机器可读介质上，诸如CD-ROM或其它类型的光盘、软盘、ROM、RAM、EPROM、EEPROM、磁卡或光卡、闪速存储器或适于存储电子指令的其它类型机器可读介质。可替代地，该方法可以通过硬件和软件的组合来执行。

在将组件描述为被配置为执行某些操作的情况下，可以例如通过执行操作的设计电子电路或其它硬件，通过执行操作的编程可编程电子电路(例如，微处理器或其它合适的电子器件电路)，或其任何组合来实现这种配置。

虽然本文已经详细描述了本申请的说明性示例，但是应该理解，本发明构思可以以其它方式被不同地体现和采用，并且所附权利要求旨在被解释为包括这种变体，除了受现有技术的限制。

图1

102 客户端设备

104 匹配服务器

106 媒体客户端

108 输入设备

110 输出设备

112 匹配引擎

114 候选确定引擎

116 参考数据库

118 数据源

120 结果引擎

126 背景触发的应用程序

128 视频节目

图2

Timecode 时间码

Metadata 元数据

204 参考数据点

212 匹配引擎

214 候选确定引擎

图3

Timecode 时间码

Metadata 元数据

10pixel 10个像素

图4

10pixel 10个像素

图7

700 帧序列

图8

805 接收初始帧

810 确定初始帧的初始线索数据

815 发送初始线索数据

820 接收新帧

825 确定新帧的新线索数据

830 识别像素值范围

835 确定初始像素数据样本与新像素数据样本之间的像素值差

840 确定像素值差在像素值范围内

845 当像素值差在像素值范围内时，通过从新线索数据中移除新像素数据样

本来更新新线索数据

850 发送更新的新线索数据

图9

910 在参考数据库中存储多个参考数据集

920 接收帧的线索数据

930 识别帧的线索数据中不存在像素数据样本

940 将帧的线索数据与参考数据集匹配

950 确定未识别的媒体段是该媒体段

图10

Path points 路径点

Suspect 可疑者

Particle location 粒子位置

Claims (17)

1.一种用于优化发送到用于内容识别的匹配服务器的线索数据的计算机实现的方法，所述方法包括：

接收初始帧，其中所述初始帧包括像素数据；

确定所述初始帧的初始线索数据，其中所述初始线索数据包括与所述初始帧相关联的多个初始像素数据样本或所述初始帧中的像素子集的像素数据的至少一个平均值；

发送所述初始线索数据，其中所述初始线索数据被寻址到服务器；

接收新帧，其中所述新帧包括像素数据，并且其中所述新帧在所述初始帧之后被接收；

确定所述新帧的新线索数据，其中所述新线索数据包括与所述新帧相关联的多个新像素数据样本或所述新帧中的像素子集的像素数据的至少一个平均值；

识别像素值范围，其中当像素数据样本之间的像素值差在所述像素值范围内时，所述像素数据样本被确定为相似；

确定初始像素数据样本与新像素数据样本之间的像素值差，其中所述初始像素数据样本和所述新像素数据样本与所述初始帧和所述新帧的相同区域相关联；

确定所述像素值差在所述像素值范围内；

当所述像素值差在所述像素值范围内时，通过从所述新线索数据中移除所述新像素数据样本来更新所述新线索数据；

将所述更新的新线索数据发送到所述匹配服务器，其中所述更新的新线索数据被寻址到所述服务器；以及

将标志发送到所述匹配服务器，所述标志指示所述新像素数据样本被从所述新帧数据中移除。

2.根据权利要求1所述的计算机实现的方法，其中：

所述标志指示从所述新线索数据中移除一行像素数据样本，其中所述新像素数据样本被包括在所述行中，并且其中所述标志被寻址到所述服务器。

3.根据权利要求1所述的计算机实现的方法，其中像素数据样本从像素块计算出，并且其中所述像素块包括帧的像素阵列。

4.根据权利要求3所述的计算机实现的方法，其中通过取所述像素块中的像素的像素值的平均值来计算所述像素数据样本。

5.根据权利要求1所述的计算机实现的方法，其中所述服务器被配置为识别从所述更新的新线索数据中移除所述新像素数据样本。

6.根据权利要求1所述的计算机实现的方法，其中所述初始帧被包括在广播信号中。

7.一种用于优化发送到用于内容识别的匹配服务器的线索数据的系统，包括：

一个或多个处理器；以及

包含指令的非暂态计算机可读介质，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：

接收初始帧，其中所述初始帧包括像素数据；

确定所述初始帧的初始线索数据，其中所述初始线索数据包括与所述初始帧相关联的多个初始像素数据样本或所述初始帧中的像素子集的像素数据的至少一个平均值；

发送所述初始线索数据，其中所述初始线索数据被寻址到所述匹配服务器；

接收新帧，其中所述新帧包括像素数据，并且其中所述新帧在所述初始帧之后被接收；

确定所述新帧的新线索数据，其中所述新线索数据包括与所述新帧相关联的多个新像素数据样本或所述新帧中的像素子集的像素数据的至少一个平均值；

识别像素值范围，其中当像素数据样本之间的像素值差在所述像素值范围内时，所述像素数据样本被确定为相似；

确定初始像素数据样本与新像素数据样本之间的像素值差，其中所述初始像素数据样本和所述新像素数据样本与所述初始帧和所述新帧的相同区域相关联；

确定所述像素值差在所述像素值范围内；

当所述像素值差在所述像素值范围内时，通过从所述新线索数据中移除所述新像素数据样本来更新所述新线索数据；

将所述更新的新线索数据发送到所述匹配服务器，其中所述更新的新线索数据被寻址到所述匹配服务器；以及

将标志发送到所述匹配服务器，所述标志指示所述新像素数据样本被从所述新帧数据中移除。

8.根据权利要求7所述的系统，其中：

所述标志指示从所述新线索数据中移除一行像素数据样本，其中所述新像素数据样本被包括在所述行中，并且其中所述标志被寻址到所述匹配服务器。

9.根据权利要求7所述的系统，其中像素数据样本从像素块中计算出，并且其中所述像素块包括帧的像素阵列。

10.根据权利要求9所述的系统，其中所述像素数据样本通过取所述像素块中的像素的像素值的平均值来计算。

11.根据权利要求7所述的系统，其中所述匹配服务器中被配置为识别从所述更新的新线索数据中移除所述新像素数据样本。

12.根据权利要求7所述的系统，其中所述初始帧被包括在广播信号中。

13.一种非暂态机器可读存储介质，包括指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器：

接收初始帧，其中所述初始帧包括像素数据；

确定所述初始帧的初始线索数据，其中所述初始线索数据包括与所述初始帧相关联的多个初始像素数据样本或所述初始帧中的像素子集的像素数据的至少一个平均值；

发送所述初始线索数据，其中所述初始线索数据被寻址到匹配服务器；

接收新帧，其中所述新帧包括像素数据，并且其中所述新帧在所述初始帧之后被接收；

确定所述新帧的新线索数据，其中所述新线索数据包括与所述新帧相关联的多个新像素数据样本或所述新帧中的像素子集的像素数据的至少一个平均值；

识别像素值范围，其中当像素数据样本之间的像素值差在所述像素值范围内时，所述像素数据样本被确定为相似；

确定初始像素数据样本与新像素数据样本之间的像素值差，其中所述初始像素数据样本和所述新像素数据样本与所述初始帧和所述新帧的相同区域相关联；

确定所述像素值差在所述像素值范围内；

当所述像素值差在所述像素值范围内时，通过从所述新线索数据中移除所述新像素数据样本来更新所述新线索数据；

将所述更新的新线索数据发送到所述匹配服务器，其中所述更新的新线索数据被寻址到所述匹配服务器；以及

将标志发送到所述匹配服务器，所述标志指示所述新像素数据样本被从所述新帧数据中移除。

14.根据权利要求13所述的非暂态机器可读存储介质，其中：

所述标志指示从所述新线索数据中移除一行像素数据样本，其中所述新像素数据样本被包括在所述行中，并且其中所述标志被寻址到所述匹配服务器。

15.根据权利要求13所述的非暂态机器可读存储介质，其中像素数据样本从像素块中计算出，并且其中所述像素块包括帧的像素阵列。

16.根据权利要求15所述的非暂态机器可读存储介质，其中所述像素数据样本通过取所述像素块中的像素的像素值的平均值来计算。

17.根据权利要求13所述的非暂态机器可读存储介质，其中所述匹配服务器被配置为识别从所述更新的新线索数据中移除所述新像素数据样本。

Images