CN108028947B - 用于改善acr电视监控系统中的工作负荷管理的系统和方法 - Google Patents

用于改善acr电视监控系统中的工作负荷管理的系统和方法 Download PDF

Info

Publication number
CN108028947B
CN108028947B CN201680053312.6A CN201680053312A CN108028947B CN 108028947 B CN108028947 B CN 108028947B CN 201680053312 A CN201680053312 A CN 201680053312A CN 108028947 B CN108028947 B CN 108028947B
Authority
CN
China
Prior art keywords
real
content
unknown
media content
time database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680053312.6A
Other languages
English (en)
Other versions
CN108028947A (zh
Inventor
泽埃夫·诺伊迈尔
迈克尔·柯莱特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inscape Data Inc
Original Assignee
Vizio Inscape Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vizio Inscape Technologies LLC filed Critical Vizio Inscape Technologies LLC
Publication of CN108028947A publication Critical patent/CN108028947A/zh
Application granted granted Critical
Publication of CN108028947B publication Critical patent/CN108028947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts

Abstract

公开了通过延迟对某些大量媒体线索数据的识别来优化自动内容识别(ACR)系统的资源利用的系统和方法。媒体的延迟识别可以用于例如生成使用统计或其它非时间先决的工作流以及其它非实时用途。另外，为了视频节目替换、交互式电视机会或其它时间特定事件的目的，执行媒体线索数据的某一子集的实时识别。

Description

用于改善ACR电视监控系统中的工作负荷管理的系统和方法
相关申请的交叉引用
本申请要求于2015年7月16日提交的美国临时专利申请No.62/193,345的权益，其公开内容通过引用整体并入本文。
本申请涉及2014年11月24日提交的美国专利申请No.14/551,933，其是2013年11月25日提交的美国专利申请No.14/089,003(现为美国专利No.8,898,714)的继续申请，该专利No.8,898,714为2010年5月27日提交的美国专利申请No.12/788,721(现为美国专利No.8,595,781B2)的继续申请，该专利No.8,595,781B2要求2009年5月29日提交的美国临时专利申请No.61/182,334的权益；以及2009年12月29日提交的美国临时专利申请No.61/290,714，上述文献的公开内容通过引用整体并入本文。
技术领域
本公开涉及改善用于识别由媒体系统(例如，电视系统、计算机系统或能够连接到互联网的其它电子设备)显示的内容的系统资源的管理。此外，本公开涉及有效和高效地识别内容。例如，提供了各种技术和系统来改进自动内容识别(ACR)电视监控系统中的工作负荷管理。
背景技术
光纤和数字传输技术的进步使电视工业能够快速增加频道容量并提供一定程度的交互式电视(ITV)服务，这在很大程度上归因于行业内将每个频道的增加的数据容量与以智能电视和/或机顶盒(STB)或其它设备形式的计算机的处理能力相结合。
ITV的技术已经被开发出来，试图使电视系统以近似于万维网的各个方面的方式充当双向信息分配机制。ITV的特征具有各种营销、娱乐和教育能力，诸如允许用户订购广告推荐的产品或服务，在游戏节目中与参赛者竞技等。在很多情况下，交互式功能由STB控制，该STB执行为电视广播写入的交互式程序。交互式功能通常显示在电视屏幕上，并且可能包括图标或菜单，以允许用户经由电视的遥控器或键盘进行选择。
发明内容
根据一种技术，可以将交互式内容结合到广播流(在本文中也被称为“频道/网络馈送”)。术语“广播流”可以指由电视接收的广播信号，而不管该信号的传输方法如何，例如通过天线、卫星、电缆或任何其它的信号传输方法。将交互式内容透明地结合到广播流中的一种方法是将一个或多个“触发器”插入到特定节目的广播流中。所述触发器已经插入到其中的节目内容有时被称为增强节目内容或增强电视节目或视频信号。可以使用触发器来向STB或智能电视中的处理器提醒交互式内容可用。触发器可能包含关于可用内容以及内容的存储器位置的信息。触发器还可以包含在屏幕上(例如在屏幕的底部处)显示的用户可感知的文本，这可以提示用户执行一些动作或者从多个选项中进行选择。
连线的电视是经由观众的家庭网络(有线或无线)连接到互联网的电视。连线的电视可以运行诸如Google的Android或其它专有平台的应用平台，从而使交互的、智能手机或平板计算机类的应用程序能够在所述电视上运行。这种连线的电视平台的基本共同特征是：(1)连接到互联网；(2)通过覆盖在电视显示器上或占据所有电视显示器的、来自所述应用程序的图形运行软件应用程序的能力。
目前，很少有电视(不管是连线的还是其它形式的)可以访问关于观众目前正在观看的内容的元数据，也不能从向观众提供为其定制的节目或商业机会的角度识别观众是谁。尽管关于内容提供的一些信息在内容分发渠道中零零星星地可用，但是在节目通过旧有分发系统到达屏幕前，除了视频和音频之外的所有信息都已经丢失。
正在尝试以能够经受压缩和解压缩的方式将这种识别信息以音频或视频部分上的水印的形式编码在娱乐和商业内容中，但是这种技术还不普遍可用。即使这些代码是标准化的、随时可用且可靠的，但是它们并没有被预测为具有识别在某一电视系统上以几分之一秒的分辨率显示节目中的准确点的能力。
结果，在旧有的电视信号分配系统中，电视不会“知道”当前观众正在观看什么频道或节目，也不知道节目的内容。观众在屏幕上看到的频道和节目信息当前是从有时不完整的信息嫁接到STB上的。这个障碍是电视内容分发行业的基本结构的结果。
本文引用的相关申请涉及用于近乎实时地识别当前正在观看的内容的系统和方法，并且因此可以识别在什么时间点某个背景相关的附加信息、广告或交互式机会可供节目提供者使用。除了这类实时应用程序之外，这些应用程序还教导了一种系统和方法，该系统和方法可以以前所未有的精度和粒度生成关于观看图案的统计。然而，尽管替换广告模块或向观众提供附加的节目或商业提供机会需要近乎实时地进行，但识别某些节目并且对于特定频道的节目或插入系统的替换节目生成观看和使用统计是对于时间不那么敏感的。
因此，本发明的实施例的目的是通过在非高峰时段期间自动执行较不时间先决的功能来最大化系统资源利用的效率。本发明的实施例总体涉及用于识别在电视系统的屏幕上显示的视频段的系统和方法，并且涉及用于基于这种视频段识别向电视系统提供背景指向的内容的系统和方法。如本文所使用的，术语“媒体系统”包括但不限于电视系统、音频系统等。如本文所使用的，术语“电视系统”包括但不限于诸如网络电视和连线的电视(也被称为“智能电视”)的电视以及与所述电视结合或位于相同地点的设备，诸如机顶盒(STB)、数字视频光盘(DVD)播放器或数字录像机(DVR)。如本文所使用的，术语“电视信号”包括表示视频和音频数据的信号(具有或不具有元数据)，所述视频和音频数据被一起播送以提供电视节目或商业广告的图象和声音分量。如本文所使用的，术语“元数据”是指关于或涉及电视信号中的视频/音频数据的数据。
本发明的实施例涉及用于识别哪个视频段正在电视系统的屏幕上显示的系统和方法。特别地，识别当前正在观看的视频段的结果数据可以用于使得能够捕获电视观众的反应并对电视观众的反应适当地作出响应(诸如请求节目从其开始处重放)或者触发提供相关的内容提供者和广告商提供的信息或紧密指向的商业消息，从而使观众从通过有线系统网络传递的传统实时广播环境无缝切换到通过互联网连接传递的定制配置的视频点播(VoD)产品。
根据一些实施例，通过以间隔(例如，100毫秒)对正在屏幕上显示的像素数据(或相关联的音频数据)的子集进行采样，并且然后在内容数据库中查找相似的像素(或音频)数据来识别视频段。根据一些实施例，通过提取与这种视频段相关联的音频或图像数据，并且然后在内容数据库中查找相似的音频或图像数据来识别视频段。根据一些实施例，通过使用已知的自动语音识别技术处理与这种视频段相关联的音频数据来识别视频段。根据一些实施例，通过处理与这种视频段相关联的元数据来识别视频段。如本文所使用的，“线索”或“内容标识符”可对应于像素数据、音频数据、图像数据、元数据或其样本或子集。
本发明的实施例进一步涉及用于向交互式电视系统提供背景指向内容的系统和方法。背景指向不仅基于正在显示的视频段的识别，而且还基于当前显示的视频段的特定部分的播放时间或偏移时间的确定。术语“播放时间”和“偏移时间”在本文中可互换使用，指的是从固定时间点(诸如特定电视节目或商业广告的开始时间)偏移的时间。
更具体地，本发明的实施例包括一种技术：该技术可检测在连线的电视上正在播放的内容的技术，推断正在播放的内容的主题并相应地与观众交互。具体地，本文公开的实施例克服了交互式电视严格地经由互联网从服务器拉取功能的有限能力，由此实现了新颖的商业模式，包括提供对VoD版本内容的即时访问的能力，并向用户提供选项查看更高分辨率或3D格式的内容(如果可用)的能力，以及重启、快进、暂停和倒带的附加能力。本发明的实施例还使得能够使一些或全部广告消息包括在现在的VoD节目中，作为示例而非限制地关于观众的位置、人口统计群组或购物历史进行定制，或者使商业广告减少数量或长度或完全消除商业广告以支持某些商业模式。
根据一些实施例，通过对在屏幕上正在显示的像素数据(或相关联的音频数据)的子集进行采样，并且然后在内容数据库中查找相似的像素(或音频)数据，来识别视频段并且确定偏移时间。根据一些实施例，通过提取与这种视频段相关联的音频或图像数据，并且然后在内容数据库中查找相似的音频或图像数据，来识别视频段并且来确定偏移时间。根据一些实施例，通过使用已知的自动语音识别技术处理与这种视频段相关联的音频数据来识别视频段并确定偏移时间。根据一些实施例，通过处理与这种视频段相关联的元数据，来识别视频段并且确定偏移时间。
如将在此更详细描述的，用于识别在连线的电视上观看的视频段以及可选地确定偏移时间的系统可以驻留在电视系统上，连线的电视是所述电视系统的组件。根据一些实施例，用于识别视频段的系统的一部分驻留在电视系统上，而另一部分驻留在经由互联网连接到电视系统的服务器上。
在本发明的一些实施例中，当其它处理中的工作负荷相对较轻时，系统可以调度对累积媒体线索的非实时测试，即在经济上更有利的时间(诸如非黄金时间)进行处理。由于所述测试的结果通常生成使用数据统计，并且因此不像在客户端电视上触发背景相关事件所需的处理那样具有时间依赖性。
根据本发明的一些实施例，提供了一种方法。该方法包括接收多个已知媒体内容。多个已知媒体内容具有相关联的已知内容标识符(在本文中也被称为“线索”)。该方法进一步包括将与多个已知媒体内容相关联的已知内容标识符存储在非实时数据库中。该方法进一步包括确定具有相关联的背景相关数据的多个已知媒体内容的子集。该方法进一步包括将与具有相关联的背景相关数据的多个已知媒体内容的子集相关联的已知内容标识符存储在实时数据库中。该方法进一步包括接收与由媒体系统正在显示的未知媒体内容对应的未知内容标识符。该方法进一步包括确定未知内容标识符是否对应于与实时数据库中的多个已知媒体内容的子集相关联的已知内容标识符。该方法进一步包括：当未知内容标识符对应于实时数据库中的已知内容标识符时，从实时数据库中选择与对应的已知内容标识符相关联的已知媒体内容，并将未知媒体内容识别为选择的已知媒体内容。该方法进一步包括：当未知内容标识符不对应于实时数据库中的已知内容标识符时，从非实时数据库中选择与对应于未知内容标识符的已知内容标识符相关联的已知媒体内容，并将未知媒体内容识别为选择的已知媒体内容。
在一些实施例中，该方法进一步包括当未知内容标识符对应于实时数据库中的已知内容标识符时，检索与选择的已知媒体内容相关联的背景相关数据，并且促使背景相关数据在媒体系统上的显示。在一些实施例中，该方法进一步包括当未知内容标识符不对应于实时数据库中的已知内容标识符时，使用选择的已知媒体内容来计算统计。在一些实施例中，未知内容标识符包括由媒体系统正在显示的未知媒体内容的像素数据的样本或音频数据的样本中的至少一个。在一些实施例中，该方法进一步包括使用未知内容标识符和与选择的已知媒体内容相关联的已知内容标识符来确定与未知媒体内容相关联的偏移时间。
在一些实施例中，该方法在媒体系统中包括的一个或多个处理器和一个或多个非暂态机器可读存储介质上实现。在一些实施例中，该方法在远离媒体系统定位的服务器中包括的一个或多个处理器和一个或多个非暂态机器可读存储介质上实现。在一些实施例中，实时地执行如下步骤：确定未知内容标识符是否对应于与实时数据库中的多个已知媒体内容的子集相关联的已知内容标识符，当未知内容标识符对应于实时数据库中的已知内容标识符时，从实时数据库中选择与对应的已知内容标识符相关联的已知媒体内容，以及将未知媒体内容识别为选择的已知媒体内容。在一些实施例中，非实时地执行如下步骤：当未知内容标识符不对应于实时数据库中的已知内容标识符时，从非实时数据库中选择与对应于未知内容标识符的已知内容标识符相关联的已知媒体内容，以及将未知媒体内容识别为选择的已知媒体内容。
根据本发明的一些实施例，提供了一种系统。该系统包括一个或多个处理器。该系统进一步包括包含指令的非暂态机器可读存储介质，当该指令在一个或多个处理器上执行时使一个或多个处理器执行包括以上方法的步骤的操作。
根据本发明的一些实施例，可以提供有形地体现在计算设备的非暂态机器可读存储介质中的计算机程序产品。计算机程序产品可以包括被配置成使一个或多个数据处理器执行上述方法中所述的步骤的指令。
已经使用的术语和表达被用作描述性术语而不是限制性术语，并且不旨在使用这种术语和表达来排除所示出和描述的特征或者其一些部分的任何等同物。然而，认识到在所要求保护的系统和方法的范围内可以进行各种修改。因此，应该理解的是，尽管本发明的系统和方法已经通过示例和可选的特征进行了具体公开，但是本领域技术人员可以使用本文公开的概念的修改和变化，并且这种修改和变化被认为在由所附权利要求限定的系统和方法的范围内。
本发明内容不旨在识别所要求保护的主题的关键或必要特征，也不旨在孤立地用于确定所要求保护的主题的范围。应当通过参考本专利的整个说明书的适当部分、任何或所有附图以及每个权利要求来理解主题。
通过参考以下说明书、权利要求书和附图，前述内容以及其它特征和实施例将变得更加明显。
附图说明
以下参考下面的附图详细描述本发明的说明性实施例，其中在多个附图中相同的附图标记表示相同的组件或部分。
图1是根据本发明实施例的用于识别由媒体系统正在显示的媒体内容的匹配系统的示例的框图。
图2是根据本发明实施例的识别未知数据点的匹配系统的示例。
图3是根据本发明实施例的媒体捕获系统的示例的框图。
图4是根据本发明实施例的用于收集由显示器呈现的媒体内容的系统的示例的框图。
图5是根据本发明实施例的用于改善ACR媒体监控系统中的工作负荷管理的系统的示例的框图。
图6是根据本发明实施例的用于在媒体监控系统中路由线索的搜索路由器的示例的框图。
图7是根据本发明实施例的用于实时处理线索的实时匹配引擎的示例的框图。
图8是根据本发明实施例的用于非实时地处理线索的非实时匹配引擎的示例的框图。
图9是根据本发明实施例的用于改善ACR媒体监控系统中的工作负荷管理的方法的示例的流程图。
图10是示出根据本发明实施例的点位置和它们周围的路径点的图表。
图11是示出根据本发明实施例的与查询点相隔一定距离内的点集合的图表。
图12是示出根据本发明实施例的可能的点值的图表。
图13是示出根据本发明实施例的被划分为具有指数增长的宽度的环的空间的图表。
图14是示出根据本发明实施例的自相交路径和查询点的图表。
图15是示出根据本发明实施例的三个连续的点位置和它们周围的路径点的图表。
具体实施方式
在下面的描述中，出于解释的目的，阐述了具体细节以便提供对本发明实施例的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实施各种实施例。附图和描述不旨在是限制性的。
接下来的描述仅提供示例性实施例，而不旨在限制本公开的范围、适用性或配置。相反，示例性实施例的随后描述将向本领域技术人员提供用于实施示例性实施例的可能性描述。应该理解的是，在不脱离如所附权利要求阐述的本发明的精神和范围的情况下，可以对各要素的功能和布置进行各种改变。
在以下描述中给出具体细节以提供对实施例的透彻理解。然而，本领域的普通技术人员将会理解，可以在没有这些具体细节的情况下实施这些实施例。例如，电路、系统、网络、过程和其它组件可以被图示为框图形式的组件，以免因不必要的细节使实施例变得晦涩难懂。在其它情况下，为了避免使这些实施例变得晦涩难懂，可以在没有不必要的细节的情况下示出公知的电路、过程、算法、结构和技术。
另外，应注意的是，各个实施例可被描述为过程，该过程被描绘为流程图、流程示图、数据流程图、结构图或框图。尽管流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，操作的顺序可以重新排列。过程在操作完成时被终止，但是可以具有不包括在附图中的附加步骤。过程可以对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时，其终止可以对应于将函数返回到调用函数或主函数。
术语“机器可读存储介质”或“计算机可读存储介质”包括但不限于便携式或非便携式存储设备、光存储设备以及能够存储、包含或携带指令和/或数据的各种其它介质。机器可读存储介质或计算机可读存储介质可以包括其中数据可以被存储并且不包括载波和/或无线地或通过有线连接传播的暂态电子信号的非暂态介质。非暂态介质的示例可以包括但不限于磁盘或磁带，诸如光盘(CD)或数字多功能盘(DVD)的光存储介质、闪速存储器、存储器或存储器设备。计算机程序产品可以包括表示过程、功能、子程序、程序、例程、子例程、模块、软件包、类、或者指令、数据结构或程序语句的任何组合的代码和/或机器可执行指令。代码段可以通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码段或硬件电路。信息、自变量、参数、数据或其它信息可以使用包括存储器共享、消息传递、令牌传递、网络传输或其它传输技术的任何合适的手段来传递、转发或发送。
此外，可以通过硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实现实施例。当以软件、固件、中间件或微码实现时，执行必要任务的程序代码或代码段(例如，计算机程序产品)可存储在机器可读介质中。处理器可以执行必要的任务。
在一些附图中描绘的系统可以以各种配置来提供。在一些实施例中，系统可以被配置为分布式系统，其中系统的一个或多个组件横跨云计算系统中的一个或多个网络分布。
本文所述的系统和方法可以涉及在几个相关申请中公开的技术方法，包括美国专利No.8,595,781、美国专利No.8,769,584、美国专利申请公布No.2010/0306805、美国专利申请公布No.2014/0082663、美国专利申请公布No.2014/0201769和美国专利No.8,595,781，这些文献通过引用全部并入本文。
本文公开的示例性实施例教导了一种系统和方法，其将先前使用的术语“背景指向的”的含义扩展到与相关联的内容相关的简单图形或短视频段的显示之外，扩展到所选内容的显著增强形式的完全替换——全部用VoD类的格式替换，使观众能够从头观看内容，其具有完全的“虚拟DVR”控制，包括重启、暂停、“快进”和“倒带”功能，以及以更高的分辨率或以3D格式(如果可用的话)观看内容的能力，以及移除商业消息并基于以通常称为“cookies”类型的紧凑型数据模块的形式存储在诸如智能电视的连线电视观看系统的存储器中的这种信息用通过位置、人口统计或以前的购物行为更加紧密地指向观众的消息替换商业消息的能力。这使得赞助商或经纪商能够开发和销售各种高级、紧密指向的广告产品，或者以替代的商业模式，对于观众将广告消息中的一些或全部移除，代之以优质服务。
图1示出可以识别未知内容的匹配系统100。在一些示例中，未知内容可以包括一个或多个未知数据点。在这种示例中，匹配系统100可以将未知数据点与参考数据点匹配以识别与未知数据点相关联的未知视频段。参考数据点可以被包括在参考数据库116中。
匹配系统100包括客户端设备102和匹配服务器104。客户端设备102包括媒体客户端106、输入设备108、输出设备110以及一个或多个背景应用程序126。媒体客户端106(其可以包括电视系统、计算机系统或能够连接到互联网的其它电子设备)可以解码与视频节目128相关联的数据(例如，广播信号、数据分组或其它帧数据)。媒体客户端106可以将视频的每个帧的解码内容放置到视频帧缓冲器中以准备显示或进一步处理视频帧的像素信息。客户端设备102可以是可接收和解码视频信号的任何电子解码系统。客户端设备102可以接收视频节目128并将视频信息存储在视频缓冲器(未示出)中。客户端设备102可以处理视频缓冲器信息并且产生未知的数据点(其可以被称为“线索”)，如下面参考图3更详细描述的。媒体客户端106可以将未知数据点发送到匹配服务器104，以与参考数据库116中的参考数据点进行比较。
输入设备108可以包括允许请求或其它信息被输入到媒体客户端106的任何合适的设备。例如，输入设备108可以包括键盘、鼠标、语音识别输入设备、用于从无线设备(例如，从遥控器、移动设备或其它合适的无线设备)接收无线输入的无线接口，或者任何其它合适的输入设备。输出设备110可以包括可呈现或以其它方式输出信息的任何合适的设备，诸如显示器、用于向无线设备(例如，向移动设备或其它合适的无线设备)发送无线输出的无线接口、打印机或其它合适的输出设备。
匹配系统100可通过首先从已知视频数据源118收集数据样本来开始识别视频段的过程。例如，匹配服务器104收集数据以从各种视频数据源118建立和维护参考数据库116。视频数据源118可以包括电视节目、电影或任何其它合适的视频源的媒体提供者。来自视频数据源118的视频数据可以作为无线电广播、有线电视频道、来自互联网和来自任何其它视频数据源的流式来源来提供。在一些示例中，如下所述，匹配服务器104可以处理从视频数据源118接收的接收视频以在参考数据库116中生成和收集参考视频数据点。在一些示例中，来自视频数据源118的视频节目可以由参考视频节目摘录系统(未示出)处理，所述参考视频节目摘录系统可以产生参考视频数据点并将其发送到参考数据库116以供存储。可以如上所述使用参考数据点来确定随后用于分析未知数据点的信息。
匹配服务器104可以将在某一时间段(例如，若干天、若干周、若干个月或任何其它合适的时间段)内接收的每个视频节目的参考视频数据点存储在参考数据库116中。匹配服务器104可以建立并连续或周期性地更新电视节目样本(例如，包括也可以被称为提示或提示值的参考数据点)的参考数据库116。在一些示例中，收集的数据是从周期性视频帧(例如，每五个视频帧、每十个视频帧、每十五个视频帧或其它适当数量的帧)采样的视频信息的压缩表示。在一些示例中，为每个节目源收集每帧的数据字节数(例如，每帧25字节、每帧50字节、每帧75字节、每帧100字节，或者每帧的任何其它数量的字节)。任何数量的节目源可用于获得视频，诸如25个频道、50个频道、75个频道、100个频道、200个频道或任何其它数量的节目源。使用示例量的数据，在三天24小时期间收集的总数据变得非常大。因此，减少实际参考数据点集合的数量有利于减少匹配服务器104的存储负载。
媒体客户端106可以将通信122发送到匹配服务器104的匹配引擎112。通信122可以包括对匹配引擎112的请求以识别未知内容。例如，未知内容可以包括一个或多个未知数据点，并且参考数据库116可以包括多个参考数据点。匹配引擎112可以通过将未知数据点与参考数据库116中的参考数据进行匹配来识别未知内容。在一些示例中，未知内容可以包括由显示器(对于基于视频的ACR)呈现的未知视频数据、搜索查询(对于Map Reduce系统，Bigtable系统或其它数据存储系统)、未知的面部图像(用于面部识别)、未知的图案图像(用于图案识别)或可以比对参考数据的数据库进行匹配的任何其它未知数据。参考数据点可以从从视频数据源118接收的数据中导出。例如，数据点可以从视频数据源118提供的信息中提取，并且可以被索引并存储在参考数据库116中。
匹配引擎112可以向候选确定引擎114发送请求以从参考数据库116确定候选数据点。候选数据点可以是与未知数据点相隔一确定距离的参考数据点。在一些示例中，参考数据点和未知数据点之间的距离可以通过将参考数据点的一个或多个像素(例如，单个像素、表示一组像素的值(例如，平均数、平均值、中值，或其它值)或其它合适数量的像素)与未知数据点的一个或多个像素进行比较来确定。在一些示例中，当每个样本位置处的像素在特定像素值范围内时，参考数据点可以与未知数据点相隔一确定距离。
在一个说明性示例中，像素的像素值可以包括红色值、绿色值和蓝色值(在红-绿-蓝(RGB)颜色空间中)。在这种示例中，可以通过如下方式将第一像素(或者表示第一组像素的值)与第二像素(或者表示第二组像素的值)进行比较：分别比较相应的红色值、绿色值和蓝色值，并确保该值在某一值范围内(例如在0-5的值内)。例如，当(1)第一像素的红色值在第二像素的红色值的0-255值范围(正或负)中的5个值内时，(2)第一像素的绿色值在第二像素的绿色值的0-255值范围(正或负)中的5个值内时，以及(3)第一像素的蓝色值在第二像素的蓝色值的0-255值范围(正或负)中的5个值内时，第一像素可以与第二像素匹配。在这种示例中，候选数据点是与未知数据点近似匹配的参考数据点，导致对于未知数据点识别多个候选数据点(与不同媒体段有关)。候选确定引擎114可以将候选数据点返回到匹配引擎112。
对于候选数据点，匹配引擎112可以将令牌添加到仓中，该仓与候选数据点相关联并被分配给从中导出候选数据点的已识别视频段。可将相应的令牌添加到与识别的候选数据点对应的所有仓。当匹配服务器104从客户端设备102接收到更多未知数据点(对应于正在观看的未知内容)时，可以执行类似候选数据点确定过程，并且可以将令牌添加到与识别的候选数据点对应的仓。这些仓中只有一个仓对应于正在观看的未知视频内容段，其它仓对应于由于类似的数据点值(例如，具有相似的像素颜色值)而匹配但是不对应于正在观看的实际视频内容段的候选数据点。正在观看的未知视频内容段的仓将比没有被观看的视频内容段的其它仓具有分配给它的更多令牌。例如，随着接收到更多的未知数据点，与该仓对应的更大量参考数据点被识别为候选数据点，导致更多的令牌被添加到该仓。一旦仓包括特定数量的令牌，则匹配引擎112可以确定与仓相关联的视频段当前正在客户端设备102上显示。视频段可以包括整个视频节目或视频节目的一部分。例如，视频段可以是视频节目、视频节目的场景、视频节目的一个或多个帧或视频节目的任何其它部分。
图2示出用于识别未知数据的匹配系统200的组件。例如，匹配引擎212可以使用已知内容(例如，已知的媒体段、存储在数据库中用于比对搜索的信息、已知的面部或图案等)的数据库来执行用于识别未知内容(例如，未知的媒体段、搜索查询、面部或者图案的图像等)的匹配处理。例如，匹配引擎212接收将与参考数据库中的参考数据点204的参考数据点匹配的未知数据内容202(其可以被称为“线索”)。未知数据内容202也可以由候选确定引擎214接收，或者从匹配引擎212发送到候选确定引擎214。候选确定引擎214可以进行搜索处理以通过搜索参考数据库中的参考数据点204来识别候选数据点206。在一个示例中，搜索处理可以包括产生邻近值集合(与未知数据内容202的未知值相距某一距离)的最近邻居搜索处理。候选数据点206被输入到匹配引擎212以进行生成匹配结果208的匹配处理。取决于应用，匹配结果208可以包括由显示器呈现的视频数据、搜索结果、使用面部识别确定的脸部、使用图案识别确定的图案或任何其它结果。
在确定未知数据点(例如，未知数据内容202)的候选数据点206时，候选确定引擎214确定未知数据点与参考数据库中的参考数据点204之间的距离。与未知数据点相隔某一距离的参考数据点被识别为候选数据点206。在一些示例中，参考数据点与未知数据点之间的距离可以通过将参考数据点的一个或多个像素与未知数据点的一个或多个像素进行比较来确定，如上面关于图1所描述的。在一些示例中，当每个样本位置处的像素在特定值范围内时，参考数据点可以与未知数据点相隔某一距离。如上所述，候选数据点是与未知数据点近似匹配的参考数据点，并且由于近似匹配，对于该未知数据点识别出多个候选数据点(与不同媒体段有关)。候选确定引擎114可以将候选数据点返回到匹配引擎112。
图3示出了包括解码器的存储缓冲器302的视频摘录捕捉系统400的示例。解码器可以是匹配服务器104或媒体客户端106的一部分。解码器可以不与物理电视显示面板或设备一起操作或者不需要物理电视显示面板或设备。解码器可以解码并且在需要时将数字视频节目解密为电视节目的未压缩的位图表示。为了建立参考视频数据的参考数据库(例如，参考数据库316)，匹配服务器104可以获取从视频帧缓冲器读取的视频像素的一个或多个阵列。视频像素阵列被称为视频块。视频块可以是任何形状或图案，但是为了该具体示例的目的，被描述为10×10像素阵列，包括水平十个像素和垂直十个像素。同样为了该示例的目的，假设存在从视频帧缓冲器内提取的均匀分布在缓冲器的边界内的25个像素块位置。
像素块(例如，像素块304)的示例分配在图3中示出。如上所述，像素块可以包括像素阵列，诸如10×10阵列。例如，像素块304包括10×10像素阵列。像素可以包括颜色值，诸如红色、绿色和蓝色值。例如，示出了具有红-绿-蓝(RGB)颜色值的像素306。像素的颜色值可以由每种颜色的八位二进制值表示。可以用于表示像素的颜色的其它合适的颜色值包括亮度和色度(Y，Cb，Cr)值或任何其它合适的颜色值。
取每个像素块的平均数(或在某些情况下的平均值)，并且创建所得的数据记录并用时间码(或时间戳)标记它。例如，为每个10×10像素的块阵列寻找平均值，在这种情况下，对于每帧总共600位像素信息，25个显示缓冲器位置中的每个显示缓冲器位置产生24位数据。在一个示例中，像素块304的平均值被计算，并且由像素块平均值308示出。在一个说明性示例中，时间码可以包括“新纪元时间”，其表示自1970年1月1日午夜起总的经过时间(以几分之一秒为单位)。例如，像素块平均值308的值与时间码412组合。在计算系统(包括例如基于Unix的系统)中，新纪元时间是公认的惯例。关于视频节目的信息(称为元数据)被附加到数据记录。元数据可以包括关于节目的任何信息，诸如节目标识符、节目时间、节目长度或任何其它信息。包括像素块的平均值、时间码和元数据的数据记录形成“数据点”(也被称为“线索”)。数据点310是参考视频数据点的一个示例。
识别未知视频段的过程以类似于创建参考数据库的步骤开始。例如，图4示出包括解码器的存储器缓冲器402的视频摘录捕捉系统400。视频摘录捕捉系统400可以是处理由显示器(例如，在互联网连接的电视监控器(诸如智能电视)、移动设备或其它电视观看设备上)呈现的数据的客户端设备102的一部分。视频摘录捕捉系统400可以利用类似的过程来生成未知视频数据点410，如创建参考视频数据点310的系统300所使用的未知视频数据点410。在一个示例中，媒体客户端106可以将未知视频数据点410发送到匹配引擎112以由匹配服务器104识别与未知视频数据点410相关联的视频段。
如图4中所示，视频块404可以包括10×10像素阵列。视频块404可以从显示器呈现的视频帧中提取。可以从视频帧中提取多个这种像素块。在一个说明性示例中，如果从视频帧中提取25个这种像素块，则结果将是表示75维空间中的位置的点。可以为阵列的每个颜色值(例如，RGB颜色值、Y、Cr、Cb颜色值等)计算平均数(或平均值)。数据记录(例如，未知视频数据点410)由平均像素值形成，并且当前时间被附加到数据。可以使用上述技术将一个或多个未知视频数据点发送到匹配服务器104以与来自参考数据库116的数据匹配。
图5是根据本发明实施例的用于改善ACR媒体监控系统中的工作负荷管理的系统的示例的框图。客户端电视系统501a将与由客户端电视系统501a正在显示的未知媒体内容对应的未知媒体线索501b(在本文中也称为“未知内容标识符”)发送给线索管理器502a。线索管理器502a接收未知媒体线索501b，并且将未知媒体线索502b转发到搜索路由器503。搜索路由器503将未知媒体线索502b路由到实时匹配引擎504b和/或非实时匹配引擎505b。例如，搜索路由器503可以立即将未知媒体线索502b路由到实时匹配引擎504b用于立即识别，和/或可以将未知媒体线索502b的副本存储在线索高速缓存506中以稍后提供给非实时匹配引擎505b。未知媒体线索502b可以从线索高速缓存506中检索，并且在不需要实时识别的情况下，在更方便或有效的时间(诸如夜间)提供给非实时匹配引擎505b。
实时匹配引擎504b和非实时匹配引擎505b中的每一个都具有其自己的已知媒体内容线索的参考数据库(在本文中也被称为“已知内容标识符”)。实时匹配引擎504b在从搜索路由器503接收到未知媒体线索502b时实时搜索实时参考数据504a以寻找未知媒体线索502b。实时参考数据504a包含与具有背景相关数据(诸如要被提供给客户端电视系统501a的、与正被显示的媒体内容相关的任何附加数据)的已知媒体内容相关联的已知媒体内容线索。因此，实时参考数据504a可以是非实时参考数据505a的小很多的数据库。重要的是，对具有背景相关数据的媒体内容的识别是实时进行的，使得当媒体内容正被显示时背景相关数据可以被提供给客户端电视系统501a。示例性背景相关数据包括信息内容、交互式内容、广告内容、文本内容、图形内容、音频内容、视频内容等。实时匹配引擎504a可以支持观众特定的、交互的和背景内容覆盖或替换服务，这类服务通常仅具有几分之一秒的触发时间(即，背景相关的数据必须实时地被提供)。
如果未知媒体线索502b被识别为与实时参考数据504a内的已知媒体内容相关联的已知媒体线索匹配，则可以从实时参考数据504a中检索与已知媒体内容对应的背景相关数据并在504c处提供给客户端电视系统501a。在一些实施例中，客户端电视系统501a然后可以显示背景相关的数据。仅仅作为示例，这种背景相关的数据可以包括基于正在观看的媒体内容、关于正在观看的媒体内容的附加信息，或者与媒体内容本身或者也可能正在观看的其他观众进行交互的机会而用更面向特定观众的一个消息来替换商业消息。另外，如果未知媒体线索502b被识别为与实时参考数据504a内的已知媒体内容相关联的已知媒体线索匹配，则匹配的已知媒体内容504d的标识可被存储在结果数据507中。
非实时匹配引擎505b例如以由搜索路由器503确定的更方便、有效和/或经济上有利的时间非实时地搜索非实时参考数据505a以寻找未知媒体线索502b。例如，非实时匹配引擎505b可以在其它系统处理工作负荷相对较轻时在非黄金时段期间执行搜索。非实时参考数据505a可以包含与不具有背景相关数据的已知媒体内容相关联的已知媒体内容线索。换句话说，因为在媒体内容正被显示时不需要将数据提供给客户端电视系统501a，所以实时完成不具有背景相关数据的媒体内容的识别并不重要。
然而，为了其它目的识别未知媒体内容可能仍然是重要的，诸如计算关于有多少电视系统正在显示特定媒体内容、观看图案、系统使用和不特别依赖于时间的其它数据的每小时或每日统计。非实时参考数据505a可以包括例如地方频道节目数据、有线频道节目数据、VoD数据、按次计费数据，和/或流媒体数据(例如，NetflixTM、AmazonTM、PandoraTM等)。在一些实施例中，非实时参考数据505a包括所有可用媒体数据，而实时参考数据504a仅包括需要立即识别的媒体数据。如果未知媒体线索502b被识别为与非实时参考数据505a内的已知媒体内容相关联的已知媒体线索匹配，则可以将匹配的已知媒体内容505c的识别存储在结果数据507中。
在一些实施例中，图5中所示的任何或所有组件可以驻留在客户端电视系统501a上。在一些实施例中，图5中所示的任何或全部组件可以驻留在远离客户端电视系统501a的服务器上。在一些实施例中，图5的每个组件例如可以是具有单独的数据库和处理能力的独立系统。在一些实施例中，图5中的至少一些组件可以共享数据库和/或处理能力。
图6是根据本发明实施例的用于在媒体监控系统中路由线索的搜索路由器600的示例的框图。例如，搜索路由器600可以用于实现图5的搜索路由器503。搜索路由器600可以包括耦接到通信接口602和计算机可读介质606的处理器601。搜索路由器600还可以包括数据库603或对数据库603具有访问权，所述数据库603可以在搜索路由器600内部或外部。在一些实施例中，数据库603可以包含图5的线索高速缓存506。
处理器601可以包括一个或多个微处理器以执行用于执行搜索路由器600的功能的程序组件。通信接口602可以被配置为连接到一个或多个通信网络以允许搜索路由器600与其它实体通信，诸如图5的线索管理器502a、实时匹配引擎504b和/或非实时匹配引擎505b。计算机可读介质606可以包括一个或多个易失性和/或非易失性存储器(例如，RAM、DRAM、SRAM、ROM、闪存或任何其它合适的存储器组件)的任何组合。计算机可读介质606可以存储可由处理器601执行以实现搜索路由器600的所有功能中的一些的代码。例如，计算机可读介质606可以包括实现线索路由引擎608、线索克隆引擎610和/或线索定时引擎612的代码。虽然示出和描述为具有这些引擎中的每一个，但是可以设想，可以在计算机可读介质606内实现更多或更少的引擎。例如，线索路由引擎608、线索克隆引擎610，和/或线索定时引擎612可能不实现在所有实施例中。
线索路由引擎608可以结合处理器601和通信接口602诸如直接从媒体系统或经由线索管理器接收与由媒体系统正在显示的未知媒体内容对应的线索。线索克隆引擎610结合处理器601可以克隆接收的线索以便创建线索的相同副本。然后，线索克隆引擎610可以结合处理器601将线索的副本存储在数据库603中。线索路由引擎608然后可以结合处理器601和通信接口602立即将线索的副本转发到实时匹配引擎，用于与具有背景相关数据的已知媒体内容进行实时匹配，如本文进一步描述的。
线索定时引擎612可以结合处理器601确定由非实时匹配引擎进行的搜索应当结束的适当时间。在一些实施例中，这是非实时的，即，这不是立即的。然而，可以设想，在一些实施例中，立即搜索可以基于它何时是最方便、有效和/或经济上有利的而被确定为期望的。例如，如果在其它系统处理工作负荷相对较轻时的非黄金时段期间已经接收到对应于未知媒体内容的线索，则线索定时引擎612可以指示线索路由引擎608将对应于未知媒体内容的线索立即发送到非实时匹配引擎。
在一些实施例中，线索定时引擎612可以结合处理器601确定将线索发送到非实时匹配引擎的适当时间是晚些时候，诸如在凌晨2点夜间。因此，在凌晨2点，线索定时引擎612可以从数据库603中检索未知媒体线索，并且将它们提供给线索路由引擎608以经由通信接口602传输到非实时匹配引擎。在一些实施例中，线索定时引擎612可以结合处理器601以预定间隔(诸如每小时、每天等)将未知媒体线索发送到非实时匹配引擎。因此，例如，如果未知媒体线索在下午1:13被接收，则它们可以由线索路由引擎608存储直到下午2点，此时它们将由线索定时引擎612检索并被提供回到线索路由引擎608以传输到非实时匹配引擎。
虽然在图6中示出和描述为具有线索定时引擎612，但是可以预期，在一些实施例中，搜索路由器600可以不具有线索定时引擎612，并且可以替代地将未知媒体线索的副本直接地转发到非实时匹配引擎。在这些实施例中，非实时匹配引擎可以替代地包括被配置为在适当的时间处理未知媒体线索的线索定时引擎。
图7是根据本发明实施例的用于实时处理线索的实时匹配引擎700的示例的框图。例如，实时匹配引擎700可以用于实现图5的实时匹配引擎504b。实时匹配引擎700可以包括耦接到通信接口702和计算机可读介质706的处理器701。实时匹配引擎700还可以包括数据库或对数据库703具有访问权，所述数据库703可以在实时匹配引擎700内部或外部。在一些实施例中，数据库703可以包括图5的实时参考数据504a。
处理器701可以包括一个或多个微处理器以执行用于执行实时匹配引擎700的功能的程序组件。通信接口702可以被配置为连接到一个或多个通信网络以允许实时匹配引擎700与诸如图5的搜索路由器503和/或客户端电视系统501a的其它实体通信。计算机可读介质706可以包括一个或多个易失性和/或非易失性存储器(例如，RAM、DRAM、SRAM、ROM、闪存或任何其它合适的存储器组件)的任何组合。计算机可读介质706可以存储可由处理器701执行以实现实时匹配引擎700的全部功能中的一些的代码。例如，计算机可读介质706可以包括实现背景相关的数据处理引擎708、已知的媒体内容搜索引擎710和/或未知媒体内容识别引擎712的代码。虽然被示出和描述为具有这些引擎中的每一个，但是可以设想，可以在计算机可读介质706内实现更多或更少的引擎。例如，背景相关数据处理引擎708、已知媒体内容搜索引擎710和/或未知媒体内容识别引擎712可能不实现在所有实施例中。
已知媒体内容搜索引擎710可以结合处理器701从搜索路由器接收未知媒体线索。然后，已知媒体内容搜索引擎710可以结合处理器701搜索数据库703以寻找未知媒体线索。数据库703可以包括与已知媒体内容相关联并具有对应的背景相关数据的已知媒体线索。例如，已知媒体内容搜索引擎710可将未知媒体线索与已知媒体线索进行比较以确定已知媒体线索中是否存在匹配。如果数据库703中的已知媒体线索中存在匹配，则未知媒体内容识别引擎712可以结合处理器701将未知媒体内容识别为与匹配的已知媒体线索相关联的已知媒体内容。在一些实施例中，未知媒体内容识别引擎712还可以结合处理器701来确定在客户端电视系统上正在显示的未知媒体内容的偏移时间(例如，播放时间、诸如从媒体内容的开始起已经过12分钟零4秒)。可以例如通过确定已知媒体内容内匹配的已知媒体线索的偏移时间来确定偏移时间。用于识别未知媒体内容和偏移时间的系统和方法在通过引用并入本文的相关申请中进一步描述。
在未知媒体内容被未知媒体内容识别引擎712识别为已知媒体内容之后，背景相关数据处理引擎708可结合处理器701从数据库703检索与匹配的已知媒体内容相关联的背景相关数据。然后，背景相关数据处理引擎708可以结合处理器701和通信接口702将背景相关数据提供给客户端电视系统以进行显示。
图8是根据本发明实施例的用于非实时处理线索的非实时匹配引擎800的示例的框图。例如，非实时匹配引擎800可以用于实现图5的非实时匹配引擎505b。非实时匹配引擎800可以包括耦接到通信接口802和计算机可读介质806的处理器801。非实时匹配引擎800还可以包括数据库803或对数据库803具有访问权，所述数据库803可以在非实时匹配引擎800内部或外部。在一些实施例中，数据库803可以包括图5的非实时参考数据505a。
处理器801可以包括一个或多个微处理器以执行用于执行非实时匹配引擎800的功能的程序组件。通信接口802可以被配置为连接到一个或多个通信网络以允许非实时匹配引擎800与诸如图5的搜索路由器503的其它实体通信。计算机可读介质806可以包括一个或多个易失性和/或非易失性存储器(例如，RAM、DRAM、SRAM、ROM、闪存或任何其它合适的存储器组件)的任何组合。计算机可读介质806可以存储可由处理器801执行以实现非实时匹配引擎800的所有功能中的一些的代码。例如，计算机可读介质806可以包括实现线索处理引擎808、已知媒体内容搜索引擎810和/或未知媒体内容识别引擎812的代码。虽然被示出和描述为具有这些引擎中的每一个，但是可以设想，可以在计算机可读介质806内实现更多或更少的引擎。例如，线索处理引擎808、已知的媒体内容搜索引擎810和/或未知的媒体内容识别引擎812可能不实现在所有实施例中。
在搜索路由器不对发送未知媒体线索到非实时匹配引擎800的定时进行协调的实施例中，线索处理引擎808可以结合处理器801在接收确认之后立即从搜索路由器接收未知媒体线索。线索处理引擎808可以结合处理器801确定将未知媒体线索转发给已知媒体内容搜索引擎810的适当时间。在一些实施例中，这是非实时的，即，这不是立即的。然而，可以设想，在一些实施例中，立即搜索可以基于它何时是最方便、有效和/或经济上有利的而被确定为期望的。例如，如果在其它系统处理工作负荷相对较轻时的非黄金时段期间已经接收到对应于未知媒体内容的线索，则线索处理引擎808可以立即将未知媒体线索发送到已知媒体内容搜索引擎810。
在一些实施例中，线索处理引擎808可以结合处理器801确定将线索发送到已知媒体内容搜索引擎810的适当时间是晚些时候，诸如在凌晨2点夜间。因此，在凌晨2点，线索处理引擎808可以从数据库803检索未知媒体线索，并将其提供给已知媒体内容搜索引擎810。在一些实施例中，线索处理引擎808可以结合处理器801以预定间隔(诸如每小时、每天等)发送未知媒体线索到已知媒体内容搜索引擎810。因此，例如，如果在下午1:13接收到未知媒体线索，则可以将它们存储在数据库803中，直到下午2点，在下午2点，它们将被线索处理引擎808检索并提供给已知媒体内容搜索引擎810用于搜索。
已知媒体内容搜索引擎810可以结合处理器801在适当的时间从线索处理引擎808接收未知媒体线索。然后，已知媒体内容搜索引擎810可以结合处理器801搜索数据库803以寻找未知媒体线索。数据库803可以包括与所有可用已知媒体内容相关联的已知媒体线索。例如，已知媒体内容搜索引擎810可将未知媒体线索与已知媒体线索进行比较以确定已知媒体线索中是否存在匹配。如果数据库803中的已知媒体线索中存在匹配，则未知媒体内容识别引擎812可以结合处理器801将未知媒体内容识别为与匹配的已知媒体线索相关联的已知媒体内容。在一些实施例中，未知媒体内容识别引擎812还可以结合处理器801确定在客户端电视系统上显示的未知媒体内容的偏移时间(例如，播放时间，诸如从媒体内容的开始起已过了12分钟零4秒)。偏移时间可以例如通过确定已知媒体内容中匹配的已知媒体线索的偏移时间来确定。用于识别未知媒体内容和偏移时间的系统和方法在通过引用并入本文的相关申请中进一步描述。
图9是根据本发明实施例的用于改善ACR媒体监控系统中的工作负荷管理的方法的示例的流程图。在处理框902处，接收多个已知媒体内容。多个已知媒体内容具有相关联的已知内容标识符(在本文中也被称为“线索”)。已知内容标识符可以包括已知媒体内容的像素数据样本和/或音频数据样本。在处理框904处，已知内容标识符被存储在非实时数据库中。
在处理框906处，确定具有相关联的背景相关数据的多个已知媒体内容的子集。例如，多个已知媒体内容中的一些可以具有应当在观看该特定已知媒体内容的电视系统上显示的相关联的广告。在处理框908处，将与具有相关联的背景相关数据的多个已知媒体内容的子集相关联的已知内容标识符存储在实时数据库中。在一些实施例中，可以设想可以在处理框910之前的任何点处执行处理框902-908所示的步骤，使得非实时数据库和实时数据库已经建立并准备好在收到未知的内容标识符时进行搜索。在处理框910处，接收与由媒体系统当前正在显示的未知媒体内容对应的未知内容标识符。未知内容标识符可以包括由媒体系统正在显示的未知媒体内容的像素数据样本和/或音频数据样本。
在判定框912处，确定未知内容标识符是否匹配与实时数据库中的多个已知媒体内容的子集相关联的已知内容标识符。当未知内容标识符匹配实时数据库中的已知内容标识符时，在处理框914a处从实时数据库中选择与匹配的已知内容标识符相关联的已知媒体内容。在处理框916a处，将未知媒体内容识别为选择的已知媒体内容。可以设想，在一些实施例中可以实时地执行判定框912、处理框914a和处理框916a。在一些实施例中，然后检索与选择的已知媒体内容相关联的背景相关数据，并且可以实时或接近实时地在媒体系统上显示。该步骤也可以实时执行。
当未知内容标识符与实时数据库中的已知内容标识符不匹配时，在非实时数据库中搜索未知内容标识符。在处理框914b处，从非实时数据库中选择与对应于未知内容标识符的已知内容标识符相关联的已知媒体内容。在处理框916b处，未知媒体内容被识别为选择的已知媒体内容。可以设想，在一些实施例中，处理框914b和处理框916b可以非实时地执行。在一些实施例中，将未知媒体内容识别为选择的已知媒体内容可以用于生成统计数据，诸如多少电视系统显示特定节目。在一些实施例中，该步骤也可以非实时地执行。
在处理框916a和916b之后，在一些实施例中，可以使用未知内容标识符和已知内容标识符来确定与未知媒体内容相关联的偏移时间。例如，可以将已知媒体内容内匹配的已知内容标识符的偏移时间确定为未知媒体内容内未知内容标识符的偏移时间。
关于图9所述的过程并不旨在限制。例如，尽管被描述为仅当在实时数据库中未知内容标识符不匹配时才搜索非实时数据库，但是可以设想，即使在发现匹配时，也可以在搜索实时数据库的基础上进一步搜索非实时数据库，例如用以确认与参考数据的更大数据库的正确匹配。另外，图9的流程图所示的过程可以由媒体系统、远离媒体系统定位的服务器、或者上述两者来实现，或部分地由位于媒体系统处的组件并且部分地由位于远程服务器处的组件来实现。
现在详细描述先前提到的最近的邻居和路径追踪技术。给出使用模糊线索的跟踪视频传输示例，但一般的概念可以应用于任何领域，诸如上面描述的那些。
给出了一种用于高效视频追踪的方法。给定大量视频段，系统必须能够实时识别给定的查询视频输入来自哪个段以及处于怎样的时间偏移。段和偏移一起被称为位置。该方法被称为视频追踪，因为它必须能够有效地检测和适应暂停、快进、倒带、突然切换到其它段和切换到未知段。在能够追踪实时视频之前，处理数据库。视觉线索(少数像素值)每隔几分之一秒从帧中被取出，并被放入专门的数据结构(请注意，这也可以实时完成)。视频追踪通过不断接收来自输入视频的线索并更新关于其当前位置的一组确信或估计来执行。每个线索或者同意或者不同意该估计，并且它们被调节以反映新的证据。如果对此为真的信心足够高，则假设视频位置是正确的位置。通过仅追踪一小部分可能的“可疑”位置，这可以高效地完成。
描述了用于视频追踪的方法，但是使用数学结构来解释和调查它。引入数学结构的目的是给读者提供在这两个领域之间转换的必要工具。视频信号由连续帧组成。每一帧可以被认为是静止图像。每一帧都是像素的光栅。每个像素由对应于构成该像素颜色的红色、绿色和蓝色(RGB)的三个强度值构成。在该手稿使用的术语中，线索是帧中的像素的子集的RGB值的列表以及对应的时间戳。线索中的像素数量明显小于帧中的像素数量，通常在5到15之间。作为标量值的有序列表，线索值实际上是向量。该向量也被称为点。
尽管这些点在高维度中，通常在15到150之间，但它们可以被想象成二维中的点。事实上，插图将作为二维绘图给出。现在，考虑视频的进展及其对应的线索点。通常，小的时间变化会导致像素值的小变化。像素点可以被视为在帧之间略微“移动”。从帧到帧之间的这些微小的移动之后，该线索跟随空间中的路径，如珠子串绕在弯曲线上那样。
在这种类比的语言中，在视频追踪中，接收珠子在空间中的位置(线索点)，并且寻找珠子跟随的线的一部分(路径)。出于两个事实这显著更困难。首先，珠子不准确地跟随线，而是与线保持某一变化的未知距离。其次，线都缠在一起。这些陈述在第2节中更精确。下面描述的算法在两个概念步骤中完成了这个任务。当接收到线索时，它查找所有已知路径上足够接近线索点的所有点；这些点被称为可疑者。这使用等球算法中概率点位置有效地进行。这些可疑者被添加到历史数据结构中，并且计算它们中每一个指示真实位置的概率。该步骤还包括移除可能性不大的可疑位置。该历史更新过程一方面确保只保留一小段历史，另一方面永远不会删除可能的位置。通用算法在算法1中给出，并在图10中示出。
Figure BDA0001596707980000251
文件以描述第1节中的等球中概率点位置(PPLEB)算法开始。使用它以便有效地执行算法1中的第5行。迅速执行搜索可疑者的能力对于该方法的适用性至关重要。稍后，在第2节中，描述了执行第6和7行的一个可能的统计模型。所描述的模型是设置的自然选择。它也显示了如何可以非常有效地使用它。
第1节-等球中的概率点位置
下节描述了用于执行等球中概率点位置(PPLEB)的简单算法。在传统的PLEB(等球中的点位置)中，在lR d和半径为r的特定球中，算法以n点集合x开始。该算法被给予O(多(n))预处理时间以产生有效的数据结构。然后，给定查询点x，算法需要返回所有点x，使得||x-xi||≤r。点的集合使得||x-xi||≤r几何地位于围绕查询x的半径r的球内(见图23)。该关系被称为x，接近x或者作为x，并且x是邻居。
PPLEB的问题和最近邻居搜索的问题是在学术界受到很多关注的两个类似的问题。事实上，这些问题是计算几何学领域最早研究的问题。许多不同的方法迎合环境维度d较小或不变的情况。这些以不同的方式划分空间，并递归搜索各部分。这些方法包括KD树、覆盖树和其它。尽管在低维度方面非常有效，但是当环境维度高时，它们往往表现很差。这被称为“维度诅咒”。各种方法试图解决这个问题，同时克服维度诅咒。本文使用的算法使用更简单和更快的版本的算法，并且可以依靠局部敏感散列(Local Sensitive Hashing)。
第1.1节局部敏感散列
在局部敏感散列的方案中，人们设计了散列函数族H，使得：
Figure BDA0001596707980000261
Figure BDA0001596707980000262
换句话说，如果x和y彼此接近，x和y被映射到相同的值h的概率显著更高。
为了清楚起见，让我们首先讨论所有进入的向量具有相同长度r'和
Figure BDA0001596707980000263
的简化情况。后一条件的原因稍后会变得清楚。首先定义随机函数u∈U，它根据x和y之间的角度在x和y之间分开。令
Figure BDA0001596707980000264
是从单位球Sd-1中均匀选择的随机向量，令
Figure BDA0001596707980000265
很容易验证Pru-U(u(x))≠u(y))＝0x,y/π。此外，对于圆上的任何点x、y、x'、y'，使得实现||x′-y′||≤2||x-y||，0x′，y≤20x，y。定义p，使用以下方程：
Figure BDA0001596707980000266
Figure BDA0001596707980000267
函数族H被设定为u的t个独立副本的叉积，即h(x)＝[u1(x),…,ut(x)]。直觉上，人们希望如果h(x)＝h(y)，则x和y很可能彼此接近。让我们量化一下。首先，计算假阳性错误的预期数量nfp。这些是h(x)＝h(y)但是||x-y||>2r的情况。找到nfp不超过1的值t，即，一预计不会是错的。
E[nfi]≤n(1-2p)t≤1
→t≥log(1/n)/log(1-2p)
假设h(x)和h(y)是邻居，现在计算h(x)＝h(y)的概率：
Figure BDA0001596707980000271
这里注意，必须使2p<1，这需要
Figure BDA0001596707980000272
这听起来可能不像是非常高的成功概率。事实上，
Figure BDA0001596707980000273
显著小于1/2。下一节将介绍如何将这个概率提高到1/2。
第1.2节点搜索算法
每个函数h将空间中的每个点映射到桶。将点x的桶函数
Figure BDA0001596707980000274
相对于散列函数h定义为Bh(x)≡{xi|h(xi)＝h(x)}。所维护的数据结构是桶函数[Bh1,…,Bhm]的
Figure BDA0001596707980000275
实例。当搜索点x时，函数返回
Figure BDA0001596707980000276
根据上一节，有两个期望的结果：
Pr(xi∈B(x)|||xi-x||≤r)≥1/2
Figure BDA0001596707980000277
换句话说，尽管发现x的每个邻居至少有1/2的概率，但是不可能找到许多非邻居。
第1.3节处理不同的半径输入向量
前一节仅处理搜索相同长度的向量，即r'。现在描述的是如何使用该构造作为构件块来支持不同半径的搜索。如图11中可见，空间被分成若干具有指数增长宽度的环。由Ri表示的环i包括所有的点xi，使得||xi||∈[2r(1+∈)i,2r(1+∈)i+1]。这样做达到了两个目的。首先，如果xi和xj属于同一个环，则||xj||/(1+∈)≤||xi||≤||xj||(1+∈)。其次，任何搜索都可以在最多1/∈这种环中执行。此外，如果数据集中的最大长度向量是r'，则系统中环的总数是O(log(r'/r))。
第2节路径追踪问题
在路径追踪问题中，空间中的固定路径与时间点序列中的粒子的位置一起给出。术语“粒子”、“线索”和“点”将可以互换使用。该算法需要输出粒子在路径上的位置。这因为几个因素而变得更加困难：粒子只是近似跟随路径；路径可以不连续并多次自行相交；粒子和路径位置二者都是按时间点序列给出的(每个时间点都不相同)。
注意到该问题可以模拟在任何数量的路径上跟踪粒子是重要的。这可以通过简单地将路径连接成一个长路径并将所得位置解释为单个路径上的位置来完成。
更准确地说，令路径P为参数曲线
Figure BDA0001596707980000281
曲线参数将被称为时间。我们所知的路径上的点是在任意时间点ti给出的，即给出n对(ti,P(ti))。粒子跟随路径，但其位置在不同的时间点给出，如图12中所示。此外，还给出了m对(t’j,x(t’j))，其中x(t’j)是时间t’j中粒子的位置。
第2.1节似然估计
由于粒子不精确地跟随路径，并且由于路径可以多次自行相交，所以通常不可能明确地识别粒子实际上在路径上的位置。因此，在所有可能的路径位置上计算概率分布。如果位置概率是显著可能的，则假定粒子位置是已知的。下节描述如何有效地完成此操作。
如果粒子跟随路径，则粒子时间戳与P上相应点的偏移之间的时间差应相对固定。换句话说，如果x(t')当前在路径上的偏移t中，则它应该接近P(t)。另外，τ秒之前，它应该已经在偏移t-τ中。因此x(t'-τ)应该接近P(t-τ)(注意，如果粒子与路径相交，且x(t')暂时接近P(t)，则x(t'-τ)和P(t-τ)不大可能也接近)。定义相对偏移为Δ＝t-t'。注意，只要粒子遵循路径，则相对偏移Δ保持不变。即，x(t')接近P(t'+Δ)。
通过计算得到最大似然相对偏移：
Figure BDA0001596707980000282
换句话说，最有可能的相对偏移是粒子历史对其而言最有可能的那个相对偏移。然而该方程不能在没有统计模型的情况下求解。该模型必须量化：x跟随路径有多紧；x在各个位置之间跳跃的概率有多大；路径和粒子曲线在测量点之间有多平滑。
第2.2节时间折扣建仓
现在描述用于估计似然函数的统计模型。该模型假设粒子偏离路径的偏差以标准偏差ar正常分布。它还假定在任何给定的时间点，粒子将突然切换到另一条路径的一些非零的概率。这体现在对过去点数的指数折扣。除了作为建模观点的合理选择之外，该模型还具有可高效更新的优点。对于一些恒定的时间单位1，设定似然函数与f成比例，其定义如下：
Figure BDA0001596707980000291
这里α<<1是比例系数并且ζ＞0是粒子将以给定时间单位跳到路径上的随机位置的概率。
有效地更新函数f可以使用以下简单的观察来实现。
Figure BDA0001596707980000292
此外，由于α<<1，如果||x(t′m)-P(ti)||≥r，则发生以下情况：
Figure BDA0001596707980000293
这是似然函数的重要性质，因为总和更新现在可以仅在x(t’j)的邻居上而不是在整个路径上执行。用S表示(ti，P(ti))的集合使得||x(t′m)-P(ti)||≤r。以下方程发生：
Figure BDA0001596707980000294
这在下面的算法2.2中描述。项f被用作也接收负整数索引的稀疏向量。集合S是路径上x(ti)的所有邻居的集合，并且可以使用PPLEB算法快速计算。很容易验证，如果x(ti)的邻居数受一些常数nnear限制，则向量f中非零的数量由仅是更大的常数因子的nnear/ζ限制。该算法的最后阶段是如果
Figure BDA0001596707980000302
超过一些阈值，则输出特定值δ。
Figure BDA0001596707980000301
图11给出三个连续的点位置和它们周围的路径点。请注意，无论是最低点还是中间点单独都不足以识别路径的正确部分。然而它们在一起可以识别。添加顶点增加了粒子确实是路径的最终(左)曲线的确定性。
在图12中，给定n(灰色)点集合，该算法被给予查询点(黑色)，并返回与查询点相隔距离r内的点集合(圆内的点)。在传统设定中，算法必须返回所有这些点。在概率设定中，每个这种点应该以一些恒定的概率返回。
图13示出了u(x1)、u(x2)和u(x)的值。直观地说，如果虚线在它们之间经过，则函数u给x1和x2赋予不同的值，如若不然，则赋予相同的值。沿随机方向经过的虚线确保发生这种情况的概率与x1和x2之间的角度成正比。
图14示出通过将空间划分为多个环使得环Ri在半径2r(1+∈)i和2r(1+∈)i+1之间，可以确保环内的任何两个向量长度跨多个(1+∈)因子都是相同的，并且任何搜索在至多1/∈环中执行。
图15示出自相交的路径和查询点(黑色)。它表明，没有粒子位置的历史，就不可能知道它在路径上的位置。
图15给出三个连续的点位置和它们周围的路径点。请注意，x(t1)和x(t2)单独都不足以识别路径的正确部分。然而它们在一起可以识别。添加x(t3)增加了粒子确实是路径的最终(左)曲线的确定性。
尽管在本文中基本上被描述为涉及视频数据和图形显示，但是可以设想，本文描述的系统和方法可以关于音频数据和可听显示以相同方式使用。
可以根据具体要求做出实质性的变化。例如，也可以使用定制的硬件，和/或可以用硬件、软件(包括便携式软件，诸如小应用程序等)或硬件和软件两者来实现特定的元件。此外，可以利用到诸如网络输入/输出设备的其它访问或计算设备的连接。
在前述说明书中，参考其具体实施例描述了本发明的各方面，但是本领域技术人员将认识到，本发明不限于此。以上描述的本发明的各种特征和方面可以单独或联合使用。此外，在不脱离本说明书的更宽泛的精神和范围的情况下，可以在除本文所描述的那些以外的任何数量的环境和应用中使用实施例。因此，说明书和附图被认为是说明性的而不是限制性的。
在前面的描述中，为了说明的目的，以特定的顺序描述了方法。应该理解的是，在替代实施例中，可以以与所描述的顺序不同的顺序来执行这些方法。还应该理解的是，上述方法可以由硬件组件来执行，或者可以按照机器可执行指令的顺序来实施，该机器可执行指令可用于使机器(诸如通用或专用处理器或用这些指令编程的逻辑电路)来执行该方法。这些机器可执行指令可以存储在一个或多个机器可读介质上，诸如CD-ROM或其它类型的光盘、软盘、ROM、RAM、EPROM、EEPROM、磁卡或光卡、闪速存储器或适于存储电子指令的其它类型机器可读介质。可替代地，该方法可以通过硬件和软件的组合来执行。
在将组件描述为被配置为执行某些操作的情况下，可以例如通过设计执行该操作的电子电路或其它硬件，通过对执行操作的可编程电子电路(例如，微处理器或其它合适的电子电路)进行编程，或其任何组合来实现这种配置。
虽然本文已经详细描述了本申请的说明性实施例，但是应该理解，本发明构思可以以其它方式被不同地体现和采用，并且所附权利要求旨在被解释为包括这种变体，除了受现有技术的限制。

Claims (18)

1.一种系统，包括：
一个或多个处理器；以及
包含指令的一个或多个非暂态机器可读存储介质，所述指令在所述一个或多个处理器上执行时使所述一个或多个处理器执行操作，所述操作包括：
接收多个已知媒体内容，其中所述多个已知媒体内容具有相关联的已知内容标识符；
将与所述多个已知媒体内容相关联的所述已知内容标识符存储在非实时数据库中；
确定所述多个已知媒体内容的子集，所述确定的子集中的所述已知媒体内容具有相关联的背景相关数据，其中所述背景相关数据是与所述已知媒体内容相关联的附加数据并且要被提供给客户媒体系统显示；
将与所述多个已知媒体内容的所述子集相关联的已知内容标识符存储在实时数据库中，其中基于在所述确定的子集中的所述已知媒体内容具有所述相关联的背景相关数据而将与所述确定的子集相关联的所述已知内容标识符存储在所述实时数据库中，并且其中在搜索所述非实时数据库之前搜索所述实时数据库以匹配未知内容标识符；
接收与由媒体系统正在显示的未知媒体内容对应的未知内容标识符；
使用所述未知内容标识符搜索所述实时数据库以确定所述未知内容标识符是否对应于与所述实时数据库中的所述多个已知媒体内容的所述子集相关联的已知内容标识符；
当所述未知内容标识符对应于所述实时数据库中的已知内容标识符时，从所述实时数据库中选择与所述对应的已知内容标识符相关联的已知媒体内容，并将所述未知媒体内容识别为来自所述实时数据库的所述选择的已知媒体内容；
当所述未知内容标识符不对应于所述实时数据库中的已知内容标识符时，使用所述未知内容标识符搜索所述非实时数据库；并且
从所述非实时数据库中选择与对应于所述未知内容标识符的已知内容标识符相关联的已知媒体内容，并将所述未知媒体内容识别为来自所述非实时数据库的所述选择的已知媒体内容。
2.根据权利要求1所述的系统，其中所述操作进一步包括：
当所述未知内容标识符对应于所述实时数据库中的已知内容标识符时，检索与所述选择的已知媒体内容相关联的所述背景相关数据；并且
促进所述检索的背景相关数据在所述媒体系统上显示。
3.根据权利要求1所述的系统，其中所述操作进一步包括：
当所述未知内容标识符不对应于所述实时数据库中的已知内容标识符时，使用来自所述非实时数据库的所述选择的已知媒体内容来计算统计。
4.根据权利要求1所述的系统，其中所述未知内容标识符包括由所述媒体系统正在显示的所述未知媒体内容的像素数据样本或音频数据样本中的至少一个。
5.根据权利要求1所述的系统，其中所述操作进一步包括：
使用所述未知内容标识符和与所述选择的已知媒体内容相关联的所述已知内容标识符来确定与所述未知媒体内容相关联的偏移时间。
6.根据权利要求1所述的系统，其中所述一个或多个处理器和所述一个或多个非暂态机器可读存储介质被包括在所述媒体系统中。
7.根据权利要求1所述的系统，其中所述一个或多个处理器和所述一个或多个非暂态机器可读存储介质被包括在远离所述媒体系统定位的服务器中。
8.根据权利要求1所述的系统，其中实时执行如下所述操作：确定所述未知内容标识符是否对应于与所述实时数据库中的所述多个已知媒体内容的所述子集相关联的已知内容标识符，当所述未知内容标识符对应于所述实时数据库中的已知内容标识符时，从所述实时数据库中选择与所述对应的已知内容标识符相关联的已知媒体内容，以及将所述未知媒体内容识别为来自所述实时数据库的所述选择的已知媒体内容。
9.根据权利要求1所述的系统，其中在所述未知内容标识符被接收一段时间之后非实时地执行如下所述操作：当所述未知内容标识符不对应于所述实时数据库中的已知内容标识符时，从与所述未知内容标识符对应的所述非实时数据库中选择与已知内容标识符相关联的已知媒体内容，以及将所述未知媒体内容识别为来自所述非实时数据库的所述选择的已知媒体内容。
10.一种方法，包括：
接收多个已知媒体内容，其中所述多个已知媒体内容具有相关联的已知内容标识符；
将与所述多个已知媒体内容相关联的所述已知内容标识符存储在非实时数据库中；
确定所述多个已知媒体内容的子集，所述确定的子集中的所述已知媒体内容具有相关联的背景相关数据，其中所述背景相关数据是与所述已知媒体内容相关联的附加数据并且要被提供给客户媒体系统显示；
将与所述多个已知媒体内容的所述子集相关联的已知内容标识符存储在实时数据库中，其中基于在所述确定的子集中的所述已知媒体内容具有所述相关联的背景相关数据而将与所述确定的子集相关联的所述已知内容标识符存储在所述实时数据库中，并且其中在搜索所述非实时数据库之前搜索所述实时数据库以匹配未知内容标识符；
接收与由媒体系统正在显示的未知媒体内容对应的未知内容标识符；
使用所述未知内容标识符搜索所述实时数据库以确定所述未知内容标识符是否对应于与所述实时数据库中的所述多个已知媒体内容的所述子集相关联的已知内容标识符；
当所述未知内容标识符对应于所述实时数据库中的已知内容标识符时，从所述实时数据库中选择与所述对应的已知内容标识符相关联的已知媒体内容，并将所述未知媒体内容识别为来自所述实时数据库的所述选择的已知媒体内容；
当所述未知内容标识符不对应于所述实时数据库中的已知内容标识符时，使用所述未知内容标识符搜索所述非实时数据库；并且
从与所述未知内容标识符对应的所述非实时数据库中选择与已知内容标识符相关联的已知媒体内容，并将所述未知媒体内容识别为来自所述非实时数据库的所述选择的已知媒体内容。
11.根据权利要求10所述的方法，进一步包括：
当所述未知内容标识符对应于所述实时数据库中的已知内容标识符时，检索与所述选择的已知媒体内容相关联的所述背景相关数据；并且
促进所述检索的背景相关数据在所述媒体系统上的显示。
12.根据权利要求10所述的方法，进一步包括：
当所述未知内容标识符不对应于所述实时数据库中的已知内容标识符时，使用来自所述非实时数据库的所述选择的已知媒体内容来计算统计。
13.根据权利要求10所述的方法，其中所述未知内容标识符包括由所述媒体系统正在显示的所述未知媒体内容的像素数据样本或音频数据样本中的至少一个。
14.根据权利要求10所述的方法，其中所述方法进一步包括：
使用所述未知内容标识符和与所述选择的已知媒体内容相关联的所述已知内容标识符来确定与所述未知媒体内容相关联的偏移时间。
15.根据权利要求10所述的方法，其中所述方法在所述媒体系统中包括的一个或多个处理器和所述一个或多个非暂态机器可读存储介质上实现。
16.根据权利要求10所述的方法，其中所述方法在远离所述媒体系统定位的服务器中包括的一个或多个处理器和一个或多个非暂态机器可读存储介质上实现。
17.根据权利要求10所述的方法，其中实时地执行如下步骤：确定所述未知内容标识符是否对应于与所述实时数据库中的所述多个已知媒体内容的所述子集相关联的已知内容标识符，当所述未知内容标识符对应于所述实时数据库中的已知内容标识符时，从所述实时数据库中选择与所述对应的已知内容标识符相关联的已知媒体内容，以及将所述未知媒体内容识别为来自所述实时数据库的所述选择的已知媒体内容。
18.根据权利要求10所述的方法，其中在所述未知内容标识符被接收一段时间之后非实时地执行如下步骤：当所述未知内容标识符不对应于所述实时数据库中的已知内容标识符时，从与所述未知内容标识符对应的所述非实时数据库中选择与已知内容标识符相关联的已知媒体内容，并且将所述未知媒体内容识别为来自所述非实时数据库的所述选择的已知媒体内容。
CN201680053312.6A 2015-07-16 2016-07-15 用于改善acr电视监控系统中的工作负荷管理的系统和方法 Active CN108028947B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562193345P 2015-07-16 2015-07-16
US62/193,345 2015-07-16
PCT/US2016/042564 WO2017011770A1 (en) 2015-07-16 2016-07-15 System and method for improving work load management in acr television monitoring system

Publications (2)

Publication Number Publication Date
CN108028947A CN108028947A (zh) 2018-05-11
CN108028947B true CN108028947B (zh) 2021-05-11

Family

ID=56555795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053312.6A Active CN108028947B (zh) 2015-07-16 2016-07-15 用于改善acr电视监控系统中的工作负荷管理的系统和方法

Country Status (12)

Country Link
US (1) US20210216582A1 (zh)
EP (1) EP3323244B1 (zh)
JP (1) JP6896724B2 (zh)
KR (1) KR102601485B1 (zh)
CN (1) CN108028947B (zh)
AU (1) AU2016293589B2 (zh)
BR (1) BR112018000838B1 (zh)
CA (1) CA2992521A1 (zh)
CL (1) CL2018000125A1 (zh)
HK (1) HK1252711A1 (zh)
MX (1) MX2018000566A (zh)
WO (1) WO2017011770A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019191708A1 (en) * 2018-03-30 2019-10-03 Realnetworks, Inc. Socially annotated audiovisual content
CN112533012B (zh) * 2020-11-25 2023-07-04 北京达佳互联信息技术有限公司 直播间互动信息的传输方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1592906A (zh) * 2000-07-31 2005-03-09 沙扎姆娱乐有限公司 用于在强噪声和失真下识别声音和音乐信号的系统和方法
CN102771115A (zh) * 2009-12-29 2012-11-07 电视互动系统有限公司 联网电视的视频片段识别方法及上下文定向内容显示方法
WO2014142758A1 (en) * 2013-03-14 2014-09-18 Rocks International Group Pte Ltd An interactive system for video customization and delivery
WO2014176884A1 (en) * 2013-04-28 2014-11-06 Tencent Technology (Shenzhen) Company Limited Systems and methods for program identification
CN104506946A (zh) * 2014-12-04 2015-04-08 南京阅视网络科技有限公司 一种基于图像识别的电视节目识别方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920164B2 (en) * 2003-07-28 2011-04-05 Nec Corporation Viewing surveillance system for carrying out surveillance independent of a broadcasting form
US8930980B2 (en) * 2010-05-27 2015-01-06 Cognitive Networks, Inc. Systems and methods for real-time television ad detection using an automated content recognition database
US8769584B2 (en) 2009-05-29 2014-07-01 TVI Interactive Systems, Inc. Methods for displaying contextually targeted content on a connected television
US9094714B2 (en) * 2009-05-29 2015-07-28 Cognitive Networks, Inc. Systems and methods for on-screen graphics detection
US20110066944A1 (en) * 2009-09-14 2011-03-17 Barton James M Multifunction Multimedia Device
US8997133B2 (en) * 2012-02-07 2015-03-31 Turner Broadcasting System, Inc. Method and system for utilizing automatic content recognition for content tracking
WO2014178796A1 (en) * 2013-05-03 2014-11-06 Telefun Transmedia Pte Ltd System and method for identifying and synchronizing content
US20150163545A1 (en) * 2013-12-11 2015-06-11 Echostar Technologies L.L.C. Identification of video content segments based on signature analysis of the video content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1592906A (zh) * 2000-07-31 2005-03-09 沙扎姆娱乐有限公司 用于在强噪声和失真下识别声音和音乐信号的系统和方法
CN102771115A (zh) * 2009-12-29 2012-11-07 电视互动系统有限公司 联网电视的视频片段识别方法及上下文定向内容显示方法
WO2014142758A1 (en) * 2013-03-14 2014-09-18 Rocks International Group Pte Ltd An interactive system for video customization and delivery
WO2014176884A1 (en) * 2013-04-28 2014-11-06 Tencent Technology (Shenzhen) Company Limited Systems and methods for program identification
CN104506946A (zh) * 2014-12-04 2015-04-08 南京阅视网络科技有限公司 一种基于图像识别的电视节目识别方法和系统

Also Published As

Publication number Publication date
CN108028947A (zh) 2018-05-11
KR20180030655A (ko) 2018-03-23
AU2016293589A1 (en) 2018-02-08
EP3323244B1 (en) 2021-12-29
HK1252711A1 (zh) 2019-05-31
EP3323244A1 (en) 2018-05-23
KR102601485B1 (ko) 2023-11-10
CL2018000125A1 (es) 2018-06-29
BR112018000838B1 (pt) 2023-03-28
BR112018000838A2 (pt) 2018-09-11
AU2016293589B2 (en) 2020-04-02
CA2992521A1 (en) 2017-01-19
JP2018530081A (ja) 2018-10-11
US20210216582A1 (en) 2021-07-15
JP6896724B2 (ja) 2021-06-30
WO2017011770A1 (en) 2017-01-19
MX2018000566A (es) 2018-04-24

Similar Documents

Publication Publication Date Title
CN108351879B (zh) 用于提高识别媒体段的效率的划分搜索索引的系统和方法
US10949458B2 (en) System and method for improving work load management in ACR television monitoring system
US10375451B2 (en) Detection of common media segments
CN108353208B (zh) 优化媒体指纹保持以提高系统资源利用率
US11659255B2 (en) Detection of common media segments
US20210216582A1 (en) System and method for improving work load management in acr television monitoring system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1252711

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant