CN114402572A - 使用带内元数据作为访问参考指纹的基础，以促进与内容相关的动作 - Google Patents

使用带内元数据作为访问参考指纹的基础，以促进与内容相关的动作 Download PDF

Info

Publication number
CN114402572A
CN114402572A CN202080063939.6A CN202080063939A CN114402572A CN 114402572 A CN114402572 A CN 114402572A CN 202080063939 A CN202080063939 A CN 202080063939A CN 114402572 A CN114402572 A CN 114402572A
Authority
CN
China
Prior art keywords
media
media stream
client
content
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080063939.6A
Other languages
English (en)
Other versions
CN114402572B (zh
Inventor
史蒂文·M·科米
布莱恩·延茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liuke Co ltd
Original Assignee
Liuke Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liuke Co ltd filed Critical Liuke Co ltd
Priority to CN202211433561.1A priority Critical patent/CN115766676A/zh
Publication of CN114402572A publication Critical patent/CN114402572A/zh
Application granted granted Critical
Publication of CN114402572B publication Critical patent/CN114402572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1089—In-session procedures by adding media; by removing media
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14—Multichannel or multilink protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26241—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the time of distribution, e.g. the best time of the day for inserting an advertisement or airing a children program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Abstract

当媒体客户端接收用于呈现的媒体流时，媒体客户端可以带内地随媒体流一起接收标识媒体流的元数据，诸如被编码为媒体流中的水印或随媒体流一起被携带在基于分组的传输流中的媒体流标识符，以及其他可能性。并且当媒体客户端正在处理用于呈现的媒体流时，媒体客户端然后可以将所接收的元数据带外传送到服务器，以使得服务器能够容易地获得表示媒体流的参考指纹，并且由此基于参考指纹来促进诸如动态内容修改的与内容相关的动作。

Description

使用带内元数据作为访问参考指纹的基础，以促进与内容相 关的动作
相关申请的交叉引用
本申请要求于2020年1月28日提交的申请号为15/929,210的美国专利申请和于2019年9月13日提交的申请号为62/900,037的美国临时专利申请的优先权，它们的全部内容通过引用均结合在本申请中。
背景技术
典型的媒体客户端进行操作以接收表示诸如视频和/或音频内容的媒体内容的模拟或数字媒体流，并处理该媒体流以供媒体客户端或相关联的实体在诸如显示屏和/或音频扬声器的用户界面上呈现。这种媒体客户端的示例可以包括电视、计算机显示器、投影系统、扬声器、耳机、机顶盒(例如，有线或卫星电视接收器)、数字视频记录器、收音机、个人计算机、移动通信设备、游戏控制台、流媒体播放器和/或这些其他设备的组合。
举例来说，电视可以接收广播流(例如，通过空中、从机顶盒、通过因特网连接、或以另一方式)，并且可以向用户呈现该广播流的媒体内容。作为另一示例，机顶盒可以从多频道视频节目分发器(MVPD)接收广播流，并且可以经由高清晰度多媒体接口(HDMI)缆线或其他接口将该流的媒体内容输出到电视和/或音频/视频接收器以供播放。作为又一示例，数字视频或音频记录器可同样接收广播流，但可存储广播流以供稍后播出。作为又一示例，扬声器或耳机可以从无线电、计算机或其他设备接收广播音频流，并且可以向用户呈现该流的音频内容。许多其它示例也是可能的。
发明内容
本公开提供了，当媒体客户端接收用于呈现的媒体流时，媒体客户端可以随媒体流一起带内接收标识媒体流的元数据，例如被编码为媒体流中的水印的媒体流标识符，或在基于分组的传输流中随媒体流一起携带的媒体流标识符。并且本公开提供了，当媒体客户端正在处理用于呈现的媒体流时，媒体客户端随后可以将接收到的元数据带外传送到服务器，以使服务器能够容易地获得表示媒体流的参考指纹，从而基于参考指纹促进诸如动态内容修改的与内容相关的动作。
同样，本公开提供了，当媒体客户端正在处理用于呈现的媒体流时，服务器可以从媒体客户端接收向服务器提供媒体流标识符的带外信号，该媒体流标识符是客户端从客户端随媒体流一起接收的带内元数据中提取的。并且本公开提供了，服务器随后可以使用所接收的媒体流标识符作为基础来容易地获得表示正被呈现的媒体流的参考指纹，并且服务器可以使用所获得的参考指纹作为基础来促进诸如动态内容修改的与内容相关的动作。
通过阅读以下详细描述，并在适当的情况下参考附图，这些以及其他方面、优点和替代方案对于本领域的普通技术人员来说将变得显而易见。应当理解，在本发明内容部分和以下提供的描述仅是为了以示例的方式、而不是以限制的方式来说明本发明。
附图说明
图1是其中能够应用各种公开原理的示例系统的简化框图。
图2是其中能够应用各种公开原理的示例系统的另一简化框图。
图3是示出能够根据本公开来执行的方法的流程图。
图4是示出能够根据本公开来执行的方法的另一流程图。
图5是能够根据本公开进行操作的示例计算系统的简化框图。
图6是能够根据本公开进行操作的示例媒体客户端的简化框图。
具体实施方式
参照附图，如上所述，图1是能够应用各种公开原理的示例系统的简化框图。然而，应当理解，本文中描述的这种和其他布置和过程能够采取各种其他形式。例如，元素和操作能够重新排序、分布、复制、组合、省略、添加或以其他方式修改。此外，应当理解，本文中描述的由一个或更多个实体执行的功能能够通过硬件、固件和/或软件(例如由执行程序指令的一个或更多个处理单元等)由这些实体和/或代表这些实体实现。
如图1所示，示例系统包括一个或更多个媒体内容源100(例如，广播公司、网络服务器等)、一个或更多个媒体内容分发者102(例如，MVPD，例如有线电视提供商、卫星提供商、无线广播提供商、网络聚合器等)、一个或更多个媒体内容接收器104(例如，有线接收器、卫星接收器、无线广播接收器、计算机或其他流媒体接收器等)，以及一个或更多个客户端或内容呈现设备106(例如，TV或其他显示设备、扬声器或其他音频输出设备等)。
在示例实施方式中，媒体内容源100能够是国家广播公司，例如ABC、NBC、CBS、FOX、HBO和CNN，媒体内容分发者102能够是指定市场区域(DMA)中的本地分支机构和/或其他本地内容分发者，然后接收器104和内容呈现设备106能够位于客户场所，例如住宅或商业机构。通过这种或其他布置，内容源100能够将媒体内容传送给内容分发者102以在客户场所分发给接收器104，并且内容分发者能够在离散频道(例如，特定频率或其他定义的频道)上将媒体内容分发给接收器104。然后，每个接收器能够通过调谐到所选频道并将到达所选频道的媒体内容输出到内容呈现设备106来响应用户输入或一个或更多个其他触发。并且内容呈现设备106能够接收和渲染媒体内容(例如，显示、或以其他方式呈现内容)。
当诸如接收器104和/或内容呈现设备106之类的媒体客户端正在处理线性用于呈现的媒体流时(例如，当媒体客户端正在渲染用于呈现的媒体流、输出用于呈现的媒体流、和/或以其他方式处理用于呈现的媒体流时)，在某些情况下媒体客户端执行特殊的与内容相关的动作(即，与媒体流的内容相关的动作)可能是有用的。
举例来说，与内容相关的动作可以涉及发起一个交互式事件，例如开始叠加覆盖内容(例如，覆盖音频和/或视频内容)，该覆盖内容提示用户以某种方式作出响应，或与媒体客户端或呈现媒体流内容的相关联的用户界面的用户交互相关。
作为另一示例，与内容相关的动作可以涉及动态地修改流的媒体内容的一部分。例如，对于媒体客户端来说，用替换广告或其他替换内容动态地替换广告或媒体流的其他可替换片段可能是有用的，使得当向用户播放内容时，用户将接收替换广告、或其他代替最初所包含的广告的替换内容或者其他可更换片段。作为另一示例，对于媒体客户端来说，使用覆盖或分屏内容(例如频道标识、上下文信息、广告内容等)来动态地补充媒体内容的一部分可能是有用的，使得当向用户播放内容时，用户将接收补充内容以及最初所包含内容。
此外，可能期望媒体客户端在媒体流内的特定时间点执行与内容相关的动作。例如，如果媒体客户端要用替换广告或其他替换内容动态地替换媒体流的现有广告或其他可替换片段，则可能期望媒体客户端在现有广告或其他可替换片段已经开始的情况下一次在媒体流中放置替换广告或其他替换内容。同样，如果媒体客户端要用与特定部分相关的覆盖来补充媒体内容的该特定部分，则可能期望媒体客户端在该部分开始时开始该覆盖。其他示例也是可能的。
更具体地，所讨论的媒体流可以定义帧序列，例如视频帧和/或音频帧，并且可能期望媒体客户端在帧准确的基础上执行与内容相关的动作。例如，对于动态内容替换，可能期望媒体客户端从现有广告或其他可替换片段的第一帧开始插入替换广告或其他替换内容来代替现有广告或其他可替换片段。并且为了将覆盖添加到媒体流的特定部分，可能期望媒体客户端在媒体流的该部分的第一帧处或特定于该部分的第一帧开始覆盖。对于其他与内容相关的动作，也可能存在类似的理由。
在没有限制的情况下，本公开的其余部分将主要集中于动态广告插入(DAI)，其中媒体客户端将用替换广告的播放来动态地替换媒体流中的可替换广告的播放，该替换广告诸如基于用户人口统计等选择的广告。应该理解，所公开的原理也可以应用于其他与内容相关的动作。
在代表性DAI场景中，媒体客户端可以包括电视和/或机顶盒，其处理以呈现定义特定电视频道的线性广播馈送的媒体流，例如，其中媒体客户端当前正在从广播公司(例如，无线广播公司、或者有线或卫星MVPD)接收媒体流，或者先前已经接收并存储了媒体流以供稍后播放，并且可替换广告可以在该媒体流中的任何时刻出现。例如，尤其是(但不限于)诸如体育赛事的现场广播，广告出现在这样的媒体流中的时间可能是不可预测的。可替代地，广告可以在特定的调度时间出现。
在这种场景下，当媒体客户端正在处理用于呈现的媒体流时，媒体客户端可以与网络服务器进行带外通信(例如，通过宽带网络连接或者以其他方式与客户端接收到的频道分离)，并且服务器可以工作以准备使媒体客户端在媒体客户端处理媒体流的过程中的适当时间执行DAI，诸如在媒体流将包括可替换广告时。
为了促进这一点，服务器可以首先确定媒体客户端正在处理哪个用于呈现的媒体流，并且服务器然后可以确定可替换广告将出现在那个所确定的媒体流中的时间点。然后，服务器可以指示媒体客户端从媒体流中的那个确定的点开始插入用于播放的替换广告来代替可替换广告。
图2是能够实现该DAI过程的示例系统的简化框图。
图2在其顶部示出了经由内容分发系统202从内容源200延伸到媒体客户端204的示例媒体分发路径。例如但不限于，内容源200可以是诸如上述之一的国家广播公司，内容分发系统202可以是诸如国家广播公司的本地分支机构的MVPD，并且媒体客户端204可以是诸如TV等的内容呈现设备和/或诸如机顶盒等的接收器。
利用这种布置，示例媒体流在媒体分发路径上从内容源200流到内容分发系统202，然后从内容分发系统202流到媒体客户端204。在没有限制的情况下，该媒体流可以包括并且因此定义如上所述的媒体内容的数字帧序列，可能表示内容的特定频道。内容源200可以通过将传输流分组的有效载荷中的媒体流的片段传送到中间节点202，来以基于分组的传输流的形式将该媒体流传送到内容分发系统202。并且内容分发系统202然后可以将媒体流(可能也是基于分组的传输流或者可能解分组和/或转码的媒体流)转发到媒体客户端204以供处理，来促进媒体客户端的处理以供呈现。
如图2进一步所示，媒体客户端204可以与通信网络206互连，该通信网络可以是诸如因特网之类的分组交换网络。例如，媒体客户端可以作为客户场所的局域网(LAN)上的节点，其中媒体客户端在LAN上具有分配的因特网协议(IP)地址，并且LAN在网络206上具有IP地址。媒体客户端因此可以在媒体客户端处理媒体流的同时经由网络206参与与各种实体的数据通信。
示出的可经由网络206访问(例如，在网络上的定义的IP地址处)的是自动内容识别(ACR)服务器208(例如，包括ACR服务的服务器的组合)，媒体客户端可以利用该服务器参与示例带外通信，例如通过网络206的IP信令。
ACR服务器208可以被配置为参与各种ACR操作，例如自动确定由媒体客户端正在处理的媒体流(例如，频道)的标识、自动检测该媒体流中即将发生的广告替换机会、以及协调媒体客户端204实施DAI。
为了促进这些或其他这样的操作，ACR服务器208可以被提供有参考数据210，其可以包括各种媒体流中的每一个(例如，各种已知频道中的每一个)的数字参考指纹和可能出现在给定媒体流中的各种可替换广告中的每一个的数字参考指纹。除了其它可能性之外，该参考数据可以由内容源200和内容管理服务器214提供。
在示例实施方式中，各种已知媒体流中的每一个(例如，各种已知频道中的每一个)的参考指纹可以由一个或更多个捕捉服务器建立，所述捕捉服务器可以访问由一个或更多个内容源分发的广播频道馈送。
例如，当内容源200输出包括图中所示的媒体流的各种媒体流中的每一个(例如，各种已知频道中的每一个)时，作为在内容源200处操作的ACR引擎212或以其他方式与内容源相关联的捕获服务器操作的ACR引擎可以在每帧的基础上或其他正在进行的基础上生成分别表示每个这样的媒体流的数字参考指纹。并且ACR引擎212可以用参考时间戳对每个参考指纹加时间戳，该参考时间戳指示媒体流的参考时间轴中或者根据另一参考时钟(诸如在内容源处运行的时钟)的相关联的帧的相对时间。当ACR引擎212生成这些加时间戳的参考指纹时，ACR引擎212接着可将参考指纹提供给ACR服务器208，从而使每一媒体流的参考指纹与该媒体流的唯一标识(例如，频道识别符(CID))相关联。(可替代地，参考指纹的生成可以在内容分发系统202处完成，以及其他可能性)。
ACR服务器208因此可以接收这些加时间戳的数字参考指纹，并将其与相关联的媒体流标识信息一起存储为参考数据210的一部分。例如，ACR服务器208可将参考指纹与其相关联的媒体流标识信息存储在数据库关系中。
此外，根据促进DAI的协定，内容管理服务器214可以接收一个或更多个可替换广告中的每一个的副本，并且内容管理服务器214可以生成表示每个这样的可替换广告的数字指纹，并且可以将那些数字指纹提供给ACR服务器208。并且ACR服务器208也可以存储可替换广告的那些数字指纹作为参考数据210的一部分。
在没有限制的情况下，示例数字指纹识别过程能够在每个视频帧的基础上应用，并且能够涉及建立亮度和/或其他视频特征的表示。例如，对于给定的视频帧，指纹生成器能够编程地将帧划分为网格，并且指纹生成器能够测量每个网格单元的帧的亮度，并且生成比特串，其中，每个比特或一系列比特表示相应的网格单元的亮度，或者表示某些定义的网格单元对的亮度之间的加权差等。此外，指纹生成器能够持续应用该过程以随时间生成数字指纹作为指纹序列(例如，作为指纹流)。例如，指纹生成器能够周期性地或在另一定义的基础上将该过程应用于每个帧、每个关键帧，其中，每个帧的比特串定义数字指纹和/或在滑动窗口基础上使用指定的哈希(hash)、这种比特串的组合或系列或定义数字指纹的其他代表值。其他的数字指纹识别过程也能够使用。
当媒体客户端处理用于呈现表示给定内容频道的正在进行的媒体流时，媒体客户端可以类似地生成查询数字指纹以促进ACR，该查询数字指纹表示其正在处理的流的媒体内容的帧。媒体客户端可以应用用于生成媒体流和替换广告的参考指纹的相同的数字指纹化过程，以便允许出于ACR的目的将查询指纹与那些参考指纹进行比较并且促进DAI。此外，媒体客户端可以对每个这样的查询指纹加时间戳，以根据媒体客户端的时钟表示由查询指纹表示的帧的时间。
在示例实施方式中，媒体客户端可以周期性地(或以其他方式不时地)通过网络206向ACR服务器传输媒体客户端已经生成的最新一组查询指纹，以使得ACR服务器能够标识媒体客户端正在处理的媒体流。
当ACR服务器从媒体客户端接收这些查询指纹时，ACR服务器可将查询指纹与由ACR服务器存储在参考数据210中的媒体流参考指纹进行比较，以试图找到匹配。并且在充分确定地发现查询指纹与与特定媒体流(例如，特定频道)相关联的参考指纹相匹配时，ACR服务器可合理地推断那是由媒体客户端正在处理的媒体流。
为了将给定查询指纹与给定参考指纹进行比较，ACR服务器可将指纹的对应部分彼此进行比较以确定所述部分是否精确匹配或在限定公差内匹配。例如，ACR服务器可计算指纹之间的最大偏差，并确定最大偏差是否在预定公差内。此外，如果指纹是二进制的，这可能是布尔(Boolean)判定，或者可能涉及计算汉明(Hamming)距离(作为指纹中相应的比特位置之间的不匹配的计数)，并且如果指纹是更复杂的值，例如十进制值或向量(例如，每个视频帧区域的灰度值)，这可能涉及到确定值或向量之间的距离。许多其他示例也是可能的。
一旦ACR服务器标识客户端正在呈现的媒体流，ACR服务器可以各种方式确定可替换广告何时将出现在该标识的媒体流中，并且ACR服务器然后可以向媒体客户端传送指示，以使媒体客户端在媒体客户端处理媒体流期间在该时间点开始插入替换广告。
在一个示例中，ACR服务器可确定可替换广告将出现在媒体流中的参考时间，并且服务器可向媒体客户端提供该参考时间。
作为示例，ACR服务器可以访问所确定的媒体流中指定可替换广告的预定广播时间的数据，诸如媒体流的分发者被调度以在媒体流中包括可替换广告的时间。该预定时间可以在频道的参考时间轴中定义，或者根据另一参考时钟，例如在分发器处运行的时钟来定义。一旦ACR服务器标识媒体客户端正在呈现的媒体流，服务器就可以参考该数据来确定可替换广告的预定广播时间。并且在该时间之前，ACR服务器可参与到媒体客户端的带外信令中，以向媒体客户端提供可替换广告的预定广播时间的标示，以及向媒体客户端提供在该即将到来的时间开始呈现替换广告的指示。
可替代地，ACR服务器可以应用基于指纹的ACR作为基础来实时检测媒体流中可替换广告的存在，即，当媒体流正在路由到媒体客户端时。ACR服务器然后可以确定检测到的可替换广告的开始的参考时间戳，并且可以向媒体客户端传送指令以使媒体客户端呈现在媒体流中的该点处开始的替换广告。
该过程可以利用从内容源输出用于分发的媒体流的内容的时间点、到媒体客户端接收和/或以其他方式处理该媒体流的内容的时间点可能存在的时间延迟。根据系统的配置，该延迟可以是大约5-10秒，并且可以在客户端之间变化。给定该延迟，如果ACR服务器通过诸如通过网络206的相对高速的网络连接与媒体客户端进行带外通信，则ACR服务器可以给予媒体客户端关于媒体流中即将发生的可替换广告的充分的提前通知，使得媒体客户端可以准备在可替换广告将出现在媒体客户端正在处理的媒体流中时呈现可替换广告。
在该示例的一个实施方式中，例如，一旦ACR服务器标识媒体客户端正在呈现的媒体流，ACR服务器就可以开始将该媒体流的参考指纹与各种可替换广告的指纹进行比较。并且在充分确定地发现所确定的媒体流的参考指纹与特定可替换广告的指纹相匹配时，ACR服务器可推断可替换广告存在于由媒体客户端正在处理的媒体流中。ACR服务器然后可以从参考指纹时间戳确定当可替换广告的第一帧出现在媒体流中时媒体流中的参考时间，并且ACR服务器可以向媒体客户端传送该时间的标示，该标示具有用于媒体客户端在该特定时间开始插入替换广告以代替可替换广告的指示。
在这些示例中使用参考时间可能存在的一个问题是，媒体客户端的用于呈现媒体流的时间轴可能与媒体流的参考时间轴不匹配，因此ACR服务器可能提供给媒体客户端的参考时间会无法正确地通知媒体客户端可替换广告将何时出现在媒体客户端的媒体流中。
这种时间差异的一个基础可能是上述时间延迟，即内容源输出用于分发的媒体流的内容到媒体客户端接收和/或以其他方式处理该媒体流的内容的时间点之间的时间延迟。如果ACR服务器提供的参考时间表示从广播公司的角度来看的可替换广告的开始时间，则可替换广告实际在媒体客户端上出现在媒体流中的时间将以广播延迟从该参考时间发生偏移。
可替代地或附加地，时间差异的另一基础可能是媒体客户端是否正在以时移方式呈现媒体流，例如媒体客户端先前接收和存储媒体流的线性馈送并且现在从存储装置检索馈送并呈现它。在这种情况下，媒体客户端的用于呈现媒体流的时间轴将以至少该时移的持续时间从媒体流的广播时间发生偏移。
为了帮助克服这个技术问题，ACR服务器和/或媒体客户端可以工作以建立参考时间与客户端时间之间的时间映射或“同步锁”。特别地，ACR服务器和/或媒体客户端可以计算(i)参考时间(例如媒体流的内容的广播时间或根据沿频道本身定义的时间轴的时间)与(ii)客户端时间(例如媒体客户端呈现媒体流的对应内容的时间)之间的偏移。ACR服务器和/或媒体客户端然后可以应用该时间偏移作为在参考时间与客户端时间之间进行转换的基础，诸如将媒体流中的可替换广告的开始的参考时间转换为当媒体客户端处理媒体流时可替换广告将开始的客户端时间。
ACR和/或媒体客户端可以以各种方式建立该同步锁。
作为示例，ACR服务器可通过比较媒体流的参考指纹与媒体流的查询指纹相匹配的一个或更多个实例的参考指纹时间戳与查询指纹时间戳来确定时间偏移。特别地，一旦ACR服务器已确定媒体客户端正在呈现的媒体流，或在进行该确定的过程中，ACR服务器可以执行指纹匹配以充分确定地发现与客户端提供的查询指纹相匹配的参考指纹的一个或更多个实例。并且对于每个这样的匹配点，ACR服务器可以计算参考指纹时间戳与查询指纹时间戳之间的差。ACR服务器可以认为时间偏移是针对给定匹配点或者是多个此类匹配点的平均值计算的差值。
给定该计算出的时间偏移，ACR服务器然后可以将媒体流中可替换广告开始的参考时间转换为相应的客户端时间，并因此可以将该客户端时间作为可替换广告何时开始以及由此媒体客户端应当何时开始呈现替换广告的标示传达给媒体客户端。可替代地，ACR服务器可以将所计算的时间偏移传送到媒体客户端，并且媒体客户端然后可以应用该时间偏移以将服务器提供的可替换广告的开始的参考时间转换为可替换广告的开始的相应客户端时间，使得媒体客户端然后可以在该时间开始插入替换广告。
可替代地，一旦ACR服务器已经标识出由媒体客户端正在处理的媒体流，ACR服务器就可以向媒体客户端提供媒体流的一组加时间戳的参考指纹，并且媒体客户端可以执行客户端侧指纹匹配以便确定时间偏移。即，媒体客户端可以执行指纹匹配以充分确定地发现与客户端产生的查询指纹相匹配的参考指纹的一个或更多个实例。并且对于每个这样的匹配点，媒体客户端可以计算参考指纹时间戳与客户端指纹时间戳之间的差。媒体客户端然后可以认为时间偏移是针对给定匹配点或者是多个此类匹配点的平均值计算的差值。
在该示例中，如果媒体客户端从ACR服务器接收到媒体流中可替换广告开始的参考时间，则媒体客户端可以将该参考时间转换为相应的客户端时间，使得媒体客户端随后可以在该客户端时间开始呈现替换广告。可替代地，媒体客户端可以将计算出的时间偏移传送到ACR服务器，然后ACR服务器可以将该时间偏移应用于媒体流中的可替换广告的开始的参考时间以确定相应的客户端时间，然后可以向媒体客户端提供所确定的客户端时间，使得媒体客户端可以在该客户端时间开始插入替换广告。
在替代实施方式中，ACR服务器可以使用基于指纹的ACR来在媒体流正在路由到媒体客户端时实时检测媒体流中可替换广告的存在，并且ACR服务器可以接着向媒体客户端提供一组相关联的参考指纹以使媒体客户端能够执行客户端侧匹配，以便检测可替换广告将何时出现在媒体流中，并且因此检测媒体客户端应该何时开始插入替换广告。
即，一旦ACR服务器已标识出由媒体客户端正在处理的媒体流，ACR服务器随后可以将该所标识的媒体流的参考指纹与各种可替换广告的预定指纹进行比较，并且由此可以如上文所述检测媒体流中特定可替换广告的存在。在已经检测到媒体流中的可替换广告之后，ACR服务器可以接着获得表示媒体流的帧的参考指纹组，该组参考指纹表示媒体流中的可替换广告的开始，并且至少包括该可替换广告的开始。并且ACR服务器可以将那些参考指纹以及哪个参考指纹表示可替换广告的开始的指示传送到媒体客户端。作为响应，媒体客户端然后可以执行客户端指纹匹配，以便检测可替换广告何时将出现在媒体客户端正在处理的媒体流中。并且媒体客户端可以相应地在该检测到的时间点开始插入替换广告。
该过程还可利用上述时间延迟，该时间延迟可能从分发者输出用于分发的媒体流的内容的时间点到媒体客户端接收和/或以其他方式处理该媒体流的内容的时间点之间存在。
这里，如果ACR服务器通过相对高速的网络连接与媒体客户端进行带外通信，则ACR服务器可以在媒体客户端的媒体流中将出现可替换广告之前充分地向媒体客户端提供参考指纹，使得媒体客户端可以应用客户端侧匹配，并准备在精确到帧的基础上开始替换广告。
在DAI的示例实施方式中，ACR服务器还可以向媒体客户端提供其它信息以促进广告替换。例如，ACR服务器可以向媒体客户端提供地址(例如，统一资源定位符(URL))或其他信息，其使得媒体客户端能够从内容替换服务器216、从媒体客户端的本地数据存储装置或从另一位置获得媒体客户端应该插入的替换广告以代替可替换广告，并且提供持续时间和其他信息，以使得媒体客户端能够获得用于该目的合适的替换广告。媒体客户端因此可以获得替换广告，并且可以相应地在媒体客户端处理正在进行的用于呈现的媒体流时插入替换广告来代替替换广告。
遗憾的是，在上述过程中可能出现的技术问题是，ACR服务器可能花费比所期望的或实际的更多的时间来通过基于指纹的ACR初始地确定媒体客户端正在处理哪个媒体流，即，初始地标识媒体客户端正在处理的媒体流。因此，ACR服务器可能花费比期望的或实际的更多的时间来确定哪些参考指纹可以用于上述各种目的，例如(i)建立同步锁以便于确定媒体客户端应该何时开始插入替换广告的客户端时间，或者(ii)进行服务器侧或客户端侧基于指纹的ACR，以检测媒体客户端正在处理的媒体流中的可替换广告的存在，以及其他可能性。
例如，ACR服务器搜索参考数据210以努力充分确定地发现与客户端提供的查询指纹匹配的媒体流参考指纹可能花费比期望的或实际的更多的时间。此外，在一些情况下，ACR服务器可以充分确定地发现客户端提供的查询指纹与分别表示多个不同媒体流中的每一个的参考指纹匹配(作为多匹配场景)，在此情况下，ACR服务器可以接着需要参与额外耗时的处理以确定那些多个媒体流中的哪一个是媒体客户端正在呈现的媒体流。
遗憾的是，如果ACR服务器花费太长时间来确定媒体客户端正在处理哪个媒体流，ACR可能不能够及时地准备媒体客户端以针对给定的广告替换机会进行DAI。此外，对于其它类型的与内容相关的动作，可能存在这个相同的问题。
本公开提供了一种可以帮助克服该技术问题的有用机制。根据本公开，如上所述，当媒体客户端正在处理以(实时地或利用时移)呈现诸如频道的媒体流时，媒体客户端将接收标识媒体流的带内元数据，并且基于接收带内元数据，将通过带外通信将元数据的表示发送到ACR服务器等，以使服务器能够容易地确定媒体客户端正在处理的媒体流，并采取如上所述的相关联的操作。
在代表性实现中，媒体客户端接收带内元数据的动作涉及媒体客户端接收元数据(例如，同时或伴随着)媒体客户端对媒体流的接收，而不是媒体客户端接收元数据与媒体客户端对媒体流的接收分开。
举例来说，带内元数据可以是被编码到媒体流本身中的元数据。例如，使用现在已知或以后开发的各种水印技术中的任何一种，带内元数据可以被隐写地编码为媒体流中的水印(例如，音频或视频水印)。在这种情况下，媒体客户端可以评估媒体流以检测水印的存在，并且在检测到水印时，媒体客户端可以解码水印并因此从媒体流读取元数据。可替代地，元数据可以以其他方式被编码在媒体流中，例如在视频帧的垂直辅助数据(VANC)空间内，在这种情况下，媒体客户端可以从视频帧的VANC空间读取元数据，以及其他可能性。
作为另一示例，如果媒体流在传输流中(例如，在分组数据流中)被携带，则传输流可以在一个或更多个传输流分组中的每个的报头内和/或在传输流中的一个或更多个特殊分组内携带元数据。在这种情况下，媒体客户端可以评估传输流以检测元数据的存在，然后可以从传输流中读取元数据。
这些或其它形式的带内元数据可以使用各种协议来提供，例如但不限于由诸如电缆电信工程师协会(SCTE)(例如，SCTE104或SCTE35)、高级电视系统委员会(ATSC)(例如，ATSC3.0)或欧洲电信标准协会(例如，混合广播宽带(HBB)TV(TS102796))等标准组织定义的那些协议。
如本领域所知，加水印涉及将信息永久地嵌入或以其他方式编码到媒体内容中，使得媒体内容的接收者能够从媒体内容中解码和提取信息，但是这对于向其呈现媒体内容的用户而言可能是无法察觉的。这与在没有将信息编码到底层媒体内容本身的情况下将这样的信息插入到分组报头等中相反。加水印会永久地改变媒体内容，并且可能无法删除。
更具体地说，对媒体内容加水印能够涉及将能够映射到相关联的信息的代码编码到媒体内容中，或者更直接地将相关联的信息编码到媒体内容中。在示例实施方式中，水印代码能够是24比特的量级，并且加水印能够在媒体内容的音频分量和/或媒体内容的视频分量中完成，例如取决于媒体内容的形式。
现有的音频水印技术包括但不限于，将音频能量插入音频信号或以其他方式调整音频信号的一个或更多个特征，该方式能够通过经适当配置的水印检测算法检测，但被掩蔽而听不见(例如，音频特征和/或编码方式足以掩盖水印以免被人类检测到)–即速记或心理声学编码。
在美国专利号第8,359,205号(2013年1月22日发布的题为“Methods andApparatus to Perform Audio Watermarking and Watermark Detection andExtraction,”)、美国专利号第8,369,972号(2013年2月5日发布的题为“Methods andApparatus to Perform Audio Watermarking Detection and Extraction”)、美国专利公布第2010/0223062号(2010年9月2日公布的题为“Methods and Apparatus to PerformAudio Watermarking and Watermark Detection and Extraction”)、美国专利号第6,871,180号(2005年3月22日发布的题为“Decoding of Information in Audio Signals”)、美国专利号第5,764,763号(1998年6月9日发布的题为“Apparatus and Methods forIncluding Codes in Audio Signals and Decoding”)、美国专利号第5,574,962号(1996年11月12日发布的题为“Method and Apparatus for Automatically Identifying aProgram Including a Sound Signal”)、美国专利第5,581,800号(1996年12月3日发布的题为“Method and Apparatus for Automatically Identifying a Program Including aSound Signal”)、美国专利第5,787,334号(1998年7月28日发布的题为“Method andApparatus for Automatically Identifying a Program Including a Sound Signal”)以及美国专利第5,450,490号(1995年9月12日发布的题为“Apparatus and Methods forIncluding Codes in Audio Signals and Decoding”)中描述了音频水印示例和对应的水印检测技术，通过引用将它们的全部内容全部合并于此。
另一方面，现有的视频水印技术涉及以能够通过经适当配置的水印检测算法检测到但被人类视觉检测掩盖的方式将代码嵌入媒体内容的视频分量中。
视频水印技术的示例包括各种空间域技术，例如翻转像素、将水印嵌入到最低有效位、向视频中添加伪随机噪声图，以及各种频域技术，例如SVD域水印、离散傅立叶变换水印、离散余弦变换水印、离散小波变换水印、主成分分析水印。其他示例也是可能的。
这些或其它水印技术中的任何技术都可以用于本目的，或者以能够促进当前公开的特征的方式用于水印。
在示例实施方式中，内容源、内容分发者或涉及提供最终将由媒体客户端处理的媒体流的其他实体可以提供媒体流的唯一标识符作为带内元数据、通过将媒体流标识符水印到媒体流本身中、通过将媒体流标识符作为传输流元数据写入也携带媒体流的传输流中、和/或以另一方式。此外，在媒体流路由到媒体客户端时，可以改变带内提供元数据的方式。例如，在媒体分发路径中的某一点，媒体流沿着该媒体分发路径流向媒体客户端，传输流元数据可以被转换为水印，以及其他可能性。
为了使ACR服务器能够快速地将该带内媒体流标识符与表示媒体流的参考指纹相关联，媒体流标识符可以是参考数据210针对媒体流指定的相同标识符。例如，如果媒体流表示具有特定CID的特定频道，则作为带内元数据提供的媒体流标识符可以是该相同CID。可替代地，带内媒体流标识符可以是例如通过数据库查找能够容易地映射到与参考指纹相关联的相同媒体流标识符的代码或其它数据。
提供该媒体流标识符作为带内元数据的实体也可以在整个媒体流中重复这样做(例如，沿着媒体流的持续时间)，以使得媒体客户端能够容易地检测和解码水印并获得媒体流标识符。例如，随着媒体流的进行，实体可以周期性地或以其他方式不时地将媒体流的标识符水印到媒体流中，或将媒体流的标识符作为传输流元数据添加到携带媒体流的传输流。此外，实体可以利用媒体流中或传输流中的预定放置和/或利用预定数据结构或一个或更多个其他预定属性来完成这一操作，以使得媒体客户端可以通过寻找这些预定属性来发现带内元数据的存在。
当媒体客户端正在处理用于呈现的媒体流时，媒体客户端因此可以发现并读取带内元数据，以容易地获得媒体流的标识符。并且作为响应，媒体客户端然后可以容易地通过带外信令将所获得的媒体流标识符传送到ACR服务器，以使得ACR服务器能够容易地获得相关联的参考指纹，以便促进有用的与内容相关的动作。
在示例实施方式中，为了考虑可能的频道改变等，媒体客户端可以针对媒体客户端在媒体流进行时发现的媒体流标识符的每个带内实例重复地进行这个操作。或者媒体客户端可以不重复向ACR服务器的传输，除非并且直到带内媒体流标识符改变或者预定的时间段过去。
由媒体客户端从带内元数据获得的媒体流标识符的到ACR服务器的该带外传输可以涉及媒体客户端将根据网络206上的任何约定的协议以基于分组的通信方式将媒体流标识符传输到ACR服务器的IP地址。这里或以另一种方式，媒体客户端因此可以接收作为随媒体流一起的带内元数据提供的媒体流标识符，该带内元数据通过媒体分发路径从内容分发系统202传送，然后媒体客户端可以通过网络206将所获得的媒体流标识符带外传送到ACR服务器。
在接收到媒体客户端从带内元数据获得并且带外传送到ACR服务器的这种媒体频道标识时，ACR服务器然后可以容易地获得表示该特定的、标识的媒体流的参考指纹。例如，ACR服务器可以基于该媒体流标识符来查询参考数据210，以容易地获得参考数据与该媒体流标识符相关联并且因此表示所标识的媒体流的参考指纹。此外，基于媒体流标识符，ACR服务器可获得表示所标识的媒体流的附加参考指纹。
ACR服务器然后可以以上述任何方式，以及其它可能性，容易地利用所获得的参考指纹，以促进与内容相关的动作。例如，ACR服务器可以使用所获得的参考指纹作为(i)建立同步锁以便促进确定媒体客户端应当何时开始呈现替换广告的客户端时间的基础，和/或(ii)作为服务器侧或客户端侧基于指纹的ACR检测媒体客户端正在处理以用于呈现的媒体流中的可替换广告的存在的基础，以及其他可能性。
便利地，该过程因此可以使得ACR服务器能够获得表示由媒体客户端正在处理的媒体流的参考指纹，而不需要ACR服务器执行查询/参考指纹匹配以确定哪些参考指纹匹配表示媒体流的客户端生成的查询指纹。也就是说，替代实施方案可另外涉及出于一个原因或另一原因的查询指纹与参考指纹的匹配。
图3是示出了能够根据本公开执行的示例方法的流程图。
如图3所示，在框300处，该方法包括媒体客户端接收媒体流(例如，电视频道)并且媒体客户端接收媒体流的标识符作为随媒体流一起的带内元数据。此外，在可与框300并行发生的框302处，该方法包括媒体客户端处理用于呈现的媒体流。此外，在框304处，该方法包括，当媒体客户端正在处理用于呈现的媒体流时，由媒体客户端通过带外信令向服务器传送由媒体客户端接收到的作为随媒体流一起的带内元数据的媒体流的标识符，以使服务器能够获得表示媒体流的参考指纹，而无需服务器搜索与表示由媒体客户端正在处理的媒体流的查询指纹相匹配的参考指纹。此外，在框306处，该方法包括媒体客户端从服务器接收指示，该指示用于媒体客户端在媒体流中的特定时间执行与内容相关的动作，该特定时间是基于所获得的参考指纹来建立的。
根据以上讨论，该方法中的与内容相关的动作可以涉及动态内容修订，诸如DAI，以及其他可能性。
此外，如上所述，媒体客户端接收标识符作为随媒体流一起的带内元数据的动作可以涉及媒体客户端接收被隐写地编码为媒体流中的水印的标识符和/或媒体客户端接收携带在传输流中的标识符，该传输流将媒体流携带到媒体客户端。如上所述，带外信令可以涉及在宽带网络连接或其它最优高速通信接口上的信令。
此外，如上所述，媒体客户端可以包括内容呈现设备，在这种情况下，处理用于呈现的媒体流可以包括媒体客户端在用户界面上呈现媒体流的内容和/或以其他方式处理媒体流的内容以用于这种呈现。可替代地或附加地，媒体客户端可以包括与内容呈现设备或其他相关联设备交互工作的另一设备，诸如机顶盒或其他接收器，在这种情况下，处理用于呈现的媒体流可以包括输出媒体流以用于由相关联设备呈现和/或以其他方式处理媒体流的内容以促进内容的呈现。
此外，媒体客户端处理用于呈现的媒体流的动作还可以包括媒体流接收媒体流的动作，以及其他可能性。
如上文另外讨论的，使得服务器能够获得表示媒体流的参考指纹的动作可以使得能够建立将参考时间映射到客户端时间的同步锁。并且同步锁的建立又可以使得能够将与内容相关的动作的参考时间转换成与内容相关的动作的客户端时间，以便促进在媒体流中的期望时间执行与内容相关的动作。
可替代地或附加地，使得服务器能够获得表示媒体流的参考指纹的动作可以使得服务器能够执行可替换内容片段(例如，可替换广告)与所获得的参考指纹之间的指纹比较，以检测可替换内容片段存在于媒体流中，这可以促进动态内容修订，以及其他可能性。
上述各种其它特征也能够应用于这种情况，反之亦然。
图4是示出根据本公开能够执行的方法的另一流程图。
如图4所示，在框400处，该方法包括，当媒体客户端正在处理用于呈现的媒体流时，服务器从媒体客户端接收带外信号，该带外信号向服务器提供媒体流的标识符，该媒体流的标识符是媒体客户端从媒体客户端接收的随媒体流一起的带内元数据中提取的。在框402处，该方法然后包括服务器使用所接收的媒体流的标识符作为基础来获得表示媒体流的参考指纹，而无需服务器搜索与表示由媒体客户端正在处理的媒体流的查询指纹相匹配的参考指纹。此外，在框404处，该方法包括服务器使用所获得的参考指纹作为基础来确定媒体客户端在媒体流中何时应该执行与内容相关的动作的点。在框406处，该方法包括服务器指示媒体客户端在所确定的点执行与内容相关的动作。
以上讨论的各种特征也能够应用于该上下文，反之亦然。非限制性地，例如，与内容相关的动作可以包括DAI或其他动态内容修订。
图5是能够根据本公开进行操作的示例计算系统的简化框图。该计算系统可以表示服务器，例如上面讨论的ACR服务器208，以及其他可能。
如图5所示，计算系统包括网络通信接口500、处理单元502和非暂时性数据存储器504，它们中的任何一个或全部能够集成在一起，或者如图所示，通过系统总线、网络或其他连接机制506通信性地连接在一起。
网络通信接口500能够包括一个或更多个网络连接机制，以促进与诸如网络206的网络上的一个或更多个其他实体进行通信。每个这样的网络通信接口可以包括用于进行IP通信和/或其它类型的网络通信的无线或有线以太网接口或其他类型的网络接口。
处理单元502能够包括一个或更多个通用处理器(例如微处理器)和/或一个或更多个专用处理器(例如，专用集成电路)。并且非暂时性数据存储器504能够包括一个或更多个易失性和/或非易失性存储部件，例如，光存储器、磁存储器或闪存存储器。此外，如图所示，示例计算系统的数据存储器504存储或以其他方式嵌入程序指令508。这些程序指令可以由处理单元502执行以进行(例如，使计算系统执行)本文描述的各种操作。例如，如果计算系统表示ACR服务器208，则指令可以是可执行的以进行以上讨论的各种ACR服务器操作。
在该上下文中也能够实现上述各种特征，反之亦然。
最后，图6是根据本公开可操作的示例媒体客户端的简化框图。与上面的讨论一致，该媒体设备可以采用各种形式，例如内容呈现设备106和/或接收器104，并且它还可以是多个这样的设备的组合，可能是具有集成的接收器的内容呈现设备，以及其他可能性。
如图6所示，示例媒体客户端包括内容通信接口600、内容呈现界面602、网络通信接口604、处理单元606和非暂时性数据存储器608，它们中的任何一个或全部能够集成在一起，或者如图所示，通过系统总线、网络或其它连接机制610通信地连接在一起。
内容通信接口600可以包括用于接收和/或输出诸如媒体流的媒体内容的物理通信接口。这样，内容通信接口可以包括一个或多个有线和/或无线接口，用于通过媒体分发路径建立与模拟或数字媒体内容的通信以及接收模拟或数字媒体内容，并且在一些实施方式中，用于输出所接收的模拟或数字形式的媒体内容以便由相关联的实体接收。因此，内容通信接口可以包括用于从内容分发者接收媒体内容的接口，例如同轴电缆连接、天线、接收器、调谐器等，以及包括用于将媒体内容输出到关联的设备的本地通信接口，该本地通信接口符合诸如DVI、HDMI、VGA、USB、蓝牙、WIFI等协议。其它示例也是可能的。
可以包括在终端用户内容呈现设备中的内容呈现界面602可以包括一个或更多个部件，以促进呈现所接收的媒体内容。作为示例，内容呈现界面602可以包括例如显示屏和/或扬声器的用户界面，以及用于处理接收到的媒体内容以便于在用户界面上呈现内容的一个或更多个驱动器或其他部件。
网络通信接口604可以包括网络连接机制，以促进在诸如网络206的网络上通信，和/或用于与一个或更多个其它本地或远程实体进行直接或联网通信。这样，网络通信接口可以包括无线或有线以太网接口或其他类型的网络接口，用于进行IP通信和/或其他类型的网络通信。
然后，处理单元606可以包括一个或更多个通用处理器(例如微处理器)和/或一个或更多个专用处理器(例如，专用集成电路)。非暂时性数据存储器608可以包括一个或更多个易失性和/或非易失性存储部件，例如光存储器、磁存储器或闪存存储器。此外，数据存储器608存储程序指令612，该程序指令可以由处理单元606运行，以执行(例如，使媒体客户端执行)本文所述的各种操作。
例如，这些操作可以包括通过内容通信接口接收媒体流，以及通过内容通信接口接收媒体流的标识符作为随媒体流一起的带内元数据。此外，操作可以包括处理用于呈现的媒体流。以及该操作可以包括当处理用于呈现的媒体流时，通过网络通信接口以带外信令向服务器传送作为随媒体流一起的带内元数据接收的媒体流的标识符，以使得服务器能够获得表示媒体流的参考指纹，而无需服务器搜索与表示用于呈现的正在被处理的媒体流的查询指纹相匹配的参考指纹。该操作可以包括通过网络通信接口从服务器接收指示，该指示用于媒体客户端在媒体流中的特定时间执行与内容相关的动作，该特定时间是基于所获得的参考指纹来建立的。
在该上下文中也能够实现上述各种特征，反之亦然。
本公开涉及单独的设备、服务器、模块或其它实体的情况下，本公开还考虑了每个这样的实体是单个实体或多个实体的组合的可能性。例如，给定实体可以包括平台或系统，该平台或系统包括被配置为一起交互工作或独立地或以另一方式操作的多个设备。
本公开还考虑一个或更多个计算机可读介质，其编码有、存储或以其他方式嵌入可由处理单元(例如，一个或更多个处理器)执行的程序指令，以进行各种描述的操作。
上面已经描述了示例性实施例。然而，本领域技术人员将理解，在不背离本发明的真实范围和精神的情况下，可以对这些实施例进行改变和修改。

Claims (20)

1.一种方法，包括：
由媒体客户端接收媒体流，并且由所述媒体客户端接收媒体流的标识符作为随媒体流一起的带内元数据；
由所述媒体客户端处理用于呈现的媒体流；以及
当由所述媒体客户端处理用于呈现的媒体流时，由所述媒体客户端通过带外信令向服务器传送由所述媒体客户端接收到的作为随媒体流一起的带内元数据的媒体流的标识符，以使服务器能够获得表示媒体流的参考指纹，而无需服务器搜索与表示由所述媒体客户端正在处理的媒体流的查询指纹相匹配的参考指纹。
2.根据权利要求1所述的方法，还包括：
由所述媒体客户端从服务器接收指示，所述指示用于所述媒体客户端在媒体流中的特定时间执行与内容相关的动作，其中，所述特定时间是基于所获得的参考指纹来建立的。
3.根据权利要求2所述的方法，其中，所述与内容相关的动作包括动态广告插入。
4.根据权利要求1所述的方法，其中，由所述媒体客户端接收标识符作为随媒体流一起的带内元数据，包括：由所述媒体客户端接收被隐写地编码为媒体流中的水印的标识符。
5.根据权利要求1所述的方法，其中，由所述媒体客户端接收标识符作为随媒体流一起的带内元数据，包括：由所述媒体客户端接收携带在传输流中的标识符，所述传输流将媒体流携带到所述媒体客户端。
6.根据权利要求1所述的方法，其中，所述带外信令包括在宽带网络连接上的信令。
7.根据权利要求1所述的方法，其中，所述媒体客户端包括内容呈现设备，并且其中，所述处理用于呈现的媒体流包括：所述媒体客户端在用户界面上呈现媒体流的内容。
8.根据权利要求1所述的方法，其中，所述处理用于呈现的媒体流包括：通过相关联的设备输出用于呈现的媒体流。
9.根据权利要求1所述的方法，其中，所述使服务器能够获得表示媒体流的参考指纹，使得能够建立将参考时间映射到客户端时间的同步锁，其中，所述同步锁的建立使得能够将与内容相关的动作的参考时间转换成与内容相关的动作的客户端时间。
10.根据权利要求1所述的方法，其中，所述使服务器能够获得表示媒体流的参考指纹，使得服务器能够执行可替换内容片段与所获得的参考指纹之间的指纹比较，以检测可替换内容片段存在于媒体流中。
11.根据权利要求1所述的方法，其中，所述媒体流包括电视频道。
12.一种媒体客户端，包括：
内容通信接口；
网络通信接口；
处理单元；
非暂时性数据存储器；以及
程序指令，所述程序指令存储在所述非暂时性数据存储器中、并且能够由所述处理单元运行以执行操作，所述操作包括：
通过所述内容通信接口接收媒体流；
通过所述内容通信接口接收媒体流的标识符作为随媒体流一起的带内元数据；
处理用于呈现的媒体流；
当处理用于呈现的媒体流时，通过所述网络通信接口以带外信令向服务器传送作为随媒体流一起的带内元数据接收的媒体流的标识符，以使服务器能够获得表示媒体流的参考指纹，而无需服务器搜索与表示用于呈现的正在被处理的媒体流的查询指纹相匹配的参考指纹；
通过所述网络通信接口从服务器接收指示，所述指示用于媒体客户端在媒体流中的特定时间执行与内容相关的动作，其中，所述特定时间是基于所获得的参考指纹来建立的。
13.根据权利要求12所述的方法，其中，所述与内容相关的动作包括动态广告插入。
14.根据权利要求12所述的媒体客户端，其中，接收所述标识符作为随媒体流一起的带内元数据，包括：接收被隐写地编码为媒体流中的水印的标识符。
15.根据权利要求12所述的媒体客户端，其中，由所述媒体客户端接收标识符作为随媒体流一起的带内元数据，包括：由所述媒体客户端接收携带在传输流中的标识符，所述传输流将媒体流携带到所述媒体客户端。
16.根据权利要求12所述的媒体客户端，其中，所述使服务器能够获得表示媒体流的参考指纹，使得能够建立将参考时间映射到客户端时间的同步锁，其中，所述同步锁的建立使得能够将与内容相关的动作的参考时间转换成与内容相关的动作的客户端时间。
17.根据权利要求12所述的媒体客户端，其中，所述使服务器能够获得表示媒体流的参考指纹，使得服务器能够执行可替换内容片段与所获得的参考指纹之间的指纹比较，以检测可替换内容片段存在于媒体流中。
18.一种方法，包括：
当媒体客户端正在处理用于呈现的媒体流时，由服务器从所述媒体客户端接收带外信号，所述带外信号向服务器提供媒体流的标识符，所述媒体流的标识符是所述媒体客户端从由所述媒体客户端接收的随媒体流一起的带内元数据中提取的；
由服务器使用所接收的媒体流的标识符作为基础来获得表示媒体流的参考指纹，而无需服务器搜索与表示由所述媒体客户端正在处理的媒体流的查询指纹相匹配的参考指纹；以及
由服务器使用所获得的参考指纹作为基础来确定所述媒体客户端在媒体流中何时应该执行与内容相关的动作的点；以及
由服务器指示所述媒体客户端在所确定的点执行与内容相关的动作。
19.根据权利要求18所述的方法，其中，所述与内容相关的动作包括动态广告插入。
20.根据权利要求18所述的方法，其中，所述媒体客户端从由所述媒体客户端接收的随媒体流一起的带内元数据中提取的媒体流的标识符包括：所述媒体客户端从所述媒体流中的水印中提取的标识符。
CN202080063939.6A 2019-09-13 2020-09-04 使用带内元数据作为访问参考指纹的基础，以促进与内容相关的动作 Active CN114402572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211433561.1A CN115766676A (zh) 2019-09-13 2020-09-04 促进与内容相关的动作的系统、方法和数据存储器

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962900037P 2019-09-13 2019-09-13
US62/900,037 2019-09-13
US15/929,210 2020-01-28
US15/929,210 US11233840B2 (en) 2019-09-13 2020-01-28 Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action
PCT/US2020/049374 WO2021050376A1 (en) 2019-09-13 2020-09-04 Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211433561.1A Division CN115766676A (zh) 2019-09-13 2020-09-04 促进与内容相关的动作的系统、方法和数据存储器

Publications (2)

Publication Number Publication Date
CN114402572A true CN114402572A (zh) 2022-04-26
CN114402572B CN114402572B (zh) 2022-11-22

Family

ID=74865846

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211433561.1A Pending CN115766676A (zh) 2019-09-13 2020-09-04 促进与内容相关的动作的系统、方法和数据存储器
CN202080063939.6A Active CN114402572B (zh) 2019-09-13 2020-09-04 使用带内元数据作为访问参考指纹的基础，以促进与内容相关的动作

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211433561.1A Pending CN115766676A (zh) 2019-09-13 2020-09-04 促进与内容相关的动作的系统、方法和数据存储器

Country Status (5)

Country Link
US (2) US11233840B2 (zh)
EP (1) EP4029276A4 (zh)
CN (2) CN115766676A (zh)
TW (2) TW202315415A (zh)
WO (1) WO2021050376A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11233840B2 (en) 2019-09-13 2022-01-25 Roku, Inc. Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action
US20210133814A1 (en) * 2019-10-30 2021-05-06 The Nielsen Company (Us), Llc Method and System for Use of Automatic Content Recognition to Trigger Dynamic Ad Insertion in Response to Repeat Playout of Ad
US11463744B2 (en) * 2020-10-29 2022-10-04 Roku, Inc. Use of primary and backup instances of supplemental content to facilitate dynamic content modification
US20220264171A1 (en) * 2021-02-12 2022-08-18 Roku, Inc. Use of In-Band Data to Facilitate Ad Harvesting for Dynamic Ad Replacement

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102687518A (zh) * 2009-12-11 2012-09-19 诺基亚公司 用于流媒体文件内表示的描述和定时的装置及方法
US20130031582A1 (en) * 2003-12-23 2013-01-31 Opentv, Inc. Automatic localization of advertisements
US20150341410A1 (en) * 2014-05-21 2015-11-26 Audible Magic Corporation Media stream cue point creation with automated content recognition
EP3043572A1 (en) * 2015-01-07 2016-07-13 Dolby Laboratories Licensing Corporation Hybrid automatic content recognition and watermarking
US20160212501A1 (en) * 2014-01-28 2016-07-21 Dolby Laboratories Licensing Corporation Enabling Delivery and Synchronization of Auxiliary Content Associated with Multimedia Data
US20170150211A1 (en) * 2014-09-29 2017-05-25 Spotify Ab System and method for commercial detection in digital media environments
US20170280176A1 (en) * 2009-04-17 2017-09-28 Gracenote, Inc. Method and System for Remotely Controlling Consumer Electronic Devices
US20190028778A1 (en) * 2015-09-09 2019-01-24 Sorenson Media, Inc. Dynamic video advertisement replacement

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001072052A2 (en) 2000-03-24 2001-09-27 Reality Commerce Corporation Method and apparatus for parallel multi-viewpoint video capturing and compression
CN101266132B (zh) 2008-04-30 2011-08-10 西安工业大学 基于mpfg运动矢量的行车障碍检测方法
US8737679B2 (en) * 2011-07-12 2014-05-27 M/S. Amagi Media Labs Pvt. Ltd. System and method for seamless content insertion on network content using audio-video fingerprinting and watermarking
US9854280B2 (en) * 2012-07-10 2017-12-26 Time Warner Cable Enterprises Llc Apparatus and methods for selective enforcement of secondary content viewing
US9145139B2 (en) 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
US10623821B2 (en) * 2013-09-10 2020-04-14 Tivo Solutions Inc. Method and apparatus for creating and sharing customized multimedia segments
US9426336B2 (en) * 2013-10-02 2016-08-23 Fansmit, LLC System and method for tying audio and video watermarks of live and recorded events for simulcasting alternative audio commentary to an audio channel or second screen
US9420349B2 (en) * 2014-02-19 2016-08-16 Ensequence, Inc. Methods and systems for monitoring a media stream and selecting an action
KR101579098B1 (ko) 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
US10750236B2 (en) 2015-04-23 2020-08-18 The Nielsen Company (Us), Llc Automatic content recognition with local matching
US10594689B1 (en) * 2015-12-04 2020-03-17 Digimarc Corporation Robust encoding of machine readable information in host objects and biometrics, and associated decoding and authentication
US10623800B2 (en) * 2018-07-16 2020-04-14 Gracenote, Inc. Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content
US11233840B2 (en) 2019-09-13 2022-01-25 Roku, Inc. Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130031582A1 (en) * 2003-12-23 2013-01-31 Opentv, Inc. Automatic localization of advertisements
US20170280176A1 (en) * 2009-04-17 2017-09-28 Gracenote, Inc. Method and System for Remotely Controlling Consumer Electronic Devices
CN102687518A (zh) * 2009-12-11 2012-09-19 诺基亚公司 用于流媒体文件内表示的描述和定时的装置及方法
US20160212501A1 (en) * 2014-01-28 2016-07-21 Dolby Laboratories Licensing Corporation Enabling Delivery and Synchronization of Auxiliary Content Associated with Multimedia Data
US20150341410A1 (en) * 2014-05-21 2015-11-26 Audible Magic Corporation Media stream cue point creation with automated content recognition
US20170150211A1 (en) * 2014-09-29 2017-05-25 Spotify Ab System and method for commercial detection in digital media environments
EP3043572A1 (en) * 2015-01-07 2016-07-13 Dolby Laboratories Licensing Corporation Hybrid automatic content recognition and watermarking
US20190028778A1 (en) * 2015-09-09 2019-01-24 Sorenson Media, Inc. Dynamic video advertisement replacement

Also Published As

Publication number Publication date
TWI788701B (zh) 2023-01-01
CN115766676A (zh) 2023-03-07
US11792254B2 (en) 2023-10-17
US20220109715A1 (en) 2022-04-07
TW202315415A (zh) 2023-04-01
EP4029276A1 (en) 2022-07-20
WO2021050376A1 (en) 2021-03-18
EP4029276A4 (en) 2023-05-31
CN114402572B (zh) 2022-11-22
US20210084091A1 (en) 2021-03-18
TW202114432A (zh) 2021-04-01
US11233840B2 (en) 2022-01-25

Similar Documents

Publication Publication Date Title
KR102486777B1 (ko) 프레임적으로 정확한 컨텐츠 수정을 용이하게 하기 위해, 낮은 레이트 핑거프린팅을 사용하는 보간을 기반으로 하는 시간 맵핑의 확립 및 사용
CN113038241B (zh) 一种用于在媒体流中执行修正的方法、计算系统及非暂时性计算机可读介质
CN114402572B (zh) 使用带内元数据作为访问参考指纹的基础，以促进与内容相关的动作
US11470364B2 (en) Use of steganographically-encoded time information as basis to establish a time offset, to facilitate taking content-related action
CN113892272A (zh) 使用隐写编码数据作为基础来消歧基于指纹的频道多匹配
US20220150601A1 (en) Use of Watermarking to Trigger Fingerprint-Related Action
US11863817B2 (en) Use of steganographically-encoded time information as basis to control implementation of dynamic content modification
CN114514753A (zh) 用于控制放弃动态内容修改的水印的使用
US20230403416A1 (en) Method and system for re-uniting metadata with media-stream content at a media client, to facilitate action by the media client
US20220264171A1 (en) Use of In-Band Data to Facilitate Ad Harvesting for Dynamic Ad Replacement
WO2020263621A1 (en) Use of watermarking to trigger fingerprint-related action

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant