CN111316659B - 动态减少替代内容的播出以帮助使替代内容的结束与被替代内容的结束对准 - Google Patents

动态减少替代内容的播出以帮助使替代内容的结束与被替代内容的结束对准 Download PDF

Info

Publication number
CN111316659B
CN111316659B CN201980001150.5A CN201980001150A CN111316659B CN 111316659 B CN111316659 B CN 111316659B CN 201980001150 A CN201980001150 A CN 201980001150A CN 111316659 B CN111316659 B CN 111316659B
Authority
CN
China
Prior art keywords
content
playout
client
duration
media stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980001150.5A
Other languages
English (en)
Other versions
CN111316659A (zh
Inventor
徐忠源
李承炯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liuke Co ltd
Original Assignee
Liuke Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liuke Co ltd filed Critical Liuke Co ltd
Publication of CN111316659A publication Critical patent/CN111316659A/zh
Application granted granted Critical
Publication of CN111316659B publication Critical patent/CN111316659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Diaphragms For Electromechanical Transducers (AREA)
  • Cable Accessories (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

当装置正播出媒体流时，所述装置确定所述装置即将开始播出替代内容代替所述媒体流的一部分的目标时间。然而，所述装置随后检测到所述装置开始播出所述替代内容的开始时间在所述目标时间之后延迟持续时间为P的延迟周期。作为响应，所述装置随后将其所述替代内容的播出减少持续时间P，以帮助使所述替代内容的播出在所要时间处结束。举例来说，所述装置可在所述替代内容的播出中向前搜寻持续时间P和/或可移除所述替代内容的一或多个其它部分直到总计减少持续时间P。

Description

动态减少替代内容的播出以帮助使替代内容的结束与被替代 内容的结束对准
相关申请的引用
本申请要求2018年11月7日提交的第16/183,266号美国专利申请以及2018年8月17日提交的第62/765,276号美国临时专利申请的优先权，所述专利申请中的每一个的全文特此以引用的方式并入本文中。
本申请还与2018年11月7日提交的第16/183,185号美国专利申请相关，所述专利申请的全文特此以引用的方式并入本文中。
背景技术
典型的媒体客户端操作以接收和播出(例如，输出以供播出)表示例如视频和/或音频内容等媒体内容的模拟或数字媒体流，且输出所述媒体内容和/或转发所述流以供将内容在例如显示屏和/或音频扬声器等用户接口上呈现。此类客户端的实例包含电视机、计算机监视器、投影系统、扩音器、头戴受话器、机顶盒(例如线缆或卫星TV接收器)、数字视频记录器、无线电装置、个人计算机、游戏控制台、串流媒体播放器等。
借助于实例，媒体客户端可以是电视机，其可接收媒体流(例如，空中广播流、从机顶盒输出的媒体流、从数字存储介质播放的媒体流、因特网流，或另一此类流)，且可向用户呈现所述流的媒体内容。作为另一实例，媒体客户端可以是机顶盒或数字视频或音频记录器，其可从多信道视频节目分派器和/或从数据存储装置接收广播流，且可经由高清多媒体接口(HDMI)线缆或其它接口将所述流的媒体内容输出到电视机和/或音频/视频接收器以供播出。且作为又一实例，媒体客户端可以是扩音器或头戴受话器，其可从无线电装置、计算机或其它接收器或音频存储装置接收音频流，且可向用户呈现所述流的音频内容。大量其它实例也是可能的。
发明内容
当媒体客户端正播出媒体流时，在特定情形中媒体客户端替代流的媒体内容的一部分可能是有用的。举例来说，如此可能是有用的：客户端用替代广告或用其它替代内容动态地替代媒体内容的广告或其它片段，使得当正向用户呈现内容时，用户将接收到替代广告而非最初包含的广告。
此外，可能需要客户端在媒体流内的特定时间点执行此内容替代。举例来说，如果客户端将要用替代广告动态地替代现有广告，则可能需要客户端在媒体流中现有广告原本将已开始的时间定位替代广告。
更确切地说，讨论中的媒体流可限定帧序列，例如视频帧和/或音频帧的序列，且可能需要客户端在媒体流的特定帧处开始执行内容替代。举例来说，对于广告替代，可能需要客户端在现有广告的第一帧处开始插入替代广告代替现有广告。
为促进此内容替代，客户端可习得媒体流中客户端应开始内容替代的特定时间点，且客户端可习得客户端应在所指示时间点处开始播放什么替代内容。在所要内容切换时间点处，客户端可随后从播出现有媒体流转变为播出作为替代媒体流的替代内容。此外，当客户端完成播出替代媒体流时，客户端可随后转变回到原始媒体流的播出(例如，在进行中)。
此过程的一个技术难点在于，客户端从播出第一流转变为播出第二流(例如，开始内容替代，或在内容替代结束时切换回到原始流)可能花费一些时间。情况如此是因为，客户端在其可开始播出第二流之前可能需要参与若干处理和存储器密集的步骤。举例来说，客户端可能需要清除高速缓冲存储器，接收和解码第二流的内容的至少初始部分，且用经解码内容填充存储器缓冲器以供再现。
在实践中，此流转变过程可能花费一帧以上的时间。举例来说，如果讨论中的媒体是每秒30帧的帧速率的视频，则每个帧将横跨1/30秒，即，约33.3毫秒(ms)。但从一个视频流转变到另一视频流的动作可能花费大约数百毫秒，因此横跨大量视频帧的时间。
尽管客户端可通过在所要内容切换时间点之前足够远开始其流转变过程来致力于考虑此时序，但转变过程将花费的实际时间量出于各种原因可能是不可预测的。因此，不能精确地清楚客户端应多早开始转变过程。
令人遗憾的是，如果客户端太迟开始转变过程，则客户端可能到所要内容切换时间点仍未完成所述过程，这可能引起用户体验问题，因为第二流的播出可能太迟开始且因此可能太迟结束。
举例来说，在其中客户端即将在线性广播馈送中用替代广告替换具有相同持续时间的原始广告的广告替代情境中，如果客户端太迟开始播出替代广告，则客户端可能终止于播出一些原始广告且接着突然切换到播出替代广告。此外，如果客户端播出替代广告持续其完全持续时间，则替代广告可能持续超出原始广告的结束，从而可能切掉原始广告之后的基本广播馈送的一些内容。
为了帮助解决此问题，依据本公开，客户端可检测到客户端将开始播放替代内容的时间点太迟，且客户端可确定所述延迟距所要开始点有多长时间。客户端可随后以将致使替代内容的播出准时结束的方式战略上减少其替代内容的播出。
举例来说，客户端可在替代内容中自动向前搜寻所确定延迟持续时间，且在此处开始播出替代内容。或者，客户端可自动截断替代内容的末尾以从所述末尾移除所确定延迟持续时间，或客户端可选择性地从替代内容内移除一或多个帧(例如，重复的帧和/或中间帧，如果可适用的话)。此外，客户端可实行这些和/或其它这类操作的组合。举例来说，客户端可从开始、中间和末尾移除替代内容的一些部分，总计减少所确定延迟持续时间。
此外，为了帮助应对在待替代的基本内容的开始之后开始的替代内容的播出，客户端还可战略上播出一些转变帧代替所述基本内容，直至客户端准备好开始播出替代内容为止。
所属领域的一般技术人员通过适当地参考附图阅读以下详细描述将明白这些以及其它方面、优点和替代方案。此外，应理解，本发明内容及下文中提供的描述既定仅借助于实例说明本发明，但不作为限制。
附图说明
图1是其中可实施所公开特征的系统的简化框图。
图2是示出其中替代广告的播出较迟开始的广告替代情境的图式。
图3是示出在图2的替代广告中向前搜寻以将播出时间缩短延迟持续时间的图式。
图4是示出图3中所示出的机制的结果的图式。
图5是示出使替代广告的播出早延迟持续时间结束的图式。
图6是示出图5中所示出的机制的结果的图式。
图7是描绘可根据本公开实行的方法的流程图。
图8是描绘可根据本公开实行的方法的另一流程图。
图9是描绘可根据本公开操作的实例媒体客户端的组件的简化框图。
具体实施方式
参看图式，图1是其中可应用各种所公开的原理的实例系统的简化框图。然而，将理解，本文中所描述的此布置及过程以及其它布置及过程可采取各种其它形式。举例来说，元件和操作可重新排序、分派、复制、组合、省略、添加或以其它方式修改。此外，应理解，本文中描述为由一或多个实体实行的操作可由那些实体和/或代表那些实体经由硬件、固件和/或软件实施，例如通过一或多个处理单元执行程序指令等来实施。
如图1所示，实例系统包含被配置成从媒体源14实时接收媒体流的媒体客户端12。
媒体客户端12可被配置成如上文描述而操作以从媒体源14接收表示例如视频和/或音频内容等媒体内容的模拟或数字媒体流，且输出所述媒体内容和/或转发所述流以供将内容呈现在例如显示屏和/或音频扬声器等用户接口上。媒体客户端可采取上文描述的形式中的任一个，且存在其它可能性。
媒体源14还可采用各种形式，可能取决于媒体客户端12的形式。借助于实例，如果媒体客户端12为电视机，则媒体源14可以是本地机顶盒(例如，线缆或卫星接收器)或串流媒体服务器，其被配置成输出选定媒体流以供由电视机呈现，或者媒体源14可以是广播电视站点等，以及存在其它可能性。并且如果媒体客户端为计算机，则媒体源可包括因特网串流媒体服务器或其它媒体提供商。或者，媒体源14可以是与媒体客户端12集成和/或可由媒体客户端12本地访问的数据存储装置，其中媒体客户端从数据存储装置接收(例如，检索)媒体流用于播出，例如当客户端正播出媒体流或正转发媒体流用于播出时。其它实例也是可能的。
如图1中进一步展示，媒体客户端12可具有与网络(例如，因特网或专用网络)16的通信接口，媒体客户端可经由所述通信接口参与与一或多个服务器18的通信。服务器18可包含文件服务器、媒体服务器和/或其它类型的内容服务器等。此外，尽管媒体源14与服务器18分开展示，但媒体源14或者可与服务器18中的一或多者一起包含或集成，且可经由网络16访问。
如上所述，当例如客户端12等媒体客户端正接收和播出(例如，输出以供播出)媒体流时，客户端用限定替代流的替代内容替代所述流的一部分可能是有用的。此外，如上所述，可能需要客户端在媒体流内的特定时间点这样做。举例来说，如果流限定帧序列，例如视频帧和/或音频帧的序列，则可能需要客户端在所述序列的特定帧处开始执行内容替代。
在实践中，客户端可以各种方式习得(确定)媒体流中客户端应开始内容替代的特定目标时间点。
举例来说，客户端可被提供或者沿着媒体流或与媒体流相关联而接收识别媒体流内的每个帧或为所述每个帧加时戳(例如，内嵌于媒体流中或以其它方式经由流中信令提供的时戳)的数据集，以及指定内容替代即将开始的帧的身份或时戳的数据。基于所述数据，客户端可因此确定媒体流中即将开始内容替代的特定时间点。
或者，随着客户端接收和播出媒体流，客户端可与网络服务器一起工作以习得媒体流中即将开始内容替代的点，作为所要内容切换时间点。举例来说，服务器可首先识别正由客户端播出的媒体流。且在识别媒体流后，服务器可随后确定媒体流中客户端应开始内容替代的特定时间点，且可告知客户端所述所确定的时间点。
为了促进服务器识别正由客户端播出的媒体流，客户端(或可能辅助装置)可随着客户端接收所述流而实时产生表示媒体内容的数字指纹数据，且服务器可将所述指纹数据与表示已知媒体流的媒体内容的参考指纹数据进行比较，其中指纹匹配指示正由客户端播放的媒体流是所述已知媒体流。
服务器可建立或以其它方式能够访问表示已知媒体流的参考指纹数据。举例来说，服务器或相关联观测站点或其它实体可接收已知媒体流的广播，且在接收所述广播的同时可产生表示已知媒体流的帧的参考数字指纹序列。服务器或另一实体可通过以下方式建立这些参考指纹：以编程方式分析已知媒体流的帧，接收已知媒体流的副本作为输入，以及应用现在已知或以后开发的任何媒体指纹识别过程或算法来产生参考指纹。或服务器可以其它方式建立或被提供表示已知媒体流的此参考指纹序列。服务器可随后与已知媒体流的身份相关联而存储参考指纹。
此外，在客户端播出媒体流的实时，客户端可产生表示所述流的帧的查询指纹，且可将所述查询指纹发射到服务器以供分析。为促进指纹比较，客户端可使用应用于建立参考指纹的相同指纹识别过程或算法来产生这些查询指纹。此外，客户端可以特定帧速率产生查询指纹且可以群组形式将指纹发射到服务器。举例来说，对于包括每秒30帧视频的媒体流，客户端可能以大约每秒2帧的减小的帧速率产生查询指纹以帮助节省资源，且客户端可能每隔1.5秒左右将最新查询指纹群组发射到服务器。其它实例也是可能的。
随着服务器从客户端接收查询指纹数据，服务器可将查询指纹数据与已知媒体流的参考指纹数据进行比较。并且如果服务器借此以足够置信度确定查询指纹数据与参考指纹数据匹配，则服务器可得出结论，正由客户端播出的媒体流为已知媒体流。
服务器可以每帧为基础进行此指纹比较。考虑视频内容，举例来说，服务器可以每视频帧为基础进行分析，将帧的查询指纹对照帧的参考指纹进行比较。比较过程可采取多种形式中的任一个，这取决于指纹的结构。举例来说，所述比较可涉及计算指纹之间的最大偏差，并确定所述最大偏差是否在预定义容差内。此外，如果指纹为二进制的，则此可为布尔确定，且可涉及计算汉明距离(作为指纹中的相应位位置之间的失配的计数)。并且如果指纹是更复杂的值，例如小数值或向量(例如，每视频帧区的灰度值)，则此可涉及确定值或向量之间的距离。大量其它实例也是可能的。
此外，服务器可以所要容差水平进行此指纹比较过程。举例来说，所述比较可以是粗略的，对于指纹之间的差异具有相对高容差，例如具有对于较大数目差异的容差和/或对于较大尺寸差异的容差。借助于实例，当将两个32位指纹彼此比较时，粗略比较可认为指纹彼此大体匹配，即使两个位或另一指定数目的位并不匹配。或者比较可以是更加精细的，对于此类差异具有较低容差，和/或比较聚焦于可能表示基本媒体的特定部分的特定指纹分量。
经由客户端产生的查询指纹与已知媒体流的参考指纹的此比较，服务器可借此找到一或多个匹配。举例来说，服务器可找到其中正由客户端播出的媒体流的帧的查询指纹与已知媒体流的帧的相应参考指纹匹配的一或多个例项。此匹配可因此达成或支持这样的结论：正由客户端播出的媒体流为已知媒体流。
或者，服务器可以其它方式识别讨论中的媒体流。举例来说，如果媒体流含有与媒体流的身份对应的水印数据，则客户端可读取或以其它方式提取水印数据且向服务器报告所述水印数据。并且服务器可随后使用所报告的水印数据作为基础来识别正由客户端接收的媒体流。举例来说，服务器可查阅使各种水印数据与特定已知媒体流相关的参考数据，以确定由客户端报告的水印数据与特定已知媒体流对应。
已经识别正由客户端播出的媒体流，服务器可随后确定媒体流中即将发生内容替代的时间点。举例来说，服务器可查阅指定已知媒体流内内容替代即将开始的时间点的参考数据。并且服务器可随后将指示所述时间点的指令发射到客户端。
由服务器的参考数据指定的替代时间点可以客户端可理解的方式限定。举例来说，如果沿着媒体流内限定的“真实时间”时间线向客户端提供为媒体流的每个帧加时戳的数据，则服务器具有的替代时间点可能是媒体流的即将来临的帧的真实时间时戳。服务器可因此向客户端提供真实时间时戳作为客户端应开始内容替代的时间的指示。
此外，客户端可将真实时间时戳映射到根据客户端的内部时钟限定的“客户端时间”，使得客户端可在其自身的时钟上确定其应开始内容替代的时间。举例来说，客户端可(i)计算当前帧的真实时间时戳和客户端的时钟上的当前时间之间的差，且(ii)将所述所确定的差施加到即将发生替代的即将来临的帧的所指示的真实时间时戳，以确定客户端应开始内容替代的客户端时间点。
或者，由服务器的参考数据指定的替代时间点可能以客户端不可理解的方式限定。举例来说，服务器具有的替代时间点可能是根据已知媒体流内的真实时间时间线限定的时戳，但客户端可能对于真实时间没有概念或了解。在这种情况下，服务器可参与在真实时间和客户端时间之间建立映射或“同步锁”的过程，且服务器随后将即将发生内容替代的真实时间时间点映射到对应的客户端时间时间点且将所述客户端时间时间点提供到客户端。
作为此情况的非限制性实例，考虑限定可能出现于电视广播内的广告荚的媒体流。广告荚包括广告序列，例如电视商业广告的序列。通过此实例，客户端可能是接收和播出特定电视频道的线性广播馈送的电视机，且广告荚可能出现于所述馈送内的任何时刻。举例来说，尤其在例如体育赛事等直播的情况下，广告荚在此馈送中出现的时间可能是不可预测的。或者，广告荚可出现于特定调度的时间。
在此实例中，所要内容替代可以是广告荚内特定广告的替代(例如，为所述广告替换不同的广告或其它替代内容)。举例来说，如果广告荚是广告序列A1、A2、A3、A4，那么所要内容替代可以是广告A3的替代。
在此情形下，广告荚可限定真实时间时间线，其开始于时间T＝0且继续到广告荚的末尾，且广告A3可开始于所述时间线上的时间TA3。然而，客户端可能对所述时间线没有概念。客户端可具有其自身的内部时钟，所述内部时钟具有限定客户端时间的时间线(例如，当日时间或其它内部时间参考)。但在没有广告荚时间线存在于客户端时间内何处的提前知晓的情况下，仅给出值TA3作为所要内容修正时间点将不能使客户端能够在需要时开始广告替代。
在该情形中为了使服务器在真实时间和客户端时间之间建立同步锁，客户端可为客户端发送到服务器的查询指纹加时戳。确切地说，随着客户端播出媒体流并产生查询指纹，客户端可用当前客户端时间值为每一查询指纹加时戳。当服务器检测到查询指纹和已知媒体流的带时戳的参考指纹之间的一或多个匹配时，服务器可随后使用那些匹配点作为基础将真实时间映射到客户端时间。举例来说，基于至少一个此类检测到的匹配点，服务器可限定(i)匹配的参考指纹的真实时间时戳和(ii)匹配的查询指纹的客户端时间时戳之间的映射。
一旦服务器已经建立同步锁，服务器可随后使用所建立的同步锁将即将发生内容替代的真实时间时间点转译为即将发生内容替代的对应的客户端时间时间点。并且服务器可将所述所确定的客户端时间时间点发射到客户端，以使客户端能够在客户端正播出的媒体流中的所要时间点开始内容替代。
此外，在替代实施方案中，客户端而非服务器可实行建立过程并应用同步锁以便确定即将发生内容替代的客户端时间点。
举例来说，一旦服务器已经将媒体流识别为由客户端接收，则服务器可向客户端发射限定参考指纹的一些参考数据和已知媒体流的即将来临部分的真实时间时戳。客户端可随后进行查询指纹和参考指纹之间的指纹匹配以找到一或多个匹配点，且客户端可通过使至少一个匹配点的时戳类似地相关来建立真实时间和客户端时间之间的同步锁。一旦客户端已经建立同步锁，则客户端可随后使用同步锁作为基础将即将发生内容替代的所提供真实时间时间点转译为即将发生内容替代的对应的客户端时间时间点。
除确定媒体流中客户端应开始内容替代的目标时间点外，客户端还可以各种方式习得客户端应在所述时间点开始执行什么内容替代。
借助于实例，客户端可事先被预先提供内容替代在所指示时间点处开始的说明，例如客户端应用特定内容替换媒体流的现有内容的指示。或者，客户端可从服务器或另一实体接收执行内容替代的说明。举例来说，当服务器向客户端发射告知客户端媒体流中客户端即将开始内容修正的时间点的指令时，服务器可在到达客户端的所述指令中包含(或单独地提供)执行内容替代的说明。
在实践中，执行内容替代的说明可包括到客户端即将获得且即将插入以代替媒体流的现有内容或作为媒体流的现有内容的补充的替代内容的指针。举例来说，如上所述，所述说明可包括限定客户端可从其请求和接收替代内容的串流媒体服务器、文件服务器等的网络地址或与所述网络地址相关的统一资源定位符(URL)。或者，所述说明可以另一方式指示客户端即将在何处和/或如何获得替代内容，以促进在媒体流中所指示时间点处开始执行内容替代。此外，所述说明可指示替代内容的持续时间，以告知客户端所述客户端应播放替代内容代替原始内容多长时间。
在即将开始内容替代的所指示时间点，客户端可因此从播出现有媒体流切换为播出替代内容作为替代媒体流。此外，在内容替代的末尾，客户端可随后切换回到播出原始媒体流(例如，在进行中)。
作为非限制性实例，再次考虑上文所论述的广告荚。在实践中，可向服务器提供表示和对应于广告荚的帧的带时戳的参考指纹。此外，可向服务器提供应替代广告荚中的广告中的一个特定广告的指示，以及用以促进所述广告替代的信息。举例来说，可向服务器提供现有广告的第一帧的真实时间点的指示、替代广告的URL，和替代的持续时间的指示。
随着客户端接收和播出可含有此广告荚的线性广播馈送在进行中，或响应于一或多个其它触发，客户端可正产生广播馈送的带时戳的查询指纹且可正向服务器报告那些带时戳的查询指纹以供分析。将此类查询指纹与表示广告荚序列的帧的参考指纹进行比较，服务器可借此检测到客户端正播出广告荚序列。
已经确定客户端正播出广告荚序列，服务器可随后例如以上文所论述的方式将广告替代即将开始的帧的真实时间点转译为对应的客户端时间点，且可向客户端发射指令，所述指令指定所述客户端时间点，包含到客户端即将在所述客户端时间处开始用来替换媒体流的帧的替代广告的指针，且引导客户端执行所指示的内容替代。相应地，客户端可获得所指示的替代广告，且可在所指示的客户端时间点处开始用所述广告替换媒体流的帧。
此外，服务器可告知客户端广告替代的持续时间或广告替代即将结束的客户端时间点，或所述持续时间可以是标准或预设的持续时间。并且在广告替代结束时，客户端可随后在进行中从播出替代广告切换回到播出广播馈送(例如，广告荚序列的其余部分)。
如上文所解释，在此过程中可能产生的技术问题是，客户端可能花费一些时间从播出一个流转变到播出另一流，例如从在线性广播流中播出广告荚序列转变到播出替代广告流。确切地说，如上所述，客户端可能需要参与各种过程，例如清除高速缓冲存储器、接收和解码内容，以及填充存储器缓冲器，以促进开始播出替代流。
此流转变过程的开始点可以各种方式限定。举例来说，如果客户端将从串流媒体服务器接收第二流的内容，则流转变过程的开始可以在客户端发送初始传送控制协议(TCP)握手消息以起始设置与服务器的TCP会话时，或在客户端发送实时串流协议(RTSP)设置请求等以起始设置与服务器的实时传送协议(RTP)会话时，以及存在其它可能性。或者，如果客户端将以另一方式或从另一源接收第二流的内容，则过程的开始点可以其它方式限定。过程的结束可随后限定为在考虑抖动和/或其它问题的同时客户端已经缓冲足够的第二媒体流以开始播放所述流的时间点。其它实例也是可能的。
如上所述，流转变过程从开始到结束可花费大约数百毫秒。此外，因为资源约束和其它因素不时地改变，在任何给定例项中客户端从一个流转变到另一流将花费的实际时间量可能是不可预测的。
经验可建立客户端(或代表性客户端)的最小和最大预期流转变持续时间。举例来说，测试可能展示，客户端从播出第一流转变到播出第二流(例如，到客户端准备好开始播放第二流的点)将花费300ms到500ms之间的任何时间。因此，客户端可具有300ms的最小预期切换持续时间和500ms的最大预期转变持续时间，从而限定200ms不确定范围，以及存在其它可能性。
客户端可通过随着时间的过去跟踪流转变持续时间且向上滚动所跟踪持续时间以建立最小值和最大值的统计量度来确定这些最小和最大预期流转变持续时间，和/或可以其它方式向客户端提供预期转变持续时间的代表性值。
给定此不确定范围，客户端可将其切换过程配置为在所要内容切换时间点之前某一时间量开始，所述时间量等于最大预期切换持续时间。如此，客户端应理论上终止于在不确定范围内的某一时间、在所要内容切换开始时间处或之前开始播出第二流。
然而，令人遗憾的是，一旦客户端已完成其播出第二流的准备，客户端就可能不再处于播出第一流的位置中，因为客户端现可能正缓冲第二流内容用于播出而非缓冲第一流内容用于播出。因此，如果客户端在最大预期切换持续时间的结束已过去之前完成其用于播出第二流的准备，则客户端可比所要更早地开始播出第二流，这可能导致用户体验问题。此外，对于例如广告替代等内容替代，第二流的播出的此过早开始可能在替代持续时间结束时当客户端即将从播出第二流切换回到播出第一流时产生相关联的用户体验问题。
帮助避免使客户端比所要更早地开始播出第二流的一种方式是，客户端改为将其切换过程配置为在所要内容切换时间点之前某一时间量开始，所述时间量小于最大预期切换持续时间。举例来说，客户端可在所要内容切换时间点之前某一时间量开始其切换过程，所述时间量小于最大预期切换持续时间但大于或等于最小预期切换持续时间。
借助于实例，客户端可在所要内容切换时间点之前某一时间量开始其切换过程，所述时间量是平均预期切换持续时间，例如最小预期切换持续时间和最大预期切换持续时间之间的中部。使用上文的实例值，在最小预期切换持续时间为300ms且最大预期切换持续时间为500ms的情况下，举例来说，客户端可因此在所要内容切换时间点之前400ms开始其切换过程。
但这种解决方案仍非最佳的，因为其可能最终使客户端花费比所述平均预期切换持续时间长的时间来准备替代内容的播出。因此，客户端可能直至所要内容切换时间点已经过去之后才完成其内容切换准备。且因此，如上所述，客户端可终止于播放应该被替代的一些基本内容，且接着突然切换为播出替代内容，这可能提供较差的用户体验。此外，如上所述，如果客户端太迟开始播出替代内容且播放所述替代内容持续其完全持续时间，则替代内容的播出可持续超出应该被替代的内容的末尾，且可能切掉基本媒体流的后续内容的开头。
本公开提供一种机制以帮助解决替代内容的播出太迟开始且因此太迟结束的技术问题。
依据本公开，当客户端在所要内容切换时间点已经过去之后某一延迟的情况下已经开始或将开始播出替代内容，则客户端将确定所述延迟为多长时间。举例来说，客户端可确定从所要内容切换时间点到替代内容的播出开始或将开始的时间已经过去或将已经过去多长时间。并且如上所述，客户端将随后以将致使其替代内容的播出准时结束的方式战略上减少其替代内容的播出。此外，为了帮助应对在待替代的基本内容的开始之后开始的替代内容的播出，如上所述，客户端还可战略上播出一些转变帧代替所述基本内容，直至客户端准备好开始播出替代内容为止。
此过程假定，待替代的内容(原始内容)和替代内容具有彼此相同的持续时间D，且在无任何延迟的情况下，目标将是精确地在原始内容原本已开始的时间开始播出替代内容，且精确地在原始内容原本已结束的时间结束播出替代内容。举例来说，在广告替代情境中，原始广告和替代广告可各自为30秒或另一典型的广告持续时间，且目标可以是精确地在原始广告的播出原本已开始时开始播出替代广告，且精确地在原始广告的播出原本已结束时结束播出替代广告。
此外，过程假定，客户端播出替代内容的开始时间在原始内容原本已开始的时间之后(即，在所要内容切换时间点之后)被、曾经被或将被延迟持续时间为P秒(可能仅跨几十毫秒的若干帧、可能小于一秒)的延迟周期。客户端可通过检测到到所要内容切换时间点客户端尚未开始或将不开始播出替代内容来检测此延迟的存在。并且客户端可通过以编程方式从所要内容切换时间点到达时直至客户端开始播出替代内容的时间运行秒表来计算延迟的长度。
因为期望客户端随后精确地在原始内容原本已结束时完成其替代内容的播出，所以客户端将随后被留下在其中播出替代内容的缩短的D-P周期(即，完全广告持续时间D和延迟周期P之间的差)。
在替代内容具有持续时间D的条件下，客户端可通过从替代内容移除P秒(即，通过放弃播出P秒的替代内容)而促进在缩短的D-P周期中播出替代内容。根据本公开，客户端可通过以下操作来实现此目的：移除替代内容的开头的P秒，移除替代内容的末尾的P秒，或移除替代内容的一或多个部分总计P秒。
作为此过程的一个实例，在确定替代内容的播出延迟P秒后，客户端可响应性地在替代内容内向前搜寻(即，在替代内容流中向前跳跃)P秒，且在P秒时间点处开始播出替代内容。如此，客户端播出替代内容的其余部分应花费仅D-P秒，使得播出将准时结束。利用此实例，因为客户端将在比替代内容的实际开始迟的点开始播出替代内容，所以客户端还可向替代内容的播出添加淡入(例如，渐隐)使得替代内容的播出的开始不会看上去如此突然。
客户端可精确地在替代内容开始时开始实行此搜寻操作。或者，客户端可能在替代内容开始之后(可能稍后)某一点处开始其向前搜寻，且可仍在替代内容的播出中向前跳跃P秒。
作为此过程的另一实例，在确定替代内容的播出延迟P秒后，客户端可响应性地早P秒结束播出替代内容。也就是说，客户端可在替代内容开始处开始播出替代内容，但并非播放替代内容持续完全持续时间D秒，而是一旦客户端已经播出D-P秒的替代内容就可停止播出替代内容(且切换回到基本媒体流)。因为替代内容的播出将因此仅花费D-P秒，所以播出将同样准时结束。此外，利用此实例，因为客户端将终止于较早结束播出替代内容，所以客户端还可添加从替代内容回到基本媒体流的淡出，使得替代内容的播出的结束将不会看上去如此突然。
作为此过程的又一实例，在确定替代内容的播出延迟P秒后，客户端可响应性地参与选择性地从替代内容内移除帧的过程，以试图将替代内容的播出的总持续时间缩短到D-P秒。
举例来说，随着客户端播出替代内容，客户端可检查其已经缓冲用于播出的替代内容的即将来临的帧，以搜索客户端可合理地移除且因此不播出的帧。
借助于实例，如果讨论中的媒体包括视频，则客户端可搜索其中两个或两个以上连续帧的图像相同或充分类似的例项，最佳在不存在随附音频时。客户端可通过产生和比较连续帧的指纹，通过图案匹配和/或以某一其它方式进行此分析。每当客户端找到此类重复帧时，客户端可随后丢弃一或多个重复帧。或者或另外，客户端可寻找视频的中间帧(例如，P帧或B帧)(同样最佳在不存在随附音频时)，且可类似地移除那些帧。此外，如果讨论中的媒体包括音频，则客户端可搜索静默帧(可能是重复的静默帧)，且可同样丢弃那些帧。
或者，客户端可应用一或多个其它过程选择性地从替代内容移除帧，以帮助将替代内容的持续时间缩短延迟周期P。
通过选择性地在替代内容内可能多个不同时间处实行此帧移除过程，客户端可能能够更精妙地移除总共P秒的帧，使得替代内容的播出的所得持续时间将仅为D-P秒且因此将准时结束。或者，如果当客户端接近替代内容的播出的D-P秒时客户端尚未能够移除替代内容的足够数目的帧，则客户端可足够早地结束播出替代内容以使替代内容的播出的总持续时间降至D-P秒，使得其将同样准时结束。
如上文进一步提到，当客户端将要以P秒的延迟开始播出替代内容时，客户端还可在所述延迟周期期间播出一些转变帧代替原始内容。以促进此操作，当客户端检测到所要内容切换时间点已经到达时，客户端可确定其尚未准备好开始播放替代内容。作为响应，客户端可随后开始产生和播出转变帧代替原始内容，直至客户端准备好开始播出替代内容为止。并且当客户端准备好开始播出替代内容时，客户端可随后从播出转变帧切换为播出替代内容。此外，客户端可添加从播出转变帧到播出替代内容的淡变(例如，渐隐)，以帮助使所述转变平稳。
在实践中，转变帧可基于讨论中的媒体的类型而采用各种形式。举例来说，如果媒体包括视频(可能连同音频)，则转变帧可包括黑帧和/或紧接在所述转变前的帧的副本。借助于实例，客户端可播出黑帧持续转变周期的持续时间(直至转变为播出替代内容)。或者，针对转变周期内的某段时间，客户端可播出作为第一流的最新帧的副本的帧，且可随后针对转变周期的其余部分从所述图像淡变到黑帧。而如果媒体包括音频(可能连同视频)，则转变帧可以是静默帧。确切地说，客户端可呈现静默帧持续转变周期的持续时间。其它实例也是可能的。
图2-6示出尤其在广告替代情境中上文所论述的一些过程的实例。这些图中的每一个描绘随时间从左向右推移沿着时间线的内容播出。
图2描绘问题情境：客户端正在线性流20内播出广告荚，且客户端即将用替代广告22的播出替换线性流的广告AD2，但替代广告22的播出延迟开始。如所展示，AD2具有持续时间D，且替代广告22也具有持续时间D。此外，如沿着时间线所示，最终目标原本是精确地在AD2开始处在时间TDESIRED-START处开始播出替代广告，且精确地在AD2结束处在时间TDESIRED-END处结束播出替代广告。但如所展示，客户端延迟P秒开始其替代广告的播出，因为客户端准备好在时间TREADY处开始播出替代内容，所述时间TREADY是时间TDESIRED-START之后P秒。因此，在此情境下，客户端可播出AD2的P秒且接着突然切换为播出替代广告。此外，客户端播出替代广告可从下一广告AD3的开始后延长P秒，因此可能切掉所述下一广告的开头。
图3描绘用于客户端以帮助克服这些技术问题的一种机制。确切地说，图3示出客户端可在替代广告22中向前搜寻P秒且在该点处开始播出替代广告。为了在实践中促进此操作，客户端可应用固有搜寻功能在替代广告流中向前跳跃，或可以其它方式丢弃替代广告的帧的前P秒。因此，客户端将在替代广告的P秒处开始其替代广告的播出，使得客户端将仅播出替代广告的最后D-P秒。
接下来，图4示出此搜寻过程的实例结果。如图4中所展示，客户端播出替代广告的最后D-P秒将在时间TREADY处开始且将在时间TDESIRED-END处结束，使得客户端播出替代广告的结束应按需要最佳地与基本线性流20中AD2的结束对准。(尽管未图示，客户端还可能需要在此替代广告播出结束时或接近结束时采取动作，以考虑从播出替代广告流22切换回到播出基本线性流20的过程中的延迟。举例来说，客户端可通过播出转变帧且可能通过在AD3的播出中向前搜寻适当持续时间来处理该情形。)
如图4中进一步示出，依据上文的论述，客户端还可向转变帧24添加淡变周期以帮助考虑播出替代广告的开始的延迟。在实例实施方案中，客户端可产生和播出这些转变帧持续至少延迟周期(从TDESIRED-START到TREADY)，以避免播出应该被替代广告替代的AD2的开头。此外，客户端可在延迟周期之后将转变帧的播出延长淡变周期26，且经由淡变周期26，从播出转变帧淡变为播出替代广告，以帮助使所述转变平稳。
图5示出用于客户端以帮助克服与播出替代广告的开始的延迟相关联的问题的替代机制。确切地说，图5示出客户端可早P秒结束播出替代广告以避免使替代广告的播出延长超出时间TDESIRED-END。为了在实践中促进此操作，客户端可仅播出替代广告的前D-P秒，且客户端可丢弃替代广告的最后P秒。举例来说，一旦客户端以P秒延迟开始播出替代广告，则客户端可随后继续播出替代广告持续D-P秒。
接下来，图6示出此替代过程的实例结果。如图6中所展示，客户端播出替代广告的前D-P秒将在时间TREADY处开始且将在时间TDESIRED-END处结束，使得客户端播出替代广告的结束应按需要最佳地与基本线性流20中AD2的结束对准。(此处再次，客户端可能类似地需要在此替代广告播出结束时或接近结束时采取动作，以考虑从播出替代广告流切换回到播出线性流的过程中的延迟。)
接下来，图7是描绘可根据本公开实行的方法的流程图。此方法可由例如媒体客户端或其它重放装置等装置实行，以促进播出替代内容代替基本媒体流的一部分，其中所述替代内容和基本媒体流的所述部分具有相等持续时间D。如上文所论述，在实例实施方案中，基本媒体流的所述部分可以是广告荚中的广告，且替代内容可以是替代广告。或者，所述内容可采取其它形式。
如图7中所展示，在框70处，当装置正播出基本媒体流时，所述装置确定开始播出替代内容的目标时间。举例来说，客户端可通过从服务器或其它实体接收指定所述目标时间的指令和/或自身评估以确定所述目标时间来确定此目标时间。
在框72处，装置随后检测到装置开始播出替代内容的开始时间在所确定目标时间之后某一延迟周期(持续时间为P)。举例来说，装置可测量从所要开始时间到装置将开始、正开始或将开始播出替代内容的时间已经过去多长时间。
并且在框74处，响应于检测到此延迟，装置将随后将其替代内容的播出减少持续时间P以帮助使替代内容的播出的结束与基本媒体流的所述部分的结束对准。如上文所论述，此减少操作可涉及在替代内容中向前搜寻持续时间P到达替代内容中的新时间点，且在所述新时间点处开始播出替代内容。或者或另外，所述减少可涉及早持续时间P结束播出替代内容。又或者或另外，所述减少可涉及从替代内容移除一或多个中间帧，以帮助使替代内容的播出的总持续时间降至D-P。
如上文进一步论述，装置可在延迟周期P期间额外播出转变帧，代替播出基本媒体流的所述部分的初始部分。并且装置可从播出转变帧淡变为播出替代内容。
此外，如上文所论述，如果讨论中的媒体包括视频，则转变帧可包括黑帧和/或作为第一媒体流的上一个所播放帧的副本的帧。并且如果讨论中的媒体包括音频，则转变帧可包括静默帧。
图8是描绘可根据本公开实行的方法的另一流程图。如图8中所展示，在框80处，当装置正播出媒体流时，装置确定装置即将开始播出替代内容代替媒体流的一部分的目标时间。在框82处，装置检测到装置开始播出替代内容的开始时间在所确定目标时间之后某一延迟周期(具有持续时间P)。并且在框84处，响应于所述检测，装置在替代内容中向前搜寻持续时间P以使替代内容的播出减少持续时间P。
可在此方法的上下文中应用上文描述的各种特征且反之亦然。举例来说，媒体流可以是广告荚，且替代内容可以是替代广告。此外，装置可额外在延迟周期P期间播出转变帧(例如，黑帧、静默帧等)，且可添加淡变以使转变平稳。
最后，图9是实例媒体客户端的简化框图，其展示可包含在此装置中以促进实行例如上文提到的操作的一些组件。依据上文的论述，此客户端可采用各种形式。举例来说，其可以是电视机、计算机监视器或操作以接收和再现视频内容的其它装置，和/或其可以是扩音器、一对头戴受话器或操作以接收和再现音频内容的其它装置。大量其它实例也是可能的。
如图9所示，实例客户端包含媒体输入接口90、网络通信接口92、媒体呈现接口94、处理单元96和非暂时性数据存储装置98，其中的任一个或全部可集成在一起或如所展示以通信方式通过系统总线、网络或其它连接机构100链接在一起。
客户端可使用媒体输入接口90和/或网络通信接口92来接收媒体流以供呈现。这些接口中的任一个可包含一或多个有线和/或无线接口，其用于建立与接收器、服务器或其它装置或系统的通信且以模拟或数字形式从接收器、服务器或其它装置或系统接收媒体内容。举例来说，媒体输入接口可包含符合例如DVI、HDMI、VGA、USB、蓝牙、WIFI及许多其它协议等协议的一或多个接口，且网络通信接口可包括有线或无线以太网接口，用于参与基于本地或广域包的通信以便与一或多个服务器和/或其它装置或系统交互。
媒体呈现接口94可随后包括一或多个组件以促进媒体内容的呈现。借助于实例，媒体呈现接口可包括例如显示屏和/或扩音器等用户接口，以及一或多个驱动器或其它组件用于处理所接收媒体内容以促进所述内容在所述用户接口上的呈现。
处理单元96可包括一或多个通用处理器(例如，微处理器)和/或一或多个专用处理器(例如，专用集成电路)。并且非暂时性数据存储装置98可包括一或多个易失性和/或非易失性存储组件，例如光学、磁性或快闪存储装置。
此外，如所展示，数据存储装置98可存储程序指令102，所述程序指令可由处理单元96执行以致使客户端实行本文中所描述的各种操作。举例来说，所述操作可包含：在客户端正播出基本媒体流时，确定客户端即将开始播出替代内容代替基本媒体流的一部分的目标时间。此外，所述操作可包含检测到客户端开始(例如，已经开始、正开始或将开始)播出替代内容的开始时间在所确定目标时间之后某一延迟周期(具有持续时间P)。并且所述操作可包含响应于所述检测将替代内容的播出减少持续时间P。此处同样，可在此上下文中应用上文描述的各种操作且反之亦然。
上文已经描述示范性实施例。然而，所属领域的技术人员将理解，可在不脱离本发明的真实范围和精神的情况下对这些实施例作出改变和修改。

Claims (20)

1.一种用于装置播出替代内容代替基本媒体流的一部分的方法，其中所述替代内容和所述基本媒体流的所述部分具有相等持续时间D，所述方法包括：
在所述装置正播出所述基本媒体流时，由所述装置确定开始播出所述替代内容的目标时间；
由所述装置检测到所述装置开始播出所述替代内容的开始时间在、或将在所确定目标时间之后某一延迟周期，所述延迟周期具有持续时间P；以及
响应于所述检测，由所述装置减少所述替代内容的播出，以帮助使所述替代内容的播出的结束与所述基本媒体流的所述部分的结束对准，其中在检测到所述替代内容延迟了持续时间P的所述延迟周期后，且在持续时间P的所述延迟周期结束之前，减少所述替代内容的播出，且减少所述替代内容的播出包括：(i)在所述替代内容中检测一或多个重复帧，(ii)响应于在所述替代内容中检测到所述一或多个重复帧，在播出所述替代内容时跳过所述一或多个重复帧的播出，(iii)由所述装置检测到跳过所述一或多个重复帧的播出使所述替代内容的播出缩短了小于所述持续时间P，以及(iv)响应于所述检测到所述重复帧的移除使所述替代内容的所述播出缩短了小于所述持续时间P的所述延迟周期，由所述装置截断所述替代内容的播出，使得所述替代内容的所述播出持续D-P的持续时间，以帮助使所述替代内容的播出的所述结束与所述基本媒体流的所述部分的所述结束对准。
2.根据权利要求1所述的方法，其中所述基本媒体流的所述部分是广告荚中的广告，且其中所述替代内容是替代广告。
3.根据权利要求1所述的方法，其进一步包括由所述装置在所述延迟周期期间播出转变帧，代替播出所述基本媒体流的所述部分的初始部分。
4.根据权利要求3所述的方法，其进一步包括由所述装置从播出所述转变帧淡变为播出所述替代内容。
5.根据权利要求4所述的方法，其中所述基本媒体流包括视频，且其中所述转变帧包括黑帧。
6.根据权利要求4所述的方法，其中所述基本媒体流包括音频，且其中所述转变帧包括静默帧。
7.根据权利要求1所述的方法，其中将所述替代内容的播出减少持续时间P包括在所述替代内容中向前搜寻持续时间P到达所述替代内容中的新时间点，且在所述新时间点处开始播出所述替代内容。
8.根据权利要求1所述的方法，其中将所述替代内容的播出减少持续时间P包括早持续时间P结束播出所述替代内容。
9.根据权利要求1所述的方法，其中将所述替代内容的播出减少持续时间P包括从所述替代内容移除一或多个帧。
10.根据权利要求1所述的方法，其中移除所述替代内容的一或多个帧包括(i)检测重复帧和(ii)移除所述检测到的重复帧。
11.一种媒体客户端，其包括：
处理单元；
非暂时性数据存储装置；以及
程序指令，其存储在所述非暂时性数据存储装置中且可由所述处理单元执行以致使所述媒体客户端实行包含以下操作的操作：
在所述媒体客户端正播出基本媒体流时，确定所述媒体客户端即将开始播出替代内容代替所述基本媒体流的一部分的目标时间，
检测到所述媒体客户端开始播出所述替代内容的开始时间在、或将在所确定目标时间之后某一延迟周期，所述延迟周期具有持续时间P，且
响应于所述检测，减少所述替代内容的播出，以帮助使所述替代内容的播出的结束与所述基本媒体流的所述部分的结束对准，其中在检测到所述替代内容延迟了持续时间P的所述延迟周期后，且在持续时间P的所述延迟周期结束之前，减少所述替代内容的播出，且减少所述替代内容的播出包括：(i)在所述替代内容中检测一或多个重复帧，以及(ii)响应于在所述替代内容中检测到所述一或多个重复帧，在播出所述替代内容时跳过所述一或多个重复帧的播出，(iii)由所述装置检测到跳过所述一或多个重复帧的播出使所述替代内容的播出缩短了小于所述持续时间P，以及(iv)响应于所述检测所述重复帧的移除使所述替代内容的所述播出缩短了小于所述持续时间P的所述延迟周期，由所述装置截断所述替代内容的播出，使得所述替代内容的所述播出持续D-P的持续时间，以帮助使所述替代内容的播出的所述结束与所述基本媒体流的所述部分的所述结束对准。
12.根据权利要求11所述的媒体客户端，其中所述基本媒体流的所述部分是广告荚中的广告，并且其中所述替代内容是替代广告。
13.根据权利要求11所述的媒体客户端，其中所述操作进一步包含在所述延迟周期期间播出转变帧代替播出所述基本媒体流的所述部分的初始部分。
14.根据权利要求13所述的媒体客户端，其中所述操作进一步包含由所述装置从播出所述转变帧淡变为播出所述替代内容。
15.根据权利要求13所述的媒体客户端，其中所述基本媒体流包括视频，且其中所述转变帧包括黑帧。
16.根据权利要求13所述的媒体客户端，其中所述基本媒体流包括音频，且其中所述转变帧包括静默帧。
17.根据权利要求11所述的媒体客户端，其中将所述替代内容的播出减少持续时间P包括在所述替代内容中向前搜寻持续时间P到达所述替代内容中的新时间点，且在所述新时间点处开始播出所述替代内容。
18.根据权利要求11所述的媒体客户端，其中将所述替代内容的播出减少持续时间P包括从所述替代内容移除一或多个帧。
19.存储有程序指令的非暂时性数据存储装置，所述程序指令可由处理单元执行以致使媒体客户端实行包含以下操作的操作：
在所述媒体客户端正播出基本媒体流时，确定所述媒体客户端即将开始播出替代内容来代替所述基本媒体流的一部分的目标时间；
检测到所述媒体客户端开始播出所述替代内容的开始时间在、或将在所确定目标时间之后某一延迟周期，所述延迟周期具有持续时间P；以及
响应于所述检测，减少所述替代内容的播出以帮助使所述替代内容的播出的结束与所述基本媒体流的所述部分的结束对准，其中在检测到所述替代内容延迟了持续时间P的所述延迟周期后，且在持续时间P的所述延迟周期结束之前，减少所述替代内容的播出，且减少所述替代内容的播出包括：(i)检测所述替代内容中的一或多个重复帧，以及(ii)响应于在所述替代内容中检测到所述一或多个重复帧，在播出所述替代内容时跳过所述一或多个重复帧的播出，(iii)由所述装置检测到跳过所述一或多个重复帧的播出使所述替代内容的播出缩短了小于所述持续时间P，以及(iv)响应于所述检测到所述重复帧的移除使所述替代内容的播出缩短了小于所述持续时间P的所述延迟周期，由所述装置截断所述替代内容的播出，使得所述替代内容的所述播出持续D-P的持续时间，以帮助使所述替代内容的播出的所述结束与所述基本媒体流的所述部分的所述结束对准。
20.根据权利要求19所述的非暂时性数据存储装置，其中所述基本媒体流的所述部分是广告荚中的广告，并且其中所述替代内容是替代广告。
CN201980001150.5A 2018-08-17 2019-06-07 动态减少替代内容的播出以帮助使替代内容的结束与被替代内容的结束对准 Active CN111316659B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862765276P 2018-08-17 2018-08-17
US62/765,276 2018-08-17
US16/183,266 US11317143B2 (en) 2018-08-17 2018-11-07 Dynamic reduction in playout of replacement content to help align end of replacement content with end of replaced content
US16/183,266 2018-11-07
PCT/US2019/036001 WO2020036668A1 (en) 2018-08-17 2019-06-07 Dynamic reduction in playout of replacement content to help align end of replacement content with end of replaced content

Publications (2)

Publication Number Publication Date
CN111316659A CN111316659A (zh) 2020-06-19
CN111316659B true CN111316659B (zh) 2023-06-06

Family

ID=69523667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980001150.5A Active CN111316659B (zh) 2018-08-17 2019-06-07 动态减少替代内容的播出以帮助使替代内容的结束与被替代内容的结束对准

Country Status (7)

Country Link
US (1) US11317143B2 (zh)
EP (1) EP3837849A4 (zh)
JP (2) JP7313445B2 (zh)
KR (1) KR102536652B1 (zh)
CN (1) CN111316659B (zh)
TW (2) TWI788744B (zh)
WO (1) WO2020036668A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11178451B2 (en) 2018-08-17 2021-11-16 Roku, Inc. Dynamic playout of transition frames while transitioning between playout of media streams
WO2020231821A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with fingerprint data match and mismatch detection feature
WO2020231813A1 (en) * 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
US11632598B2 (en) * 2019-05-10 2023-04-18 Roku, Inc. Content-modification system with responsive transmission of reference fingerprint data feature
EP3967044A4 (en) * 2019-05-10 2023-04-05 Roku, Inc. CONTENT MODIFICATION SYSTEM WITH INPUT BUFFER SWITCHING DELAY DETERMINATION FUNCTION
WO2021202353A1 (en) * 2020-03-31 2021-10-07 Arris Enterprises Llc Advertisement preparation systems
US11575963B2 (en) 2020-04-08 2023-02-07 Roku, Inc. Content-modification system with feature for detecting and responding to a content modification by a tuner device
WO2022094108A1 (en) * 2020-10-29 2022-05-05 Roku, Inc. Alignment of supplemental content segment duration with modifiable content segment duration, to facilitate dynamic content modification
US11917231B2 (en) 2020-10-29 2024-02-27 Roku, Inc. Real-time altering of supplemental content duration in view of duration of modifiable content segment, to facilitate dynamic content modification
US20220264171A1 (en) * 2021-02-12 2022-08-18 Roku, Inc. Use of In-Band Data to Facilitate Ad Harvesting for Dynamic Ad Replacement
WO2023278959A1 (en) 2021-07-01 2023-01-05 Boston Scientific Neuromodulation Corporation 3d antenna structure for directional independent wireless power transfer for implantable medical devices
US20240205495A1 (en) * 2022-12-20 2024-06-20 Roku, Inc. Advertisement placement for stream media

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277554A (zh) * 2017-05-05 2017-10-20 中广热点云科技有限公司 一种时移节目单播转换组播的方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4029487B2 (ja) * 1998-08-17 2008-01-09 ソニー株式会社 記録装置および記録方法、再生装置および再生方法、ならびに、記録媒体
WO2002039718A2 (en) 2000-10-19 2002-05-16 Loudeye Technologies, Inc. System and method for selective insertion of content into streaming media
US20030001977A1 (en) * 2001-06-28 2003-01-02 Xiaoling Wang Apparatus and a method for preventing automated detection of television commercials
US20070033633A1 (en) 2005-08-08 2007-02-08 Princeton Server Group, Inc. Method and apparatus for providing a transition between multimedia content
EP2033443A2 (en) 2006-06-13 2009-03-11 Koninklijke Philips Electronics N.V. Fingerprint, apparatus, method for identifying and synchronizing video
JP5087872B2 (ja) * 2006-07-25 2012-12-05 日本電気株式会社 ストリーミング配信システム及びストリーミング配信方法
US10356366B2 (en) * 2007-05-31 2019-07-16 Sony Interactive Entertainment America Llc System and method for taking control of a system during a commercial break
US8949886B2 (en) * 2007-06-18 2015-02-03 Alcatel Lucent Targeted advertisement insertion with interface device assisted switching
US9009066B2 (en) * 2009-02-12 2015-04-14 Echostar Technologies L.L.C. Advertisement management for live internet multimedia content
US20100218208A1 (en) * 2009-02-26 2010-08-26 Comcast Cable Communications, Llc Method and Apparatus for Generating Alternative Commercials
US10410222B2 (en) 2009-07-23 2019-09-10 DISH Technologies L.L.C. Messaging service for providing updates for multimedia content of a live event delivered over the internet
KR101786051B1 (ko) 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
KR101737084B1 (ko) * 2009-12-07 2017-05-17 삼성전자주식회사 메인 콘텐트에 다른 콘텐트를 삽입하여 스트리밍하는 방법 및 장치
US8990849B2 (en) 2012-02-14 2015-03-24 Verizon Patent And Licensing Inc. Advertisement insertion into media content for streaming
TWI482494B (zh) 2012-07-09 2015-04-21 Wistron Corp 頻道資訊提示方法及系統以及電腦可讀取儲存媒體
US8928678B2 (en) * 2012-08-02 2015-01-06 Intel Corporation Media workload scheduler
US8732745B2 (en) * 2012-10-22 2014-05-20 Sony Corporation Method and system for inserting an advertisement in a media stream
US8913882B2 (en) * 2012-12-31 2014-12-16 Eldon Technology Limited Auto catch-up
US9351023B2 (en) 2013-03-15 2016-05-24 Echostar Technologies L.L.C. Output of broadcast content with portions skipped
US9369506B2 (en) 2013-06-05 2016-06-14 Adobe Systems Incorporated Insertion of supplementary content into a segmented content stream
US10110649B2 (en) 2013-08-01 2018-10-23 Spotify Ab System and method for transitioning from decompressing one compressed media stream to decompressing another media stream
US9723377B2 (en) * 2014-04-28 2017-08-01 Comcast Cable Communications, Llc Video management
CN104581396A (zh) * 2014-12-12 2015-04-29 北京百度网讯科技有限公司 一种推广信息的处理方法及装置
US20160316261A1 (en) 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
JP2017041289A (ja) 2015-08-20 2017-02-23 三菱電機株式会社 メディア再生装置
US9813781B2 (en) * 2015-10-27 2017-11-07 Sorenson Media, Inc. Media content matching and indexing
US10248378B2 (en) * 2015-11-11 2019-04-02 AdsWizz Inc. Dynamically inserting additional content items targeting a variable duration for a real-time content stream
CN105847888A (zh) 2016-03-28 2016-08-10 乐视控股（北京）有限公司 一种广告投放方法、终端及系统
CN106170103B (zh) 2016-06-07 2019-04-12 腾讯科技（北京）有限公司 视频播放方法和装置
KR102494584B1 (ko) * 2016-08-18 2023-02-02 삼성전자주식회사 디스플레이 장치 및 그 컨텐츠 디스플레이 방법
US9972360B2 (en) * 2016-08-30 2018-05-15 Oath Inc. Computerized system and method for automatically generating high-quality digital content thumbnails from digital video
KR101919014B1 (ko) * 2016-11-09 2018-11-15 삼성전자주식회사 전자 장치 및 그 동작방법
WO2018088784A1 (en) * 2016-11-09 2018-05-17 Samsung Electronics Co., Ltd. Electronic apparatus and operating method thereof
KR20180083132A (ko) * 2017-01-12 2018-07-20 삼성전자주식회사 전자 장치 및 그 동작방법
KR101899576B1 (ko) 2017-02-02 2018-09-17 네이버 주식회사 멀티미디어 컨텐츠의 원격 운영을 위한 시간 동기화 방법 및 그 시스템
US10674199B2 (en) * 2017-08-28 2020-06-02 Otis Elevator Company Media content selection for passengers
CN107707969A (zh) 2017-09-04 2018-02-16 深圳市屯奇尔科技有限公司 视频播放方法、装置及终端设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277554A (zh) * 2017-05-05 2017-10-20 中广热点云科技有限公司 一种时移节目单播转换组播的方法

Also Published As

Publication number Publication date
KR102536652B1 (ko) 2023-05-26
WO2020036668A1 (en) 2020-02-20
TWI716018B (zh) 2021-01-11
JP2023138511A (ja) 2023-10-02
JP7313445B2 (ja) 2023-07-24
CN111316659A (zh) 2020-06-19
EP3837849A1 (en) 2021-06-23
EP3837849A4 (en) 2022-06-22
TW202123718A (zh) 2021-06-16
KR20210030478A (ko) 2021-03-17
US11317143B2 (en) 2022-04-26
TWI788744B (zh) 2023-01-01
US20200059692A1 (en) 2020-02-20
JP2021534699A (ja) 2021-12-09
TW202010314A (zh) 2020-03-01

Similar Documents

Publication Publication Date Title
CN111316659B (zh) 动态减少替代内容的播出以帮助使替代内容的结束与被替代内容的结束对准
CN111418215B (zh) 媒体客户端、方法、非暂时性数据存储装置
CN111183650B (zh) 动态控制指纹识别速率以促进媒体内容的时间精确修订
KR20210021099A (ko) 프레임적으로 정확한 컨텐츠 수정을 용이하게 하기 위해, 낮은 레이트 핑거프린팅을 사용하는 보간을 기반으로 하는 시간 맵핑의 확립 및 사용
KR102311314B1 (ko) 새로운 콘텐츠를 얻는데 있어서의 예상되는 레이턴시에 의거한 콘텐츠 수정을 위한 사전 준비

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210917

Address after: California, USA

Applicant after: Liuke Co.,Ltd.

Address before: California, USA

Applicant before: Gracenote, Inc.

GR01 Patent grant
GR01 Patent grant