CN110999311B - 用于媒体内容处理的方法、计算系统以及可读媒体 - Google Patents

用于媒体内容处理的方法、计算系统以及可读媒体 Download PDF

Info

Publication number
CN110999311B
CN110999311B CN201980001147.3A CN201980001147A CN110999311B CN 110999311 B CN110999311 B CN 110999311B CN 201980001147 A CN201980001147 A CN 201980001147A CN 110999311 B CN110999311 B CN 110999311B
Authority
CN
China
Prior art keywords
client
time
media stream
point
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980001147.3A
Other languages
English (en)
Other versions
CN110999311A (zh
Inventor
P·东克尔
M·K·克里默
S·C·麦钱特
K·R·蒂伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liuke Co ltd
Original Assignee
Liuke Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liuke Co ltd filed Critical Liuke Co ltd
Publication of CN110999311A publication Critical patent/CN110999311A/zh
Application granted granted Critical
Publication of CN110999311B publication Critical patent/CN110999311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Computer And Data Communications (AREA)

Abstract

一种计算系统识别(i)表示正由客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，每一识别的匹配点定义带有为根据所述客户端的时钟定义的客户端时间的时间戳的查询指纹与带有为根据已知媒体流内的时间线定义的真实时间的时间戳的参考指纹之间的相应匹配。另外，所述计算系统基于所述匹配点的所述时间戳执行线性回归，以建立真实时间与客户端时间之间的映射。所述计算系统接着使用所述映射来确定所述客户端应执行关于正由所述客户端接收的所述媒体流的内容修正或其它动作的客户端时间点。且所述计算系统使所述客户端在所述确定的客户端时间点执行所述内容修正或其它动作。

Description

用于媒体内容处理的方法、计算系统以及可读媒体
相关申请的引用
本申请要求2018年10月22日提交的美国专利申请第16/166,971号和2018年7月19日提交的美国临时专利申请第62/700,660号的优先权，所述申请中的每一个的全部内容在此被以引用的方式并入。
本申请还与2018年10月22日提交的美国专利申请第16/166,981号有关，所述申请的全部内容在此被以引用的方式并入。
背景技术
典型媒体客户端用以接收表示媒体内容(例如，视频和/或音频内容)的模拟或数字媒体流，和将媒体内容输出和/或转发所述流以用于在例如显示屏和/或音频扬声器的用户接口上呈现内容。此类客户端的实例包含电视、计算机监视器、投影系统、扩音器、头戴式耳机、机顶盒(例如，有线或卫星电视接收器)、数字视频记录器、收音机、个人计算机、移动通信装置、游戏控制台、流媒体播放器等。
以实例说明，媒体客户端可为电视、其可接收媒体流(例如，空中广播流、从机顶盒输出的媒体流、从数字存储媒体播放的媒体流、因特网流或另一此流)且可对用户呈现那个媒体流的媒体内容。作为另一实例，媒体客户端可为机顶盒，其可接收来自多信道视频节目分配器的广播流，且可通过高清多媒体接口(HDMI)缆线或其它接口将那个广播流的媒体内容输出到电视和/或音频/视频接收器供播出。作为再一实例，媒体客户端可为数字视频或音频记录器，其可同样地接收广播流，但可存储所述流供以后播出。且作为又一实例，媒体客户端可以是扩音器或头戴式耳机，其可接收来自收音机、计算机或其它接收器或音频存储装置的音频流，且可向用户呈现那个音频流的音频内容。众多其它实例也是可能的。
发明内容
当媒体客户端接收媒体流时，在某些情形中，客户端修正流的媒体内容的一部分可为有用的。举例来说，可为有用的是，客户端用替换广告或用其它替换内容动态地替换媒体内容的广告或其它片段，使得当向用户播出内容时，用户将接收到替换广告，代替原先包含的广告。作为另一实例，可为有用的是，客户端用叠加或分屏内容(例如，通道识别、上下文信息、广告内容等)动态补充媒体内容的一部分，使得当正对用户播出内容时，用户将接收到所述补充内容连同原先包含的内容。
另外，可能需要客户端在媒体流内的特定时间点执行此内容修正。举例来说，如果客户端将要用替换广告动态地替换现有广告，那么可能需要客户端在媒体流中现有广告将已开始的时间定位替换广告。同样地，如果客户端将用与媒体内容的特定部分有关的叠加补充那部分，那么可能需要客户端在那部分开始时开始所述叠加。其它实例也是可能的。
更确切地说，讨论中的媒体流可定义帧序列(例如，视频帧和/或音频帧的序列)，且可能需要客户端以帧准确为基础来执行内容修正。举例来说，对于广告替换，可能需要客户端精确地在现有广告的第一帧处开始插入替换广告，代替现有广告。且为了将叠加添加到媒体流的特定部分，可能需要客户端在与媒体流的那部分的第一帧的特定关系时或按所述特定关系开始叠加。
为了促进使客户端执行这内容修正，客户端可能需要获悉修正将发生的特定时间点。然而，在实践中，可在客户端未知的时间线上定义修正时间点。举例来说，可在媒体流自身内的参考时间线上定义修正时间点，但客户端可能不具有针对那个时间线的上下文。因此，给客户端提供那个修正时间点可能并不使客户端能够在媒体流中所要的时间点执行所述修正。
作为这个情况的非限制性实例，考虑定义广告荚的媒体流可出现于电视广播内。广告荚包括广告序列，例如，电视商业广告。通过这实例，客户端可为接收和呈现特定电视信道的线性广播馈入的电视，且广告荚可出现于那个馈入内的任何时刻。举例来说，尤其在例如体育赛事的直播情况下，广告荚在此馈入中出现的时间可为不可预测的。替代地，广告荚可出现于特定安排的时间。
在这个实例中，所要的修正可为替换广告荚内的特定广告(例如，用不同广告或其它替换内容取代所述广告)。举例来说，如果广告荚为广告序列A1、A2、A3、A4，那么所要的修正可为广告A3的替换。
在此情形下，广告荚可定义内部时间线，其开始于时间T＝0且继续到广告荚的末尾，且广告A3可开始于那条时间线上的时间TA3。然而，客户端可缺乏那条时间线的上下文。客户端可具有它自己的内部时钟，所述内部时钟具有定义“客户端时间”的时间线(例如，当日时间或其它内部时间基准)。但不提前知晓广告荚时间线存在于客户端时间内何处，仅给出值TA3作为所要的内容修正时间点将使客户端不能够在需要时执行广告替换。
解决这问题的一个方式是执行指纹匹配，比较正由客户端接收的媒体流的带时间戳的查询指纹与例如已知广告荚序列的已知媒体流的带时间戳的参考指纹。
举例来说，客户端可产生客户端正接收的媒体流的帧的查询指纹，且可基于客户端的内部时钟使那些查询指纹带时间戳，且计算系统可接收那些带时间戳的查询指纹供分析。另外，计算系统可具备例如已知广告荚序列的已知媒体流的帧的参考指纹，其基于基准时间或沿着已知媒体流内的时间线定义的“真实时间”带时间戳。
计算系统可因此比较带时间戳的查询指纹与带时间戳的参考指纹以试图发现查询指纹与参考指纹匹配的匹配点，且在发现所述匹配点后，可推断匹配查询指纹的时间戳与匹配参考指纹的时间戳对应。
建立匹配查询与与参考指纹的时间戳之间的这个相关性可构成客户端时间与真实时间之间的建立“同步锁”或时间映射。举例来说，匹配查询指纹与匹配参考指纹的时间戳之间的差可定义已知媒体流内的真实时间与客户端接收媒体流时的客户端时间之间的时间偏移。给定已知媒体流内的帧的真实时间点的知识，计算系统可因此使用建立的同步锁确定正由客户端接收的媒体流中的同一帧的相关联的客户端时间点。举例来说，计算系统可应用真实时间与客户端时间之间的时间偏移，以便确定客户端时间点与给定真实时间点对应。
继续以上广告荚实例，计算系统可使用建立的同步锁将真实时间值TA3映射到表示客户端应替换正由客户端接收的媒体流中的广告A3的客户端时间点(例如，客户端应开始广告替换的客户端时间点)的客户端时间值。且客户端可接着执行在那个确定的客户端时间点的广告A3的替换。
然而，通过这个过程可出现的技术问题是，客户端可能不足够快地产生查询指纹以有助于查询指纹与参考指纹之间的高置信度指纹匹配。明确地说，为了帮助保存客户端处的有限处理能力、内存和/或其它资源，客户端可被布置成以相对低图框速率产生指纹，所述图框速率可远低于客户端正接收的媒体流的图框速率。结果，检测到的指纹匹配可能不准确，且建立的同步锁可能不准确。
举例来说，通过具有每秒30帧的视频，客户端可被设定以例如每秒2帧的低图框速率产生查询指纹。但以那种低速率执行指纹匹配可导致低置信度指纹匹配。
这种困难的一个原因是，所述媒体流可包含相同或几乎相同帧的各种子序列，其与媒体内容在一段时间上并不实质上改变的媒体序列的部分对应。这种情况的实例可为在一段时间内呈现静态图像的视频。在那情境中，查询指纹可在定义的匹配容差内匹配多个连续参考指纹。
结果，给定匹配点的计算系统的检测可为相对低置信度。且因此，真实时间与客户端时间之间的计算系统的建立的映射将潜在地不准确，这可引起用户体验问题。举例来说，不准确的时间映射可导致客户端过早或过迟地执行指导的内容修正。通过内容替换(例如，广告替换)，用户可将这不良的计时内容修正察觉为呈现的媒体内容中的不连续或不一致。
按照本公开，这问题可至少部分通过考虑多个检测的匹配点和在那些点之间内插以建立真实时间与客户端时间之间的改良的映射来解决。
在代表性实施方案中，给定由客户端产生的低速率查询指纹，计算系统可进行如上所论述的指纹比较，且计算系统随着时间的流逝可检测到多个匹配点，其中每一匹配点表示真实时间点与客户端时间点之间的确定的相关性。当计算系统检测到这些匹配点时，计算系统可接着以编程方式建立所述点的散布图并执行线性回归以建立表示真实时间与客户端时间之间的改良的映射的最佳拟合线。
计算系统可接着使用这改良的映射作为基础来预测客户端时间中的何点将与真实时间中的即将到来的点相关，以便促进使客户端执行内容修正或在即将到来的时间点采取其它相关联的行动(例如，准备内容修正)。举例来说，计算系统可使用改良的映射作为基础来预测客户端时间中的何点将与客户端将执行内容修正的即将到来的帧的真实时间参考时间戳相关。且计算系统可接着使所述客户端在那个预测的客户端时间点执行内容修正。
所属领域的一般技术人员通过适当地参考附图阅读以下详细描述将明白这些以及其它方面、优点和替代方案。另外，应理解，本发明内容和下文中提供的描述打算仅以实例而非以限制来说明本发明。
附图说明
图1是可实施所公开的特征的系统的简化框图。
图2是各具有相应真实时间值和相应客户端时间值的匹配点的实例散布图。
图3是描绘可根据本公开进行的操作的流程图。
图4是描绘可根据本公开进行的操作的另一流程图。
图5是描绘可根据本公开操作的计算系统的组件的简化框图。
具体实施方式
参看图式，图1是可应用各种所公开的原理的实例系统的简化框图。然而，将理解，本文中所描述的此布置及过程和其它布置及过程可采取各种其它形式。举例来说，元件和操作可重新排序、分布、复制、组合、省略、添加或以其它方式修改。此外，应理解，本文中描述为由一或多个实体进行的操作可由那些实体和/或代表那些实体经由硬件、固件和/或软件实施，例如，由执行程序指令等的一或多个处理单元来实施。
如图1所示，实例系统包含被配置成从媒体源14实时接收媒体流的媒体客户端12。
在实践中，媒体客户端12可被配置成如上所述般操作，以从媒体源14接收表示例如视频和/或音频内容的媒体内容的模拟或数字媒体流，且输出媒体内容和/或转发所述流以用于在例如显示屏和/或音频扬声器的用户接口上呈现所述内容。媒体客户端可采取以上描述的形式中的任一个，以及其它可能性。
媒体源14还可采取各种形式，可能取决于媒体客户端12的形式。以实例说明，如果媒体客户端12为电视机，那么媒体源14可以是本地机顶盒(例如，有线或卫星接收器)或流式传输媒体服务器，其被配置成输出选定媒体流以供由电视机呈现，或者媒体源14可以是广播电视台等，以及其它可能性。并且如果媒体客户端为计算机，那么媒体源可包括因特网流式传输媒体服务器或其它媒体提供商。替代地，媒体源14可为与媒体客户端12集成和/或可由媒体客户端12本地访问的数据存储装置，其中媒体客户端从数据存储装置接收(例如，检索)媒体流以用于播出。其它实例也是可能的。
如图1中进一步展示，媒体客户端12可通过网络(例如，因特网或私用网络)16与可或可不与媒体源14关联和/或集成的网络服务器18通信。
在实例实施方案中，媒体客户端12和网络服务器18可参加数据通信以促进进行例如以上指出的操作的操作。举例来说，代表性计算系统的方面可由服务器18实施，与客户端12相互操作以建立同步锁，以应用所述同步锁以确定客户端应执行内容修正的客户端时间点，和以使客户端在确定的客户端时间点执行内容修正。另外或替代地，代表性计算系统的方面可由客户端12实施，与服务器18相互操作以进行类似操作。
如上所指出，当例如客户端12的媒体客户端在接收媒体流时，客户端修正流的内容的一部分以便替换或补充流的内容的片段可为有用的。另外，如上所指出，可能需要客户端在媒体流内的特定时间点这样做。举例来说，如果所述流定义帧序列(例如，视频帧和/或音频帧的序列)，那么可能需要客户端执行开始于所述序列的特定帧的修正。
为了促进此内容修正，计算系统可首先识别正由客户端接收的媒体流。举例来说，计算系统可首先确定正由客户端接收的媒体流是含有应修正的特定内容的媒体流。在识别媒体流后，计算系统即可接着确定媒体流中客户端应执行内容修正的特定点，且可使客户端在那确定的点执行内容修正。
识别由客户端接收的媒体流的一个方式是使客户端(或可能附属装置)产生表示正由客户端接收的媒体内容的数字指纹数据，和使服务器18比较那个指纹数据与表示已知媒体流的媒体内容的参考指纹数据，其中指纹匹配指示客户端正在接收已知媒体流。
在实例实施方案中，服务器18或另一此实体可建立或另外能够存取表示已知媒体流的参考指纹数据。举例来说，服务器可建立或具备表示媒体流的帧的参考数字指纹的序列。服务器或另一实体可通过以下操作建立这些参考指纹：以编程方式分析已知媒体流的帧，接收已知媒体流的副本作为输入，和应用现在已知或以后开发的任何媒体指纹识别过程或算法来产生参考指纹。这些参考指纹可按相对高粒度级别产生以促进指纹匹配。举例来说，对于包括处于每秒30帧的视频的媒体流，所述序列可包含每一帧的参考视频指纹，因此同样地处于每秒30帧的速率，或处于另一合理的高速率。
另外，实时地，在客户端12接收媒体流时，客户端可产生表示其正接收的流的媒体内容的查询指纹数据，且可将查询指纹数据传输到服务器18供分析。客户端可使用应用于建立参考指纹的相同指纹识别过程或算法来建立这些查询指纹，以促进指纹比较。然而，如上所指出，归因于在客户端处的资源限制(例如，对处理能力、内存和网络速度的限制)或针对其它原因，且给定这查询指纹产生可为用于客户端的进行中的过程，那么客户端可被配置成以相对低速率产生这些查询指纹。举例来说，对于包括视频的媒体流，客户端可被配置成以仅每秒2帧的比率产生这些查询指纹，且客户端可每隔1.5秒左右将产生的查询指纹传输到服务器。其它实例也是可能的。
随着服务器从客户端接收查询指纹数据，服务器可将查询指纹数据与已知媒体流的参考指纹数据比较。并且如果服务器由此有足够置信度地确定查询指纹数据匹配参考指纹数据，那么所述服务器可推断正由客户端接收的媒体流是已知媒体流(即，已知媒体流的副本)。
服务器可以每帧为基础进行这指纹比较。考虑视频内容，举例来说，服务器可以每视频帧为基础进行分析，将帧的查询指纹对照帧的参考指纹进行比较。取决于指纹的结构，比较过程可采取多种形式中的任一个。举例来说，所述比较可包含计算指纹之间的最大偏差，并确定所述最大偏差是否在预定义容差内。另外，如果指纹为二进制的，那么这可为布尔确定，或可包含计算汉明距离(作为指纹中的相应位位置之间的失配的计数)。并且如果指纹是更复杂的值，例如小数值或向量(例如，每视频帧区域的灰度值)，那么这可包含确定值或向量之间的距离。众多其它实例也是可能的。
此外，服务器可按所要容差水平进行指纹比较过程。举例来说，所述比较可以是粗略的，对于指纹之间的差异具有相对高容差，例如具有对于较大数目差异的容差和/或对于较大差异大小的容差。以实例说明，当将两个32位指纹相互比较时，粗略比较可认为指纹大体相互匹配，即使两个位或另一指定数目个位并不匹配。或者比较可以是更加精细的，对于此类差异具有较低容差，和/或比较聚焦于可能表示基本媒体的特定部分的特定指纹分量。
另外，服务器可一次关于一个查询指纹进行指纹比较。举例来说，服务器可比较每一依序提供的查询指纹与参考指纹，以试图发现在定义的匹配容差内匹配查询指纹的参考指纹。
替代地，服务器可一次关于一束指纹进行比较。举例来说，服务器可比较四个连续查询指纹(以滑动窗为基础，或作为离散、依序群组)的每一依序束与参考指纹，以试图发现在定义的匹配容差内匹配四个查询指纹的群组的四个参考指纹的束。为了促进这个，如果查询指纹和参考指纹以相互不同之帧率产生，那么服务器可配置其对在与查询指纹束相同的时间相互间隔开的参考指纹的匹配束的搜寻。举例来说，如果查询指纹以每秒2帧产生(即，相互隔开500毫秒)且参考指纹以每秒30帧产生，那么服务器可搜索相互隔开500毫秒且在定义的匹配容差内匹配四个连续查询指纹的群组的四个参考指纹的束。
当服务器已按足够置信度检测到匹配内容时，服务器将因此已识别媒体流中的一或多个匹配点。如果服务器一次使用一个指纹执行指纹比较，那么每一匹配点将为匹配的参考指纹表示的帧。然而，如果服务器一次使用一群指纹执行指纹比较，那么每一匹配点可为匹配的群组中的第一或另一指定参考指纹表示的帧。无论如何，这匹配可建立或建立或支持正由客户端接收的媒体流为已知媒体流的结论。
替代地，服务器可以其它方式识别讨论中的媒体流。举例来说，如果媒体流含有与媒体流的身份对应的水印数据，那么客户端可读取或以其它方式提取水印数据且向服务器报告所述水印数据。并且服务器可接着使用所报告的水印数据作为基础来识别正由客户端接收和/或播放的媒体流。
已识别了正由客户端接收的媒体流后，服务器可接着确定媒体流中客户端应执行内容修正的点。举例来说，在代表性实施方案中，服务器可能够存取指示已知媒体流中内容修正将发生的点和指示在那一点将发生何内容修正的参考数据。举例来说，参考数据可识别内容修正将开始的已知媒体流的特定帧。因此，服务器可参考参考数据以确定那个所要的内容修正点。
所述服务器可接着将使客户端在媒体流中的确定点执行内容修正的指令传输到客户端。举例来说，服务器可通过网络16将指定媒体流中的确定点和给客户端提供替换或叠加媒体或另外关于客户端在媒体流中的那一点应执行何内容修正引导客户端的消息传输到客户端。且客户端可被配置成接收和解释所述指令且响应性地在媒体流中的指示的点执行内容修正。
在这过程中，服务器可知道客户端应在媒体流中执行内容修正的特定时间点。举例来说，可由服务器存取的参考数据可将这时间点指定为在已知媒体流内的时间线中(即，在如上所述的“真实时间”内)测量的特定时间。举例来说，如上所指出，这时间线可开始于在已知媒体流开始时的原点时间(例如，T＝0)，且已知媒体流的每一帧可出现于那个时间线上的特定时间点。因此，服务器可从参考数据确定客户端应在媒体流中执行内容修正的真实时间点。
然而，客户端的时间基准可不同。如上所指出，客户端的时间基准可为根据客户端中的内部时钟定义的“客户端时间”。虽然客户端时间和真实时间可最优地以相互相同的速率运行，但它们的原点将有可能不同。因此，仅仅知晓已知媒体流中的真实时间点将不会自身提供客户端时间中的上下文。结果，如上所指出的问题是服务器可如何以客户端可理解方式特性化媒体流中客户端将开始执行内容修正的时间点。
解决如上所表明的这个问题的一个方式是使服务器将匹配的查询指纹的客户端提供的时间戳用作用于服务器确定用于媒体流的客户端的时间基准的方式，并且然后使服务器将那个客户端时间参考用作基础来特性化媒体流中客户端将开始内容修正的时间点。
为了促进这个，当客户端产生其查询指纹时，客户端可基于客户端的内部时钟对每一查询指纹加时间戳。因此，客户端传输到服务器供分析的查询指纹可为带时间戳的查询指纹。另外，可向服务器提供已知媒体流帧的带时间戳的参考指纹，或服务器可另外能够存取已知媒体流帧的带时间戳的参考指纹。举例来说，可向服务器提供针对已知媒体流的每一帧指定以下各者的参考数据：(i)所述帧的参考指纹，和(ii)在所述已知媒体流内的相关联的真实时间时间戳。
当服务器从客户端接收带时间戳的查询指纹时，服务器可比较查询指纹与参考指纹以试图检测匹配点，即，查询指纹与参考指纹匹配的时刻。当服务器已检测到一或多个此类匹配点时，服务器将针对每一检测到的匹配点知道以下两者：(i)匹配点的真实时间时间戳，和(ii)匹配点的客户端时间时间戳。
因而，服务器将已有效地建立真实时间与客户端时间之间的同步锁。即，服务器将已有效地建立以下两者之间的映射：(i)媒体流内的真实时间时间戳与(ii)根据客户端的内部时钟的客户端时间，因为服务器现在将知道匹配的帧在媒体流中何处，以及在所述媒体流中的那个时间点，客户端的时间是什么。如上所论述，此同步锁可构成时间偏移，使得服务器可将时间偏移应用到媒体流中的给定真实时间点以确定媒体流中的对应的客户端时间点。
在已发现媒体流中的这个匹配点后且在已建立同步锁后，服务器可计算客户端将执行媒体流中的内容修正的客户端时间点，即，客户端将在媒体流中何处开始内容。举例来说，给定内容修正将发生的真实时间点的参考数据指示，服务器可应用由同步锁定义的偏移，以确定内容修正将发生的相关联的客户端时间点。或者，服务器可计算从匹配点的真实时间点到内容修正将开始的帧的时间的在已知媒体流内的持续时间，且服务器可接着将该计算出的持续时间添加到匹配点的客户端时间点上，以便确定内容修正将开始的相关联的客户端时间点。其它实例也可为可能的。
服务器可接着将这个确定的客户端时间点的规范传输到客户端，伴有用于客户端执行开始于这个客户端时间点的内容修正的指令。并且如果客户端已不具备关于要在该时间开始执行的内容修正的信息，那么服务器还可将该内容修正信息传输到客户端。举例来说，服务器可从数据存储装置检索且向客户端传输供客户端用来取代正由客户端接收的媒体流中的内容的某些替换内容。或者，服务器可将对此替换内容的指针传输到客户端，例如，客户端可从其获得替换内容的网络或本地存储地址。
客户端可因此从服务器接收在所指示的客户端时间点开始内容修正的指令。并且如果客户端尚未具备定义在那个客户端时间点执行的修正的数据，那么客户端可接收那数据，例如，从服务器或从由服务器指定的地址。通过参考客户端的内部时钟，客户端可接着工作以在所指示的客户端时间点准确地开始内容修正。举例来说，在所指示的客户端时间点，客户端可开始用替换内容的帧取代正由客户端接收的媒体流的帧，或在正由客户端接收的媒体流的帧上覆叠补充内容，以及其它可能性。
然而，如上所指出，如果客户端以相对低速率产生其查询指纹(例如，如上所论述，以每秒2帧产生视频指纹)，那么在这过程中可引起另一问题。给服务器提供以此低速率产生的查询指纹可使服务器确信地识别媒体流中的匹配点困难，和/或可导致低置信度同步锁。
如上所指出，这种困难的一个原因是，所述媒体流可包含相同或几乎相同帧的各种子序列，其与媒体内容在一段时间上根本不改变的媒体序列的部分对应。在那情境中，查询指纹可在定义的匹配容差内匹配多个连续参考指纹。另外，在定义的匹配容差内，一束查询指纹可匹配多束参考指纹(例如，其中所述束中的一些查询指纹匹配或多或少的对应参考指纹，可能归因于衰退或其它变化)。结果，服务器对匹配的检测和对同步锁的建立可为相对低置信度。
如上所指出，按照本公开，这问题可至少部分通过考虑多个检测的匹配点和在那些点之间内插以建立真实时间与客户端时间之间的改良的映射来解决。
在代表性实施方案中，当服务器从客户端接收低速率查询指纹且进行如上所论述的指纹比较时，服务器将随着时间的流逝检测多个匹配点(针对各种查询指纹中的每一个或针对各种查询指纹束中的每一个)，其中每一匹配点表示真实时间点与客户端时间点之间的确定的相关性。当服务器检测到这些匹配点时，服务器可接着以编程方式在笛卡尔坐标中建立所述点的散布图，其中真实时间沿着一个轴线且客户端时间沿着另一轴线，且服务器可执行线性回归以基于所述点建立最佳拟合线。
图2以实例说明这情况。明确地说，图2说明其中真实时间沿着x轴且客户端时间沿着y轴的散布图。散布图包含多个代表性匹配点，且所述图描绘在所述匹配点之间建立的最佳拟合线。这最佳拟合线有效地表示改善的映射、虚拟时序或真实时间与客户端时间之间的同步锁。通过在足够数量的匹配点上执行线性回归，服务器可因此在面对低速率查询指纹时建立这改善的映射。
注意，这里描述的散布图和最佳拟合分析不需要以几何方式或视觉进行。服务器可使用现在已知或以后开发的任何线性回归算法，基于真实时间、检测的匹配点的客户端时间坐标，以算法方式进行所述过程。
还请注意，在这过程中建立的最佳拟合线可通常具有斜度1，假定在客户端的媒体流式传输速率(每秒帧数)与在服务器处相同。给定这个，问题可为最佳拟合线竖直或水平地坐落于曲线中何处，和因此真实时间与客户端时间之间的时间偏移为何内容。此外，可存在在客户端处的媒体流式传输速率与服务器处的媒体流式传输速率稍微不同的情境，在所述情况下，线的斜度可不同于1。
服务器可接着使用这改善的映射作为基础来预测客户端时间中的何点将与真实时间中的即将到来的点相关，例如，与内容修正或相关联的动作将发生的帧的参考时间戳相关。并且，服务器可将指定确定的客户端时间且引导客户端在到达那个客户端时间时进行所要的动作的指令传输到客户端。
作为这个过程的非限制性实例，考虑定义广告荚的媒体流可出现于电视广播内。如上所指出，广告荚将包括广告序列(例如，电视商业广告)，且广告荚可出现在正由客户端接收的线性媒体馈入(例如，线性广播馈入)中的任何给定时间。
在实践中，可向服务器提供表示广告荚的帧和与广告荚的帧对应的带时间戳的参考指纹，其中时间戳为沿着在所述广告荚内定义的时间线(作为真实时间)的点。另外，可向服务器提供广告荚中的广告中的特定一个应被替换的指示，和那个广告替换应开始的帧的时间戳。
以进行中为基础，或响应于一或多个其它触发事件，当客户端在接收媒体馈入时，客户端可正产生广播馈入的低速率带时间戳的查询指纹(例如，以每秒2帧)，且可正向服务器报告那些带时间戳的查询指纹以供分析。将每一此查询指纹与表示广告荚序列的帧的参考指纹比较，服务器可由此检测到客户端正在接收已知的广告荚序列。
已确定客户端正在接收广告荚序列后，服务器可接着工作以建立真实时间与客户端时间之间的改善的映射以便接着确定客户端将开始广告替换的客户端时间。
举例来说，服务器可比较报告的查询指纹束与对应间隔的参考指纹束，且可由此随着时间的流逝发现多个匹配点(可能开始于服务器识别为基础以首先检测客户端在接收广告荚序列的一或多个匹配点)。如上所论述，每一匹配点将使真实时间点(代表性匹配参考指纹的时间戳)与客户端时间点(代表性匹配查询指纹的时间戳)相关。另外，服务器可执行这些匹配点之间的线性回归以发现最佳拟合线，其按真实时间与客户端时间之间的偏移的形式有效地表示真实时间与客户端时间之间的改善的映射。
已建立了真实时间与客户端时间之间的改善的映射后，服务器可接着应用映射作为基础来确定何客户端时间点将与广告替换将开始的真实时间点对应。明确地说，假定知道广告替换将开始的帧的真实时间点(基准时间)，那么服务器可应用由改善的映射定义的偏移，以将真实时间点转化至客户端时间点。
服务器可接着将在那个确定的客户端时间点开始广告替换的指令传输到客户端，且如果客户端尚未具备那条信息，那么可将替换广告(或替换广告的指标)传输到客户端。且客户端可接着因此在所指示的客户端时间点执行广告替换。
注意，可以众多方式变化或增强以上描述的过程。
以实例说明，为了帮助说明媒体流的片段为静态(不实质上随着时间的流逝而改变)的可能性，服务器可被配置成不考虑相互匹配(即，在定义的匹配容差内)的任何查询指纹束。明确地说，当服务器从客户端接收查询指纹且设法比较连续查询指纹束时，服务器可评估每一此查询指纹束以确定所述束的查询指纹是否相互匹配。如果服务器确定所述束的所有查询指纹相互匹配，那么服务器可响应性地从匹配点分析排除那个查询指纹束。举例来说，服务器可响应性地放弃设法找匹配那个查询指纹束的参考指纹束。然而，如果服务器确定所述束的查询指纹并不皆相互匹配，那么服务器可继续进行如上所论述的匹配点分析，以试图发现服务器可在其散布图和最佳拟合分析中包含的匹配点。
在这个实例中，问题可为所述束中的所有查询指纹是否皆相互匹配。低速率查询指纹的此匹配可关于媒体流的足够长静态片段而引起。从匹配点分析排除那个查询指纹束以帮助避免在非常低置信度匹配点中的因子分解可因此为有用的。
另一方面，考虑四个低速率查询指纹的束跨过从一个静态片段到另一不同静态片段的改变的情境。举例来说，通过视频内容，所述束的前两个查询指纹可表示在场景改变发生前的帧，且所述束的最后两个查询指纹可表示在场景改变发生后的帧。在那情形中，所述束的四个查询指纹将并不皆相互匹配，且因此，服务器将在其匹配点分析中包含所述束，且可接着检测匹配点以包含于其散布图和最佳拟合分析中。通过这实例，虽然将不确定匹配点是否将落在最佳拟合线上右侧，因为将不清楚在由第二和第三查询指纹表示的帧之间发生场景改变的时间点。但再次，通过足够数量的匹配点，最佳拟合分析应仍然产生有用的、改善的映射，如上所述。
因此，作为另一实例，服务器可需要在讨论中的媒体流中存在至少阈值最小数量的匹配点，作为服务器继续进行内插的条件。举例来说，服务器可保持其已在讨论中的媒体流中(例如，在广告荚中)发现多少匹配点的计数。一旦服务器确定媒体流中的匹配点的数目符合预定义阈值，那么服务器可响应性地执行以上描述的散布图和最佳拟合分析以便基于识别的匹配点建立改善的时间映射并可接着如上所述使用那个时间映射。在实践中，所述阈值最小数量的匹配点可为三个匹配点，或可为被工程设计视为对于此目的足够的另一数目个匹配点。
作为再一实例，在服务器开始其散布图和最佳拟合分析后，服务器可继续发现匹配点且改进其最佳拟合时间映射，直到服务器到达服务器将把最佳拟合映射视为可使用的停止点。停止点可采取各种形式。举例来说，停止点可为当服务器已在预定义阈值数量(例如，上文所论述的阈值最小数量)的匹配点中因子分解时。替代地或另外，停止点可为当服务器已检测到分析中的稳定性时，例如，通过针对因子分解到分析中的每一额外匹配点，检测最佳拟合线(或真实时间与客户端时间之间的相关联的时间偏移)不改变大于最小阈值量(例如，由工程设计预定义)。一旦服务器检测到停止点，那么服务器可接着停止收集匹配点且可继续进行使用最新最佳拟合分析将动作(例如，内容修正)将发生的真实时间点映射到相关联的客户端时间点。并且，服务器可因此引导客户端在确定的客户端时间点执行动作。
作为又一实例，除了使用以上过程确定内容修正等将发生的客户端时间点外，服务器还可使用所述过程确定将适用于客户端开始准备内容修正的前移的客户端时间点。举例来说，如果客户端可能需要通过流式传输或从因特网URL或其它网络地址或来源下载开始获得替换或叠加内容，并且如果客户端可能花费一些时间实际获得或开始接收那个替换或叠加内容，那么服务器可计算充分超前于内容修正开始时间的前移的客户端时间点，以留出足够时间用于客户端获得或开始接收替换或叠加内容。服务器可接着将指定前移的客户端时间点并使客户端在那客户端时间点开始获得替换或叠加内容的过程的指令传输到客户端，且客户端可因此继续进行。到客户端将需要执行内容修正的时候，客户端可因此获得或开始接收替换或叠加内容。
再另外，作为又一实例，虽然以上描述提供进行各种操作的服务器，但所述操作中的一些或全部可替代地由客户端或由另一装置进行。举例来说，虽然以上论述描述服务器工作以建立真实时间与客户端时间之间的改善的映射，且服务器工作以确定内容修正或其它动作将发生的客户端时间点，但客户端可被配置成进行那些操作自身中的一些。
举例来说，在代表性变化中，一旦服务器已确定客户端在接收已知媒体流且已发现使真实时间与客户端时间相关的多个匹配点，或当服务器发现那些匹配点时，服务器可对客户端报告所述匹配点，对客户端通告每一匹配点的真实时间和客户端时间坐标。并且客户端可接着使用那个提供的数据执行上文所论述的散布图和最佳拟合分析，以便建立真实时间与客户端时间之间的改善的映射。另外，服务器可给客户端提供指定客户端将参加特定动作(例如，内容修正或准备内容修正)的真实时间点的指令，且客户端可应用如上所论述的建立的映射将真实时间点转化到客户端时间点。客户端可接着工作以在确定的客户端时间点进行指示的动作。
另外，客户端自身也可进行指纹匹配过程。举例来说，一旦服务器已确定客户端在接收已知媒体流，那么服务器可给客户端提供用于媒体流的即将到来的部分的一组带时间戳的参考指纹，且可对客户端通知用于媒体流内的所要的动作将发生的帧的参考时间戳。
举例来说，一旦服务器已确定客户端在接收已知媒体流，那么客户端可进行所述过程以建立(i)媒体流中的真实时间时间戳与(ii)根据客户端的内部时钟的时间之间的同步锁，和确定内容修正将发生的客户端时间点。在实例实施方案中，为了促进这个情况，除了引导客户端切换到高速率指纹识别之外，服务器还可给客户端提供用于媒体流的即将到来的部分的一组带真实时间时间戳的参考指纹，且可对客户端通知用于媒体流内内容修正将开始的帧的真实时间时间戳。
客户端可因此从服务器接收那些带时间戳的参考指纹。且客户端可比较其低速率查询指纹与提供的参考指纹以试图发现匹配点。当客户端找多个匹配点时或在客户端发现多个匹配点后，客户端可接着同样地执行上文所论述的散布图和最佳拟合分析，以建立真实时间与客户端时间之间的改善的映射。另外，客户端可以上文所论述的方式应用那个建立的映射以确定指示的内容修正或其它动作将发生的客户端时间点。且客户端可接着在确定的客户端时间点执行指示的动作。
还请注意，以上过程可关于正由客户端接收的线性广播馈入等的实时分析来应用(例如，用于目前播出和/或存储)，且可还关于正由客户端从数据存储装置等检索的媒体流的分析来应用(例如，用于目前播出或转移)。其它实施方案也是可能的。
图3是描绘可由计算系统依据以上论述进行的方法的流程图。虽然方法的操作在这图中描绘为以特定序列进行，但所述操作中的一些可与其它并行地进行，并且其它修改也是可能的。
如图3中所示，在块30处，计算系统接收表示正由客户端接收的媒体流的查询指纹，查询指纹带有为根据客户端的时钟的客户端时间的时间戳。另外，在块32处，有可能与块30并行地，计算系统比较接收的查询指纹与表示已知媒体流的参考指纹，所述参考指纹带有为根据已知媒体流内的时间线的真实时间的时间戳。并且在块34处，计算系统基于检测到的匹配点执行线性回归，线性回归建立真实时间与客户端时间之间的映射。
在块36处，计算系统接着应用建立的映射作为基础来确定客户端应执行关于正由客户端接收的媒体流的动作的客户端时间点。且在块38处，所述计算系统使所述客户端在所述确定的客户端时间点执行所述动作。
依据以上论述，计算系统使客户端在确定的客户端时间点执行的动作可包括内容修正。举例来说，正由客户端接收的媒体流可包括定义广告序列的广告荚，且内容修正可包括用替换媒体内容替换所述序列的广告。替代地，所述动作可包括准备此内容修正，例如，起始获取新内容以促进内容修正的过程。其它动作也是可能的。
另外，如上所论述，应用建立的映射作为基础来确定客户端应执行关于正由客户端接收的媒体流的动作的客户端时间点的动作可包括，使用所述建立的映射作为基础将应关于已知媒体流执行动作的预定义的真实时间点映射到客户端应执行关于正由客户端接收的媒体流的动作的对应客户端时间点。举例来说，给定已知媒体流中的内容修正应发生的帧的真实时间点，应用建立的映射可包含将那个真实时间点转化至客户端应执行正由客户端接收的媒体流中的内容修正的对应的客户端时间点。。
此外，如上所论述，此计算系统可由与客户端进行网络通信的服务器实施。在该情况下，使客户端在确定的客户端时间点执行动作的动作可包含将客户端将通过在确定的客户端时间点执行动作而响应的指令从服务器传输到客户端。
再另外，如上所论述，在这过程中的每一匹配点可基于(i)查询指纹的相应束与(ii)参考指纹之间的比较。且在彼情况下，所述方法可另外包含从所述过程省略内部匹配的束。举例来说，所述方法可包含检测给定查询指纹束中的查询指纹相互匹配，并且，响应于检测到给定束的查询指纹相互匹配，排除使用所述给定束针对线性回归建立匹配点。
又另外，依据以上论述，所述方法可包含计算系统使用检测到的匹配点中的一或多个作为基础来确定正由客户端接收的媒体流为已知媒体流。举例来说，所述计算系统可一开始进行这个确定，并且然后，响应于至少进行这个确定，计算系统可执行线性回归，应用映射，且使客户端在确定的客户端时间点进行动作。换个方式说，在那情形中，线性回归的执行、映射的应用且使客户端在确定的客户端时间点执行动作可共同地至少响应于确定正由客户端接收的媒体流是已知媒体流。
图4是描绘可由客户端或一或多个其它实体根据本公开进行的方法的另一流程图。这里，再次，虽然方法的操作描绘为以特定序列进行，但所述操作中的一些可与其它并行地进行，并且其它修改也是可能的。
如图4中所展示，在块40处，所述方法包含查实(i)表示正由客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一识别的匹配点定义(i)带有为根据客户端的时钟定义的客户端时间的时间戳的查询指纹与(ii)带有为根据已知媒体流内的时间线的真实时间的时间戳的参考指纹之间的相应匹配。
另外，在块42处，所述方法包含基于查实的多个匹配点的时间戳执行线性回归，所述线性回归建立真实时间与客户端时间之间的映射。在块44处，所述方法接着包含使用建立的映射作为基础来确定客户端应执行关于正由客户端接收的媒体流的动作的客户端时间点。且在块46处，所述方法包含在所述确定的客户端时间点执行关于正由客户端接收的媒体流的动作。
依据以上论述，查实多个匹配点的动作可采取各种形式。举例来说，其可包含客户端接收指示多个匹配点的数据集。在如上所论述的实例实施方案中，服务器可执行指纹比较以确定匹配点且可将关于匹配点的信息(包含每一匹配点的客户端时间时间戳和真实时间时间戳)发送到客户端，以使客户端能够执行线性回归。
替代地，如上所论述，查实多个匹配点的动作可包含客户端接收带真实时间时间戳的参考指纹，所述客户端产生带客户端时间时间戳的查询指纹，且所述客户端比较产生的查询指纹与接收到的参考指纹以便基于所述比较查实匹配点。另外，如上所论述，每一匹配点可基于(i)相应的查询指纹束与(ii)参考指纹之间的比较。且在那个情况下，所述方法可另外包含检测给定束中的查询指纹相互匹配，并且，响应于检测到给定束的查询指纹相互匹配，排除使用所述给定束针对线性回归建立匹配点。
此外，如上所论述，关于正由客户端接收的媒体流的动作可采取各种形式。举例来说，所述动作可包括内容修正，例如广告荚中的广告替换等。或者，所述动作可包括准备此内容修正，例如，起始内容获取以促进内容修正。其它实例也是可能的。
另外，依据以上论述，使用建立的映射作为基础来确定客户端应执行关于正由客户端接收的媒体流的动作的客户端时间点的动作可包含使用所述建立的映射作为基础将应关于已知媒体流执行动作的预定义的真实时间点映射到客户端应执行关于正由客户端接收的媒体流的动作的对应客户端时间点。
图5是可操作以进行以上描述的各种操作的实例计算系统的下一个方块图。如上所指出，此计算系统的方面可由媒体客户端12和/或服务器18实施，以及其它可能性。因此，图4的方块图可表示一或多个此类实体的组件。
如图5中所展示，实例计算系统包含网络通信接口52、处理单元54和非暂时性数据存储装置56，其皆可通过网络、消息总线和/或一或多个其它连接机构58耦合或以通信方式连结在一起。
网络通信接口52使计算系统能够传输和接收。所述网络通信接口52可包括有线和/或无线以太网接口，连同相关联的电路系统和软体，以及其它可能性。处理单元54可接着包括一或多个通用处理器(例如，微处理器)和/或一或多个专用处理器(例如，专用集成电路等)。并且非暂时性数据存储装置56可包括一或多个易失性和/或非易失性存储组件，例如，磁性、光学或快闪存储装置。
如图5中进一步展示，非暂时性数据存储装置56存储(例如，持有、编码有或以其它方式体现或含有)程序指令60，所述程序指令可由处理单元执行以使计算系统进行例如以上描述的操作的操作。
以实例说明，这些操作可包含识别(i)表示正由媒体客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一识别的匹配点定义(i)带有为根据媒体客户端的时钟定义的客户端时间的时间戳的查询指纹与(ii)带有为根据已知媒体流内的时间线定义的真实时间的时间戳的参考指纹之间的相应匹配。另外，所述操作可包含基于识别的多个匹配点的时间戳执行线性回归，所述线性回归建立真实时间与客户端时间之间的映射。所述操作可接着包含将建立的映射用作基础来确定媒体客户端应执行正由媒体客户端接收的媒体流中的内容修正的客户端时间点。并且所述操作可包含使媒体客户端在确定的客户端时间点执行内容修正。
另外，上文所描述的各种特征可并入于此上下文中，且反之亦然。举例来说，使用所述映射可包含将内容修正的预定义的真实时间点映射到对应的客户端时间点。并且内容修正可包含内容替换，例如，替换广告荚中的广告，或可包含覆叠内容，以及其它可能性。
此外，如果计算系统安置于服务器处和/或由服务器实施，那么使媒体客户端在确定的客户端时间点执行内容修正的动作可包含输出使媒体客户端这样做的指令以供传输到媒体客户端和/或将所述指令发送到媒体客户端。另外，所述操作可包含从所述分析排除相互匹配的一束查询指纹。并且，所述操作可另外包含使用识别的匹配点中的一或多个作为基础来确定正由客户端接收的媒体流是已知媒体流，在所述情况下，可响应于那个确定共同地进行其它操作。
替代地或另外，所述操作可包含查实(i)表示正由客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一识别的匹配点定义(i)带有为根据客户端的时钟定义的客户端时间的时间戳的查询指纹与(ii)带有为根据已知媒体流内的时间线定义的真实时间的时间戳的参考指纹之间的相应匹配。另外，所述操作可包含基于查实的多个匹配点的时间戳执行线性回归，所述线性回归建立真实时间与客户端时间之间的映射。所述操作可接着包含使用建立的映射作为基础来确定客户端应执行关于正由客户端接收的媒体流的动作的客户端时间点。并且所述操作可包含在所述确定的客户端时间点执行关于正由客户端接收的媒体流的动作。
这里，上文所描述的各种特征还可并入于此上下文中，且反之亦然。举例来说，如果计算系统安置于客户端处和/或由客户端实施，那么查实匹配点的动作可包含接收指示匹配点中的一些或全部的数据，和/或可包含(i)产生查询指纹，(ii)接收参考指纹，和(iii)比较查询指纹与参考指纹以查实匹配点。另外，关于正由客户端接收的媒体流的动作可包括例如广告替换的内容修正，或可包含准备内容修正。
此外，以上描述的各种操作可由存储于非暂时性计算机可读媒体上的程序指令定义，所述程序指令可由处理单元执行以进行操作(例如，以使操作被进行)。此非暂时性计算机可读媒体可接着在客户端、服务器和/或另一实体处提供、集成或以其它方式实施。另外，此类操作可采取其它形式。
上文已经描述示范性实施例。然而，所属领域的技术人员将理解，可在不脱离本发明的真实范围和精神的情况下对这些实施例作出改变和修改。

Claims (20)

1.一种用于媒体内容处理的方法，其包括：
由计算系统接收表示正由客户端接收的媒体流的查询指纹，所述查询指纹带有为根据所述客户端的时钟的客户端时间的时间戳；
由所述计算系统比较所述接收的查询指纹与表示已知媒体流的参考指纹，所述参考指纹带有为根据所述已知媒体流内的时间线的真实时间的时间戳；
由所述计算系统基于所述比较检测多个匹配点，每一匹配点定义具有相关联的客户端时间时间戳的查询指纹与具有相关联的真实时间时间戳的参考指纹之间的匹配；
由所述计算系统基于所述检测到的匹配点执行线性回归，所述线性回归建立真实时间与客户端时间之间的映射；
由所述计算系统应用所述建立的映射作为基础来确定所述客户端应执行关于正由所述客户端接收的所述媒体流的动作的客户端时间点；以及
使所述客户端在所述确定的客户端时间点执行所述动作，
其中每一匹配点是基于(i)所述查询指纹的相应束与(ii)所述参考指纹之间的比较，且其中所述方法进一步包括：检测到查询指纹的给定束中的所述查询指纹相互匹配，以及响应于检测到所述给定束的所述查询指纹相互匹配，而排除使用所述给定束来建立用于所述线性回归的匹配点。
2.根据权利要求1所述的方法，其中关于正由所述客户端接收的所述媒体流的所述动作包括内容修正。
3.根据权利要求2所述的方法，其中正由所述客户端接收的所述媒体流包括定义广告序列的广告荚，且其中所述内容修正包括用替换媒体内容替换所述序列的广告。
4.根据权利要求1所述的方法，其中关于正由所述客户端接收的所述媒体流的所述动作包括准备内容修正。
5.根据权利要求1所述的方法，其中应用所述建立的映射作为基础来确定所述客户端应执行关于正由所述客户端接收的所述媒体流的所述动作的客户端时间点包括，使用所述建立的映射作为基础将应关于所述已知媒体流执行所述动作的预定义的真实时间点映射到所述客户端应执行关于正由所述客户端接收的所述媒体流的所述动作的对应客户端时间点。
6.根据权利要求1所述的方法，其中所述计算系统由与所述客户端进行网络通信的服务器实施。
7.根据权利要求1所述的方法，其中查询指纹的所述给定束是连续查询指纹的束。
8.根据权利要求1所述的方法，其进一步包括由所述计算系统使用所述检测到的匹配点中的一或多个作为基础来确定正由所述客户端接收的所述媒体流是所述已知媒体流，
其中线性回归的所述执行、所述映射的所述应用和所述使所述客户端在所述确定的客户端时间点执行所述动作共同地至少响应于正由所述客户端接收的所述媒体流是所述已知媒体流的所述确定。
9.一种用于媒体内容处理的计算系统，其包括：
网络通信接口，通过所述网络通信接口进行传输和接收；
处理单元；
非暂时性数据存储装置；以及
程序指令，其存储在所述非暂时性数据存储装置中且可由所述处理单元执行以使所述计算系统进行包含以下的操作：
识别(i)表示正由媒体客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一识别的匹配点定义(i)带有为根据所述媒体客户端的时钟定义的客户端时间的时间戳的查询指纹与(ii)带有为根据已知媒体流内的时间线定义的真实时间的时间戳的参考指纹之间的相应匹配，
基于所述识别的多个匹配点的所述时间戳执行线性回归，所述线性回归建立真实时间与客户端时间之间的映射，
使用所述建立的映射作为基础来确定所述媒体客户端应执行正由所述媒体客户端接收的所述媒体流中的内容修正的客户端时间点，以及
使所述媒体客户端在所述确定的客户端时间点执行所述内容修正，
其中每一匹配点是基于(i)所述查询指纹的相应束与(ii)所述参考指纹之间的比较，所述操作进一步包含：检测到查询指纹的给定束中的所述查询指纹相互匹配，以及响应于检测到所述给定束的所述查询指纹相互匹配，而排除使用所述给定束来识别用于所述线性回归的匹配点。
10.根据权利要求9所述的计算系统，其中使用所述建立的映射作为基础来确定所述媒体客户端应执行正由所述媒体客户端接收的所述媒体流中的所述内容修正的所述客户端时间点包括，使用所述建立的映射作为基础将应在所述已知媒体流中执行所述内容修正的预定义的真实时间点映射到所述媒体客户端应执行正由所述媒体客户端接收的所述媒体流中的所述内容修正的对应客户端时间点。
11.根据权利要求9所述的计算系统，其中所述内容修正包括内容替换。
12.根据权利要求11所述的计算系统，其中正由所述媒体客户端接收的所述媒体流包括定义广告序列的广告荚，且其中所述内容修正包括用替换媒体内容替换所述序列的广告。
13.根据权利要求9所述的计算系统，其中所述操作进一步包含从所述媒体客户端接收所述查询指纹，且其中使所述媒体客户端在所述确定的客户端时间点执行所述内容修正包括将使所述媒体客户端在所述确定的客户端时间点执行所述内容修正的指令传输到所述媒体客户端。
14.根据权利要求9所述的计算系统，其中查询指纹的所述给定束是连续查询指纹的束。
15.根据权利要求9所述的计算系统，其中所述操作进一步包含使用所述识别的匹配点中的一或多个作为基础来确定正由所述媒体客户端接收的所述媒体流是所述已知媒体流，
其中线性回归的所述执行、所述映射的所述使用和所述使所述媒体客户端在所述确定的客户端时间点执行所述内容修正共同地至少响应于正由所述媒体客户端接收的所述媒体流是所述已知媒体流的所述确定。
16.一种用于媒体内容处理的非暂时性计算机可读媒体，所述非暂时性计算机可读媒体存储指令，所述指令可由处理单元执行以进行包括以下的操作：
识别(i)表示正由客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一识别的匹配点定义(i)带有为根据所述客户端的时钟定义的客户端时间的时间戳的查询指纹与(ii)带有为根据已知媒体流内的时间线定义的真实时间的时间戳的参考指纹之间的相应匹配；
基于所述识别的多个匹配点的所述时间戳执行线性回归，所述线性回归建立真实时间与客户端时间之间的映射；
使用所述建立的映射作为基础来确定所述客户端应执行正由所述客户端接收的所述媒体流中的内容修正的客户端时间点；以及
使所述客户端在所述确定的客户端时间点执行所述内容修正，
其中每一匹配点是基于(i)所述查询指纹的相应束与(ii)所述参考指纹之间的比较，所述操作进一步包含：检测到查询指纹的给定束中的所述查询指纹相互匹配，以及响应于检测到所述给定束的所述查询指纹相互匹配，而排除使用所述给定束来识别用于所述线性回归的匹配点。
17.根据权利要求16所述的非暂时性计算机可读媒体，其中使用所述建立的映射作为基础来确定所述客户端应执行正由所述客户端接收的所述媒体流中的所述内容修正的所述客户端时间点包括，使用所述建立的映射作为基础将应在所述已知媒体流中执行所述内容修正的预定义的真实时间点映射到所述客户端应执行正由所述客户端接收的所述媒体流中的所述内容修正的对应客户端时间点。
18.根据权利要求16所述的非暂时性计算机可读媒体，其中查询指纹的所述给定束是连续查询指纹的束。
19.根据权利要求16所述的非暂时性计算机可读媒体，其中使所述客户端在所述确定的客户端时间点执行所述内容修正包括输出指示所述确定的客户端时间点的内容修正指令以供传输到所述客户端。
20.根据权利要求16所述的非暂时性计算机可读媒体，其中正由所述客户端接收的所述媒体流包括定义广告序列的广告荚，且其中所述内容修正包括用替换媒体内容替换所述序列的广告。
CN201980001147.3A 2018-07-19 2019-06-07 用于媒体内容处理的方法、计算系统以及可读媒体 Active CN110999311B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862700660P 2018-07-19 2018-07-19
US62/700,660 2018-07-19
US16/166,971 2018-10-22
US16/166,971 US10904587B2 (en) 2018-07-19 2018-10-22 Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision
PCT/US2019/035973 WO2020018192A1 (en) 2018-07-19 2019-06-07 Establishment and use of time mapping-based on interpolation using low-mate fingerprinting, to help facilitate frame-accurate content revision

Publications (2)

Publication Number Publication Date
CN110999311A CN110999311A (zh) 2020-04-10
CN110999311B true CN110999311B (zh) 2022-07-26

Family

ID=69162188

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980001147.3A Active CN110999311B (zh) 2018-07-19 2019-06-07 用于媒体内容处理的方法、计算系统以及可读媒体
CN201980001138.4A Active CN111213385B (zh) 2018-07-19 2019-06-07 内容修正的方法、媒体客户端和非暂时性计算机可读媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980001138.4A Active CN111213385B (zh) 2018-07-19 2019-06-07 内容修正的方法、媒体客户端和非暂时性计算机可读媒体

Country Status (7)

Country Link
US (7) US10904587B2 (zh)
EP (2) EP3824640A4 (zh)
JP (2) JP7170834B2 (zh)
KR (2) KR102486777B1 (zh)
CN (2) CN110999311B (zh)
TW (3) TWI730348B (zh)
WO (2) WO2020018193A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10904587B2 (en) * 2018-07-19 2021-01-26 Gracenote, Inc. Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision
US10972799B2 (en) 2018-12-16 2021-04-06 The Nielsen Company (Us), Llc Media presentation device with voice command feature
WO2020142426A1 (en) * 2019-01-04 2020-07-09 Gracenote, Inc. Generation of media station previews using a secondary tuner
WO2020231927A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
US10972794B2 (en) 2019-05-10 2021-04-06 The Nielsen Company (Us), Llc Content-modification system with transmission delay-based feature
US10846506B1 (en) 2019-05-10 2020-11-24 The Nielsen Company (Us), Llc Content-modification system with geographic area-based feature
WO2020231821A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with fingerprint data match and mismatch detection feature
WO2020231813A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
US10796159B1 (en) 2019-05-10 2020-10-06 The Nielsen Company (Us), Llc Content-modification system with use of multiple fingerprint data types feature
US11386696B2 (en) 2019-05-10 2022-07-12 Roku, Inc. Content-modification system with fingerprint data mismatch and responsive action feature
US11354323B2 (en) 2019-05-10 2022-06-07 Roku, Inc. Content-modification system with geographic area-based feature
WO2020231817A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with determination of input-buffer switching delay feature
US11134305B2 (en) 2019-05-10 2021-09-28 Roku, Inc. Content-modification system with volume level adjustment feature
US11109088B2 (en) 2019-06-07 2021-08-31 Roku, Inc. Content-modification system with unscheduling feature
US11418835B2 (en) 2019-06-07 2022-08-16 Roku, Inc. Content-modification system with technical characteristic-based selection feature
JP7108798B2 (ja) 2019-06-07 2022-07-28 ロク インコーポレイテッド システムリソース要求機能を備えたコンテンツ修正システム
US11336949B2 (en) 2019-06-07 2022-05-17 Roku, Inc. Content-modification system with testing and reporting feature
US11627347B2 (en) 2019-06-07 2023-04-11 Roku, Inc. Content-modification system with broadcast schedule utilization feature
US11546647B2 (en) 2019-06-07 2023-01-03 Roku, Inc. Content-modification system with probability-based selection feature
US11418826B2 (en) 2019-06-07 2022-08-16 Roku, Inc. Content-modification system with supplemental content stitching feature
US11134292B2 (en) 2019-06-07 2021-09-28 Roku, Inc. Content-modification system with overlay handling feature
WO2020257424A1 (en) 2019-06-18 2020-12-24 The Nielsen Company (Us), Llc Content-modification system with determination of input-buffer switching delay feature
US11051057B2 (en) 2019-06-24 2021-06-29 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to establish a time offset, to facilitate taking content-related action
WO2021016255A1 (en) 2019-07-22 2021-01-28 The Nielsen Company (Us), Llc Content-modification system with broadcast schedule utilization feature
US11297367B2 (en) 2019-07-22 2022-04-05 Roku, Inc. Content-modification system with broadcast schedule utilization feature
US11095944B2 (en) 2019-08-19 2021-08-17 Roku, Inc. Content-modification system with broadcast schedule utilization feature
KR20210051048A (ko) * 2019-10-29 2021-05-10 삼성전자주식회사 전자 장치 및 그 제어 방법
CN114503600A (zh) * 2019-10-31 2022-05-13 六科股份有限公司 具有延迟缓冲器特征的内容修改系统
US11758220B2 (en) 2020-10-29 2023-09-12 Roku, Inc. Dynamic replacement of objectionable content in linear content streams
US11917231B2 (en) 2020-10-29 2024-02-27 Roku, Inc. Real-time altering of supplemental content duration in view of duration of modifiable content segment, to facilitate dynamic content modification
US11494803B2 (en) 2021-02-11 2022-11-08 Roku, Inc. Content modification system with viewer behavior-based content delivery selection feature
US11962870B2 (en) 2021-02-17 2024-04-16 Roku, Inc. Content-modification system with quiet content detection feature

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959543A (zh) * 2010-05-04 2013-03-06 沙扎姆娱乐有限公司 用于处理媒体流的样本的方法和系统
CN105874451A (zh) * 2013-12-31 2016-08-17 谷歌公司 用于呈现对应于点播媒体内容的补充信息的方法、系统和介质

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7269330B1 (en) * 1996-11-01 2007-09-11 Televentions, Llc Method and apparatus for controlling a video recorder/player to selectively alter a video signal
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US6965683B2 (en) * 2000-12-21 2005-11-15 Digimarc Corporation Routing networks for use with watermark systems
US20040194130A1 (en) 2003-03-07 2004-09-30 Richard Konig Method and system for advertisement detection and subsitution
US8611422B1 (en) * 2007-06-19 2013-12-17 Google Inc. Endpoint based video fingerprinting
JP4572928B2 (ja) * 2007-11-08 2010-11-04 ソニー株式会社 遠隔制御端末、情報取得装置、情報提供装置、情報提供システム、情報提供方法、およびプログラム
US8676030B2 (en) * 2008-04-15 2014-03-18 Shlomo Selim Rakib Methods and systems for interacting with viewers of video content
US8959108B2 (en) * 2008-06-18 2015-02-17 Zeitera, Llc Distributed and tiered architecture for content search and content monitoring
US9015741B2 (en) 2009-04-17 2015-04-21 Gracenote, Inc. Method and system for remotely controlling consumer electronic devices
EP2425563A1 (en) * 2009-05-01 2012-03-07 The Nielsen Company (US), LLC Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
WO2010144671A2 (en) 2009-06-11 2010-12-16 Dolby Laboratories Licensing Corporation Trend analysis in content identification based on fingerprinting
US8594392B2 (en) 2009-11-18 2013-11-26 Yahoo! Inc. Media identification system for efficient matching of media items having common content
US9179198B2 (en) 2010-10-01 2015-11-03 Sony Corporation Receiving apparatus, receiving method, and program
US8863165B2 (en) * 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
KR101211098B1 (ko) * 2011-04-25 2012-12-11 (주)엔써즈 클라이언트 단말기측으로 네트워크를 통해 방송에 포함된 광고와 연관된 정보를 제공하는 시스템 및 방법
US9113202B1 (en) * 2011-09-21 2015-08-18 Google Inc. Inverted client-side fingerprinting and matching
JP6071184B2 (ja) * 2011-10-26 2017-02-01 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置、受信方法、プログラム、及び情報処理システム
US9292894B2 (en) * 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
US9703932B2 (en) 2012-04-30 2017-07-11 Excalibur Ip, Llc Continuous content identification of broadcast content
US9146990B2 (en) * 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content
EP3651469A1 (en) 2013-09-20 2020-05-13 Koninklijke KPN N.V. Correlating timeline information between media streams
EP2876890A1 (en) * 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US9402111B2 (en) * 2014-09-17 2016-07-26 Ispot.Tv, Inc. Television audience measurement method and apparatus
KR102217191B1 (ko) 2014-11-05 2021-02-18 삼성전자주식회사 단말 장치 및 그 정보 제공 방법
US10750236B2 (en) * 2015-04-23 2020-08-18 The Nielsen Company (Us), Llc Automatic content recognition with local matching
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
US9743154B2 (en) * 2015-09-09 2017-08-22 Sorenson Media, Inc Dynamic video advertisement replacement
US9699504B2 (en) * 2015-09-28 2017-07-04 Rovi Guides, Inc. Systems and methods for identifying a source of media content based on a log of content identifiers
JP2017111274A (ja) * 2015-12-16 2017-06-22 ヤマハ株式会社 データ処理装置
US9930406B2 (en) * 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US20190020913A9 (en) * 2016-06-27 2019-01-17 Facebook, Inc. Systems and methods for identifying matching content
KR102410473B1 (ko) 2016-08-01 2022-06-17 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
WO2018026162A1 (en) * 2016-08-01 2018-02-08 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
US10659509B2 (en) 2016-12-06 2020-05-19 Google Llc Detecting similar live streams ingested ahead of the reference content
US10853428B2 (en) * 2017-07-14 2020-12-01 Facebook, Inc. Computing a ranked feature list for content distribution in a first categorization stage and second ranking stage via machine learning
US10158907B1 (en) * 2017-10-10 2018-12-18 Shazam Investments Ltd. Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings
US10904587B2 (en) * 2018-07-19 2021-01-26 Gracenote, Inc. Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959543A (zh) * 2010-05-04 2013-03-06 沙扎姆娱乐有限公司 用于处理媒体流的样本的方法和系统
CN105874451A (zh) * 2013-12-31 2016-08-17 谷歌公司 用于呈现对应于点播媒体内容的补充信息的方法、系统和介质

Also Published As

Publication number Publication date
CN111213385B (zh) 2022-12-06
TWI733132B (zh) 2021-07-11
CN111213385A (zh) 2020-05-29
US20210266616A1 (en) 2021-08-26
US20210105515A1 (en) 2021-04-08
CN110999311A (zh) 2020-04-10
EP3824640A4 (en) 2022-05-04
JP2021530928A (ja) 2021-11-11
US11882321B2 (en) 2024-01-23
US11044499B2 (en) 2021-06-22
TW202205870A (zh) 2022-02-01
WO2020018192A1 (en) 2020-01-23
US20220191563A1 (en) 2022-06-16
KR20210022134A (ko) 2021-03-02
JP7170835B2 (ja) 2022-11-14
US20200029108A1 (en) 2020-01-23
TWI730348B (zh) 2021-06-11
JP2021530927A (ja) 2021-11-11
US11665378B2 (en) 2023-05-30
KR102486777B1 (ko) 2023-01-11
US20200296436A1 (en) 2020-09-17
WO2020018192A8 (en) 2021-02-11
US10904587B2 (en) 2021-01-26
US20220167029A1 (en) 2022-05-26
EP3824641A1 (en) 2021-05-26
KR102484054B1 (ko) 2023-01-02
JP7170834B2 (ja) 2022-11-14
TW202008796A (zh) 2020-02-16
WO2020018193A1 (en) 2020-01-23
EP3824641A4 (en) 2022-05-04
TWI786647B (zh) 2022-12-11
US20200029115A1 (en) 2020-01-23
TW202008794A (zh) 2020-02-16
US10715840B2 (en) 2020-07-14
EP3824640A1 (en) 2021-05-26
KR20210021099A (ko) 2021-02-24
US11284131B2 (en) 2022-03-22
US11303939B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
CN110999311B (zh) 用于媒体内容处理的方法、计算系统以及可读媒体
CN110959293B (zh) 动态控制指纹识别速率以促进媒体内容的时间精确修正

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210916

Address after: California, USA

Applicant after: Liuke Co.,Ltd.

Address before: California, USA

Applicant before: Gracenote, Inc.

GR01 Patent grant
GR01 Patent grant