CN111213385A - 使用低速率指纹识别基于内插建立及使用时间映射以帮助促成帧准确内容修正 - Google Patents

使用低速率指纹识别基于内插建立及使用时间映射以帮助促成帧准确内容修正 Download PDF

Info

Publication number
CN111213385A
CN111213385A CN201980001138.4A CN201980001138A CN111213385A CN 111213385 A CN111213385 A CN 111213385A CN 201980001138 A CN201980001138 A CN 201980001138A CN 111213385 A CN111213385 A CN 111213385A
Authority
CN
China
Prior art keywords
client
time
media stream
media
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980001138.4A
Other languages
English (en)
Other versions
CN111213385B (zh
Inventor
P·东克尔
M·K·克里默
S·C·麦钱特
K·R·蒂伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liuke Co ltd
Original Assignee
Gracenote Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gracenote Inc filed Critical Gracenote Inc
Publication of CN111213385A publication Critical patent/CN111213385A/zh
Application granted granted Critical
Publication of CN111213385B publication Critical patent/CN111213385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种媒体客户端，其确定(i)表示由所述客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，每一经识别匹配点定义用根据所述客户端的时钟定义的客户端时间加时间戳的查询指纹与用根据已知媒体流内的时间线定义的真实时间加时间戳的参考指纹之间的相应匹配。此外，所述客户端基于所述经确定多个匹配点的所述时间戳执行线性回归以在真实时间与客户端时间之间建立映射。接着，所述客户端使用所述经建立映射作为确定在其处所述客户端应关于由所述客户端接收的媒体流而执行一动作的客户端时间点的基础。且所述客户端在所述经确定客户端时间点处执行所述动作。

Description

使用低速率指纹识别基于内插建立及使用时间映射以帮助促 成帧准确内容修正
相关申请案的参考
本申请案主张2018年10月22日申请的第16/166,981号美国专利申请案及2018年7月19日申请的第62/700,660号美国临时专利申请案的优先权，所述美国专利申请案中的每一者的全部内容特此通过引用方式并入。
本申请案还涉及2018年10月22日申请的第16/166,971号另一美国专利申请案，所述美国专利申请案的全部内容特此通过引用方式并入。
背景技术
典型的媒体客户端操作以接收表示媒体内容(例如视频及/或音频内容)的模拟或数字媒体流及输出所述媒体内容及/或转发所述流以在用户接口(例如显示器屏幕及/或音频扬声器)上呈现所述内容。此类客户端的实例包含电视机、计算机监视器、投影系统、扬声器、耳机、机顶盒(例如，有线电视或卫星TV接收器)、数字录像机、收音机、个人计算机、移动通信装置、游戏机、流式媒体播放器及类似物。
作为实例，媒体客户端可为电视机，其可接收媒体流(例如，空中广播流、从机顶盒输出的媒体流、从数字存储媒体播放的媒流体、因特网流或另一此流)且可向用户呈现所述流的媒体内容。作为另一实例，媒体客户端可为机顶盒，其可从多通道视频节目分配器接收广播流且可经由高清多媒体接口(HDMI)电缆或其它接口将所述流的媒体内容输出到电视机及/或音频/视频接收器以进行播放。作为又另一实例，媒体客户端可为数字录像机或录音机，其同样可接收广播流但可存储所述流供稍后播放。且作为又另一实例，媒体客户端可为扬声器或耳机，其可从收音机、计算机或其它接收器或音频存储装置接收音频流且可向用户呈现所述流的音频内容。众多其它实例同样也是可能的。
发明内容
当媒体客户端接收媒体流时，在某些情景中可为有用的是，使客户端修正流的媒体内容的一部分。举例来说，可为有用的是，使客户端用替换ad或用其它替换内容动态地替换ad或媒体内容的其它片段，使得当向用户播出内容时，用户可接收替换ad而非最初包含的ad。作为另一实例，可为有用的是，使客户端用叠加或分屏内容(例如通道识别、上下文信息、ad内容或类似物)动态地增补媒体内容的一部分，使得当向用户播出内容时，用户可与最初包含的内容一起接收增补内容。
此外，可期望客户端在特定时间点处在媒体流内执行此内容修正。例如，如果客户端将要用替换ad动态地替换现存ad，那么可期望客户端在现存ad可能已开始时在一时间处将替换ad定位在媒体流中。同样地，如果客户端将要用与媒体内容的特定部分相关的叠加增补所述部分，那么可期望客户端在所述部分开始时开始叠加。其它实例同样也是可能的。
更特定来说，讨论中的媒体流可定义帧序列，例如视频帧及/或音频帧，且可期望客户端以帧精确基础执行内容修正。例如，对于ad替换，可期望客户端精确地在现存ad的第一帧处开始插入替换ad来代替现存ad。且为了将叠加添加到媒体流的特定部分，可期望客户端在媒体流的所述部分的第一帧出或与媒体流的所述部分的第一帧成特定关系开始叠加。
为了有利于使客户端执行此内容修正，客户端可能需要学习修正将要在其处发生的特定时间点。然而，在实践中，修正时间点可定义在客户端未知的时间线上。举例来说，修正时间点可在媒体流本身内的参考时间线上定义，但客户端可能不具有针对所述时间线的上下文。因此，向客户端提供所述修正时间点可能无法使客户端在媒体流中的所期望时间点处执行修正。
作为此的非限制性实例，考虑定义可在电视广播内出现的ad群(pod)的媒体流。ad群包括一系列ad，例如电视广告。在此实例的情况下，客户端可为接收及呈现特定电视频道的线性广播馈送的电视机，且ad群可在任何时刻出现在所述馈送内。特别是在现场直播(例如，体育赛事)的情况下，例如，ad群出现在此馈送中的时间可为不可预测的。替代地，ad群可在具体排定时间出现。
在此实例中，所期望的修正可为ad群内的特定ad的替换(例如，用不同ad或其它替换内容代替所述ad)。例如，如果ad群是ad序列A1、A2、A3、A4，那么所期望的修正可为替换adA3。
在此情况中，ad群可定义内部时间线，在时间T＝0处开始且继续到ad群结束，且adA3可在所述时间线上的时间TA3处开始。然而，客户端可能缺乏针对所述时间线的上下文。客户端可具有其自身内部时钟，其具有定义“客户端时间”的时间线(例如，当日时间或其它内部时间参考)。但在不具有ad群时间线存在于客户端时间内的位置的高级知识的情况下，仅给定值TA3作为所期望的内容修正时间点将无法使客户端在期望时执行ad替换。
解决此问题的一种方法是执行指纹匹配、比较由客户端接收的媒体流的加时间戳的查询指纹与已知媒体流(例如已知ad群序列)的加时间戳的参考指纹。
例如，客户端可生成客户端正接收的媒体流的帧的查询指纹，且可基于客户端的内部时钟对所述查询指纹加时间戳，且计算系统可接收所述加时间戳的查询指纹以进行分析。此外，计算系统可被提供有基于沿已知媒体流内的时间线定义的参考时间或“真实时间”加时间戳的已知媒体流(例如已知ad群序列)的帧的参考指纹。
计算系统可因此比较加时间戳的查询指纹与加时间戳的参考指纹以试图找到查询指纹匹配参考指纹的匹配点，且一旦找到匹配点，可推断匹配查询指纹的时间戳与匹配参考指纹的时间戳对应。
在匹配的查询质询与参考指纹的时间戳之间建立此相关性可构成在客户端时间与真实时间之间建立“同步锁定”或时间映射。例如，匹配查询指纹与匹配参考指纹的时间戳之间的差异可定义当客户端接收媒体流时已知媒体流内的真实时间与客户端时间之间的时间偏移。给定已知媒体流内的帧的真实时间点的知识，计算系统可因此使用经建立同步锁定确定由客户端接收的媒体流中的相同帧的相关联的客户端时间点。例如，计算系统可在真实时间与客户端时间之间应用时间偏移，以便确定与给定真实时间点对应的客户端时间点。
继续上文的ad群实例，计算系统可使用经建立同步锁定将真实时间值TA3映射为标示客户端应替换由客户端接收的媒体流中的ad A3的客户端时间点(例如，其中客户端可开始ad替换的客户端时间点)的客户端时间值。且接着，客户端可在所述经预先确定的客户端时间点处执行ad A3的替换。
然而，此过程可产生的技术问题是客户端无法足够快地生成查询指纹以有利于查询指纹与参考指纹之间的高置信度指纹匹配。特定来说，为了帮助在客户端处节省有限的处理电力、存储器及/或其它资源，客户端可经布置以按相对较低帧速率生成指纹，所述速率可远低于客户端接收的媒体流的帧速率。因此，检测到的指纹匹配可能是不正确的且经建立同步锁定可能是不正确的。
举例来说，在每秒具有30个帧的视频的情况下，客户端可经设置以按较低帧速率(例如，每秒2帧)生成查询指纹。但以所述较低速率执行指纹匹配可导致低置信度指纹匹配。
此困难的一个原因是媒体流可包含与媒体序列的部分对应的相同或几乎相同帧的各种子序列，其中媒体内容在一时间段内实质上不会改变。此的实例可为在一时间段内呈现静止图像的视频。在所述情景中，查询指纹可在经定义的匹配公差内匹配多个连续参考指纹。
因此，计算系统对给定匹配点的检测可为相对低置信度。且因此，真实时间与客户端时间之间的计算系统的经建立映射可潜在地为不正确的，且可产生用户体验问题。例如，不正确的时间映射可导致客户端太早或太晚执行定向内容修正。在内容替换(例如，ad替换)的情况下，用户可将此不合时宜的内容修正感知为所呈现的媒体内容中的不连续或不一致性。
按照本发明，此问题可至少部分通过将多个检测到的匹配点考虑在内及在所述点之间内插以在真实时间与客户端时间之间建立经改进映射来解决。
在代表性实施方案中，给定由客户端生成的低速率查询指纹，计算系统可如上文论述那样进行指纹比较，且计算系统可随着时间的推移检测多个匹配点，其中每一匹配点表示真实时间点与客户端时间点之间的经确定相关性。随着计算系统检测到这些匹配点，接着，计算系统可以编程方式建立所述点的散布图且执行线性回归以建立表示真实时间与客户端时间之间的经改进映射的最佳拟合线。
接着，计算系统可使用此经改进映射作为预测客户端时间中的哪一点将与真实时间中的即将出现的点相关的基础，以便有利于使客户端在所述即将出现的时间点处执行内容修正或采取其它相关联的动作(例如，准备进行内容修正)。例如，计算系统可使用经改进映射作为预测客户端时间中的哪一点将与客户端将要执行内容修正的即将出现的帧的真实时间参考时间戳相关的基础。且接着，计算系统可致使客户端在所述经预测客户端时间点处执行内容修正。
所属领域的一般技术人员通过阅读以下详细描述，在适当的时候参考附图将变得明白这些以及其它方面、优点及替代物。此外，应理解，在此发明内容中及在下文提供的描述希望仅作为实例而非作为限制来说明本发明。
附图说明
图1是所揭示特征可实施于其中的系统的简化框图。
图2是各自具有相应真实时间值及相应客户端时间值的匹配点的实例散布图。
图3是描绘可根据本发明实施的操作的流程图。
图4是描绘可根据本发明实施的操作的另一流程图。
图5是描绘可根据本发明操作的计算系统的组件的简化框图。
具体实施方式
参考图式，图1是所揭示的各种原理可应用于其中的实例系统的简化框图。然而，应理解，本文描述的此及其它布置及过程可采用各种其它形式。例如，元件及操作可重新排序、分布、复制、组合、省略、添加或以其它方式修改。此外，应理解，由一或多个实体所实施的本文描述的操作可由所述实体及/或代表所述实体通过硬件、固件及/后软件(例如)由执行程序指令或类似物的一或多个处理单元实施。
如图1中展示，实例系统包含经配置以从媒体源14实时地接收媒体流的媒体客户端12。
在实践中，媒体客户端12可经配置以如上文描述那样操作以从媒体源14接收表示媒体内容(例如视频及/或音频内容)的模拟或数字媒体流及输出所述媒体内容及/或转发所述流以在用户接口(例如显示器屏幕及/或音频扬声器)上呈现所述内容。媒体客户端可采取上文描述的形式中的任何者以及其它可能性。
媒体源14可能地取决于媒体客户端12的形式还可采取各种形式。通过实例，如果媒体客户端12是电视机，那么媒体源14可为经配置以输出所选择的媒体流以通过电视机呈现的本地机顶盒(例如，有线电视或卫星接收器)或流式媒体服务器，或媒体源14可为广播电视站或类似物以及其它可能性。且如果媒体客户端是计算机，那么媒体源可包括因特网流式媒体服务器或其它媒体提供者。替代地，媒体源14可为与媒体客户端12集成及/或可由媒体客户端12在本地存取的数据存储装置，其中媒体客户端从数据存储装置接收(例如，检索)媒体流以进行播出。其它实例同样也是可能的。
如图1中进一步展示，媒体客户端12可经过网络(例如，因特网或专用网络)16与网络服务器18通信，网络服务器18可与媒体源14相关联及/或集成或可不与媒体源14相关联及/或集成。
在实例实施方案中，媒体客户端12及网络服务器18可参与数据通信以有利于实施例如上文提及的操作的操作。例如，代表性计算系统的方面可由服务器18实施，与客户端12交互操作以建立同步锁定，应用同步锁定以确定客户端应执行内容修正的客户端时间点，及致使客户端在所述经确定客户端时间点处执行内容修正。此外或替代地，代表性计算系统的方面可由客户端12实施，其与服务器18交互操作以实施类似操作。
如上文提及，当媒体客户端(例如客户端12)接收媒体流时，可为有用的是，使客户端修正流的内容的一部分，例如以替换或增补流的内容的片段。此外，如上文提及，可期望客户端在特定时间点处在媒体流内这样做。例如，如果流定义帧序列，例如视频帧及/或音频帧，那么可期望客户端在序列的特定帧处开始执行修正。
为了有利于此内容修正，计算系统可首先识别由客户端接收的媒体流。例如，计算系统可首先确定由客户端接收的媒体流是含有应修正的特定内容的媒体流。一旦识别媒体流，计算系统就可确定媒体流中的特定点，在所述特定点处客户端应执行内容修正且可致使客户端在所述经确定点处执行内容修正。
识别由客户端接收的媒体流的一种方式是使客户端(或可能是附属装置)生成表示由客户端接收的媒体内容的数字指纹数据，及使服务器18比较所述指纹数据与表示已知媒体流的媒体内容的参考指纹数据，其中指纹匹配指示客户端正接收已知媒体流。
在实例实施方案中，服务器18或另一此实体可建立对表示已知媒体流的参考指纹数据的存取或以其它方式存取所述参考指纹数据。例如，服务器可建立或被提供有表示媒体流的帧的参考数字指纹序列。服务器或另一实体可通过以编程方式分析已知媒体流的帧、接收已知媒体流的副本作为输入及应用现在已知或稍后开发的用于生成参考指纹的任何媒体指纹过程或算法建立这些参考指纹。这些参考指纹可以相对较高的粒度级生成以有利于指纹匹配。举例来说，对于包括每秒30个帧的视频的媒体流，序列可包含每个帧的参考视频指纹，因此同样地处于每秒30个帧的速率或处于另一合理地较高速率。
此外，在实时中，随着客户端12接收媒体流，客户端可生成表示其接收的流的媒体内容的查询指纹数据且可将查询指纹数据发射到服务器18以进行分析。客户端可使用经应用以建立参考指纹的相同指纹过程或算法建立这些查询指纹以有利于指纹比较。然而，如上文提及，由于客户端处的资源限制(例如，对处理电力、存储器及网络速度的限制)或出于其它原因，且给定此查询指纹生成可为客户端正进行的过程，客户端可经配置以按相对较低速率生成这些查询指纹。例如，对于包括视频的媒体流，客户端可经配置以按每秒仅2个帧的速率生成这些查询指纹，且客户端可每1.5秒左右将所生成的查询指纹发射到服务器。其它实例同样也是可能的。
随着服务器从客户端接收查询指纹数据，服务器可比较查询指纹数据与已知媒体流的参考指纹数据。且如果服务器借此在充分置信度下确定查询指纹数据匹配参考指纹数据，那么服务器可推断出由客户端接收的媒体流是已知媒体流(即，已知媒体流的副本)。
服务器可针对每一帧进行此指纹比较。考虑视频内容，例如，服务器可针对每一视频帧进行分析，从而比较帧的查询指纹与帧的参考指纹。比较过程可取决于指纹的结构采用多种形式中的任何者。举例来说，比较可涉及计算指纹之间的最大偏差及确定所述最大偏差是否在经预定义的公差内。此外，如果指纹是二进制的，那么此可为布尔确定或可涉及计算汉明(Hamming)距离(作为指纹中的相应位位置之间的失配计数)。且如果指纹是更复杂的值(例如十进制值或向量(例如，每视频帧区域的灰度值))，那么此可涉及确定所述值或向量之间的距离。众多其它实例同样也是可能的。
另外，服务器可在所期望的公差水平下进行指纹比较过程。例如，比较可为粗糙的，对于指纹之间的差异具有相对较高公差，例如对于更大数目个差异具有公差及/或对于更大大小的差异具有公差。通过实例，当相互比较两个32位指纹时，粗糙比较可认为指纹大体上彼此匹配，即使是两个或另一标示数目的位不匹配。或者，比较可为更细粒度，对于此类差异具有下公差，及/或其中比较集中在可能表示底层媒体的特定部分的特定指纹组件。
此外，服务器可一次关于一个查询指纹进行指纹比较。例如，服务器可比较每一循序提供的查询指纹与参考指纹以试图找到在经定义的匹配公差内匹配查询指纹的参考指纹。
替代地，服务器可一次关于一批指纹进行比较。例如，服务器可比较由每一循序批的四个连续查询指纹(以滑动窗为基于或作为离散循序群组)与参考指纹以试图找到在经定义的匹配公差内匹配一群组四个查询指纹的一批四个参考指纹。为了有利于此，如果查询指纹及参考指纹是以与彼此不同的帧速率生成，那么服务器可配置其对与所述批查询指纹相同地在时间上彼此间隔开的一批匹配参考指纹的搜索。例如，如果查询指纹是以每秒2帧生成(即，与彼此分离开500毫秒)且参考指纹是以每秒30个帧生成，那么服务器可搜索彼此间隔开500毫秒且在经定义的匹配公差内匹配一群组四个连续查询指纹的一批四个参考指纹。
当服务器已以充分置信度检测到内容时，服务器将因此识别到媒体流中的一或多个匹配点。如果服务器一次使用一个指纹执行指纹比较，那么每一匹配点将为匹配参考指纹表示的帧。然而，如果服务器一次使用一群组指纹执行指纹比较，那么每一匹配点可为匹配群组中的第一或另一标示参考指纹表示的帧。在任何情况中，此匹配可建立或建立或支持由客户端接收的媒体流是已知媒体流的结论。
替代地，服务器可以其它方式识别讨论中的媒体流。例如，如果媒体流含有与媒体流的身份对应的水印数据，那么客户端可读取或以其它方式提取水印数据及向服务器报告水印数据。且接着，服务器可使用所报告的水印数据作为识别由客户端接收及/或播放的媒体流的基础。
在识别出由客户端接收的媒体流之后，接着，服务器可确定媒体流中客户端应在其处执行内容修正的点。在代表性实施方案中，例如，服务器可存取参考数据，所述参考数据指示已知媒体流中将发生内容修正的点且指示在那个点处将要发生什么内容修正。例如，参考数据可识别已知媒体流中将要开始内容修正的特定帧。因此，服务器可参考参考数据来确定那个所期望的内容修正点。
接着，服务器可将指示客户端在媒体流中的经确定点处执行内容修正的指示发射到客户端。例如，服务器可经过网络16将指定媒体流中的经确定点且向客户端提供替换或叠加媒体的消息发射到客户端，或以其它方式关于客户端在媒体流中的那个点处将要执行哪些内容修正对客户端进行引导。且客户端可经配置以接收及解译所述指示及响应性地在媒体流中的所指示点处执行内容修正。
在此过程中，服务器可能知道客户端应在媒体流中执行内容修正的特定时间点。例如，可由服务器存取的参考数据可将此时间点指定为在已知媒体流内(即，在上文所描述的“真实时间”内)的时间线中测量的特定时间。如上文提及，例如，此时间线可以已知媒体流的开始处的原始时间(例如，T＝0)开始，且已知媒体流中的每一帧可在那个时间线上的特定时间点处发生。因此，服务器可从参考数据确定客户端应在媒体流中执行内容修正的真实时间点。
然而，客户端的时间参考可能是不同的。如上文提及，客户端的时间参考可为根据客户端中的内部时钟定义的“客户端时间”。尽管客户端时间及真实时间可以与彼此相同的速率最佳运行，但其原始点可能不同。因此，仅知道已知媒体流中的真实时间点可能本身不能在客户端时间中提供上下文。因此，上文所提及的问题是服务器可如何以客户端可理解的方式特性化客户端将要开始执行内容修正的媒体流中的时间点。
解决上文所提出的此问题的一种方式是使服务器使用客户端提供的匹配查询指纹的时间戳作为服务器确定媒体流的客户端的时间参考的方式，且接着使服务器使用那个客户端时间参考作为特性化客户端将要开始内容修正的媒体流中的时间点的基础。
为了有利于此，随着客户端生成其查询指纹，客户端可基于客户端的内部时钟给每一查询指纹加时间戳。因此，客户端发射到服务器以进行分析的查询指纹可为加时间戳的查询指纹。此外，服务器可被提供有或以其它方式存取已知媒体流帧的加时间戳的参考指纹。例如，服务器可被提供有指定已知媒体流中的每一帧的参考数据(i)帧的参考指纹及(ii)已知媒体流内的相关联的真实时间时间戳。
随着服务器从客户端接收加时间戳的查询指纹，服务器可比较查询指纹与参考指纹以试图检测匹配点，即，其中查询指纹匹配参考指纹的例子。当服务器已检测到一或多个此类匹配点时，服务器将知道每一检测到的匹配点的(i)匹配点的真实时间时间戳及(ii)匹配点的客户端时间时间戳两者。
因而，服务器将在真实时间与客户端时间之间有效地建立同步锁定。即，服务器将在(i)媒体流内的真实时间时间戳与(ii)根据客户端的内部时钟的客户端时间之间有效地建立映射，这是因为服务器现在将知道匹配帧在媒体流中的位置及在媒体流中的那个时间点处客户端的时间是什么两者。如上文论述，此同步锁定可构成时间偏移，使得服务器可将时间偏移应用于媒体流中的给定真实时间点以确定媒体流中的对应客户端时间点。
在媒体流中发现此匹配点且建立同步锁定之后，服务器可计算客户端将要在媒体流中执行内容修正的客户端时间点，即，客户端将在媒体流中开始内容的位置。举例来说，给定内容修正将要发生的真实时间点的参考数据指示，服务器可应用由同步锁定定义的偏移以确定内容修正将要发生的相关联的客户端时间点。或者，服务器可计算从匹配点的真实时间点到内容修正将要开始的帧的时间的已知媒体流内的持续时间，且接着，服务器可将计算得到的持续时间添加到匹配点的客户端时间点以便确定内容修正将要开始的相关联的客户端时间点。其它实例同样也可为可能的。
接着，服务器可将此经确定客户端时间点的说明与使客户端在此客户端时间点处开始执行内容修正的指示一起发射到客户端。且如果客户端未准备好被提供有关于将在那个时间点开始执行的内容修正的信息，那么服务器也可将那个内容修正信息发射到客户端。例如，服务器可从数据存储装置检索供客户端代替由客户端接收的媒体流中的内容的特定替换内容且将所述特定替换内容发射到客户端。或者，服务器可将到此替换内容的指针发射到客户端，例如客户端可从其获得替换内容的网络或本地存储地址。
客户端可因此从服务器接收在所指示的客户端时间点开始内容修正的指示。且如果客户端未准备好被提供有定义在那个客户端时间点处执行修正的数据，那么客户端可(例如)从服务器或从由服务器指定的地址接收那些数据。通过参考客户端的内部时钟，接着，客户端可工作以在所指示的客户端时间点处准确地开始内容修正。例如，在所指示的客户端时间点处，客户端可开始用替换内容帧代替由客户端接收的媒体流的帧或将增补内容叠加在由客户端接收的媒体流的帧上以及其它可能性。
然而，如上文提及，如果客户端以相对较低速率生成其查询指纹(例如，如上文论述那样以每秒2个帧的视频指纹)，那么可产生此过程中的另一问题。向服务器提供以此较低速率生成的查询指纹使服务器难以以高置信度识别媒体流中的匹配点及/或可导致低置信度同步锁定。
如上文提及，此困难的一个原因是，媒体流可包含与媒体序列的部分对应的相同或几乎相同帧的各种子序列，其中媒体内容在一时间段内完全不改变。在那个情景中，查询指纹可在经定义的匹配公差内匹配多个连续参考指纹。此外，一批查询指纹可在经定义的匹配公差内匹配多批参考指纹(例如，其中所述批中的一些查询指纹匹配或多或少地对应参考指纹，这可能是由于淡化或其它变化)。因此，服务器对匹配的检测及同步锁定的建立可为相对低置信度。
按照本发明，如上文提及，此问题可至少部分通过将多个检测到的匹配点考虑在内及在所述点之间内插以在真实时间与客户端时间之间建立经改进映射来解决。
在代表性实施方案中，随着服务器从客户端接收低速率查询指纹及进行指纹比较，如上文论述，服务器将随着时间的推移检测到多个匹配点(针对各种查询指纹中的每一者或针对各批查询指纹中的每一者)，其中每一匹配点表示真实时间点与客户端时间点之间的经确定相关性。随着服务器检测这些匹配点，服务器可接着以编程方式在笛卡尔(Cartesian)坐标中建立点的散布图，其中真实时间沿一个轴且客户端时间沿另一轴，且服务器可执行线性回归以基于所述点建立最佳拟合线。
图2通过实例说明此。特定来说，图2说明散布图，其中真实时间沿x轴且客户端时间沿y轴。散布图包含多个代表性匹配点，且所述图描绘匹配点之间建立的最佳拟合线。此最佳拟合线有效地表示真实时间与客户端时间之间的经改进映射、虚拟时序或同步锁定。通过对足够数量的匹配点执行线性回归，服务器可因此在面对低速率查询指纹时建立此经改进映射。
注意，此处描述的散布图及最佳拟合分析无需在几何上或在视觉上进行。服务器可使用现在已知或稍后开发的任何线性回归算法基于检测到的匹配点的真实时间、客户端时间坐标以算术方式实施过程。
还注意，此过程中建立的最佳拟合线可通常具有斜率1，假设客户端处的媒体流速率(每秒帧数)与服务器相同。鉴于此，待解决的问题可为最佳拟合线在图中垂直或水平地所处的位置及因此真实时间与客户端时间之间的时间偏移是什么。另外，可存在其中客户端处的媒体流速率稍微不同于服务器处的媒体流速率的情景，在此案例中，线的斜率可不同于1。
接着，服务器可使用此经改进映射作为预测客户端时间中的哪一点将与真实时间中的即将出现的点(例如与内容修正或相关联的动作将要在其处发生的帧的参考时间戳)相关的基础。且服务器可将指定经确定客户端时间且指示客户端在到达那个客户端时间时实施所期望的动作的指示发射到客户端。
作为此过程的非限制性实例，考虑定义可在电视广播内出现的ad群的媒体流。如上文提及，ad群可包括ad序列，例如电视广告，且ad群可在任何给定时间出现在由客户端接收的线性媒体馈送中，例如线性广播馈送。
在实践中，服务器可被提供有表示ad群的帧且与所述帧对应的加时间戳的参考指纹，其中时间戳是沿ad群内定义的时间线的点(作为真实时间)。此外，服务器可被提供有ad群中的ad的特定一者应被替换的指示，且被提供有那个ad替换应开始的帧的时间戳。
在持续基础上，或响应于一或多个其它触发，随着客户端接收媒体馈送，客户端可(例如)以每秒2个帧生成广播馈送的低速率加时间戳的查询指纹且可向服务器报告那些加时间戳的查询指纹以进行分析。比较每一此查询指纹与表示ad群序列的帧的参考指纹，服务器可借此检测到客户端正接收已知ad群序列。
在确定客户端接收ad群序列之后，接着，服务器可工作以在真实时间与客户端时间之间建立经改进映射以便接着确定客户端将要开始ad替换的客户端时间。
例如，服务器可比较一批所报告的查询指纹与一批对应地间隔的参考指纹且可借此随着时间的推移找到多个匹配点(可能地以服务器识别为首先检测客户端接收ad群序列的基础的一或多个匹配点开始)。如上文论述，每一匹配点将使真实时间点(代表性匹配参考指纹的时间戳)与客户端时间点(代表性匹配查询指纹的时间戳)相关。此外，服务器可在这些匹配点之间执行线性回归以找到有效地表示真实时间与客户端时间之间的经改进映射的呈真实时间与客户端时间之间的偏移的形式的最佳拟合线。
在真实时间与客户端时间之间建立经改进映射之后，服务器可接着应用映射作为确定哪一客户端时间点将与ad替换将在其处开始的真实时间点对应的基础。特定来说，给定ad替换将要开始的帧的真实时间点(参考时间)的知识，服务器可应用由经改进映射定义的偏移以将那个真实时间点转变为客户端时间点。
接着，服务器可将在那个经确定客户端时间点处开始ad替换的指示发射到客户端，且如果客户端未准备好被提供有替换ad(或到替换ad的指针)则可将那些信息发射到客户端。且接着，客户端可相应地在所指示的客户端时间点执行ad替换。
注意，上文描述的过程可以众多方式改变或增强。
通过实例，为了帮助考虑媒体流的片段是静态(随着时间的推移实质上不会改变)的可能性，服务器可经配置以忽视彼此匹配(即，在经定义的匹配公差内)的任何批查询指纹。特定来说，随着服务器从客户端接收查询指纹且试图比较连续批的查询指纹时，服务器可评估每一此批的查询指纹以确定所述批的查询指纹是否彼此匹配。如果服务器确定所述批的全部查询指纹彼此匹配，那么服务器可响应性地从匹配点分析排除那批查询指纹。例如，服务器可响应性地放弃试图找到匹配那批查询指纹的一批参考指纹。然而，如果服务器确定所述批的查询指纹并不全都彼此匹配，那么服务器可如上文论述那样继续进行匹配点分析，以试图找到服务器可在其散布图及最佳拟合分析中包含的匹配点。
在此实例中，待解决的问题可为所述批中的全部查询指纹是否彼此匹配。低速率查询指纹的此匹配可关于媒体流的足够长的静态片段产生。因此，其可用于从匹配点分析排除那批查询指纹以帮助避免将非常低置信度匹配点计算在内。
另一方面，考虑其中一批四个低速率查询指纹跨越从一个静态片段到另一不同静态片段的变化的情景。例如，在视频内容的情况下，所述批的前两个查询指纹可表示场景变化发生之前的帧，且所述批的后两个查询指纹可表示场景变化发生之后的帧。在那个情景中，所述批的四个查询指纹将全都不彼此匹配，且所以服务器可将所述批包含在其匹配点分析中，且接着可检测匹配点以包含在其散布图及最佳拟合分析中。然而，在此实例的情况下，匹配点是否将落在最佳拟合线右侧是不确定的，这是因为在由第二及第三查询指纹表示的帧之间发生场景变化的时间是不清楚的。但同样，在足够数量的匹配点的情况下，最佳拟合分析仍应如上文描述那样产生有用的经改进映射。
因此，作为另一实例，服务器可能需要在待解决的媒体流内存在至少阈值最小数量的匹配点作为使服务器继续进行内插的条件。例如，服务器可保持其在待解决的媒体流中(例如，在ad群中)找到了多少匹配点的计数。一旦服务器确定媒体流中的匹配点的数目满足经预定义的阈值，服务器就可响应性地执行上文描述的散布图及最佳拟合分析以便基于所识别的匹配点建立经改进时间映射，且接着，可如上文描述那样使用那个时间映射。在实践中，阈值最小数量的匹配点可为三个匹配点，或可被工程设计认为对于此目的是足够的另一数目个匹配点。
作为又另一实例，在服务器开始其散布图及最佳拟合分析之后，服务器可继续找到匹配点及细化其最佳拟合时间映射直到服务器达到停止点，此时服务器可认为最佳拟合映射是可用的。停止点可采用各种形式。例如，停止点可为服务器将经预定义的阈值数量的匹配点计算在内的时间，例如上文论述的阈值最小数量。替代地或另外，停止点可为服务器已检测到分析中的稳定性的时间，(例如)通过检测到最佳拟合线(或真实时间与客户端时间之间的相关联的时间偏移)针对被计算在分析内的每一额外匹配点不会改变超过的最小阈值量(例如，通过工程设计预定义)。一旦服务器检测到停止点，服务器就可停止收集匹配点且可继续使用最近的最佳拟合分析将动作(例如，内容修正)将要发生的真实时间点映射成相关联的客户端时间点。且服务器可相应地引导客户端在经确定客户端时间点处执行所述动作。
作为又另一实例，除了使用上述过程确定内容修正或类似物将要发生的客户端时间点外，服务器还可使用所述过程确定当使客户端开始准备进行内容修正可为有用的提前提前客户端时间点。例如，如果客户端可能需要开始通过从因特网URL或其它网络地址或源流式传输或下载获得替换或叠加内容，且如果客户端可能花费一些时间来实际上获得或开始接收那个替换或叠加内容，那么服务器可计算充分领先于内容修正开始时间的提前客户端时间点以为客户端留下足够的时间来获得或开始接收替换或叠加内容。接着，服务器可将指定提前客户端时间点且致使客户端在客户端时间点处开始获得替换或叠加内容的过程的指示发射到客户端，且客户端可相应地继续进行。客户端可因此在客户端将需要执行内容修正之前获得或开始接收替换或叠加内容。
又另外，作为又另一实例，尽管上文描述规定服务器实施各种操作，但部分或全部操作可替代地由客户端或由另一装置实施。例如，尽管上文论述描述服务器工作以在真实时间与客户端时间之间建立经改进映射，且服务器工作以确定内容修正或其它动作将要发生的客户端时间点，但客户端可经配置以实施那些操作本身中的一些。
在代表性变型中，例如，一旦服务器已确定客户端接收已知媒体流且已找到使真实时间与客户端时间相关的多个匹配点，或随着服务器找到那些匹配点，服务器可向客户端报告匹配点，从而通知客户端每一匹配点的真实时间及客户端时间坐标。且接着，客户端可使用那些提供的数据执行上文论述的散布图及最佳拟合分析，以便建立真实时间与客户端时间之间的经改进映射。此外，服务器可向客户端提供指定客户端将要参与特定动作(例如，内容修正或准备进行内容修正)中的真实时间点的指示，且客户端可如上文论述那样应用经建立映射以将真实时间点转变成客户端时间点。接着，客户端可工作以在经确定客户端时间点处实施所指示的动作。
此外，客户端本身同样也可实施指纹匹配过程。例如，一旦服务器已确定客户端接收已知媒体流，服务器就可向客户端提供用于媒体流的即将出现的部分的一组加时间戳的参考指纹且可通知客户端所期望动作将要发生的媒体流内的帧的参考时间戳。
例如，一旦服务器已确定客户端接收已知媒体流，客户端就可实施过程以建立(i)媒体流中的真实时间时间戳与(ii)根据客户端的内部时钟的时间之间的同步锁定，及确定内容修正将要发生的客户端时间点。为有利于此，在实例实施方案中，除了引导客户端切换到高速率指纹识别外，服务器可向客户端提供媒体流的即将发生的部分的一组真实时间的加时间戳的参考指纹且可通知客户端内容修正将要开始的媒体流内的帧的真实时间时间戳。
客户端可因此从服务器接收那些加时间戳的参考指纹。且客户端可比较其低速率查询指纹与所提供的参考指纹以试图找到匹配点。在找到多个匹配点时或之后，接着，客户端可同样地执行上文论述的散布图及最佳拟合分析以建立真实时间与客户端时间之间的经改进映射。此外，客户端可以上文论述的方式应用经建立映射以确定所指示的内容修正或其它动作将要发生的客户端时间点。且接着，客户端可在经确定客户端时间点处执行所指示的动作。
还注意，上述过程可关于由客户端接收的线性广播馈送或类似物(例如，用于目前播出及/或存储)的实时分析应用且同样也可关于由客户端从数据存储装置检索的媒体流或类似物(例如，用于目前播出或传送)的分析应用。其它实施方案同样也是可能的。
图3是描绘可由计算系统实施的与上文论述一致的方法的流程图。尽管方法的操作在此图中描绘为以特定顺序实施，但部分操作可与其它操作并行实施，且其它修改同样也是可能的。
如图3中展示，在框30处，计算系统接收表示由客户端接收的媒体流的查询指纹，用根据客户端的时钟的客户端时间给查询指纹加时间戳。进一步，在框32处，可能地与框30并行地，计算系统比较接收到的查询指纹与表示已知媒体流的参考指纹，参考指纹用根据已知媒体流内的时间线的真实时间加时间戳。且在框34处，计算系统基于检测到的匹配点执行线性回归，线性回归在真实时间与客户端时间之间建立映射。
在框36处，接着，计算系统应用经建立映射作为确定在其处客户端应关于由客户端接收的媒体流执行动作的客户端时间点的基础。且在框38处，计算系统致使客户端在经确定客户端时间点处执行所述动作。
与上文论述一致，计算系统致使客户端在经确定客户端时间点执行的动作可包括内容修正。例如，由客户端接收的媒体流可包括定义ad序列的ad群，且内容修正可包括用替换媒体内容替换所述序列的ad。替代地，动作可包括准备进行此内容修正，例如起始过程来获得新的内容以有利于内容修正。其它动作同样也是可能的。
此外，如上文论述，应用经建立映射作为确定在其处客户端应关于由客户端接收的媒体流执行动作的客户端时间点的基础的动作可包括使用经建立映射作为将在其处应关于已知媒体流执行动作的经预定义的真实时间点映射到在其处客户端应关于由客户端接收的媒体流执行动作的对应客户端时间点的基础。例如，给定内容修正应发生的已知媒体流中的帧的真实时间点，应用经建立映射可涉及将那个真实时间点转变为在其处客户端应在由客户端接收的媒体流中执行内容修正的对应客户端时间点。
另外，如上文论述，此计算系统可由与客户端网络通信的服务器实施。在那个案例中，导致客户端在经确定客户端时间点处执行动作的动作可涉及将客户端将通过在经确定客户端时间点处执行动作响应于其的指示从服务器发射到客户端。
又此外，如上文论述，此过程中的每一匹配点可基于(i)一批相应查询指纹与(ii)参考指纹之间的比较。且在那个案例中，所述方法可另外包含从过程省略内部匹配的批。例如，所述方法可涉及检测一给定批的查询指纹的查询指纹彼此匹配，且响应于检测给定批的查询指纹彼此匹配，排除给定批使其无法用于建立用于线性回归的匹配点。
又此外，与上文论述一致，方法可包含计算系统使用检测到的匹配点中的一或多者作为确定由客户端接收的媒体流是已知媒体流的基础。例如，计算系统可在最初进行此确定，且接着，响应于至少进行此确定，计算系统可执行线性回归，应用映射，及致使客户端在经确定客户端时间点处实施动作。换一种方式来表达，在那种情况中，线性回归的执行、映射的应用及导致客户端在经确定客户端时间点处执行动作可共同地响应于至少确定由客户端接收的媒体流是已知媒体流。
图4是描绘根据本发明的可由客户端或一或多个其它实体实施的方法的另一流程图。在此处，同样，尽管方法的操作被描绘为以特定顺序实施，但部分操作可与其它操作并行实施，且其它修改同样也是可能的。
如图4中展示，在框40处，方法包含确定(i)表示由客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一经识别匹配点定义(i)用根据客户端的时钟定义的客户端时间加时间戳的查询指纹与(ii)用根据已知媒体流内的时间线的真实时间加时间戳的参考指纹之间的相应匹配。
此外，在框42处，方法包含基于经确定多个匹配点的时间戳执行线性回归，线性回归在真实时间与客户端时间之间建立映射。在框44处，接着，方法包含使用经建立映射作为确定在其处客户端应关于由客户端接收的媒体流执行动作的客户端时间点的基础。且在框46处，方法包含在经确定客户端时间点处关于由客户端接收的媒体流执行动作。
与上文论述一致，确定多个匹配点的动作可采用各种形式。例如，其可包含客户端接收指示多个匹配点的一组数据。在实例实施方案中，如上文论述，服务器可执行指纹比较以确定匹配点且可将关于匹配点的信息发送到客户端，所述信息包含每一匹配点的客户端时间时间戳及真实时间时间戳，以使客户端能够执行线性回归。
替代地，如上文论述，确定多个匹配点的动作可包含客户端接收真实时间时间戳的参考指纹，所述客户端生成客户端时间时间戳的查询指纹，及客户端比较所生成的查询指纹与接收到的参考指纹以便基于所述比较确定匹配点。此外，如上文论述，每一匹配点可基于(i)一批相应查询指纹与(ii)参考指纹之间的比较。且在那个案例中，方法可另外包含检测给定批的查询指纹彼此匹配，且响应于检测给定批的查询指纹彼此匹配，排除给定批使其无法用于建立用于线性回归的匹配点。
另外，如上文论述，关于由客户端接收的媒体流的动作可采用各种形式。例如，动作可包括内容修正，例如ad群或类似物中的ad替换。或者，动作可包括准备进行此内容修正，例如起始内容获取以有利于内容修正。其它实例同样也是可能的。
此外，与上文论述一致，使用经建立映射作为确定在其处客户端应关于由客户端接收的媒体流执行动作的客户端时间点的基础的动作可包含使用经建立映射作为将在其处应关于已知媒体流执行动作的经预定义的真实时间点映射到在其处客户端应关于由客户端接收的媒体流执行动作的对应客户端时间点的基础。
接下来，图5是可操作以实施上文描述的各种操作的实例计算系统的框图。如上文提及，此计算系统的方面可由媒体客户端12及/或服务器18实施以及其它可能性。因此，图4的框图可表示一或多个此类实体的组件。
如图5中展示，实例计算系统包含网络通信接口52、处理单元54及非暂时性数据存储装置56，其中全部者都可通过网络、消息总线及/或一或多个其它连接机构58耦合或通信地链接在一起。
网络通信接口52使计算系统能够进行发射及接收。网络通信接口52可包括有线及/或无线以太网接口以及相关联的电路及软件以及其它可能性。接着，处理单元54可包括一或多个通用处理器(例如，微处理器)及/或一或多个专用处理器(例如，专用集成电路或类似物)。且非暂时性数据存储装置46可包括一或多个易失性及/或非易失性存储组件，例如磁性存储装置、光学存储装置或快闪存储装置。
如图5中进一步展示，非暂时性数据存储装置56存储程序指令60(例如，保持程序指令60、经编码有程序指令60、或以其它方式体现或含有程序指令60)，所述程序指令可由处理单元执行以致使计算系统实施例如上文描述的操作的操作。
通过实例，这些操作可包含识别(i)表示由媒体客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一经识别匹配点定义(i)用根据所述媒体客户端的时钟定义的客户端时间加时间戳的查询指纹与(ii)用根据已知媒体流内的时间线的真实时间加时间戳的参考指纹之间的相应匹配。此外，所述操作可包含：基于所述多个经识别匹配点的所述时间戳执行线性回归，所述线性回归在真实时间与客户端时间之间建立映射。接着，所述操作可包含：使用所述经建立映射作为确定所述媒体客户端应在其处在由所述客户端接收的媒体流中执行内容修正的客户端时间点的基础。且所述操作可包含：致使所述媒体客户端在所述经确定客户端时间点处执行所述内容修正。
此外，上文描述的各种特征可并入于此上下文中，且反之亦然。例如，使用映射可涉及将内容修正的经预定义的真实时间点映射到对应客户端时间点。且内容修正可涉及内容替换，例如替换ad群中的ad，或可包含叠加内容以及其它可能性。
另外，如果计算系统安置在服务器处及/或由服务器实施，那么导致媒体客户端在经确定客户端时间点处执行内容修正的动作可涉及输出致使媒体客户端这样做的指示以发射到媒体客户端，及/或将所述指示发送到媒体客户端。此外，操作可包含从所述分析排除彼此匹配的一批查询指纹。且操作可另外包含使用经识别匹配点中的一或多者作为确定由客户端接收的媒体流是已知媒体流的基础，在此案例中，其它操作可响应于所述确定共同地实施。
替代地或另外，操作可包含确定(i)表示由客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一经识别匹配点定义(i)用根据所述客户端的时钟定义的客户端时间加时间戳的查询指纹与(ii)用根据已知媒体流内的时间线定义的真实时间加时间戳的参考指纹之间的相应匹配。此外，所述操作可包含：基于所述经确定的多个匹配点的所述时间戳执行线性回归，所述线性回归在真实时间与客户端时间之间建立映射。接着，所述操作可包含：使用所述经建立映射作为确定所述客户端应在其处关于由所述客户端接收的媒体流而执行一动作的客户端时间点的基础。且所述操作可包含：在所述经确定客户端时间点处关于由所述客户端接收的所述媒体流执行所述动作。
也在此处，上文描述的各种特征可并入于此上下文中，且反之亦然。例如，如果计算系统安置在客户端处及/或由客户端实施，那么确定匹配点的动作可涉及接收指示部分或全部匹配点的数据及/或可涉及(i)生成查询指纹，(ii)接收参考指纹及(iii)比较所述查询指纹与所述参考指纹以确定所述匹配点。此外，关于由客户端接收的媒体流的动作可包括内容修正，例如ad替换，或可涉及准备进行内容修正。
另外，上文描述的各种操作可由存储在非暂时性计算机可读媒体上的程序指令定义，所述程序指令可由处理单元执行以实施操作(例如，致使操作被实施)。接着，此非暂时性计算机可读媒体可被提供、集成或以其它方式实施在客户端、服务器及/或另一实体处。此外，每一操作可采用其它形式。
上文已描述示范性实施例。然而，所属领域的技术人员将理解，可对这些实施例做出改变及修改而不会背离本发明的真正范围及精神。

Claims (20)

1.一种方法，其包括：
确定(i)表示由客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一经识别匹配点定义(i)用根据所述客户端的时钟定义的客户端时间加时间戳的查询指纹与(ii)用根据已知媒体流内的时间线的真实时间加时间戳的参考指纹之间的相应匹配；
基于所述经确定的多个匹配点的所述时间戳执行线性回归，所述线性回归在真实时间与客户端时间之间建立映射；
使用所述经建立映射作为确定所述客户端应在其处关于由所述客户端接收的媒体流而执行一动作的客户端时间点的基础；及
在所述经确定客户端时间点处关于由所述客户端接收的所述媒体流执行所述动作。
2.根据权利要求1所述的方法，其由所述客户端实施。
3.根据权利要求2所述的方法，其中所述确定所述多个匹配点包括由所述客户端接收指示所述多个匹配点的一组数据。
4.根据权利要求2所述的方法，其中所述确定所述多个匹配点包括：
由所述客户端生成所述查询指纹；
由所述客户端接收所述参考指纹；及
由所述客户端比较所述经生成查询指纹与所述接收到的参考指纹，及基于所述比较确定所述多个匹配点。
5.根据权利要求4所述的方法，其中每一匹配点是基于(i)一批相应所述查询指纹与(ii)所述参考指纹之间的比较，所述方法进一步包括：
检测一给定批的所述查询指纹中的所述查询指纹彼此匹配；及
响应于所述检测到所述给定批的所述查询指纹彼此匹配，排除所述给定批使其无法用于建立用于所述线性回归的匹配点。
6.根据权利要求1所述的方法，其中关于由所述客户端接收的所述媒体流的所述动作包括内容修正。
7.根据权利要求6所述的方法，其中由所述客户端接收的所述媒体流包括定义ad序列的ad群，且其中所述内容修正包括用替换媒体内容替换所述序列的ad。
8.根据权利要求1所述的方法，其中关于由所述客户端接收的所述媒体流的所述动作包括准备进行内容修正。
9.根据权利要求1所述的方法，其中使用所述经建立映射作为确定在其处所述客户端应关于由所述客户端接收的所述媒体流执行所述动作的客户端时间点的基础包括使用所述经建立映射作为将在其处应关于所述已知媒体流执行所述动作的经预定义的真实时间点映射到在其处所述客户端应关于由所述客户端接收的所述媒体流执行所述动作的对应客户端时间点的基础。
10.一种媒体客户端，其包括：
处理单元；
非暂时性数据存储装置；及
程序指令，其存储于所述非暂时性数据存储装置中且可由所述处理单元执行以致使所述媒体客户端实施包含以下的操作：
确定(i)表示由所述媒体客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一经识别匹配点定义(i)用根据所述媒体客户端的时钟定义的客户端时间加时间戳的查询指纹与(ii)用根据已知媒体流内的时间线的真实时间加时间戳的参考指纹之间的相应匹配，
基于所述经确定多个匹配点的所述时间戳执行线性回归，所述线性回归在真实时间与客户端时间之间建立映射，
使用所述经建立映射作为确定在其处所述媒体客户端应关于由所述媒体客户端接收的媒体流而执行一动作的客户端时间点的基础，及
在所述经确定客户端时间点处关于由所述媒体客户端接收的所述媒体流执行所述动作。
11.根据权利要求10所述的媒体客户端，其中所述确定所述多个匹配点包括接收指示所述多个匹配点的一组数据。
12.根据权利要求10所述的媒体客户端，其中所述确定所述多个匹配点包括：
生成所述查询指纹；
接收所述参考指纹；及
比较所述经生成查询指纹与所述接收到的参考指纹，及基于所述比较确定所述多个匹配点。
13.根据权利要求12所述的媒体客户端，其中每一匹配点是基于(i)一批相应所述查询指纹与(ii)所述参考指纹之间的比较，所述操作进一步包括：
检测一给定批的所述查询指纹中的所述查询指纹彼此匹配；及
响应于所述检测到所述给定批的所述查询指纹彼此匹配，排除所述给定批使其无法用于建立用于所述线性回归的匹配点。
14.根据权利要求10所述的媒体客户端，其中关于由所述媒体客户端接收的所述媒体流的所述动作包括内容修正。
15.根据权利要求14所述的媒体客户端，其中由所述媒体客户端接收的所述媒体流包括定义ad序列的ad群，且其中所述内容修正包括用替换媒体内容替换所述序列的ad。
16.根据权利要求10所述的媒体客户端，其中关于由所述媒体客户端接收的所述媒体流的所述动作包括准备进行内容修正。
17.根据权利要求10所述的媒体客户端，其中使用所述经建立映射作为确定在其处所述媒体客户端应关于由所述媒体客户端接收的所述媒体流执行所述动作的客户端时间点的基础包括使用所述经建立映射作为将在其处应关于所述已知媒体流执行所述动作的经预定义的真实时间点映射到在其处所述媒体客户端应关于由所述媒体客户端接收的所述媒体流执行所述动作的对应客户端时间点的基础。
18.一种存储指令的非暂时性计算机可读媒体，所述指令可由处理单元执行以实施包括以下的操作：
确定(i)表示由客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一经识别匹配点定义(i)用根据所述客户端的时钟定义的客户端时间加时间戳的查询指纹与(ii)用根据已知媒体流内的时间线的真实时间加时间戳的参考指纹之间的相应匹配，
基于所述经确定多个匹配点的所述时间戳执行线性回归，所述线性回归在真实时间与客户端时间之间建立映射，
使用所述经建立映射作为确定在其处所述客户端应关于由所述客户端接收的媒体流而执行一动作的客户端时间点的基础，及
在所述经确定客户端时间点处关于由所述客户端接收的所述媒体流执行所述动作。
19.根据权利要求18所述的非暂时性计算机可读媒体，其在所述客户端处实施。
20.根据权利要求18所述的非暂时性计算机可读媒体，其中关于由所述客户端接收的所述媒体流的所述动作包括修正所述媒体流的内容。
CN201980001138.4A 2018-07-19 2019-06-07 内容修正的方法、媒体客户端和非暂时性计算机可读媒体 Active CN111213385B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862700660P 2018-07-19 2018-07-19
US62/700,660 2018-07-19
US16/166,981 2018-10-22
US16/166,981 US10715840B2 (en) 2018-07-19 2018-10-22 Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision
PCT/US2019/035974 WO2020018193A1 (en) 2018-07-19 2019-06-07 Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision

Publications (2)

Publication Number Publication Date
CN111213385A true CN111213385A (zh) 2020-05-29
CN111213385B CN111213385B (zh) 2022-12-06

Family

ID=69162188

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980001147.3A Active CN110999311B (zh) 2018-07-19 2019-06-07 用于媒体内容处理的方法、计算系统以及可读媒体
CN201980001138.4A Active CN111213385B (zh) 2018-07-19 2019-06-07 内容修正的方法、媒体客户端和非暂时性计算机可读媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980001147.3A Active CN110999311B (zh) 2018-07-19 2019-06-07 用于媒体内容处理的方法、计算系统以及可读媒体

Country Status (7)

Country Link
US (7) US10904587B2 (zh)
EP (2) EP3824640A4 (zh)
JP (2) JP7170834B2 (zh)
KR (2) KR102486777B1 (zh)
CN (2) CN110999311B (zh)
TW (3) TWI730348B (zh)
WO (2) WO2020018193A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10904587B2 (en) * 2018-07-19 2021-01-26 Gracenote, Inc. Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision
US10972799B2 (en) 2018-12-16 2021-04-06 The Nielsen Company (Us), Llc Media presentation device with voice command feature
WO2020142426A1 (en) * 2019-01-04 2020-07-09 Gracenote, Inc. Generation of media station previews using a secondary tuner
WO2020231927A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
US10972794B2 (en) 2019-05-10 2021-04-06 The Nielsen Company (Us), Llc Content-modification system with transmission delay-based feature
US10846506B1 (en) 2019-05-10 2020-11-24 The Nielsen Company (Us), Llc Content-modification system with geographic area-based feature
WO2020231821A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with fingerprint data match and mismatch detection feature
WO2020231813A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
US10796159B1 (en) 2019-05-10 2020-10-06 The Nielsen Company (Us), Llc Content-modification system with use of multiple fingerprint data types feature
US11386696B2 (en) 2019-05-10 2022-07-12 Roku, Inc. Content-modification system with fingerprint data mismatch and responsive action feature
US11354323B2 (en) 2019-05-10 2022-06-07 Roku, Inc. Content-modification system with geographic area-based feature
WO2020231817A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with determination of input-buffer switching delay feature
US11134305B2 (en) 2019-05-10 2021-09-28 Roku, Inc. Content-modification system with volume level adjustment feature
US11109088B2 (en) 2019-06-07 2021-08-31 Roku, Inc. Content-modification system with unscheduling feature
US11418835B2 (en) 2019-06-07 2022-08-16 Roku, Inc. Content-modification system with technical characteristic-based selection feature
JP7108798B2 (ja) 2019-06-07 2022-07-28 ロク インコーポレイテッド システムリソース要求機能を備えたコンテンツ修正システム
US11336949B2 (en) 2019-06-07 2022-05-17 Roku, Inc. Content-modification system with testing and reporting feature
US11627347B2 (en) 2019-06-07 2023-04-11 Roku, Inc. Content-modification system with broadcast schedule utilization feature
US11546647B2 (en) 2019-06-07 2023-01-03 Roku, Inc. Content-modification system with probability-based selection feature
US11418826B2 (en) 2019-06-07 2022-08-16 Roku, Inc. Content-modification system with supplemental content stitching feature
US11134292B2 (en) 2019-06-07 2021-09-28 Roku, Inc. Content-modification system with overlay handling feature
WO2020257424A1 (en) 2019-06-18 2020-12-24 The Nielsen Company (Us), Llc Content-modification system with determination of input-buffer switching delay feature
US11051057B2 (en) 2019-06-24 2021-06-29 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to establish a time offset, to facilitate taking content-related action
WO2021016255A1 (en) 2019-07-22 2021-01-28 The Nielsen Company (Us), Llc Content-modification system with broadcast schedule utilization feature
US11297367B2 (en) 2019-07-22 2022-04-05 Roku, Inc. Content-modification system with broadcast schedule utilization feature
US11095944B2 (en) 2019-08-19 2021-08-17 Roku, Inc. Content-modification system with broadcast schedule utilization feature
KR20210051048A (ko) * 2019-10-29 2021-05-10 삼성전자주식회사 전자 장치 및 그 제어 방법
CN114503600A (zh) * 2019-10-31 2022-05-13 六科股份有限公司 具有延迟缓冲器特征的内容修改系统
US11758220B2 (en) 2020-10-29 2023-09-12 Roku, Inc. Dynamic replacement of objectionable content in linear content streams
US11917231B2 (en) 2020-10-29 2024-02-27 Roku, Inc. Real-time altering of supplemental content duration in view of duration of modifiable content segment, to facilitate dynamic content modification
US11494803B2 (en) 2021-02-11 2022-11-08 Roku, Inc. Content modification system with viewer behavior-based content delivery selection feature
US11962870B2 (en) 2021-02-17 2024-04-16 Roku, Inc. Content-modification system with quiet content detection feature

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040237102A1 (en) * 2003-03-07 2004-11-25 Richard Konig Advertisement substitution
US20090158318A1 (en) * 2000-12-21 2009-06-18 Levy Kenneth L Media Methods and Systems
US20120117584A1 (en) * 2010-11-01 2012-05-10 Gordon Donald F Method and System for Presenting Additional Content at a Media System
US20140115627A1 (en) * 2011-04-25 2014-04-24 Enswers Co., Ltd. System and method for providing information related to an advertisement included in a broadcast through a network to a client terminal
CN105874451A (zh) * 2013-12-31 2016-08-17 谷歌公司 用于呈现对应于点播媒体内容的补充信息的方法、系统和介质
US20170034549A1 (en) * 2009-04-17 2017-02-02 Gracenote, Inc. Method and system for remotely controlling consumer electronic devices
WO2017044258A1 (en) * 2015-09-09 2017-03-16 Sorenson Media, Inc. Dynamic video advertisement replacement
US20170094349A1 (en) * 2015-09-28 2017-03-30 Rovi Guides, Inc. Systems and methods for identifying a source of media content based on a log of content identifiers
US20180035149A1 (en) * 2016-08-01 2018-02-01 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
CN107851103A (zh) * 2015-04-23 2018-03-27 索伦森媒体有限公司 自动内容辨识指纹序列匹配

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7269330B1 (en) * 1996-11-01 2007-09-11 Televentions, Llc Method and apparatus for controlling a video recorder/player to selectively alter a video signal
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US8611422B1 (en) * 2007-06-19 2013-12-17 Google Inc. Endpoint based video fingerprinting
JP4572928B2 (ja) * 2007-11-08 2010-11-04 ソニー株式会社 遠隔制御端末、情報取得装置、情報提供装置、情報提供システム、情報提供方法、およびプログラム
US8676030B2 (en) * 2008-04-15 2014-03-18 Shlomo Selim Rakib Methods and systems for interacting with viewers of video content
US8959108B2 (en) * 2008-06-18 2015-02-17 Zeitera, Llc Distributed and tiered architecture for content search and content monitoring
EP2425563A1 (en) * 2009-05-01 2012-03-07 The Nielsen Company (US), LLC Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
WO2010144671A2 (en) 2009-06-11 2010-12-16 Dolby Laboratories Licensing Corporation Trend analysis in content identification based on fingerprinting
US8594392B2 (en) 2009-11-18 2013-11-26 Yahoo! Inc. Media identification system for efficient matching of media items having common content
CN102959543B (zh) * 2010-05-04 2016-05-25 沙扎姆娱乐有限公司 用于处理媒体流的样本的方法和系统
US9179198B2 (en) 2010-10-01 2015-11-03 Sony Corporation Receiving apparatus, receiving method, and program
US9113202B1 (en) * 2011-09-21 2015-08-18 Google Inc. Inverted client-side fingerprinting and matching
JP6071184B2 (ja) * 2011-10-26 2017-02-01 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置、受信方法、プログラム、及び情報処理システム
US9292894B2 (en) * 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
US9703932B2 (en) 2012-04-30 2017-07-11 Excalibur Ip, Llc Continuous content identification of broadcast content
US9146990B2 (en) * 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content
EP3651469A1 (en) 2013-09-20 2020-05-13 Koninklijke KPN N.V. Correlating timeline information between media streams
EP2876890A1 (en) * 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US9402111B2 (en) * 2014-09-17 2016-07-26 Ispot.Tv, Inc. Television audience measurement method and apparatus
KR102217191B1 (ko) 2014-11-05 2021-02-18 삼성전자주식회사 단말 장치 및 그 정보 제공 방법
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
JP2017111274A (ja) * 2015-12-16 2017-06-22 ヤマハ株式会社 データ処理装置
US9930406B2 (en) * 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US20190020913A9 (en) * 2016-06-27 2019-01-17 Facebook, Inc. Systems and methods for identifying matching content
KR102410473B1 (ko) 2016-08-01 2022-06-17 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
US10659509B2 (en) 2016-12-06 2020-05-19 Google Llc Detecting similar live streams ingested ahead of the reference content
US10853428B2 (en) * 2017-07-14 2020-12-01 Facebook, Inc. Computing a ranked feature list for content distribution in a first categorization stage and second ranking stage via machine learning
US10158907B1 (en) * 2017-10-10 2018-12-18 Shazam Investments Ltd. Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings
US10904587B2 (en) * 2018-07-19 2021-01-26 Gracenote, Inc. Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090158318A1 (en) * 2000-12-21 2009-06-18 Levy Kenneth L Media Methods and Systems
US20040237102A1 (en) * 2003-03-07 2004-11-25 Richard Konig Advertisement substitution
US20170034549A1 (en) * 2009-04-17 2017-02-02 Gracenote, Inc. Method and system for remotely controlling consumer electronic devices
US20120117584A1 (en) * 2010-11-01 2012-05-10 Gordon Donald F Method and System for Presenting Additional Content at a Media System
US20140115627A1 (en) * 2011-04-25 2014-04-24 Enswers Co., Ltd. System and method for providing information related to an advertisement included in a broadcast through a network to a client terminal
CN105874451A (zh) * 2013-12-31 2016-08-17 谷歌公司 用于呈现对应于点播媒体内容的补充信息的方法、系统和介质
CN107851103A (zh) * 2015-04-23 2018-03-27 索伦森媒体有限公司 自动内容辨识指纹序列匹配
WO2017044258A1 (en) * 2015-09-09 2017-03-16 Sorenson Media, Inc. Dynamic video advertisement replacement
US20170094349A1 (en) * 2015-09-28 2017-03-30 Rovi Guides, Inc. Systems and methods for identifying a source of media content based on a log of content identifiers
US20180035149A1 (en) * 2016-08-01 2018-02-01 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ONDREJ PRIBULA等: "Real-time video sequences matching using the spatio-temporal fingerprint", 《MELECON 2010 - 2010 15TH IEEE MEDITERRANEAN ELECTROTECHNICAL CONFERENCE》 *
段德友等: "一种鲁棒的视频指纹提取和匹配方法", 《计算机工程与应用》 *

Also Published As

Publication number Publication date
CN111213385B (zh) 2022-12-06
TWI733132B (zh) 2021-07-11
US20210266616A1 (en) 2021-08-26
US20210105515A1 (en) 2021-04-08
CN110999311B (zh) 2022-07-26
CN110999311A (zh) 2020-04-10
EP3824640A4 (en) 2022-05-04
JP2021530928A (ja) 2021-11-11
US11882321B2 (en) 2024-01-23
US11044499B2 (en) 2021-06-22
TW202205870A (zh) 2022-02-01
WO2020018192A1 (en) 2020-01-23
US20220191563A1 (en) 2022-06-16
KR20210022134A (ko) 2021-03-02
JP7170835B2 (ja) 2022-11-14
US20200029108A1 (en) 2020-01-23
TWI730348B (zh) 2021-06-11
JP2021530927A (ja) 2021-11-11
US11665378B2 (en) 2023-05-30
KR102486777B1 (ko) 2023-01-11
US20200296436A1 (en) 2020-09-17
WO2020018192A8 (en) 2021-02-11
US10904587B2 (en) 2021-01-26
US20220167029A1 (en) 2022-05-26
EP3824641A1 (en) 2021-05-26
KR102484054B1 (ko) 2023-01-02
JP7170834B2 (ja) 2022-11-14
TW202008796A (zh) 2020-02-16
WO2020018193A1 (en) 2020-01-23
EP3824641A4 (en) 2022-05-04
TWI786647B (zh) 2022-12-11
US20200029115A1 (en) 2020-01-23
TW202008794A (zh) 2020-02-16
US10715840B2 (en) 2020-07-14
EP3824640A1 (en) 2021-05-26
KR20210021099A (ko) 2021-02-24
US11284131B2 (en) 2022-03-22
US11303939B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
CN111213385B (zh) 内容修正的方法、媒体客户端和非暂时性计算机可读媒体
CN110959293B (zh) 动态控制指纹识别速率以促进媒体内容的时间精确修正

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210915

Address after: California, USA

Applicant after: Liuke Co.,Ltd.

Address before: California, USA

Applicant before: Gracenote, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant