CN103797483B - 用于标识数据流中的内容的方法和系统 - Google Patents

用于标识数据流中的内容的方法和系统 Download PDF

Info

Publication number
CN103797483B
CN103797483B CN201280028522.1A CN201280028522A CN103797483B CN 103797483 B CN103797483 B CN 103797483B CN 201280028522 A CN201280028522 A CN 201280028522A CN 103797483 B CN103797483 B CN 103797483B
Authority
CN
China
Prior art keywords
content
client device
media
identification
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280028522.1A
Other languages
English (en)
Other versions
CN103797483A (zh
Inventor
A·L-C·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Shazam Entertainment Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shazam Entertainment Ltd filed Critical Shazam Entertainment Ltd
Publication of CN103797483A publication Critical patent/CN103797483A/zh
Application granted granted Critical
Publication of CN103797483B publication Critical patent/CN103797483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

提供用于标识数据流中的内容的方法和系统。在一个示例中，客户端设备接收到连续数据流，并且基于存储在该客户端设备上的内容模式基本上连续地执行数据流中的内容的内容标识。存储在该客户端设备上的该内容模式可包括与媒体文件的提取的特征或描述媒体文件的特征的临时映射集关联的信息。该客户端设备可确定该连续数据流是否包括媒体内容，以及基于该确定，在该客户端设备处连续执行数据流中的内容的内容标识。基于接收指令，该客户端设备可查询服务器来确定该数据流中的内容的标识。

Description

用于标识数据流中的内容的方法和系统
相关申请的交叉引用
本申请要求美国临时专利申请序列号61/495,571的优先权，申请日为2011年6月10日，其全部内容通过引用并入本文。
技术领域
本公开涉及标识数据流中的内容。例如，本公开涉及客户端设备基于存储在客户端设备上的内容模式连续执行数据流中的内容的内容标识，以及在一些情况下，查询服务器以确定数据流中的内容的标识。
背景技术
用于各种数据类型(诸如音频或视频之类)的内容标识系统使用多种不同的方法。客户端设备可捕获媒体流(诸如无线电之类)的媒体样本记录，并可随后请求服务器来在媒体记录(也称为媒体轨道)的数据库中执行用于匹配的搜索以标识该媒体流。例如，该样本记录可被传送到内容标识服务器模块，内容标识服务器可执行该样本的内容标识并且返回该标识的结果给该客户端设备。标识结果可随后在该客户端设备上被显示给用户，或者被用于后续的服务，诸如购买或引用有关信息之类。用于内容标识的其它应用包括例如广播监控或内容敏感的广告。
现有内容标识系统可能需要用户交互来发起内容标识请求。很多时候，用户可在一首歌曲已经结束后发起请求，例如失去了标识该首歌曲的机会。
此外，在内容标识系统中，中央服务器从客户端设备接收内容标识请求，并执行计算密集型过程以标识该样本的内容。由于可用于执行标识的服务器的有限数量，当提供结果给客户端设备时，大量的请求会导致延迟。
发明内容
在一个示例中，提供一种用于标识数据流中的内容的方法。该方法包括在客户端设备处接收连续数据流，并且在该客户端设备处，基于在该客户端设备上存储的内容模式，连续执行该数据流中的内容的内容标识。该内容模式可包括信息以标识内容的片段。该方法进一步包括基于接收指令，该客户端设备查询服务器以确定该数据流中的内容的标识。
在另一个示例中，提供一种非瞬态计算机可读介质，具有存储在其中的由计算设备可执行的指令以引起该计算设备来执行功能。该功能包括在该计算设备处接收连续数据流，并且在该计算设备处，基于存储在该计算设备上的内容模式，连续执行该数据流中的内容的内容标识。该内容模式可包括信息以标识内容的片段。该功能进一步包括基于接收指令，该计算设备查询服务器以确定该数据流中的内容的标识。
在另一个示例中，提供一种用于标识数据流中的内容的系统，该系统包括处理器和数据存储，该数据存储存储该处理器可执行的指令，以执行以下功能：在计算设备处接收连续数据流，并且在该计算设备处，基于存储在该计算设备上的内容模式，连续执行该数据流中的内容的内容标识。该内容模式可包括信息以标识内容的片段。该功能进一步包括基于接收指令，该计算设备查询一服务器以确定该数据流中的内容的标识。
在另一个示例中，提供一种用于标识数据流中的内容的系统，该系统包括辩别服务器和请求服务器。该辩别服务器可被配置来从客户端设备接收查询以确定内容的标识，并且该查询可包括该内容的样本。该请求服务器可被配置来指示该客户端设备以操作在连续标识模式中，并且该客户端设备可在该连续标识模式中连续执行在该客户端设备处接收的数据流中的内容的内容标识。
前面的发明内容仅仅是说明性的，并且不意图以任何方式限制。除了这些上面描述的说明性方面、实施方式和特征，通过参考附图和接下来的详细描述其它方面、实施例和特征将变得明显。
附图说明
图1图示用于标识数据流中的内容的系统的一个示例。
图2图示示例内容标识方法。
图3示出用于标识数据流中的内容的示例方法的流程图。
图4图示用于标识数据流中的内容的示例系统。
具体实施方式
在接下来的详细描述中，参考形成其一部分的附图。在这些图中，相似的符号通常标识相似的组件，除非上下文另有规定。在详细描述、附图和权利要求书中所描述的说明性的实施例不意味着是限制性的。在不脱离这里提出的主题的精神和范围的情况下，可使用其它实施例或者可作出其它改变。这将很容易理解，如本文一般描述的和附图中图示的本公开的各个方面可以多种不同的配置被布置、替换、组合、分离以及设计，所有这些都在本文明确考虑。
本公开尤其可描述用于标识数据流中的内容的方法和系统。在一个示例中，客户端设备接收到连续数据流，并且基于存储在该客户端设备上的内容模式基本上连续地执行数据流中的内容的内容标识。存储在该客户端设备上的该内容模式可包括与媒体文件的提取特征或描述媒体文件的时间上映射的的特征集关联的信息。该客户端设备可确定该连续数据流是否包括媒体内容，以及基于该确定，在该客户端设备处连续执行数据流中的内容的内容标识。基于接收指令，该客户端设备可查询服务器来确定该数据流中的内容的标识。
现在参考附图，图1图示用于标识数据流中的内容的系统的一个示例。虽然图1图示了具有给定配置的系统，但是可以其它方式布置系统内的组件。该系统包括以任何已知的方式从数据流渲染(render)和呈现(present)数据内容的媒体或数据渲染源102。该数据流可被存储在该媒体渲染源102上或从外部源(诸如模拟或数字广播之类)接收。在一个示例中，该媒体渲染源102可以是广播媒体流(例如，音频和/或视频)和/或其它信息的无线电台或电视内容提供商。该媒体渲染源102也可以是播放记录或直播格式的音频或者视频媒体的任何类型的设备或者播放记录或直播格式的音频或者视频媒体。在替代示例中，该媒体渲染源102中可包括例如现场表演作为音频源和/或视频源。
该媒体渲染源102可通过图形显示器、音频扬声器、MIDI乐器、电子动物木偶(animatronic puppet)等、或例如由该媒体渲染源102提供的任何其它类型的显示来渲染或呈现该媒体流。
客户端设备104通过输入接口106从该媒体渲染源102接收该媒体流的渲染。在一个示例中，该输入接口106可以包括天线，在这种情况下，该媒体渲染源102可以无线方式广播该媒体流到该客户端设备104。但是，依赖于该媒体流的形式，该媒体渲染源102可使用无线或有线通信技术渲染该媒体。在其它示例中，该输入接口106可以包括麦克风，摄像机，振动传感器，无线电接收器，网络接口等中的任何一个。作为具体的示例，该媒体渲染源102可播放音乐，以及该输入接口106可包括麦克风以接收该音乐的样本。
在示例中，除了接收该媒体流的渲染外，该客户端设备104可以不操作地连接到该媒体渲染源102。在这种方式中，该客户端设备104可以不被该媒体渲染源102控制，以及可以不是该媒体渲染源102的组成部分，在图1中所示的示例中，该客户端设备104是与该媒体渲染源102分离的实体。
该输入接口106被配置来捕获所渲染的媒体流的媒体样本。该输入接口106可被预编程以连续地捕获媒体样本而无需用户干预，诸如记录接收的所有音频并且在缓冲器108存储记录。该缓冲器108可存储多个记录，或者可在限定时间内存储记录，以使得例如该客户端设备104可在预定的时间间隔记录和存储记录。在其它示例中，可通过用户激活按钮或者其它应用影响该媒体样本的捕获以触发该样本捕获。例如，该客户端设备104的用户可按下按钮以通过麦克风记录10秒数字音频样本，或者使用相机来捕获静态图像或视频序列。
该客户端设备104可以被实现为小型便携式(或移动)电子设备(诸如蜂窝电话、无线蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网页查看设备、个人耳机设备、专用设备、或者包括任何上述功能的混合设备)的一部分。该客户端设备104也可以被实现为包括膝上型计算机和非膝上型计算机的配置二者的个人计算机。该客户端设备104也可以是较大设备或系统的组件。
该客户端设备还包括位置标识模块110和内容标识模块112。该位置标识模块110被配置为从缓存器108接收媒体样本，并基于在那个时刻正在被捕获的媒体样本，标识对应的估计的时间位置(Ts)以指示媒体样本进入该渲染的媒体流的时间偏移。在一些示例中，该时间位置(Ts)也可以是从该媒体流开始的流逝的时间的量。
该内容标识模块112被配置为从缓存器108接收媒体样本，并在接收到的媒体样本上执行内容标识。该内容标识标识媒体流、或者标识关于媒体样本或与媒体样本有关的信息。该内容标识模块112可用于或结合于诸如例如被英国伦敦的Shazam娱乐公司提供的、加利福尼亚州爱莫利维尔市的Gracenote提供的、或加利福尼亚州圣何塞的Melodis提供的任何示例媒体样本信息检索服务。这些服务操作来接收环境音频的样本，标识该音频样本的音乐内容，并为用户提供关于该音乐的信息，包括曲目名称、艺术家、专辑、艺术作品(artwork)、传记、唱片目录、演唱会门票等。
在这方面，该内容标识模块112包括媒体搜索引擎114，并且可包括或者被耦合到对参考媒体流编索引的数据库116，例如，来将该接收到的媒体样本与所存储的信息进行比较，以便于标识该接收到的媒体样本中的轨道。一旦标识出该媒体流中的轨道，可在该客户端设备104的显示器上显示轨道标识或其它信息。
该数据库116可存储包括用以标识内容的片段(pieces of content)的信息的内容模式。该内容模式可包括媒体记录，并且每个记录可由唯一的标识符(例如，sound_ID)来标识。可替代地，该数据库116可不必要为每个记录存储音频或视频文件，因为sound_ID可被用于从其它地方检索音频文件，该内容模式可包括其它信息，诸如参考签名文件(包括描述媒体记录的内容的时间上映射的特征集，其具有对应于该媒体记录的时间线的时间维度)，以及每一个特征可以是在每一个映射的时间点的附近的内容的描述。该内容模式可进一步包括与媒体文件的提取的特征相关联的信息。该数据库116可以包括多个内容模式，以使该客户端设备104能够执行匹配于本地存储的内容模式的内容的内容标识。
该数据库116还可包括用于每个存储的内容模式的信息，诸如指示关于该内容模式的信息的元数据，如艺术家姓名、歌曲的长度、歌曲的歌词、歌词的行或字的时间索引、专辑艺术作品或关于文件的任何其它标识或有关信息。
图1中的系统还包括该客户端设备104可通过无线或有线链路耦合到的网络120。提供耦合到网络120的服务器122，并且该服务器122包括位置标识模块124和内容标识模块126。虽然图1图示该服务器122包括该位置标识模块124和该内容标识模块126两者，但是该位置标识模块124和/或该内容标识模块126中任何一个例如可以是与该服务器122分离的实体。另外，该位置标识模块124和/或该内容标识模块126例如可在通过该网络120连接到该服务器122的远程服务器上。
在一些示例中，该客户端设备104可捕获媒体样本，并且可通过该网络120发送该媒体样本到该服务器122，以确定媒体样本中的内容的标识。该服务器122的位置标识模块124和内容标识模块126可被配置来类似于该客户端设备104的位置标识模块110和内容标识模块112操作。在这方面，该内容标识模块126包括媒体搜索引擎128，并且可包括或耦合到索引参考媒体流的数据库130，例如，来将该接收到的媒体样本与该存储的信息进行比较，以便标识接收到的媒体样本内的轨道。一旦标识出媒体流内的轨道，轨道标识或其它信息就可被返回到该客户端设备104。
在其它示例中，该客户端设备104可从该媒体渲染源102捕获媒体流的样本，并且可在样本上执行初始处理，以便创建该媒体样本的指纹。该客户端设备104可随后发送该指纹信息到该服务器122的位置标识模块124和/或内容标识模块126，其可单独基于该指纹信息标识关于该样本的信息。以这种方式，例如可以在该客户端设备104处执行较多的计算或标识处理，而不是在该服务器122处。
该客户端设备104可被配置来首先尝试对接收到的媒体样本的内容标识，并且如果不成功，则该客户端装置104可查询该服务器122以确定数据流中的内容的标识。在其它示例中，该客户端设备104可基于接收来自用户这样做的指令来查询该服务器122。
用于使用媒体轨道的数据库来执行媒体样本和媒体样本的特征的计算内容标识的各种内容标识技术在本领域是已知的。下列美国专利和出版物描述了用于媒体识别技术的可能示例，并且每个通过引用的方式被全部并入本文，仿佛完全阐述在本说明书中：Kenyon等人的美国专利号4,843,562，名称为“Broadcast Information ClassificationSystem and Method”；Kenyon的美国专利号4,450,531，名称为“Broadcast SignalRecognition System and Method”；Haitsma等人的美国专利申请公开号2008/0263360，名称为“Generating and Matching Hashes of Multimedia Content”；Wang和Culbert的美国专利号7,627,477，名称为“Robust and Invariant Audio Pattern Matching”；Wang,Avery的美国专利申请公开号2007/0143777，名称为“Method and Apparatus forIdentification of Broadcast Source”；Wang和Smith的美国专利号6,990,453，名称为“System and Methods for Recognizing Sound and Music Signals in High Noise andDistortion”；以及Blum等人的美国专利号5,918,223，名称为“Method and Article ofManufacture for Content-Based Analysis,Storage,Retrieval,and Segmentation ofAudio Information”。
简要地说，(该客户端设备104或该服务器122内的)该内容标识模块可被配置来接收媒体记录并采样该媒体记录。该记录可被与数字化、标准化的参考信号段相关，以为每个作为结果的相关段获得关联函数峰值，从而当该相关函数峰值之间的间隔位于预定的界限内时提供识别信号。符合相关函数峰值的RMS功率值的模式可匹配在来自该数字化的参考信号段的RMS功率值的模式的预定界限内，如例如美国专利号4,450,531中指出的，其通过引用的方式被全部并入本文。该匹配媒体内容可由此被标识。此外，例如通过匹配相关段的位置以及相关峰值的偏移给出该媒体内容中的媒体记录的匹配位置。
图2图示另一示例内容标识方法。一般来说，可通过标识或者计算媒体样本的特性或指纹并且将该指纹与先前标识的参考媒体文件的指纹相比较标识媒体内容。在该样本中计算指纹处的特定地点可依赖于该样本中的可重现点(reproducible point)。这种可重现可计算的地点被称为“地标(landmark)”。该地标在该样本中的地点可被通过该样本本身确定，即依赖于样本质量，并且是可重现的。也就是，每次重复该过程，可为相同的信号计算相同或类似的地标。加地标方案(landmarking scheme)可在声音记录的每秒标记大约5个到大约10个地标；然而地标密度可依赖于在该媒体记录中的活动量。被称为功率标准(PowerNorm)的一种加地标技术是在该记录中的多个时间点处计算瞬时功率并且选择局部最大值。这样做的一种方式是通过整流和直接滤波波形来计算包络。另一种方式是计算信号的希尔伯特(Hilbert)变换(正交)并且使用希尔伯特变换和原始信号的幅度平方(magnitudesquared)的总和。也可使用计算地标的其它方法。
图2图示样本与时间的dB(幅度)的示例点图。该点图图示标识出的多个地标位置(L1到L8)。一旦已经确定该地标，就在该记录中的每个地标时间点处或附近计算指纹。通过所使用的指纹方法定义对应地标到特征的接近。在某些情况下，如果特征清楚地对应于地标，而不是前面的或者后面的地标，则认为该特征接近该地标。在其它情况下，特征对应于多个相邻的地标。指纹通常是概括该记录中的在地标时间点处或附近的特征的集合的一个值或值的集合。在一个示例中，每个指纹是作为多个特征的散列函数的单一数值。其它指纹的示例包括频谱切片指纹(spectral slice fingerprint)、多切片指纹、LPC系数、倒谱系数和谱图峰值(spectrogram peak)的频率分量。
可通过任何类型的数字信号处理或信号的频率分析计算指纹。在一个示例中，为生成光谱切片指纹，在每个地标时间点的邻域中执行频率分析来提取前几个频谱峰值。然后指纹值可以是最强的频谱峰值的单一频率值。有关计算音频样本的特性或指纹的更多信息，读者可参考Wang和Smith的美国专利号6,990,453，名称为“System and Methods forRecognizing Sound and Music Signals in High Noise and Distortion”，其全部公开在此通过引用并入本文，仿佛完全阐述在本说明书中。
因此，返回参考图1，该客户端设备104或该服务器122可以接收记录(例如，媒体/数据样本)，并计算该记录的指纹。在一个示例中，为标识关于记录的信息，该客户端设备104的内容标识模块112可随后访问数据库116，来通过生成在等效指纹和数据库116中的文件的对应，将该记录的指纹与已知的音频轨道的指纹匹配，以定位具有最大数量的线性相关对应的文件，或者其特性指纹的相对地点最接近地匹配该记录中的相同指纹的相对地点的文件。
参考图2，图示样本和参考文件的地标的散点图(scatter plot)，其图示指纹匹配(或基本匹配)。该样本可与多个参考文件比较以生成多个散点图。在生成散点图后，可标识该地标对之间的线性对应，并且可根据线性相关的对的数量对集合进行评分。当例如在允许的容差内，可使用基本上相同的线性方程描述对应样本地点和参考文件地点的统计上显著的数量时，线性对应可能出现。具有最高统计上显著的分数(即具有最大数量的线性相关对应)的集合的文件是胜出文件，并且可被视为匹配媒体文件。
在一个示例中，为了生成文件的分数，可生成偏移值的直方图。偏移值可以是指纹匹配处的样本和参考文件之间的地标时间位置的差。图2图示偏移值的示例直方图。可以对参考文件给出等于该直方图的峰值的分数(例如，图2中的分数＝28)。可以以这种方式处理每一个参考文件以生成分数，并且具有最高分数的参考文件可被确定为匹配样本。
作为标识该媒体流中的内容的另一示例，可分析媒体样本以使用局部化匹配技术标识它的内容。例如，通常，可通过从各自的样本推导的第一匹配特定指纹对象表征两个媒体样本之间的关系。为每一个媒体样本生成指纹对象的集合，每一个发生在特定地点处。依赖于各自的媒体样本的内容确定每一个地点，并且每一个指纹对象表征在各自的特定位置处或附近的一个或多个局部特征。接着为每一对匹配的指纹对象确定相对值。然后生成相对值的直方图。如果找到统计上显著的峰值，则两个媒体样本可被表征为基本匹配。此外，可确定指示有多少音频样本相比较于原始/参考音频轨道被加快或减慢的时间拉伸比。对于该方法的更详细的说明，读者可参考Wang和Culbert的美国专利号7,627,477，名称为“Robust and Invariant Audio Pattern Matching”，其全部公开通过引用并入本文，仿佛完全阐述在本说明书中。
此外，上面的出版物中描述的系统和方法可以不止返回媒体样本的标识。例如，使用在Wang和Smith的美国专利号6，990，453中描述的方法除了与标识的音频轨道相关的元数据外还可返回从标识的样本开始的媒体样本的相对时间偏移(RTO)。为确定记录的相对时间偏移，可将样本的指纹与该指纹匹配于的原始的文件指纹相比较。每个指纹发生在给定的时间，所以匹配指纹以标识样本后，(该样本中的匹配的指纹的)第一指纹与所存储的原始文件的第一指纹之间的时间差将是该样本的时间偏移，例如，进入一首歌的时间的量。因此，可确定取得该样本处的相对时间偏移(例如，67秒进入一首歌)。也可使用其它信息以确定RTO。例如，直方图峰值的地点可被认为是从该参考记录的开始到该样本记录的开始的时间偏移。
依赖于媒体样本的类型也可执行其它形式的内容标识。例如，可使用视频标识算法以标识视频流(例如，电影)中的位置。Oostveen,J.等人的“Feature Extraction and aDatabase Strategy for Video Fingerprinting”中描述了示例视频标识算法，讲义在《计算机科学》，2314(2002年3月11日)，117-128，其全部内容通过引用并入本文。例如，可通过确定哪一个视频帧被标识出来推导进入视频的视频样本的位置。为标识该视频帧，可将该媒体样本的帧分成行和列的网格，并且对于该网格的每一块，计算像素的平均亮度值。应用空间滤波器到该计算的平均亮度值以为该网格的每一块推导出指纹位。这些指纹位可用于唯一标识该帧，并且可与包括已知媒体的数据库的指纹位比较或匹配。从帧中提取的指纹位可被称为子指纹，以及指纹块是来自于相邻帧的固定数量的子指纹。使用该子指纹和指纹块，可执行视频样本的标识。基于媒体样本包括哪一个帧，可确定进入视频(例如，时间偏移)的位置。
此外，诸如使用加水印方法之类也可以执行其它形式的内容标识。可通过该客户端设备104的该位置标识模块110使用加水印方法(以及类似地通过该服务器122的位置标识模块124)，以确定时间偏移，使得该媒体流具有在时间间隔处的嵌入的水印，并且每个水印可例如通过数据库查找直接或间接指定水印的时间或位置。
在用于实现该内容标识模块112的功能的一些上述示例内容标识方法中，标识处理的副产品可能是媒体流中的媒体样本的时间偏移，因此，在这样的示例中，该位置标识模块110可以与该内容标识模块112相同，或该位置标识模块110的功能可以由内容标识模块112执行。
在一些示例中，该客户端设备104或该服务器122可以通过该网络120进一步访问媒体流库数据库132来选择对应于该采样的媒体的媒体流，该采样的媒体可随后被返回给该客户端设备104以通过该客户端设备104被渲染。该媒体流库数据库132中的信息或该媒体流库数据库132本身可包括在该数据库116中。
例如基于该媒体样本的标识对应于该媒体样本的媒体流可被该客户端设备104的用户手动选择、被该客户端设备104可编程选择，或被该服务器122选择。所选择的媒体流可以是与该媒体样本不同类型的媒体，并且可与正在被该媒体渲染源102渲染的媒体同步。例如，该媒体样本可以是音乐，并且该选择的媒体流可以是歌词、乐谱、吉他谱、音乐伴奏、视频、电子动物木偶舞蹈，可以同步于音乐的动画序列等。该客户端设备104可接收对应于媒体样本的选择的媒体流，并可与正在被该媒体渲染源102渲染的媒体同步地渲染所选择的媒体流。
正在被该媒体渲染源102渲染的媒体的估计的时间位置被该位置标识模块110确定，并且用于确定在选择的媒体流中对应的位置，在该对应的位置处渲染该选择的媒体流。当触发该客户端设备104以捕获媒体样本时，根据该客户端设备104的参考时钟记录时间戳(T0)。在任意时间t，从所估计的标识的媒体流位置Ts加上流逝时间确定估计的实时媒体流位置Tr(t)，因为该时间戳的时间是：
Tr(t)＝Ts+t-T0 等式(1)
Tr(t)是从该媒体流的开始到作为当前被渲染的该媒体流的实时位置之间流逝的时间量。因此，使用Ts(即，基于该记录的样本从该媒体流的开始到该媒体流的位置估计的流逝的时间量)可计算该Tr(t)。随后该客户端设备104使用Tr(t)与正被该媒体渲染源102渲染的媒体同步呈现该选择的媒体流。例如，该客户端设备104可在时间位置Tr(t)，或在使得Tr(t)时间量已经流逝的位置处开始渲染该选择的媒体流，以与正被媒体渲染源102渲染的媒体同步地渲染和呈现该选择的媒体流。
在一些实施例中，为了减轻或防止选择的媒体流从与正被媒体渲染源102渲染的媒体的同步中掉队，可根据速度调整比(speed adjustment ratio)R调整估计的位置Tr(t)。例如，在美国专利号7,627,477、名称为“Robust and invariant audio patternmatching”的专利中描述的方法(该全部内容通过引用并入本文)可被执行以标识媒体样本、估计的标识的媒体流位置Ts和速度比R。为估计该速度比R，计算匹配指纹的变量(variant)部分的交叉频率比(cross-frequency ratio)，并且因为频率与时间成反比例，所以交叉时间比是该交叉频率比的倒数。交叉速度比R是该交叉频率比(如，该交叉时间比的倒数)。
更具体地说，使用上面描述的多种方法，两个音频样本之间的关系可通过生成该样本的时间频率频谱图(例如，在每个帧内计算傅里叶变换来生成频率条(frequencybin))，并且标识频谱图局部能量峰值来表征。该局部能量峰值的相关信息被提取并且概括进指纹对象列表中，每一个指纹对象可选地包括地点字段(location field)、变量分量(variant component)和非变量分量(variant component)。然后可匹配从各自的音频样本的频谱图推导出的特定指纹对象。为每一对匹配的指纹对象确定相对值，其可例如是该各自音频样本的参数值的对数的商或差。
在一个示例中，从该媒体样本的频谱图中选择频谱峰值的局部对，并且每一个局部对包括指纹。类似地，从已知的媒体流的频谱图中选择频谱峰值的局部对，并且每个局部对包括指纹。可确定样本和已知的媒体流之间的匹配指纹，并且可计算样本和已知的媒体流中的每一个的频谱峰值之间的时间差。例如，样本的两个峰值之间的时间差被确定，并且与该已知的媒体流的两个峰值之间的时间差比较。可比较这两个时间差的比率，并且可生成包括多个这样的比率(例如从指纹的匹配对提取)的直方图。可确定该直方图的峰值作为实际速度比(例如，该媒体渲染源102播放该媒体的速度与在参考媒体文件上渲染媒体的速度相比的差)。因此，可通过在直方图中找到峰值获得该速度比R的估计，例如，以使得直方图中的峰值作为相对音高(relative pitch)，或者在线性伸展的情况下，作为相对回放速度，表征该两个音频样本之间的关系。
因此，可使用来自该两个音频样本的对应的变量分量从匹配的指纹对象计算该全局相对值(例如，速度比R)。该变量分量可以是从每一个指纹对象的位置附近的局部特征确定的频率值。该速度比R可以是频率或delta时间的比率，或导致用于描述两个音频样本之间的映射的全局参数的估计的一些其它函数。该速度比R可以被认为是例如相对回放速度的估计。
也可以用其它方法估计该速度比R。例如，可捕获该媒体的多个样本，并且可在每个样本上执行内容标识以为第k个样本获得在参考时钟时间T0(k)的多个估计的媒体流位置Ts(k)。然后，R可以被估计为：
为表示R为时间变化，可以使用以下等式：
因此，可使用在一个时间跨度上该估计的时间位置Ts计算该速度比R以确定媒体渲染源102正在渲染媒体的速度。
利用该速度比R，可计算该实时媒体流的估计为：
Tr(t)＝Ts+R(t-T0) 等式(4)
该实时时间媒体流位置指示媒体样本的时间的位置。例如，如果该媒体样本来自于具有四分钟长度的一首歌，并且如果Tr(t)是一分钟，则指示该首歌的一分钟已经流逝。
图3示出用于标识数据流中的内容的示例方法300的流程图。可以理解的是为了本文公开的这个或其它的处理和方法，该流程图示出本实施例的一个可能的实现方式的功能和操作。鉴于此，每一个块可表示程序代码的模块、段或者部分，程序代码包括由处理器可执行的为实现该处理中的特定逻辑功能或步骤的一个或多个指令。该程序代码可被存储在任何类型的计算机可读介质或数据存储上，例如，诸如包括盘或硬盘驱动器的存储设备之类。该计算机可读介质可包括非瞬态计算机可读介质，例如，诸如在短时间期间内存储数据的计算机可读介质之类，像寄存器存储器、处理器缓存和随机存取存储器(RAM)。该计算机可读介质也可包括非瞬态介质，诸如二次或长期持久存储之类，例如像只读存储器(ROM)、光或磁盘、压缩盘只读存储器(CD-ROM)。该计算机可读介质也可以是任何其它易失性或非易失性存储系统。该计算机可读介质可被认为是例如有形的计算机可读存储介质。
另外，图3中的每个块可表示为被连线以执行处理中的特定逻辑功能的电路。可替换的实现方式被包括在本公开的示例实施例的范围内，其中依赖于涉及的功能，可与示出或讨论的次序颠倒地执行多个功能，包括基本上并发或反向顺序，如本领域技术人员将理解。
该方法300包括(在块302)在客户端设备处接收连续数据流。该连续数据流可包括任何类型的数据或媒体，诸如无线电广播、电视音频/视频、或任何正被渲染的音频之类。该数据流可被源连续渲染，并且因此该客户端设备可连续接收该数据流。在一些示例中，该客户端设备可接收基本上连续数据流，以使得该客户端设备接收该渲染的数据流的大量部分，或者以使得该客户端设备在基本上所有时间接收该数据流。
该方法300包括(在块304)确定该连续数据流是否包括媒体内容。在一个示例中，该客户端设备可处理该数据流以确定该数据流的特征的变化，从而包括在讲话中的语音或非语音分量中的有区别的改变，并且将该数据流与媒体内容的已知特性比较以确定该数据流是否包括内容。在一个示例中，该客户端设备使用美国专利号6,570,991中描述的方法(其整个内容通过引用并入本文)可确定该数据流是否包括媒体内容，诸如包括歌曲的音频之类。在其它示例中，使用Sheirer和Slaney公开在ICASSP 1997会议记录(在声学、语音和信号处理的1997IEEE国际会议的会议记录(ICASSP’97))第二卷中的“Construction andEvaluation of a Robust Multifeature Speech/Music Discriminator”描述的方法(其整个内容通过引用并入本文)，该客户端设备可确定该数据流是否包括内容，诸如包括歌曲的音频之类。
该方法300包括(在块306)基于存储在该客户端设备上的内容模式在该客户端设备处基本上连续执行数据流中的内容的内容标识。该内容模式可包括用以标识内容的片段的信息并且可包括任何类型的信息，诸如例如与媒体文件的提取特征或描述媒体文件的时间上映射的特征集相关联的信息。每一个内容模式可进一步包括例如对给定的参考文件的地标-指纹对。
该客户端设备可接收该连续数据流并且可连续执行内容标识。在这种方式中，该客户端设备可尝试去标识接收到的所有内容。该内容标识可被基本上连续执行，以例如使得可在所有时间或基本上所有时间执行内容标识，同时该客户端设备在操作，或同时包括内容标识功能的应用在运行。
在一些示例中，一旦接收到数据流，可执行内容标识，并且因此当没有接收到该数据流时，可以不执行内容标识。该客户端设备可被配置来从麦克风连续接收数据流(例如，总是捕获周围音频)。在一个示例中，基于确定该数据流是否包括媒体内容(在块304)，该客户端设备可随后在该客户端设备处连续执行数据流中的内容的内容标识，以使得当该数据流包括媒体数据时(并且不当该数据流包括随机周围噪音时)，该客户端设备执行该内容标识。
该客户端设备可被配置来连续执行该内容标识，从而在不需要用户输入的情况下执行内容标识(例如，该用户不不得不触发该客户端设备来执行该内容标识)。该客户端设备的用户可发起连续执行该内容标识的应用，或可在该客户端设备上配置设置，以使得该客户端设备连续执行该内容标识。
该方法300包括(在块308)基于接收指令，该客户端设备查询服务器来确定该数据流中的内容的标识。基于该客户端设备上本地存储的内容模式，该客户端设备可执行内容标识。该客户端设备可包括有限数量的内容模式，并且因此，该客户端设备的内容标识能力可能被限制。因此，在一个示例中，用户可提供指令以查询该服务器来确定内容的标识。用户可当该客户端设备没能标识内容的时候提供该指令，诸如在本地存储的内容模式不匹配该数据流中的任何内容的情况下。
作为另一个示例，如果该数据流中的内容包括媒体内容并且没有在该客户端设备处被标识出，则该客户端设备可提供通知给该用户，并且该用户可提供引起该客户端设备查询该服务器来确定该数据流中的内容的标识的通知的选择。
基于用户请求来这么做，或者在内容标识具有较低的正确的可能性的情况下(例如，匹配指纹的数量低于预定的阈值)，该客户端设备可进一步查询该服务器来验证该客户端设备执行的内容的标识。
使用图3中的该方法300，该客户端设备可本地标识特征内容(基于本地存储的内容模式)，并且任何没被该客户端设备标识的内容可被该服务器标识。该方法300使得所有的内容标识处理在该客户端设备上被执行(例如，提取样本的特征，搜索存储在电话上的内容模式的有限集合等)。在一个示例中，当该客户端设备捕获到特征内容时，该客户端设备可执行内容标识并提供通知(例如弹出窗口)以指示识别。该方法300可为用户提供零点击标注体验来当标识出特征内容时通知用户。
上载或存储在该客户端设备上的内容模式可与被确定为更大可能被媒体源渲染的媒体文件相关联。因此，流行内容或特征内容的内容模式可被存储在该客户端设备上，以使得该客户端设备可首先尝试执行本地内容标识，并且如果失败了，该用户可指示该客户端设备来查询该服务器。
标识数据流中的内容后，该客户端设备可执行多个功能，诸如例如显示有与该标识的内容有关的广告或显示与该标识的内容有关的同步媒体。作为另外一个示例，标识内容后，该客户端设备可指引用户到与该内容有关或与该内容无关的网站、视频等。
图4图示用于标识数据流中的内容的示例系统400。图4中的系统的一个或多个描述的功能或组件可被分成附加功能或物理组件，或可组合为更少的功能或物理组件。在一些另外示例中，附加功能和/或物理组件可被添加到由图4图示的示例中。
系统400包括识别服务器402和请求服务器404。该识别服务器402可被配置为从客户端设备接收查询来确定内容的标识，并且该查询可包括该内容的样本。该识别服务器402包括位置标识模块406、包括媒体搜索引擎410的内容标识模块408，并且被耦合到数据库412和媒体流库数据库414。该识别服务器404可被配置为类似于例如图1中的服务器122操作。
该请求服务器404可被配置为指示该客户端设备以连续标识模式操作，以使得该客户端设备以该连续标识模式在该客户端设备处连续执行接收的数据流中内容的内容标识(而不是或者除了发送查询给该识别服务器402来标识内容)。该请求服务器404可被耦合到包括内容模式的数据库416，以及该请求服务器404可访问该数据库416以检索内容模式并发送内容模式给该客户端设备。
在一个示例中，该请求服务器404可给该客户端设备发送一个或多个内容模式和用以在该客户端设备处连续执行数据流中的内容的内容标识的指令。该客户端设备可响应地以连续模式执行。在该识别服务器402正体验高容量的内容标识请求的时间期间，该请求服务器404可发送该指令到该客户端设备，并且因此该请求服务器402通过指示一些客户端设备本地执行内容标识来执行负载平衡。可接收高容量的请求的示例时间包括在当大量观众调谐到包括歌曲的电视的时间期间广告何时集合在该电视上。在这种例子中，该请求服务器404可预先计划，并且提供匹配要在广告期间渲染的该首歌的内容模式给该客户端设备，以及包括该客户端设备本地执行内容标识的指令。该指令可包括指示什么时候该客户端设备应该执行本地内容标识，诸如指示在将来的时间或在一段时间内这样操作。在一些示例中，为了提升，可提供内容模式给该客户端设备以具有模式的本地缓存(例如，大约100到500个内容模式)，以及只要该提升运行，该指令就可指示该客户端设备以本地执行内容标识。
该请求服务器404基于多个标准可选择要被提供给该客户端服务器的内容模式。例如，该请求服务器404可接收与该用户的简档有关的信息，并且可选择与该用户的简档相关的内容模式以提供给该客户端设备。特别是，用户可指定对于某些音乐流派、艺术家、音乐类型、音乐源等的偏好，以及该请求服务器404可为与这些偏好相关的媒体提供内容模式。
作为另一个示例，该请求服务器404可请求与客户端设备的(以前或当前的)地点有关的信息，并且可选择与该客户端设备的地点相关联的内容模式以提供给该客户端设备。特别是，该请求服务器404可接收指示该客户端设备被置于音乐会中的信息，并且可选择与音乐会中的音乐流派或该艺术家相关联的内容模式以提供给该客户端设备。
作为另一个示例，该请求服务器404可接收与存储在该客户端设备上的媒体内容有关的信息，并且可选择与存储在该客户端设备上的媒体内容有关的内容模式以提供给该客户端设备。内容模式可以以诸如通过艺术家、流派、类型、年代、拍子等多种方式相关。
作为另一个示例，该请求服务器404可接收与该客户端设备的先前标识的媒体内容有关的信息，并且可选择与被该客户端设备或该识别服务器402先前标识的内容有关的内容模式以提供给该客户端设备。在这个示例中，该请求服务器404可存储被该客户端设备或该识别服务器402标识的内容的列表以选择和提供与标识的内容有关的内容模式。
作为另一个示例，基于被第三方接收的信息，该请求服务器404可选择内容模式以提供给该客户端设备。该第三方可提供选择给该请求服务器404以选择提供给该客户端设备的内容模式。在一个示例中，基于要在无线电或电视广告中运行的未来广告中包括的内容，第三方广告商可选择内容模式。
作为另一个示例，该请求服务器404可选择内容模式以提供给该客户端设备，该内容模式基于指示关于内容标识的历史的内容的片段的流行性的统计简档。在这个示例中，该请求服务404可保持被该识别服务器402标识的媒体内容的列表，以及可基于对每个媒体内容的内容标识请求的数量排序媒体内容的流行性。对于已经接收到内容标识请求的数量高于阈值(例如，在给点时间期间中1000个请求)的媒体内容，该请求服务器404可选择那些媒体内容的内容模式并提供该内容模式给该客户端设备。在这种方式中，该客户端设备将具有该内容模式的本地副本并可本地执行内容标识。
在另外的示例中，该请求服务器404可选择基于标准的任意组合(诸如基于该客户端设备的地点和从第三方(例如，第三方标识基于它们的地点标识多个内容模式以提供给客户端设备)接收到的选择的内容模式之类)的内容模式以提供给该客户端设备。
通常，在一些示例中，基于该客户端设备(或该客户端设备的用户)将请求所选择的内容的内容标识的可能性，该请求服务器404选择内容模式以提供给该客户端设备。例如，对于已经发布的或者对于其该识别服务器402在过去的一天中已接收到内容标识请求的尖锋(spike)的新的或流行的歌曲，该请求服务器404可提供那些歌曲的内容模式给该客户端设备，以使得该客户端设备可执行本地内容标识而不需要与该识别服务器402通信。这可从该标识服务请求402卸载通信量以及通过在该客户端设备上本地执行该内容标识使得能够更快地执行内容标识。
使用本文描述的示例方法，对于有限的内容的集合，可在该客户端设备上执行所有的内容标识处理。例如，对于提升，可提供与提升的内容有关的内容模式给该客户端设备，并且该客户端设备可被配置为在连续标识模式中操作并且能够标识这个有限的内容的集合。
虽然本文已经公开了不同方面和实施例，但是其它方面和实施例对那些本领域技术人员将是明显的。本文公开的该不同方面和实施例的目的在于说明，并不是意图限制被接下来的权利要求书指示的范围和精神。在不需要脱离它的精神和范围的情况下可以作出多种修改和变化，如对那些本领域技术人员是明显的。依据前面的描述，除了那些本文列举的，在本公开的范围内的功能性等效的方法和设备对那些本领域技术人员也是明显的。意图这种修改和变化落入所附的权利要求书的范围中。
虽然可以对该描述的示例作出细节上的很多修改、变化和改变，但是意图在于前面说明书中和附图中所示的所有内容被解释为说明性的，而不是限制的意思。

Claims (24)

1.一种用于标识数据流中的内容的方法，包括：
在客户端设备处接收内容的一个或多个内容模式，其中从包括与用户的简档相关的内容模式、与该客户端设备的地点相关联的内容模式、与被该客户端设备或服务器先前标识的内容有关的内容模式、以及与存储在该客户端设备上的媒体内容有关的内容模式的组选择该一个或多个内容模式；
在客户端设备处接收连续数据流；
在该客户端设备处，基于在该客户端设备上接收并存储的一个或多个内容模式，连续执行该数据流中的内容的内容标识，其中该内容模式包括用以标识内容的片段的信息；以及
基于接收指令，该客户端设备查询服务器以确定该数据流中的内容的标识。
2.如权利要求1所述的方法，进一步包括：
确定该连续数据流是否包括媒体内容；
基于该确定，在该客户端设备处连续执行该数据流中的内容的内容标识。
3.如权利要求2所述的方法，进一步包括：
如果该数据流中的内容包括媒体内容并且没有在该客户端设备处被标识，则该客户端设备提供通知；以及
接收该通知的用户选择，以引起该客户端设备查询该服务器来确定该数据流中的内容的标识。
4.如权利要求1所述的方法，进一步包括确定该数据流中的内容是否匹配存储在该客户端设备上的任何内容模式。
5.如权利要求1所述的方法，其中连续执行该数据流中的内容的内容标识的步骤包括在不需要用户指令的情况下执行内容标识。
6.如权利要求1所述的方法，进一步包括：
从该服务器接收指令来在该客户端设备处连续执行该数据流中的内容的内容标识。
7.如权利要求1所述的方法，其中基于指示关于内容标识的历史的内容的片段的流行性的统计简档，选择该一个或多个内容模式。
8.如权利要求1所述的方法，其中通过第三方选择该一个或多个内容模式。
9.如权利要求1所述的方法，进一步包括：
该客户端设备标识数据流中的内容；以及
基于该标识的内容，该客户端设备显示与该标识的内容有关的广告。
10.如权利要求1所述的方法，进一步包括：
该客户端设备标识该数据流中的内容；以及
基于该标识的内容，该客户端设备显示与该标识的内容有关的同步的媒体。
11.如权利要求1所述的方法，进一步包括：
该客户端设备标识该数据流中的内容；以及
该客户端设备查询该服务器来验证该标识。
12.如权利要求1所述的方法，其中存储在该客户端设备上的内容模式包括与媒体文件的提取的特征相关联的信息。
13.如权利要求1所述的方法，其中存储在该客户端设备上的内容模式包括描述媒体文件的时间映射的特征集。
14.一种用于标识数据流中的内容的系统，包括：
处理器；以及
数据存储，以存储该处理器可执行的指令以执行以下功能：
在计算设备处接收内容的一个或多个内容模式，其中从包括与用户的简档相关的内容模式、与客户端设备的地点相关联的内容模式、与被该客户端设备或服务器先前标识的内容有关的内容模式、以及与存储在该客户端设备上的媒体内容有关的内容模式的组选择该一个或多个内容模式；
在计算设备处接收连续数据流；
在该计算设备处，基于接收并存储在该计算设备上的一个或多个内容模式，连续执行该数据流中的内容的内容标识，其中该内容模式包括用以标识内容的片段的信息；
基于接收指令，该计算设备查询服务器以确定该数据流中的内容的标识。
15.如权利要求14所述的系统，其中该指令进一步包括可执行以进一步执行以下功能的指令：
确定该连续数据流是否包括媒体内容；
基于该确定，在该计算设备处连续执行该数据流中的内容的内容标识。
16.如权利要求14所述的系统，其中
基于指示关于该内容标识的内容的片段的流行性的统计简档选择内容模式。
17.如权利要求14所述的系统，其中该指令进一步包括可执行以进一步执行以下功能的指令：
该计算设备标识该数据流中的内容；以及
基于该标识的内容，该计算设备显示与该标识的内容有关的广告。
18.一种用于标识数据流中的内容的系统，包括：
识别服务器，被配置为从客户端设备接收查询以确定内容的标识，其中该查询包括该内容的样本；以及
请求服务器，被配置为指示该客户端设备以操作在连续标识模式中，其中该客户端设备在该连续标识模式中连续执行在该客户端设备处接收的数据流中的内容的内容标识。
19.如权利要求18所述的系统，其中该请求服务器被配置为提供一个或多个内容模式给该客户端设备，其中该内容模式包括用以标识内容的片段的信息。
20.如权利要求19所述的系统，其中该请求服务器被配置为基于用户的简档来选择该一个或多个内容模式。
21.如权利要求19所述的系统，其中该请求服务器被配置为基于该客户端设备的地点选择该一个或多个内容模式。
22.如权利要求19所述的系统，其中该请求服务器被配置为基于先前查询中的内容的样本选择该一个或多个内容模式。
23.如权利要求19所述的系统，其中该请求服务器被配置为基于存储在该客户端设备上的媒体内容选择该一个或多个内容模式。
24.如权利要求19所述的系统，其中该请求服务器被配置为基于指示关于该内容标识的内容的片段的流行性的统计简档选择该一个或多个内容模式。
CN201280028522.1A 2011-06-10 2012-06-04 用于标识数据流中的内容的方法和系统 Active CN103797483B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161495571P 2011-06-10 2011-06-10
US61/495,571 2011-06-10
PCT/US2012/040754 WO2012170353A1 (en) 2011-06-10 2012-06-04 Methods and systems for identifying content in a data stream

Publications (2)

Publication Number Publication Date
CN103797483A CN103797483A (zh) 2014-05-14
CN103797483B true CN103797483B (zh) 2017-02-22

Family

ID=46246272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280028522.1A Active CN103797483B (zh) 2011-06-10 2012-06-04 用于标识数据流中的内容的方法和系统

Country Status (9)

Country Link
US (1) US9256673B2 (zh)
EP (1) EP2718849A1 (zh)
JP (1) JP5833235B2 (zh)
KR (1) KR101578279B1 (zh)
CN (1) CN103797483B (zh)
BR (1) BR112013031574A2 (zh)
CA (1) CA2837725C (zh)
MX (1) MX336061B (zh)
WO (1) WO2012170353A1 (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7490775B2 (en) 2004-12-30 2009-02-17 Aol Llc, A Deleware Limited Liability Company Intelligent identification of multimedia content for synchronization
US7937422B1 (en) * 2005-11-03 2011-05-03 Aol Inc. Digital asset hosting and distribution
US8595781B2 (en) 2009-05-29 2013-11-26 Cognitive Media Networks, Inc. Methods for identifying video segments and displaying contextual targeted content on a connected television
US9449090B2 (en) 2009-05-29 2016-09-20 Vizio Inscape Technologies, Llc Systems and methods for addressing a media database using distance associative hashing
US9071868B2 (en) 2009-05-29 2015-06-30 Cognitive Networks, Inc. Systems and methods for improving server and client performance in fingerprint ACR systems
US10116972B2 (en) 2009-05-29 2018-10-30 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
US10949458B2 (en) 2009-05-29 2021-03-16 Inscape Data, Inc. System and method for improving work load management in ACR television monitoring system
US10375451B2 (en) 2009-05-29 2019-08-06 Inscape Data, Inc. Detection of common media segments
US9838753B2 (en) 2013-12-23 2017-12-05 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
US10192138B2 (en) 2010-05-27 2019-01-29 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
US8433577B2 (en) * 2011-09-27 2013-04-30 Google Inc. Detection of creative works on broadcast media
US8997133B2 (en) 2012-02-07 2015-03-31 Turner Broadcasting System, Inc. Method and system for utilizing automatic content recognition for content tracking
US20140129571A1 (en) * 2012-05-04 2014-05-08 Axwave Inc. Electronic media signature based applications
EP2874399A4 (en) * 2012-07-12 2016-03-02 Sony Corp TRANSMITTING DEVICE, METHOD FOR DATA PROCESSING, PROGRAM, RECEIVING DEVICE, AND APPLICATION LINKAGE SYSTEM
US9596386B2 (en) * 2012-07-24 2017-03-14 Oladas, Inc. Media synchronization
US20140095333A1 (en) * 2012-09-28 2014-04-03 Stubhub, Inc. System and Method for Purchasing a Playlist Linked to an Event
US9027048B2 (en) * 2012-11-14 2015-05-05 Bank Of America Corporation Automatic deal or promotion offering based on audio cues
US10339936B2 (en) 2012-11-27 2019-07-02 Roland Storti Method, device and system of encoding a digital interactive response action in an analog broadcasting message
US10366419B2 (en) 2012-11-27 2019-07-30 Roland Storti Enhanced digital media platform with user control of application data thereon
US9282346B2 (en) 2012-12-28 2016-03-08 Turner Broadcasting System, Inc. Method and system for automatic content recognition (ACR) integration for smartTVs and mobile communication devices
US9451048B2 (en) * 2013-03-12 2016-09-20 Shazam Investments Ltd. Methods and systems for identifying information of a broadcast station and information of broadcasted content
US9384754B2 (en) 2013-03-12 2016-07-05 Comcast Cable Communications, Llc Removal of audio noise
US20150012840A1 (en) * 2013-07-02 2015-01-08 International Business Machines Corporation Identification and Sharing of Selections within Streaming Content
US9955192B2 (en) 2013-12-23 2018-04-24 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
EP3108644B1 (en) 2014-02-19 2021-01-13 Level 3 Communications, LLC Content delivery network architecture with edge proxy
US10284813B2 (en) 2014-03-17 2019-05-07 Microsoft Technology Licensing, Llc Automatic camera selection
US10178346B2 (en) 2014-03-17 2019-01-08 Microsoft Technology Licensing, Llc Highlighting unread messages
US9888207B2 (en) 2014-03-17 2018-02-06 Microsoft Technology Licensing, Llc Automatic camera selection
US9749585B2 (en) 2014-03-17 2017-08-29 Microsoft Technology Licensing, Llc Highlighting unread messages
US20150264309A1 (en) * 2014-03-17 2015-09-17 Microsoft Corporation Playback of Interconnected Videos
US20150301718A1 (en) * 2014-04-18 2015-10-22 Google Inc. Methods, systems, and media for presenting music items relating to media content
CN104142993B (zh) * 2014-07-30 2017-08-29 东软集团股份有限公司 基于深度特征的复杂snort规则分类方法及系统
US10762533B2 (en) * 2014-09-29 2020-09-01 Bellevue Investments Gmbh & Co. Kgaa System and method for effective monetization of product marketing in software applications via audio monitoring
AU2015355209B2 (en) 2014-12-01 2019-08-29 Inscape Data, Inc. System and method for continuous media segment identification
CN118138844A (zh) 2015-01-30 2024-06-04 构造数据有限责任公司 用于识别视频片段以及显示从替代源和/或在替代设备上观看的选项的方法
JP6691737B2 (ja) * 2015-02-26 2020-05-13 パイオニア株式会社 歌詞音声出力装置、歌詞音声出力方法、及び、プログラム
EP4375952A3 (en) 2015-04-17 2024-06-19 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
JP6891170B2 (ja) 2015-07-16 2021-06-18 インスケイプ データ インコーポレイテッド ステムリソース利用を最適化するための映像セグメントの将来の視聴予測
JP6903653B2 (ja) 2015-07-16 2021-07-14 インスケイプ データ インコーポレイテッド 共通メディアセグメントの検出
US10080062B2 (en) 2015-07-16 2018-09-18 Inscape Data, Inc. Optimizing media fingerprint retention to improve system resource utilization
CA3229617A1 (en) 2015-07-16 2017-01-19 Inscape Data, Inc. Systems and methods for partitioning search indexes for improved efficiency in identifying media segments
US9848235B1 (en) 2016-02-22 2017-12-19 Sorenson Media, Inc Video fingerprinting based on fourier transform of histogram
US20170255387A1 (en) * 2016-03-04 2017-09-07 Intel Corporation Techniques to Cause a Content Pattern to be Stored to Memory Cells of a Memory Device
US10063917B2 (en) * 2016-03-16 2018-08-28 Sorenson Media Inc. Fingerprint layouts for content fingerprinting
CN107026841B (zh) 2016-11-24 2021-07-30 创新先进技术有限公司 在网络中发布作品的方法和装置
US10701438B2 (en) 2016-12-31 2020-06-30 Turner Broadcasting System, Inc. Automatic content recognition and verification in a broadcast chain
US10922720B2 (en) 2017-01-11 2021-02-16 Adobe Inc. Managing content delivery via audio cues
EP3349394B1 (en) * 2017-01-16 2021-11-10 Vertigo Media, Inc. System, method, and application for exchanging content in a social network environment
AU2018250286C1 (en) 2017-04-06 2022-06-02 Inscape Data, Inc. Systems and methods for improving accuracy of device maps using media viewing data
US10264297B1 (en) * 2017-09-13 2019-04-16 Perfect Sense, Inc. Time-based content synchronization
US10803038B2 (en) 2017-09-13 2020-10-13 The Nielsen Company (Us), Llc Cold matching by automatic content recognition
CN108024145B (zh) * 2017-12-07 2020-12-11 北京百度网讯科技有限公司 视频推荐方法、装置、计算机设备和存储介质
US11132396B2 (en) * 2017-12-15 2021-09-28 Google Llc Methods, systems, and media for determining and presenting information related to embedded sound recordings
US20220076650A1 (en) 2018-09-18 2022-03-10 Alphatheta Corporation Musical piece data comparison device, musical piece analysis data distribution server, musical piece data comparison program, and musical piece analysis data distribution program
DE102018128214A1 (de) 2018-11-12 2020-05-14 Sennheiser Electronic Gmbh & Co. Kg Verfahren und Vorrichtung zur Auswahl eines Audiodatenstroms
US10868620B2 (en) * 2018-12-26 2020-12-15 The Nielsen Company (Us), Llc Methods and apparatus for optimizing station reference fingerprint loading using reference watermarks
US11234049B2 (en) * 2019-06-24 2022-01-25 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to control implementation of dynamic content modification
US11051057B2 (en) * 2019-06-24 2021-06-29 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to establish a time offset, to facilitate taking content-related action
CN112995759A (zh) * 2019-12-13 2021-06-18 腾讯科技（北京）有限公司 互动业务处理方法、系统、装置、设备及存储介质
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
EP4096798A1 (en) 2020-01-30 2022-12-07 Snap Inc. System for generating media content items on demand
US11284144B2 (en) * 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
GB2597334A (en) 2020-07-17 2022-01-26 Playrcart Ltd A media player
KR102380540B1 (ko) * 2020-09-14 2022-04-01 네이버 주식회사 음원을 검출하기 위한 전자 장치 및 그의 동작 방법
CN116437256A (zh) * 2020-09-23 2023-07-14 华为技术有限公司 音频处理方法、计算机可读存储介质、及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770156A (zh) * 2004-11-02 2006-05-10 微软公司 对多个同步化数据流加速数据库查找的系统和方法
CN101493831A (zh) * 2008-01-22 2009-07-29 图尼维齐公司 实时本地音乐回放和远程服务器歌词定时同步的系统和方法
CN102057684A (zh) * 2008-05-07 2011-05-11 高通股份有限公司 用于将视频内容项接收者指引到感兴趣的视频内容项的方法和装置

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4450531A (en) 1982-09-10 1984-05-22 Ensco, Inc. Broadcast signal recognition system and method
US4843562A (en) 1987-06-24 1989-06-27 Broadcast Data Systems Limited Partnership Broadcast information classification system and method
US5134719A (en) 1991-02-19 1992-07-28 Mankovitz Roy J Apparatus and methods for identifying broadcast audio program selections in an FM stereo broadcast system
US5333275A (en) 1992-06-23 1994-07-26 Wheatley Barbara J System and method for time aligning speech
US5437050A (en) 1992-11-09 1995-07-25 Lamb; Robert G. Method and apparatus for recognizing broadcast information using multi-frequency magnitude detection
US5465240A (en) 1993-01-05 1995-11-07 Mankovitz; Roy J. Apparatus and methods for displaying text in conjunction with recorded audio programs
IL108497A0 (en) 1993-02-01 1994-05-30 Seq Ltd Methods and apparatus for dna sequencing
JP2986345B2 (ja) 1993-10-18 1999-12-06 インターナショナル・ビジネス・マシーンズ・コーポレイション 音声記録指標化装置及び方法
US5740230A (en) 1996-05-31 1998-04-14 Octel Communications Corporation Directory management system and method
US5918223A (en) 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
US5952597A (en) 1996-10-25 1999-09-14 Timewarp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
US6570991B1 (en) 1996-12-18 2003-05-27 Interval Research Corporation Multi-feature speech/music discrimination system
US6166314A (en) 1997-06-19 2000-12-26 Time Warp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
JPH1155201A (ja) 1997-07-29 1999-02-26 Sony Corp 情報処理装置および方法、情報処理システム、並びに伝送媒体
WO2000004676A1 (fr) 1998-07-14 2000-01-27 Sony Corporation Procede de gestion de la transmission de donnees, procede de transmission de donnees, et emetteur et recepteur de donnees
JP3925586B2 (ja) 1998-07-17 2007-06-06 ソニー株式会社 データ受信装置および方法ならびにデータ送受信システムおよび方法
US6735633B1 (en) * 1999-06-01 2004-05-11 Fast Forward Networks System for bandwidth allocation in a computer network
US6735634B1 (en) * 1999-06-10 2004-05-11 Blue Coat Systems Method for real time protocol media recording
TW495735B (en) 1999-07-28 2002-07-21 Yamaha Corp Audio controller and the portable terminal and system using the same
US7174293B2 (en) 1999-09-21 2007-02-06 Iceberg Industries Llc Audio identification system and method
US7194752B1 (en) 1999-10-19 2007-03-20 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
US7444353B1 (en) 2000-01-31 2008-10-28 Chen Alexander C Apparatus for delivering music and information
US6834308B1 (en) 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US7853664B1 (en) 2000-07-31 2010-12-14 Landmark Digital Services Llc Method and system for purchasing pre-recorded music
FI20002161A (fi) 2000-09-29 2002-03-30 Nokia Mobile Phones Ltd Menetelmä ja järjestelmä melodian tunnistamiseksi
US7277766B1 (en) 2000-10-24 2007-10-02 Moodlogic, Inc. Method and system for analyzing digital audio files
US20020072982A1 (en) 2000-12-12 2002-06-13 Shazam Entertainment Ltd. Method and system for interacting with a user in an experiential environment
US20020087702A1 (en) * 2000-12-29 2002-07-04 Koichi Mori Remote contents displaying method with adaptive remote font
CN1235408C (zh) 2001-02-12 2006-01-04 皇家菲利浦电子有限公司 生成和匹配多媒体内容的散列
US7359889B2 (en) 2001-03-02 2008-04-15 Landmark Digital Services Llc Method and apparatus for automatically creating database for use in automated media recognition system
EP1504445B1 (en) 2002-04-25 2008-08-20 Landmark Digital Services LLC Robust and invariant audio pattern matching
US20040266337A1 (en) 2003-06-25 2004-12-30 Microsoft Corporation Method and apparatus for synchronizing lyrics
US20050147256A1 (en) 2003-12-30 2005-07-07 Peters Geoffrey W. Automated presentation of entertainment content in response to received ambient audio
CN1998168B (zh) 2004-02-19 2011-04-06 兰德马克数字服务有限责任公司 用于广播源辨识的方法与装置
JP2005274992A (ja) 2004-03-25 2005-10-06 Sony Corp 楽曲識別用情報検索システム、楽曲購入システム、楽曲識別用情報取得方法、楽曲購入方法、オーディオ信号処理装置およびサーバ装置
US8688248B2 (en) 2004-04-19 2014-04-01 Shazam Investments Limited Method and system for content sampling and identification
CN100485399C (zh) 2004-06-24 2009-05-06 兰德马克数字服务有限责任公司 表征两个媒体段的重叠的方法
US20060112812A1 (en) 2004-11-30 2006-06-01 Anand Venkataraman Method and apparatus for adapting original musical tracks for karaoke use
CN101189658A (zh) 2005-02-08 2008-05-28 兰德马克数字服务有限责任公司 音频信号中重复素材的自动识别
CN1845591A (zh) 2005-04-06 2006-10-11 上海渐华科技发展有限公司 卡拉ok接收装置
US20070166683A1 (en) * 2006-01-05 2007-07-19 Apple Computer, Inc. Dynamic lyrics display for portable media devices
JP2008015595A (ja) * 2006-07-03 2008-01-24 Sony Corp コンテンツ選択推薦方法、サーバ、コンテンツ再生装置、コンテンツ記録装置およびコンテンツ選択推薦用プログラム
WO2008042953A1 (en) 2006-10-03 2008-04-10 Shazam Entertainment, Ltd. Method for high throughput of identification of distributed broadcast content
US8005666B2 (en) 2006-10-24 2011-08-23 National Institute Of Advanced Industrial Science And Technology Automatic system for temporal alignment of music audio signal with lyrics
TWI330795B (en) * 2006-11-17 2010-09-21 Via Tech Inc Playing systems and methods with integrated music, lyrics and song information
US20080196575A1 (en) 2007-02-16 2008-08-21 Recordare Llc Process for creating and viewing digital sheet music on a media device
US8400961B1 (en) * 2007-08-27 2013-03-19 Qurio Holdings, Inc. Wireless multimedia brokerage service for real time content provisioning
WO2010065673A2 (en) 2008-12-02 2010-06-10 Melodis Corporation System and method for identifying original music
US8869184B2 (en) * 2008-12-19 2014-10-21 At&T Intellectual Property I, Lp Sharing behavioral patterns between devices
GB2467324B (en) 2009-01-28 2014-03-26 Norwell Sa Device, system and method for measurement of media consumption in digital media terminals
US8291328B2 (en) 2009-03-24 2012-10-16 Disney Enterprises, Inc. System and method for synchronizing a real-time performance with a virtual object
US8548613B2 (en) 2009-04-20 2013-10-01 Disney Enterprises, Inc. System and method for an interactive device for use with a media device
US8311950B1 (en) * 2009-10-01 2012-11-13 Google Inc. Detecting content on a social network using browsing patterns
US20110203006A1 (en) * 2010-02-15 2011-08-18 Openwave Systems Inc. Method and system for delivering closed-audience content to a closed mobile audience
CA2798072C (en) 2010-05-04 2017-02-14 Shazam Entertainment Ltd. Methods and systems for synchronizing media
US9159338B2 (en) 2010-05-04 2015-10-13 Shazam Entertainment Ltd. Systems and methods of rendering a textual animation
US9280598B2 (en) 2010-05-04 2016-03-08 Soundhound, Inc. Systems and methods for sound recognition
CN102959543B (zh) 2010-05-04 2016-05-25 沙扎姆娱乐有限公司 用于处理媒体流的样本的方法和系统
US8543395B2 (en) 2010-05-18 2013-09-24 Shazam Entertainment Ltd. Methods and systems for performing synchronization of audio with corresponding textual transcriptions and determining confidence values of the synchronization
US20120317241A1 (en) * 2011-06-08 2012-12-13 Shazam Entertainment Ltd. Methods and Systems for Performing Comparisons of Received Data and Providing a Follow-On Service Based on the Comparisons

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770156A (zh) * 2004-11-02 2006-05-10 微软公司 对多个同步化数据流加速数据库查找的系统和方法
CN101493831A (zh) * 2008-01-22 2009-07-29 图尼维齐公司 实时本地音乐回放和远程服务器歌词定时同步的系统和方法
CN102057684A (zh) * 2008-05-07 2011-05-11 高通股份有限公司 用于将视频内容项接收者指引到感兴趣的视频内容项的方法和装置

Also Published As

Publication number Publication date
EP2718849A1 (en) 2014-04-16
CA2837725C (en) 2017-07-11
CA2837725A1 (en) 2012-12-13
JP2014519660A (ja) 2014-08-14
KR101578279B1 (ko) 2015-12-28
KR20140024433A (ko) 2014-02-28
MX336061B (es) 2016-01-07
US9256673B2 (en) 2016-02-09
JP5833235B2 (ja) 2015-12-16
WO2012170353A1 (en) 2012-12-13
CN103797483A (zh) 2014-05-14
MX2013014476A (es) 2014-08-01
BR112013031574A2 (pt) 2018-04-24
US20120317240A1 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
CN103797483B (zh) 用于标识数据流中的内容的方法和系统
US10497378B2 (en) Systems and methods for recognizing sound and music signals in high noise and distortion
JP6060155B2 (ja) 受信データの比較を実行しその比較に基づいて後続サービスを提供する方法及びシステム
US9451048B2 (en) Methods and systems for identifying information of a broadcast station and information of broadcasted content
US9159338B2 (en) Systems and methods of rendering a textual animation
CN105190618B (zh) 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
US20120191231A1 (en) Methods and Systems for Identifying Content in Data Stream by a Client Device
CN105843968A (zh) 用于同步媒体的方法
CN103562909A (zh) 客户端设备识别数据流的内容的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200812

Address after: California, USA

Patentee after: Apple Inc.

Address before: England Atsushi

Patentee before: SHAZAM ENTERTAINMENT Ltd.

TR01 Transfer of patent right