CN105843968A - 用于同步媒体的方法 - Google Patents

用于同步媒体的方法 Download PDF

Info

Publication number
CN105843968A
CN105843968A CN201610334894.7A CN201610334894A CN105843968A CN 105843968 A CN105843968 A CN 105843968A CN 201610334894 A CN201610334894 A CN 201610334894A CN 105843968 A CN105843968 A CN 105843968A
Authority
CN
China
Prior art keywords
media
sample
described media
media stream
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610334894.7A
Other languages
English (en)
Inventor
A.L-C.王
R.波沃
W.M.米尔斯
C.J.P.巴顿
P.G.英格尔布雷赫特
D.S.米克赫吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shazam Entertainment Ltd
Original Assignee
Shazam Entertainment Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shazam Entertainment Ltd filed Critical Shazam Entertainment Ltd
Publication of CN105843968A publication Critical patent/CN105843968A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/011—Lyrics displays, e.g. for karaoke applications

Abstract

提供了一种方法，包括：接收正被媒体渲染源渲染的媒体流的媒体样本；由计算设备确定与所述媒体样本潜在匹配的多个媒体记录；由所述计算设备向客户端设备提供包括所述多个媒体记录之一的特征的信息的对准文件，其中预计所述多个媒体记录之一在所述对准文件中的特征在预定时间出现在所述媒体流中。

Description

用于同步媒体的方法
本申请是申请日为2011年5月4日、申请号为201180032480.4、发明名称为“用于同步媒体的方法和系统”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2010年5月4日提交的序列号为61/331,015的美国临时专利申请的优先权，通过引用将其全部内容合并于此。
技术领域
本公开涉及媒体的媒体信息检索和同步。例如，本公开涉及音乐信息检索以及文本转录(textual transcription)或歌词同步，例如在卡拉OK的领域中。本公开还涉及其它形式的媒体的同步。
背景技术
同步媒体(诸如音乐歌词)显示系统典型地包括歌词显示装置，其与音乐回放装置操作地耦接，并被音乐回放装置控制。在这些系统中，音乐回放装置知道当前播放的音乐音轨(audio track)中的当前时间位置。音乐音频时间位置被提供给歌词显示装置。歌词显示装置使用定时信息来确定对应的歌词文本位置，并显示对应的歌词文本用于用户与音乐音频同步地欣赏。广泛可得的卡拉OK系统以此方式操作。
现有的同步媒体(例如歌词)系统典型地具有被设计为包括音乐回放装置的系统的构成部分的歌词显示装置，该系统通常在共享的物理壳体中、或者由共同的控制机构(诸如计算机程序)控制。偶遇任意环境或周边音乐源(例如，在咖啡馆、餐馆、汽车、商店等中)的音乐听众将没有办法欣赏同步媒体(例如歌词)，除非在任意环境或周边源的音乐回放装置操作地耦接到集成的歌词显示装置。
发明内容
在一个方面，提供了一种同步媒体的方法。该方法包括客户端设备接收正被媒体渲染源渲染的媒体流的媒体样本，所述媒体样本与对应于所述媒体样本的采样时间的时间戳关联。所述方法还包括确定指示所述媒体流中对应于所述媒体样本的采样时间的时间位置的时间偏移，以及使用实时时间戳、所述媒体样本的时间戳以及所述时间偏移计算实时偏移，其中所述实时时间戳指示当前时间。所述方法还包括所述客户端设备在对应于所述实时偏移的位置渲染第二媒体流，以与正被所述媒体渲染源渲染的媒体流同步。
在另一方面，提供了一种同步媒体的方法。所述方法包括客户端设备向位置识别模块发送正被媒体渲染源渲染的歌曲的音频样本。所述音频样本与对应于所述音频样本的采样时间的时间戳关联。所述方法还包括客户端设备从所述位置识别模块接收时间偏移，其指示所述歌曲中对应于所述音频样本的采样时间的时间位置。所述方法还包括：使用实时时间戳、所述音频样本的时间戳以及所述时间偏移计算实时偏移，其中所述实时时间戳指示当前时间；接收所述歌曲的文本歌词；以及所述客户端设备在对应于所述实时偏移的位置渲染所述文本歌词，以与正被所述媒体渲染源渲染的歌曲同步。
在再一方面，提供了一种非暂时性计算机可读介质，其中存储可由计算设备执行的指令，所述指令用于使得所述计算设备执行功能。所述功能包括客户端设备向位置识别模块发送正被媒体渲染源渲染的歌曲的音频样本。所述音频样本与对应于所述音频样本的采样时间的时间戳关联。所述功能还包括客户端设备从所述位置识别模块接收时间偏移，其指示所述歌曲中对应于所述音频样本的采样时间的样本的时间位置。所述功能还包括：使用实时时间戳、所述音频样本的时间戳以及所述时间偏移计算实时偏移，其中所述实时时间戳指示当前时间；接收所述歌曲的文本歌词；以及所述客户端设备在对应于所述实时偏移的位置渲染所述文本歌词，以与正被所述媒体渲染源渲染的歌曲同步。
在再一方面，提供了执行这里描述的方法的示例设备或系统。
在又一方面，提供了一种方法，包括：接收正被媒体渲染源渲染的媒体流的媒体样本；由计算设备确定与所述媒体样本潜在匹配的多个媒体记录；由所述计算设备向客户端设备提供包括所述多个媒体记录之一的特征的信息的对准文件，其中预计所述多个媒体记录之一在所述对准文件中的特征在预定时间出现在所述媒体流中。
在再一方面，提供了一种方法，包括：由客户端设备向计算设备发送正被媒体渲染源渲染的媒体流的媒体样本；在客户端设备接收包括与所述媒体样本潜在匹配的多个媒体记录之一的特征的信息的对准文件，其中所述对准文件包括所述媒体记录的预计在预定时间出现在所述媒体流中的特征；以及确定正被所述媒体渲染源渲染的媒体流是否与所述对准文件的媒体记录匹配。
在再一方面，提供了一种方法，包括：由客户端设备向计算设备发送正被媒体渲染源渲染的媒体流的媒体样本；在客户端设备接收包括与所述媒体样本潜在匹配的多个媒体记录之一的特征的信息的对准文件，其中所述对准文件包括所述媒体记录的预计在预定时间出现在所述媒体流中的特征；以及比较正被所述媒体渲染源渲染的所述媒体流与所述对准文件的媒体记录，以确定正被所述媒体渲染源渲染的媒体流是否已经中断。
之前的总结仅是示例性的，并不意在作为任何方式的限定。在以上描述的示例方面、实施例和特征之外，其它方面、实施例和特征也将通过参考附图和以下的详细描述而变得明显。
附图说明
图1示出了用于识别媒体内容、并将数据与所识别的媒体内容同步的系统的一个示例。
图2示出了用于同步媒体流的方法的说明性实施例的流程图。
图3A-3B示出了用于识别媒体样本的媒体内容或时间偏移、并将数据与所识别的媒体内容同步的系统的示例。
图4示出了用于将歌词与正被媒体渲染源渲染的歌曲同步的方法的说明性实施例的流程图。
图5示出了音乐信息的示例。
图6示出了用于识别媒体样本的媒体内容或时间偏移、并将数据与所识别的媒体内容同步的系统的另一示例。
具体实施方式
在下面的详细说明中，参考形成说明的一部分的附图。在附图中，类似的符号典型地标识类似的元素，除非另有声明。详细说明、附图和权利要求 中描述的说明性实施例不意图为限制性。可以采用其它实施例，并且可以进行其它改变，而不偏离这里所呈现的主题的精神和范围。很容易理解，本公开的各方面(如这里一般描述以及在附图中图示的)可以大量不同的配置进行布置、替代、组合、分割以及设计，它们全部被本文明确预想到。
在示例实施例中，提供了同步媒体的系统和方法。可以使用客户端设备(例如便携式客户端设备)来捕获正被媒体渲染源渲染的媒体流的样本。客户端设备可以使用参考时钟确定对应于正被捕获的媒体样本的采样时间的时间戳。采样时间可以优选是起始，但也可以是媒体样本的结尾、中间或任何其它预定时间。客户端设备可以向位置识别模块发送媒体样本，以确定时间偏移并可选地确定时间尺度比，该时间偏移指示媒体流中对应于媒体样本的采样时间的时间位置，该时间尺度比指示基于媒体流的参考速度的由媒体渲染源正渲染媒体流的速度。客户端设备可以使用指示当前时间的实时时间戳、媒体样本的时间戳、时间偏移、以及可选地使用时间尺度比，来计算实时偏移。客户端设备可以接着在对应于实时偏移的位置处渲染第二媒体流，以与正由媒体渲染源渲染的媒体流同步。例如，这里所描述的系统和方法可以被执行来基于第一媒体流的捕获样本控制第二媒体流的同步回放。在其它示例中，客户端设备包括麦克风，用以从媒体渲染源接收媒体流或记录。客户端设备还可以包括摄像机、振动传感器、无线电接收器、网络接口等中的任何一个，用以接收媒体流。
在一个示例中，系统和方法可以被用于使用移动音乐信息检索设备，而与周边播放的音乐同步地显示歌词，该移动音乐信息检索设备可以不被操作地耦接到音乐回放装置(播放周边音乐的装置)来确定对应于播放的音乐的定时信息。不需要来自音乐回放装置的定时信息。例如，音乐信息检索设备可被配置为识别播放的音乐，以及响应地检索和显示与音乐中的当前时间点同步的对应歌词，而不需要用户干预。
现在参考附图，图1示出了用于识别媒体内容、并将数据与所识别的媒体内容同步的系统的一个示例。系统包括媒体渲染源102，其以任何已知的方式渲染和呈现来自媒体流的媒体内容。媒体流可以被存储在媒体渲染源102上、或者从外部源(诸如模拟或数字广播)接收。在一个示例中，媒体渲染源102可以是无线电台或电视内容提供商，其广播媒体流(例如音频和/或视频)和/或其它信息。媒体渲染源102还可以是以记录或现场格式播放音频媒体、显示视频媒体的任何类型的设备。在替代实施例中，例如，媒体渲染源102可以包括现场表演作为音频源和/或视频源。
媒体渲染源102可以通过图形显示器、音频扬声器、MIDI乐器、操纵木偶(animatronic puppet)等、或者由媒体渲染源102提供的任何其它类型的表达，来渲染或呈现媒体流。
客户端设备104通过包含媒体接收器106的样本捕获模块接收来自媒体渲染源102的媒体流的渲染。在图1中，媒体接收器106被显示为天线，并且媒体渲染源102将媒体流无线地广播到客户端设备104。然而，取决于媒体流的形式，媒体渲染源102可以使用无线或有线通信技术渲染媒体。
在其它示例中，媒体接收器106可以包括麦克风、摄像机、振动传感器、无线电接收器、网络接口等中的任何一个。作为具体示例，媒体渲染源102可以播放音乐，并且客户端设备104可以包括麦克风，用以接收音乐的样本。
除了接收媒体流的渲染，客户端设备104并非操作地耦接到媒体渲染源102。以此方式，客户端104不受媒体渲染源102控制，客户端设备104也不是媒体渲染源102的构成部分。在图1所示的示例中，客户端设备104是独立于媒体渲染源102的实体。
客户端设备102捕获所渲染的媒体流的媒体样本。这可以自动发生而不需要用户干预，或者可以通过用户激活按钮或其它应用以触发样本捕获来进行。例如，客户端设备104的用户可以按下按钮以通过麦克风记录10秒的音频数字样本，或者使用相机捕获静止图像或视频序列。
客户端设备104可以被实施为小型便携式(或移动)电子设备的一部分，所述电子设备诸如蜂窝电话、无线蜂窝电话、个人数据助理(PDA)、个人媒体播放器设备、无线上网(web-watch)设备、个人耳机设备、应用特定设备、或混合设备，它们包括上述功能中的任何功能。客户端设备104也可以实施为个人计算机，其包括膝上型计算机或非膝上型计算机配置两者。客户端设备104也可以是更大设备或系统的组件。
客户端设备104被操作来捕获媒体渲染源102渲染的媒体流的部分，用于识别位置信息。作为示例，客户端设备104操作地耦接到服务器108，其包括位置识别模块110和可选的内容识别模块112。虽然图1示出了服务器108包括位置识别模块110和内容识别模块112两者，但例如，位置识别模块110和/或内容识别模块112中的任一者可以是与服务器108分离的独立实体。 替代地，位置识别模块110和内容识别模块112两者可以是同一实体，或者位置识别模块110和内容识别模块112的功能可以由同一实体执行。此外，位置识别模块110和/或内容识别模块112可以位于客户端设备104中，或者可以在通过网络连接到客户端设备104的远程服务器上，如图1中所示。
服务器108从客户端设备104接收媒体样本(通过有线或无线连接)，并且位置识别模块110基于此时正被捕获的媒体样本识别对应的估计时间位置(Ts)，该估计时间位置指示媒体样本在媒体流中的时间偏移。在某些示例中，Ts也可以是从媒体流的起始起经过的时间量。
内容识别模块112也可以可选地执行对所接收的媒体样本的内容识别。如果标识不是已知的，则内容识别对媒体流中的内容进行识别，例如音乐声轨。内容识别模块112可被用在或者合并在任何示例媒体样本信息检索系统内，这些系统例如由英国伦敦的ShazamEntertainment、加州埃默里维尔的Gracenot、或加州圣何塞的Melodis提供。这些服务操作来接收环境音频的样本，识别音频样本的音乐内容，以及向用户提供关于音乐的信息，包括轨道名称、艺术家、专辑、封面(artwork)、传记、唱片分类目录、音乐会门票等。
在这一点上，内容识别模块112包括媒体搜索引擎114，并可以包括或有权访问对参考媒体内容对象和记录(例如，音乐声轨、视频剪辑、电影和电视节目)进行索引的数据库116，以将接收到的媒体样本与存储的信息进行比较，从而识别所接收的媒体样本内的媒体内容。一旦已经识别了媒体流内的媒体对象，便可以将标识信息和其它元数据报告回到客户端设备104。
元数据还可以包括数据和对其它有关内容和服务的超链接，包括推荐、广告、出价，以预览、标书签和购买音乐记录、视频、音乐会门票、以及奖赠内容；以及便利于在万维网上浏览、探究(exploring)和发现有关内容。
替代地，客户端设备104可以从媒体渲染源102捕获媒体流的样本，并对该样本执行初始特征提取处理，以创建该媒体样本的指纹(fingerprint)。客户端设备104可以接着将指纹信息发送给位置识别模块110和/或内容识别模块112，其可以仅基于指纹信息而识别有关该样本的信息。以此方式，例如，可以在客户端设备104、而不是在位置识别模块110和/或内容识别模块112执行更多的计算或识别处理。
如所述，数据库116可以包括许多媒体内容对象，每个媒体内容对象可以由唯一的标识符(例如sound_ID)识别。数据库116可以不一定为每个记 录存储实际媒体内容(诸如音频或视频文件)，因为可以使用sound_ID从其它地方检索文件。然而，在某些实施例中，数据库116可以存储媒体内容文件。媒体内容数据库索引可以非常大，例如包含用于数百万或者甚至数十亿的文件的索引。可以递增地将新内容添加到数据库索引中。
数据库116还可以包括用于每个存储的音频、视频或媒体文件、或者用于每个存储的媒体索引的信息。例如，可以与每个文件一起存储元数据，其指示关于文件的信息，诸如艺术家名字、歌曲的长度、歌曲的歌词、歌词的行或词的时间索引、专辑封面、或文件的任何其它识别或有关信息。
图1的系统允许捕获的媒体样本的时间偏移被识别，并且允许基于存储的信息识别媒体样本。虽然图1示出了具有给定配置的系统，但可以其它方式布置系统内的组件。例如，媒体搜索引擎114可以独立于内容识别模块112，或者媒体样本处理可以发生在客户端104或服务器108。因此，应该理解，这里所述的配置本质上仅是示例，并且还可以使用许多替代配置。
图1中的系统、尤其是位置识别模块110可以识别媒体流内的媒体样本的偏移。可选地，系统可被用于使用内容识别模块112，使用媒体流内的媒体样本来识别媒体流中的内容。
本领域中已知各种媒体样本识别技术，用于使用媒体内容对象的数据库执行媒体样本和媒体样本的特征的计算内容识别。以下的美国专利和公布描述了媒体辨识技术的可能示例，并且通过引用将每一个都完整地合并到这里，如同在此说明书中完整地记载一样：Kenyon等，美国专利No.4,843,562，题为“Broadcast Information ClassificationSystem and Method”；Kenyon，美国专利No.4,450,531，题为“Broadcast SignalRecognition System and Method”；Haitsma等，美国专利申请公布No.2008/0263360，题为“Generating and Matching Hashes of Multimedia Content”；Wang和Culbert，美国专利No.7,627,477，题为“Robust and Invariant Audio Pattern Matching”；Wang，Avery，美国专利申请公布No.2007/0143777，题为“Method and Apparatus for Identification ofBroadcast Source”；Wang和Smith，美国专利No.6,990,453，题为“System and Methodsfor Recognizing Sound and Music Signals in High Noise and Distortion”；以及Blum等，美国专利No.5,918,223，题为“Method and Article of Manufacture forContent-Based Analysis,Storage,Retrieval,and Segmentation of AudioInformation”。
简要地，通过接收媒体记录和采样媒体记录而开始识别媒体记录。例如，将该记录与数字化且归一化的参考信号片段相关，以获得针对每个作为结果的相关片段的相关函数峰，从而当相关函数峰之间的间隔在预定限值内、并且与相关函数峰一致的RMS功率值的模式(pattern)在来自数字化的参考信号片段的RMS功率值的模式的预定限值内匹配时提供辨识信号，如在美国专利No.4,450,531中所述。因此识别了匹配的媒体内容。此外，例如，媒体内容中的媒体记录的匹配位置由匹配相关片段的位置以及相关峰的偏移给出。
在另一示例中，一般地，可以通过识别或计算媒体样本的特性或指纹以及将指纹与之前识别的指纹进行比较而识别媒体内容。样本内计算指纹的特定位置取决于样本中的可再现点。这种可再现地可计算位置称为“界标(landmark)”。界标在样本内的位置可以由样本本身确定，即取决于样本质量并且可再现。即，每次重复处理时，可以针对同一信号计算相同或类似的界标。加界标方案可以对每秒声音记录标记约5至约10个界标；然而，加界标密度取决于媒体记录内的活动量。一个加界标技术(公知为功率规范(Power Norm))是在记录中的许多时间点计算瞬时功率，并选择局部最大值。这么做的一个方法是通过直接对波形进行整流和滤波而计算包络。另一方法是计算信号的希尔伯特(Hilbert)变换(求积分)，并使用希尔伯特变换和原始信号的平方大小的和。也可以使用计算界标的其它方法。
一旦已经计算了界标，在记录中的每个界标时间点或其附近计算指纹。通过所使用的指纹识别(fingerprinting)方法定义特征与界标的接近度。在某些情况中，如果特征清楚地对应于界标并且不对应于前一或后一界标，则认为该特征接近该界标。在其它情况中，特征对应于多个相邻界标。指纹一般是一个值或值的集合，其总结记录中在该时间点或其附近的特征的集合。在一个实施例中，每个指纹是单个数值，其是多个特征的散列(hashed)函数。指纹的其它示例包括频谱片指纹、多片指纹、LPC系数、对数倒谱(cepstral)系数、以及频谱图峰的频率分量。
可以通过对信号的任意类型的数字信号处理或频率分析来计算指纹。在一个示例中，为了生成频谱片指纹，在每个界标时间点附近执行频率分析，以提取最上几个频率峰。指纹值从而可以是最强频谱峰的单频率值。关于计算音频样本的特性或指纹的更多信息，读者可以参考授权给Wang和Smith的美国专利No.6,990,453，题为“System and Methodsfor Recognizing Sound and Music Signals in High Noise and Distortion”，通过引用将其全文合并到这里，如同在该说明书中全文记载一样。
因此，内容识别模块112将接收样本并计算样本的指纹。内容识别模块112可以通过与附加的辨识引擎通信而计算指纹。为了识别样本，内容识别模块112可以接着访问数据库116，以通过如下方式将样本的指纹与已知音轨的指纹匹配：生成数据库116中的文件与等效指纹之间的对应关系来定位一文件，该文件具有最大数目的线性地有关的对应关系，或者其特性指纹的相对位置最严密地匹配样本的相同指纹的相对位置。即，识别界标对之间的线性对应关系，并根据线性地有关的对的数目对集合计分。例如，当可以在允许的容限内利用基本相同的线性等式描述统计上大量的对应样本位置和文件位置时，可以发生线性对应关系。具有最高统计上重要的得分的集合(即具有最大数目的线性地有关的对应关系)的文件是胜出的文件，并被认为是匹配的媒体文件。
作为识别媒体流内的内容的技术的再一示例，可以使用局部匹配技术分析媒体样本，以识别其内容。例如，一般地，可以通过首先匹配从相应的样本导出的某些指纹对象来表征两个媒体样本之间的关系。针对每个媒体样本生成指纹对象的集合，每个指纹对象发生在特定位置。根据相应媒体样本的内容确定每个位置，并且每个指纹对象表征相应特定位置处或附近的一个或多个局部特征。接着，针对每对匹配的指纹对象确定相对值。接着生成相对值的直方图。如果发现统计上重要的峰值，则将这两个媒体样本表征为基本匹配。此外，可以确定时间拉伸比，其表示：与原始音轨相比，音频样本已被加速或减慢多少。对于此方法更详细的说明，读者可以参考授权给Wang和Culbert的美国专利No.7,627,477，题为“Robust and Invariant Audio Pattern Matching”，通过引用将其全文合并于此，如同在该说明书中全文记载一样。
此外，在以上公布中描述的系统和方法可以不仅返回媒体样本的标识。例如，使用授权给Wang和Smith的美国专利No.6,990,453中描述的方法，除了可以返回关联于所识别的音轨的元数据之外，还可以返回从所识别的样本的起始起的媒体样本的相对时间偏移(RTO)，称为估计的所识别的媒体流位置Ts。为了确定记录的相对时间偏移，可以将样本的指纹与指纹所匹配的原始文件的指纹比较。每个指纹出现在给定时间，从而在匹配指纹以识别样本之后，(样本中的匹配指纹的)第一指纹与存储的原始文件的第一指纹之间 的时间差将是样本的时间偏移，例如进入到歌曲中的时间量。因此，可以确定取得样本的相对时间偏移(例如，67秒进入到歌曲中)。也可以使用其它信息来确定RTO。例如，可以考虑直方图峰值的位置作为从参考记录的起始到样本记录的起始的时间偏移。
还可以根据媒体样本的类型执行其它形式的内容识别。例如，可以使用视频识别算法来识别视频流(例如电影)内的位置。Oostveen,J.等的“Feature Extraction and aDatabase Strategy for Video Fingerprinting”，Lecture Notes in Computer Science(计算机科学中的讲稿)，2314(2002年3月11日)，117-128页中描述了示例视频识别算法，通过引用将其全部内容合并于此。例如，可以通过确定哪个视频帧被识别而导出视频样本到视频中的位置。为了识别视频帧，可以将媒体样本的帧划分为行和列的网格，并且对于网格的每个块，计算像素的亮度值的平均值。可以将空间滤波器应用到计算的平均亮度值，以导出网格的每个块的指纹比特。指纹比特可被用于唯一地识别帧，并且可被与包括已知媒体的数据库的指纹比特进行比较或匹配。可以将从帧中提取的指纹比特称为子指纹，并且指纹块是来自连续帧的固定数据的子指纹。使用子指纹和指纹块，可以执行视频样本的识别。基于媒体样本包括哪个帧，可以确定进入到视频中的位置(即时间偏移)。
此外，也可以执行其它形式的内容和/或位置识别，诸如使用加水印方法。可以通过位置识别模块110使用加水印方法来确定时间偏移，使得媒体流可已经不时地嵌入水印，并且例如，每个水印通过直接地或经由数据库查找而间接地指定水印的时间或位置。替代地，如果媒体流包括直接或间接地指示时间或位置偏移值的所嵌入的水印，则客户端设备104可以确定正被渲染的媒体的样本的时间偏移，而无需与位置识别模块110进行通信。
在每个前述用于实施内容识别模块112的功能的示例内容识别方法中，识别处理的副作用可能是媒体样本在媒体流内的时间偏移(例如，估计的所识别的媒体流位置Ts)。因此，在这些情况中，位置识别模块110可以与内容识别模块112相同，或者可以通过内容识别模块112执行位置识别模块110的功能。
因此，用户可以从客户端设备104向位置识别模块110发送位置识别查询，位置识别模块110可以使用这里描述的任何技术来将与内容有关的信息返回到客户端设备104，并且可选地，可访问内容识别模块112来识别内容。 这里所描述的示例实施例适用于任何类型的媒体流，例如预录或现场音乐、音频、视频、音频和视频的组合、或者任何其它类型的遵循媒体流中的位置的时间线的媒体或事件序列。示例实施例还适用于任何格式的媒体流，例如，CD、DVD上的媒体、压缩的数字媒体、MIDI文件、动画序列、控制序列、脚本、幻灯片等。
在其它示例中，客户端设备104或服务器108还可以访问媒体流库数据库118，以选择对应于所采样的媒体的媒体流，其接着可被返回给客户端设备104以被客户端设备104渲染。媒体流库数据库118可以位于客户端设备104中或服务器108中，或者替代地，客户端设备104和服务器108之一或两者均可以通过网络连接到媒体流库数据库118。在图1中，例如，媒体流库数据库118被显示为连接到服务器108。此外，媒体流库数据库118中的信息或媒体流库数据库118本身可被包括在数据库116内。
媒体流库数据库118中的对应于媒体样本的媒体流可由客户端设备104的用户手动选择，由客户端设备104编程地选择，或者由服务器108基于例如内容识别模块112确定的媒体样本的标识而选择。所选择的媒体流可以是与媒体样本不同类型的媒体，并且可以与媒体渲染源102正在渲染的媒体同步。例如，媒体样本可以是音乐，并且所选择的媒体流可以是歌词、乐谱、吉他符号谱、音乐伴奏、视频、操纵木偶舞蹈、动画序列等，它们可以与音乐同步。客户端设备104可以接收所选择的对应于媒体样本的媒体流，并且可以与正被媒体渲染源102渲染的媒体同步地渲染所选择的媒体流。
正被媒体渲染源102渲染的媒体的估计时间位置由位置识别模块110确定，并被用于确定所选择的媒体流内渲染所选择的媒体流的对应位置。客户端设备104可以接着与正被媒体渲染源102渲染的媒体同步地渲染和呈现所选择的媒体流。
客户端设备104可以包括位置追踪模块120，以确保两个媒体流之间的精确同步。当触发客户端设备104捕获媒体样本时，从客户端设备104的参考时钟记录时间戳(T0)。在任意时间t，从估计的所识别的媒体流位置TS加上从时间戳的时间起经过的时间而确定估计的实时媒体流位置Tr(t)：
Tr(t)＝TS+t-T0 等式(1)
Tr(t)是从参考点(诸如媒体流的起始)至媒体流的当前正被渲染的实时位置经过的时间量。因此，使用Ts(即，从媒体流的起始至媒体流的基于记录的 样本的位置的估计的时间经过量)，可以计算Tr(t)。接着，客户端设备104使用Tr(t)来与正被媒体渲染源102渲染的媒体同步地呈现所选择的媒体流。例如，客户端设备104可以在时间位置Tr(t)处或者在使得已经经过了时间量Tr(t)的位置处开始渲染所选择的媒体流。
位置追踪可能由于许多原因而丧失同步。在一个实例中，媒体流可能被媒体渲染源102以非预期的速度渲染。例如，如果正在未校准的唱机转盘或CD播放器上播放音乐记录，则音乐记录可能被比预期的参考速度播放得更快或更慢，或者以与存储的参考媒体流不同的方式播放。或者，有时，DJ可能有意地改变音乐记录的速度，以获得一定的效果，诸如匹配多个轨道之间的节奏。在这样的情况中，随着t增大，估计的位置Tr(t)可能变得不正确，结果，选择的媒体流可能丧失同步。作为参考速度的示例，CD播放器被预期以每秒44100个样本而渲染；45RPM黑胶唱片被预期在唱机转盘上以每分钟45转而播放；并且NTSC视频流被预期以每秒60帧而播放。
在某些实施例中，为了减轻或阻止所选择的媒体流丧失与媒体渲染源102正在渲染的媒体的同步，可以根据速度调整比率R调整估计的位置Tr(t)。例如，在美国专利No.7,627,477，题为“Robust and invariant audio pattern matching”(通过引用将其全部内容合并于此)中描述的方法可被执行来识别媒体样本、所估计的识别的媒体流位置Ts、和速度比率R。
为了估计速度比率R，计算匹配指纹的变化部分的交叉频率(cross-frequency)比率，并且，因为频率与时间成反比，所以交叉时间比率是交叉频率比率的倒数。交叉速度比率R是交叉频率比率(例如，交叉时间比率的倒数)。
更具体地，使用上述方法，可以通过生成样本的时间-频率频谱图(例如，计算傅里叶变换以生成每个帧中的频率分布(bin))并识别频谱图的局部能量峰，来表征两个音频样本之间的关系。与局部能量峰有关的信息被提取和总结到指纹对象的列表中，每个指纹对象可选地包括位置字段、变化成分、和不变成分。从各个音频样本的频谱图导出的某些指纹对象可接着被匹配。针对每对匹配的指纹对象来确定相对值，其例如可以是各个音频样本的参数值的商或对数差。
在一个示例中，从媒体样本的频谱图中选择频谱峰的局部对，并且每个局部对包括指纹。类似地，从已知媒体流的频谱图中选择频谱峰的局部对， 并且每个局部对包括指纹。确定样本和已知媒体流之间的匹配指纹，并计算针对样本和媒体流中的每个的频谱峰之间的时间差。例如，样本的两个峰之间的时间差被确定并与已知媒体流的两个峰之间的时间差进行比较。可以确定这两个时间差的比率，并可以生成包括这样的比率(例如从匹配的指纹对中提取)的直方图。可以将直方图的峰值确定为实际速度比率(例如，媒体渲染源102正在播放媒体的速度与渲染参考媒体文件的参考速度相比的比率)。因此，可以通过找到直方图中的峰值(例如，使得直方图中的峰值将两个音频样本之间的关系表征为相对节距(pitch)，或者在线性拉伸的情况下表征为相对回放速度)而获得速度比率R的估计。
替代地，可以从来自样本和已知媒体流的匹配指纹的频率值确定相对值。例如，样本的一对频谱图峰的锚点的频率值被确定并与媒体流的一对频谱图峰的锚点的频率值进行比较。可以确定这两个频率值的比率，并且可以生成包括这种比率(例如从匹配的指纹对中提取)的直方图。可以将直方图的峰值确定为实际速度比率R。在等式中，
其中f样本和f流是匹配指纹的变化频率值，如Wang和Culber的美国专利No.7,627,477中所描述的，通过引用将其全文合并于此。
因此，可以使用来自两个音频样本的对应变化成分从匹配的指纹对象估计全局相对值(例如，速度比率R)。变化成分可以是从每个指纹对象的位置附近的局部特征确定的频率值。速度比率R可以是频率或时间增量(delta time)的比率，或者是导致用于描述两个音频样本之间的映射的全局参数的估计的某些其它函数。例如，速度比率R可以被认为是相对回放速度的估计。
也可以使用其它方法估计速度比率R。例如，可以捕获媒体的多个样本，并且可以对每个样本执行内容识别，以针对第k个样本，在参考时钟时间T0(k)获得多个估计的媒体流位置Ts(k)。从而，R可以被估计为：
为了将R表现为随时间变化的，可以使用以下等式：
因此，可以使用在时间跨度上估计的时间位置Ts来计算速度比率R，以确定媒体渲染源102正在渲染媒体的速度。
使用速度比率R，可以将实时媒体流位置的估计计算为：
Tr(t)＝TS+R(t-T0) 等式(5)
实时媒体流位置表示媒体样本的时间位置。例如，如果媒体样本来自于具有4分钟长度的歌曲，并且如果Tr(t)是1分钟，则其表示歌曲已经经过了1分钟。
图1中的系统还可以包括间断检测模块122，其可以包含在客户端设备104和/或服务器108内，或者间断检测模块122的功能例如可以可选地由客户端设备104的组件和/或服务器108的组件执行。替代地，如图1中所示，间断检测模块122可以是例如使用无线或有线通信技术与客户端设备104和/或服务器108通信的独立实体。
间断检测模块122可以检测正被媒体渲染源102渲染的媒体流是否被意外地中断。这可能在如下情况中发生：例如，在媒体渲染源102上改变了频道，或者某人停止了媒体流的播出或者跳到媒体流中的不同位置。如果从媒体库数据库118选择的媒体流将继续播放，则这两个媒体流将丧失同步或不连贯。间断检测模块122可以停止所选择的媒体流或者尝试重新同步这两个媒体流。因此，间断检测模块122可以验证是否正与正被媒体渲染源102渲染的媒体流同步地渲染所选择的媒体流。
如以上作为示例方法所描述的，可以通过执行周期性的位置和/或内容识别采样以计算速度比率R，来实施间断检测模块122的功能，并且因此，间断检测模块122可以与服务器108通信。如果在某点上，内容识别不再成功，则正被媒体渲染源102渲染的媒体流已经停止。或者，如果不同的媒体流被识别，则可能频道改变，正在播放新的轨道，等等。
为了确定正被媒体渲染源102渲染的媒体流中的间断，间断检测模块122可以周期性地从客户端设备104接收媒体样本，并且对媒体样本执行指纹提取。间断检测模块122也可以从位置识别模块110接收信息，该信息包括对准文件，该对准文件包括贯穿媒体流的参考媒体流的多个指纹。间断检测模块122可以接着将从周期性地接收的媒体样本提取的指纹与对准文件中的指纹进行比较，以确定正被媒体渲染源102渲染的媒体流是否已被中断。当未发现可识别的指纹匹配时，间断检测模块122可以确定媒体流已被中断或结 束。
例如也可以使用上述方法或者授权给Wang和Smith的美国专利No.6,990,453中描述的方法来执行指纹匹配。
此外，间断检测模块122可以(从内容识别模块112)获知媒体流的内容识别，并因此可以接收用于媒体流的指纹的文件。间断检测模块122将预计某些指纹在预定时间会出现在样本中，并且，如果未见到预期的指纹，则可以确定间断。例如，如果已经经过了某一时间量而没有预定指纹匹配，则可以确定间断。
在确定了间断的类型时，间断检测模块122可以进行多个事情之一。在一个示例中，基于速度漂移的检测，间断检测模块122可以对速度比率R进行调整，从而执行媒体流的重新同步。在另一示例中，基于大间断的检测，间断检测模块122可以使用位置识别模块110重新对准媒体流，以便执行媒体流的重新同步。在再一示例中，间断检测模块122可以使用内容识别模块112来检测新媒体流，并选择不同的匹配的媒体流和新流中的新位置用于同步。在另一示例中，如果位置和/或内容识别失败，间断检测模块122可以指示客户端设备104停止渲染所选择的媒体。
例如，客户端设备104可以从间断检测模块122接收通知，并接着停止显示所选择的媒体流或改变为显示从媒体流库数据库118中选择的新媒体流，该新媒体流与正从媒体渲染源102渲染的新媒体流同步。
间断检测模块122可以因此替代地执行或指示客户端设备104执行对从媒体库数据库118选择的媒体与正被媒体渲染源102渲染的媒体的对准的更新。间断检测模块122可以基于错误预测的指纹匹配的对准而确定调整所选择的媒体在客户端设备104上的渲染的偏移值，使得将所选择的媒体与媒体渲染源102对媒体流的渲染重新对准和同步。
替代地，如果间断检测模块122不再识别到来自周期性地接收的媒体样本的指纹与对准文件中的指纹的匹配，则间断检测模块122可以告知客户端设备104执行从媒体流库数据库118选择的媒体与媒体渲染源102正渲染的媒体的重新同步。为了这么做，客户端设备104可以重新执行以下方法：捕获媒体的新样本并将新样本发送到位置识别模块110，以确定时间偏移。
仍然，替代地，基于指纹匹配的连续缺失，间断检测模块122可以确定媒体流不再被渲染(例如如果位置检测模块110未检测到匹配的时间偏移)， 并因此例如可以指示客户端设备104停止渲染所选择的媒体，或者执行新内容识别。客户端设备104可以发送新样本给内容识别模块112，以识别正被媒体渲染源102渲染的新媒体流。如果识别的媒体流已改变，则客户端设备104可以从媒体流库数据库118选择新媒体流，其对应于要被客户端设备104同步渲染的媒体样本。
图2示出了用于同步媒体流的方法200的说明性实施例的流程图。应该理解，对于这里公开的此以及其它处理和方法，流程图示出了当前实施例的一个可能的实施方式的功能和操作。在这一点上，每个方框可以表示程序代码的模块、片段或部分，其包括可由处理器执行用于实施处理中的特定逻辑功能或步骤的一个或多个指令。程序代码可以存储在任何类型的计算机可读介质中，例如存储设备，包括盘或硬盘驱动器。计算机可读介质可以包括非暂时性计算机可读介质，例如，短时段内存储数据的计算机可读介质，如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)。计算机可读介质也可以包括非暂时性介质，诸如二次或永久长期存储装置，如只读存储器(ROM)、光或磁盘、光盘只读存储器(CD-ROM)。计算机可读介质也可以是任何其它易失性或非易失性存储系统。例如，计算机可读介质可以被认为是计算机可读存储介质。
此外，图2中每个方框可以表示被布线以执行处理中的特定逻辑功能的电路。替代的实施方式包含在本公开的示例实施例的范围内，其中，可以不以所显示或说明的顺序执行功能，包括基本同时或以相反顺序执行，这取决于所涉及的功能，如本领域的技术人员所理解的。
初始地，在方框202，客户端设备接收正被媒体渲染源渲染的媒体流的媒体样本。客户端设备可以在媒体流被渲染时通过记录媒体样本而接收媒体样本。媒体样本与时间戳关联或具有时间戳，该时间戳对应于媒体样本的采样时间。例如，客户端设备可以捕获正被渲染的媒体流的样本，并且基于客户端设备上的时钟记录样本被记录的时间。
接着可以确定媒体样本的时间偏移，其指示媒体流中对应于媒体样本的采样时间的时间位置，如在方框204所示。例如，客户端设备可以将媒体流的样本发送到位置识别模块，该位置识别模块将返回媒体样本的识别和时间偏移。替代地，客户端设备可以确定时间偏移。
可选地，接着确定时间尺度比，其指示基于媒体流的参考速度的由媒体 渲染源渲染媒体的速度，如在方框206所示。时间尺度比可以由客户端设备或者由服务器确定，并被返回给客户端设备。时间尺度比不是同步媒体流所必须的；然而，在某些实施例中可以包括时间尺度比。
接着使用实时时间戳、媒体样本的时间戳、时间偏移、以及可选地使用时间尺度比，来确定指示当前时间的实时偏移，如方框208中所示。可以使用上述等式(1)或等式(4)计算实时偏移。
客户端设备可以接着在对应于实时偏移的位置处渲染第二媒体流，以与正被媒体渲染源渲染的媒体流同步，如方框210所示。客户端设备可以接收第二媒体流，或者可以例如基于正被媒体渲染源渲染的媒体流的标识而从客户端设备的存储器(例如本地存储装置)或者从数据库选择第二媒体流。第二媒体流可以与正被媒体渲染源渲染的媒体流有关，并且可以基于媒体流的内容识别而被选择。在某些示例中，第二媒体流可以是对应于识别的媒体流的歌词。替代地，第二媒体流可以是任何类型的媒体流，例如电影、声轨、歌词、文本、视频剪辑、图片、幻灯片、文档等。
在一个实施例中，可以执行方法200来将歌曲歌词在第一设备上的显示与正被第二设备或媒体渲染源播放的歌曲同步。第一设备的用户因此可以实时地观看对应于识别的周边音乐的歌词。可以在与周边音乐同步的时间位置处显示歌词文本。在一个示例中，当歌曲正被第二设备播放时，可以在第一设备的显示器上滚动歌词文本，使得当该歌词被歌唱时显示歌词文本。
在此示例中，提供用于向用户触发信息传送事件的方法和系统。收听任何媒体渲染源(例如在家中收听流行音乐的商业无线电广播)的用户可能感兴趣于随同正播放的特定歌曲一起歌唱，并因此期望获得歌曲歌词。使用采样设备(诸如移动(或蜂窝)电话、录影机、相机、个人数字助理(PDA)或掌中宝)，用户捕获媒体渲染源的样本，并例如将样本发送到服务提供商。为了发送样本，用户可以拨打预定电话号码以访问服务，并接着将电话听筒保持在音频信号源(即，用户的家用立体声系统的扬声器)的可听距离内，以捕获环境的样本。在此示例中，经验环境包括在用户的家用立体声系统上播放的音乐。替代地，用户可以使用采样设备来记录正被播放的音乐的样本，并可以将样本发送到服务器。
服务提供商或服务器采用的系统使用辨识引擎来将捕获的样本与数据库中的音乐记录进行比较，以识别歌曲并因此为用户触发期望的事件。在此示 例中，触发的事件是将对应于从捕获的样本辨识的歌曲的歌词信息传送给用户。
可以实时和延迟模式的多种不同的方式完成事件的实现，即，将期望的歌曲歌词传送给用户。在实时模式中，传送歌词数据，使得用户可以阅读歌词，以在广播歌曲时及时地随同歌曲而歌唱。因此，对应于捕获的样本的歌曲的数据被从数据库读出，并被服务提供商发送给能够显示文本的用户设备。
取决于显示设备和用户偏好，可以批量布置的方式发送歌词的实时传送，在批量布置中同时下载整个歌词数据或者相对大的部分，或者，使用分离布置发送歌词的实时传送，在分离布置中，自动将歌词数据与歌曲同步，并且随着歌曲的前进而分片地发送给用户。对于批量传送，用户可以选择将歌词的显示与正被播放的歌曲同步(使得在广播中的歌曲表演者歌唱或说出歌词之前以合适的时间间隔显示歌词)，或者，在某些应用中，用户设备可以配置为执行批量发送的同步。服务提供商可以发送歌词数据，以自动与广播歌曲同步，而用户或用户设备不需要任何动作。通过导出捕获的样本在辨识的歌曲中的时间位置而实现这样的自动同步，并且例如接着可以随着歌曲前进而分片地将歌词发送到用户设备。
事件实现的延迟模式包括在歌曲广播之后的某个时间传送对应于采样的歌曲的歌词。可以与被表征为更耗时的传送方法(诸如，邮件、邮递(courier)以及传真传输)一起使用与利用实时模式相同的传送方法。
在示例实施例中，可以通过语音或触摸音调(即DTMF音调)收集附加用户输入，以进一步控制歌词传送或触发附加事件，诸如交易事件。例如，通过分别经由捕获设备或传送设备、电话和文本显示设备而与用户交互，服务提供商可以向用户提供购买选项，以获得包含歌词被寻找的广播和识别的歌曲的唱片专辑。
图3A-3B示出了用于识别媒体内容并将数据与识别的媒体内容同步的系统的另一示例。在图3A的系统中，媒体内容可以是歌曲，并且系统被操作来使用客户端设备304捕获被随机媒体渲染源302渲染的歌曲的样本，以及识别样本的时间偏移，并接着提供歌曲的歌词在客户端设备304上的同步显示。
媒体渲染源302可以是任何形式。图3A中所示的示例包括收音机和电视、预录的音频和视频(例如磁带、CD、DVD、MP3等)、因特网和基于计 算机的系统上的媒体、现场演示或表现。其它示例包括电话、来自周边环境的感官刺激、以及可以单独或组合地形成典型媒体渲染源的元件的其它组件。
客户端设备304可以被用于从媒体渲染源302捕获歌曲的样本。客户端设备304可以包括麦克风或其它组件用以记录样本。客户端设备304可以接着通过无线或有线通信将样本发送到服务器306。在图3A中示出的示例中，客户端设备304通过无线通信网络(未示出)与服务器306通信。无线通信网络可以是任何无线网络，例如，下述中的任一个：蜂窝无线网络、无线局域网(WLAN)或Wi-Fi网络、蓝牙网络或其它无线个人区域网(WPAN)、无线城域网(WMAN)、或无线广域网(WWAN)。
服务器306包括位置识别模块308和内容识别模块310。然而，位置识别模块308和/或内容识别模块310中的任一个可以是独立的实体，或者替代地，位置识别模块308和/或内容识别模块310可以是同一实体或者可以具有由同一实体执行的功能。
服务器306使用这里描述的任何方法，从客户端设备304接收样本并执行内容识别。服务器306可以访问歌曲数据库312，以将样本与歌曲的已知样本进行比较以识别样本，以及检索关于识别的样本的信息。服务器306可以接着访问歌词数据库314，以检索识别的歌曲的歌词。
关于歌曲的信息以及包括歌曲的所有歌词的批量文件接着被发送到客户端设备304，如图3B中所示。信息的一部分可以包括所估计的识别的媒体流位置Ts，客户端设备304可以使用该位置Ts计算所估计的实时媒体流位置Tr(t)。所估计的识别的媒体流位置Ts是识别的音轨的长度内的对应于音频样本的起始的时间。歌词可以是注释了时间的歌词316，其包括关于歌词的每行或每词的媒体流时间位置的信息。在一个示例中，歌词可以包括在XML文件中，该XML文件包括包含注释的时间字段，或者，可以其它方式将定时信息嵌入在歌词内。客户端设备304可以接着在时间位置Tr(t)渲染歌词，使得与正被媒体渲染源302渲染的歌词同步地(例如，同时或大致同时)显示歌词的文本。
替代地，服务器306可以不在一个文件中将歌曲的所有歌词都发送到客户端设备304，而是可以与正被媒体渲染源302渲染的歌曲同步地将歌词流式传输到客户端设备304。可以在媒体渲染源302渲染歌词前的时刻将歌词发送到客户端设备304，使得客户端设备304有时间来接收歌词，并与媒体 渲染源302渲染的歌词同步地显示歌词。
图4示出了用于将歌词与正被媒体渲染源渲染的歌曲同步的方法400的说明性实施例的流程图。初始地，如方框402中所示，客户端设备向位置识别模块发送正由媒体渲染源渲染的歌曲的音频样本。音频样本与时间戳(T0)关联、或具有时间戳(T0)，该时间戳(T0)对应于音频样本的采样时间。客户端设备将从位置识别模块接收样本的时间偏移(Ts)并可选地接收时间尺度比(R)，时间偏移(Ts)指示歌曲中对应于音频样本的采样时间的时间位置，时间尺度比(R)指示基于歌曲的参考速度的由媒体渲染源渲染歌曲的速度，如方框404中所示。时间尺度比可选地被用于校正歌曲的渲染与歌曲的参考速度相比的差。因此，时间尺度比可被用于补偿歌曲中的时间漂移。
客户端设备接着使用指示当前时间的实时时间戳、音频样本的时间戳、时间偏移、以及可选地使用时间尺度比，来计算实时偏移，如方框406所示。
客户端设备将接收歌曲的文本歌词，如方框408所示。歌词可以是注释了时间的歌词，其包括用于歌词的行组、每行、或词的时间标签。时间标签可以指示歌曲中被歌唱的歌词的时间位置(例如对应于经过了的时间量)。例如可以将歌词作为文本文件或XML文件发送到客户端设备。客户端设备可以接着在对应于实时偏移的位置渲染文本歌词，以与被媒体渲染源渲染的歌曲同步，如方框410所述。客户端设备可以滚动的方式渲染歌词，从而在歌唱歌词时显示文本歌词。此外，例如，可以在歌唱歌词的词时突显歌词，可以使用指针来指示正在歌唱哪些歌词，或者可以使用其它方法来指示在歌唱歌词的词时(或基本同时)正在歌唱的词。在这一点上，例如，客户端设备可以动画的方式渲染歌词，使得在歌唱歌词的词时(例如同步地)显示该词，或者使得显示所有词、或者比当前正在歌唱的词更多的词，而以动画的方式强调正被歌唱的那些词。可以使用任何类型的动画来显示歌词。
客户端设备还可以在不同的或以后的时段向位置识别模块发送歌曲的附加样本，以接收对时间偏移的更新。以此方式，客户端设备可以验证例如在时间上歌词被同步地显示。客户端设备可以在更新的时间偏移位置显示歌词，以确保歌词匹配在歌曲的渲染中可能的改变，例如，如果音乐家减慢节奏，或者在歌曲中具有任何中断。
使用方法400，用户的设备(例如，蜂窝电话)可以记录正被任何类型的随机媒体渲染源渲染的音乐的样本，并接着将歌词与歌曲同步，用于在用 户的设备上显示。例如，用户的设备可以因此操作为现场卡拉OK设备。
在另一实施例中，方法200可被执行以将音乐信息(例如，吉他符号谱或传统乐谱或音乐游戏格式)在第一设备上的显示与正被第二设备或媒体渲染源播放的歌曲同步。第一设备的用户可以因此实时地观看与识别的周边音乐对应的音乐信息。可以在与周边音乐同步的时间位置显示音乐信息。在一个示例中，当第二设备播放歌曲时，可以在第一设备上的显示器上滚动音乐信息，使得当渲染音乐信息时显示该信息。
图5示出了音乐信息的示例，其可以包括传统的乐谱502、吉他符号谱504、或其它乐谱。可以将音乐信息作为注释了时间的音乐文件提供给用户的设备，该注释了时间的音乐文件指示每行的时间顺序。用户的设备可以接着在播放音乐时与音乐同步地显示音乐信息。这使得用户能够以同步的方式随同用户正听的歌曲进行演奏。
乐谱/符号谱的同步使用音频辨识，以随着音乐源正渲染音乐而及时显示乐谱/符号谱，并且提供音乐家能够实时地随着音乐而进行演奏的方法。这对于音乐家是有用的，例如，在学习音乐时，许多演奏者希望随同收音机上的音乐或其它喜欢的歌曲进行演奏。同步的乐谱/符号谱使得音乐家能够在音乐过程中受到引导，并且能够被指示在歌曲中听到音符的点要演奏什么。
在另一示例中，音乐家可以在乐器(例如，吉他、钢琴、木管乐器、乐器数字界面(midi)设备等)上演奏音乐，并且使用这里描述的方法，可以识别音乐家正在演奏的歌曲。此外，可以将歌曲的音乐信息(例如吉他符号谱/传统乐谱/音乐游戏格式)返回到设备，并在音乐家的设备的屏幕上显示。可以在音乐家演奏歌曲时与歌曲同步地显示乐谱。
此示例同步方法使用音频辨识来识别音乐家演奏的音乐，并接着及时地与音乐同步乐谱/符号谱。这可以帮助音乐家，因为当学习音乐时，大多数演奏者可能知道歌曲的开始，但不知道歌曲的其余部分。此外，这使得演奏者能够学习音乐而不需要停止和开始演奏以及在乐谱中翻页(因为音乐将贯穿音乐家的设备上的歌曲)。
在另一实施例中，这里描述的方法可被执行来将电影或音乐视频在第一设备上的显示与被第二设备或媒体渲染源播放的媒体(例如声轨或歌曲)同步。第一设备的用户因此可以实时地观看对应于识别的周围音乐的音乐视频。可以在与周边音乐同步的时间位置显示音乐视频。
在再一实施例中，媒体流可以是视频流，并且第二媒体流可以是视频流的声轨。此外，或者作为替代，媒体流可以是声轨，并且第二媒体流可以是电影。
在再一实施例中，第二媒体流可以是第一媒体流的替代版本，例如不同语言的版本。或者，第二媒体流可以具有与第一媒体流不同的分辨率，例如，高清或者7.1声道环绕声，使得通过同步第二媒体流，可以提供第一媒体流的更高质量的版本。
图6示出了用于识别媒体内容并将媒体与识别的媒体内容同步的系统的另一示例。在图6的系统中，媒体内容可以是歌曲，并且系统被操作来使用客户端设备604捕获正被随机媒体渲染源602渲染的歌曲的样本，并且识别时间偏移并可选地识别歌曲，以及接着提供歌曲的音乐视频在客户端设备604上的同步显示。
客户端设备604可以从媒体渲染源602捕获歌曲的样本，并将样本发送到服务器606，其包括位置识别模块608和内容识别模块610(例如，它们的每个可以是同一实体、或独立的实体)。位置识别模块608从客户端设备604接收样本，确定样本的时间偏移。内容识别模块610可以可选地使用这里描述的任一方法执行内容识别。内容识别模块610可以访问歌曲数据库612，以将样本与歌曲的已知样本比较，以识别样本，并且检索关于识别的样本的信息。内容识别模块610可以接着访问电影数据库614，以检索识别的歌曲的音乐视频。
位置识别模块608将向客户端设备604返回估计的识别的媒体流位置Ts，其可用于计算所估计的实时媒体流位置Tr(t)。所估计的识别的媒体流位置Ts是识别的音轨的长度内对应于音频样本的起始的时间。音乐视频可以是注释了时间的视频，其例如包括关于每帧或每组帧的媒体流时间位置的信息。客户端设备604可以从服务器606接收音乐视频，并接着在时间位置Tr(t)渲染音乐视频，使得与正被媒体渲染源602渲染的歌曲同步地(例如，同时或大致同时)显示音乐视频。
虽然这里已经公开了各个方面和实施例，但对于本领域的技术人员而言，其它方面和实施例将是很明显的。这里公开的各个方面和实施例是为了说明的目的，而不意在限制，真正的范围和精神由所附的权利要求指示。可以进行许多修改和变化而不偏离其精神和范围，如对本领域的技术人员所明显的。 根据之前的描述，对本领域的技术人员而言，在所列举的方法和装置之外，本公开的范围内功能上等同的方法和装置是显然的。这种修改和改变也意在落于所附权利要求的范围内。

Claims (29)

1.一种方法，包括：
接收正被媒体渲染源渲染的媒体流的媒体样本；
由计算设备确定与所述媒体样本潜在匹配的多个媒体记录；
由所述计算设备向客户端设备提供包括所述多个媒体记录之一的特征的信息的对准文件，其中预计所述多个媒体记录之一在所述对准文件中的特征在预定时间出现在所述媒体流中。
2.如权利要求1所述的方法，还包括基于所述多个媒体记录的特征与所述媒体样本的特征的时间对应关系，确定与所述媒体样本潜在匹配的所述多个媒体记录。
3.如权利要求1所述的方法，还包括基于指示所述媒体样本在所述媒体流中的时间偏移的时间位置，确定与所述媒体样本潜在匹配的所述多个媒体记录。
4.如权利要求1所述的方法，其中所述对准文件包括所述多个媒体记录中的给定媒体记录的多个指纹，所述指纹发生在所述媒体记录中在所述媒体样本的内容存在在所述媒体记录中的时间之后的界标时间位置处。
5.如权利要求1所述的方法，还包括：
在对应界标处确定所述媒体样本的多个指纹，以便识别所述媒体样本的指纹和界标对；以及
基于所述媒体记录的指纹和界标对、与所述媒体样本的指纹和界标对的比较，确定与所述媒体样本潜在匹配的所述多个媒体记录。
6.如权利要求1所述的方法，还包括：
从所述多个媒体记录确定与所述媒体样本的匹配；以及
提供所述匹配的对准文件，其包括所述匹配的预计在预定时间出现在所述媒体流中的特征的信息。
7.如权利要求1所述的方法，其中接收所述媒体样本包括从所述客户端设备接收所述媒体样本。
8.如权利要求1所述的方法，其中接收所述媒体样本包括随时间递增地接收所述媒体样本的部分，并且其中，所述方法还包括：
继续基于所述多个媒体记录的特征与随时间接收的所述媒体样本的特征的时间对应关系，确定所述媒体记录中的哪些与所述媒体样本潜在匹配，直到接收了足够的数据以明确地识别匹配的媒体记录为止。
9.如权利要求1所述的方法，其中接收所述媒体样本包括随时间递增地接收所述媒体样本的部分，并且其中，所述方法还包括：
继续基于所述多个媒体记录的特征与随时间接收的所述媒体样本的特征的时间对应关系，确定所述媒体记录中的哪些与所述媒体样本潜在匹配，直到发现具有阈值数目的时间对应关系的媒体记录为止。
10.如权利要求1所述的方法，其中接收所述媒体样本包括随时间递增地接收所述媒体样本的部分，并且其中，所述方法还包括：
基于对所述媒体样本的明确识别，提供指示与所述媒体样本的匹配的信息。
11.一种方法，包括：
由客户端设备向计算设备发送正被媒体渲染源渲染的媒体流的媒体样本；
在客户端设备接收包括与所述媒体样本潜在匹配的多个媒体记录之一的特征的信息的对准文件，其中所述对准文件包括所述媒体记录的预计在预定时间出现在所述媒体流中的特征；以及
确定正被所述媒体渲染源渲染的媒体流是否与所述对准文件的媒体记录匹配。
12.如权利要求11所述的方法，其中所述对准文件包括所述多个媒体记录中的给定媒体记录的多个指纹，所述指纹发生在所述媒体记录中在所述媒体样本的内容存在在所述媒体记录中的时间之后的时间位置处。
13.如权利要求11所述的方法，其中确定正被所述媒体渲染源渲染的媒体流是否与所述对准文件的媒体记录匹配包括确定正被所述媒体渲染源渲染的所述媒体流是否已经中断。
14.如权利要求11所述的方法，其中确定正被所述媒体渲染源渲染的媒体流是否与所述对准文件的媒体记录匹配包括确定正被所述媒体渲染源渲染的所述媒体流是否已经结束。
15.如权利要求11所述的方法，其中确定正被所述媒体渲染源渲染的媒体流是否与所述对准文件的媒体记录匹配包括确定在所述媒体流中是否不再见到所述对准文件中的预期指纹。
16.如权利要求11所述的方法，还包括：
接收正被所述媒体渲染源渲染的所述媒体流的附加媒体样本；以及
其中确定正被所述媒体渲染源渲染的媒体流是否与所述对准文件的媒体记录匹配包括确定所述附加媒体样本的特征是否与所述对准文件的媒体记录的特征具有时间对应关系。
17.如权利要求11所述的方法，基于在所述媒体流与所述对准文件的媒体记录之间没有预定指纹匹配的经过的时间量，确定存在不连续性。
18.如权利要求17所述的方法，还包括：基于存在不连续性，向所述计算设备发送正被所述媒体渲染源渲染的所述媒体流的新媒体样本。
19.如权利要求11所述的方法，还包括：
所述客户端设备与正被所述媒体渲染源渲染的所述媒体流同步地渲染第二媒体流；以及
基于所述媒体流与所述对准文件的媒体记录的对准，确定所述第二媒体流的渲染与所述媒体流之间的同步。
20.如权利要求19所述的方法，其中基于所述媒体流与所述对准文件的媒体记录的对准确定所述第二媒体流的渲染与所述媒体流之间的同步包括：基于所述媒体流的参考速度，确定与所述媒体流正被所述媒体渲染源渲染的速度相关联的时间尺度比。
21.如权利要求11所述的方法，还包括：
基于所述媒体流的参考速度，确定与所述媒体流正被所述媒体渲染源渲染的速度相关联的时间尺度比；
基于所述时间尺度比确定正被所述媒体渲染源渲染的媒体流是否与所述对准文件的媒体记录匹配，以对所述媒体流与所述对准文件的媒体记录的匹配的时间漂移进行补偿。
22.如权利要求11所述的方法，还包括：
所述客户端设备与正被所述媒体渲染源渲染的所述媒体流同步地渲染第二媒体流；以及
基于所述媒体流与所述对准文件的媒体记录的误对准，确定所述第二媒体流的渲染与所述媒体流之间的同步的中断。
23.如权利要求22所述的方法，还包括基于所述中断，中止所述第二媒体流的渲染。
24.一种方法，包括：
由客户端设备向计算设备发送正被媒体渲染源渲染的媒体流的媒体样本；
在客户端设备接收包括与所述媒体样本潜在匹配的多个媒体记录之一的特征的信息的对准文件，其中所述对准文件包括所述媒体记录的预计在预定时间出现在所述媒体流中的特征；以及
比较正被所述媒体渲染源渲染的所述媒体流与所述对准文件的媒体记录，以确定正被所述媒体渲染源渲染的媒体流是否已经中断。
25.如权利要求24所述的方法，还包括确定正被所述媒体渲染源渲染的媒体流是否与所述对准文件的媒体记录匹配。
26.如权利要求24所述的方法，还包括确定正被所述媒体渲染源渲染的媒体流是否已经结束。
27.如权利要求24所述的方法，还包括确定在所述媒体流中是否不再见到所述对准文件中的预期指纹。
28.如权利要求24所述的方法，其中所述对准文件包括所述多个媒体记录中的给定媒体记录的多个指纹，所述指纹发生在所述媒体记录中在所述媒体样本的内容存在在所述媒体记录中的时间之后的时间位置处。
29.如权利要求24所述的方法，还包括：
接收正被所述媒体渲染源渲染的所述媒体流的附加媒体样本；以及
确定所述附加媒体样本的特征是否与所述对准文件的媒体记录的特征具有时间对应关系。
CN201610334894.7A 2010-05-04 2011-05-04 用于同步媒体的方法 Pending CN105843968A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US33101510P 2010-05-04 2010-05-04
US61/331,015 2010-05-04
CN201180032480.4A CN102959544B (zh) 2010-05-04 2011-05-04 用于同步媒体的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180032480.4A Division CN102959544B (zh) 2010-05-04 2011-05-04 用于同步媒体的方法和系统

Publications (1)

Publication Number Publication Date
CN105843968A true CN105843968A (zh) 2016-08-10

Family

ID=44370697

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610334894.7A Pending CN105843968A (zh) 2010-05-04 2011-05-04 用于同步媒体的方法
CN201180032480.4A Active CN102959544B (zh) 2010-05-04 2011-05-04 用于同步媒体的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201180032480.4A Active CN102959544B (zh) 2010-05-04 2011-05-04 用于同步媒体的方法和系统

Country Status (6)

Country Link
US (4) US8996380B2 (zh)
EP (2) EP2567331B1 (zh)
KR (2) KR101490576B1 (zh)
CN (2) CN105843968A (zh)
CA (2) CA2798072C (zh)
WO (1) WO2011140221A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997388A (zh) * 2017-03-30 2017-08-01 宁波亿拍客网络科技有限公司 一种图像及非图像标记方法、设备及应用方法
CN112669798A (zh) * 2020-12-15 2021-04-16 深圳芒果未来教育科技有限公司 一种对音乐信号主动跟随的伴奏方法及相关设备

Families Citing this family (199)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9313359B1 (en) * 2011-04-26 2016-04-12 Gracenote, Inc. Media content identification on mobile devices
US9367544B2 (en) * 2008-06-18 2016-06-14 Gracenote, Inc. Method for efficient database formation and search on media devices acting synchronously with television programming
US8433431B1 (en) 2008-12-02 2013-04-30 Soundhound, Inc. Displaying text to end users in coordination with audio playback
US9390167B2 (en) 2010-07-29 2016-07-12 Soundhound, Inc. System and methods for continuous audio matching
US9026102B2 (en) 2010-03-16 2015-05-05 Bby Solutions, Inc. Movie mode and content awarding system and method
CA2798072C (en) * 2010-05-04 2017-02-14 Shazam Entertainment Ltd. Methods and systems for synchronizing media
US9159338B2 (en) * 2010-05-04 2015-10-13 Shazam Entertainment Ltd. Systems and methods of rendering a textual animation
US10515523B2 (en) * 2010-07-21 2019-12-24 D-Box Technologies Inc. Media recognition and synchronization to a motion signal
US9047371B2 (en) 2010-07-29 2015-06-02 Soundhound, Inc. System and method for matching a query against a broadcast stream
GB201017174D0 (en) * 2010-10-12 2010-11-24 Muvemedia Ltd System and method for delivering multilingual video or film sound tracks or multilingual spoken or sung dialog for synchronization and playback
US8762852B2 (en) * 2010-11-04 2014-06-24 Digimarc Corporation Smartphone-based methods and systems
US10019995B1 (en) 2011-03-01 2018-07-10 Alice J. Stiebel Methods and systems for language learning based on a series of pitch patterns
US11062615B1 (en) 2011-03-01 2021-07-13 Intelligibility Training LLC Methods and systems for remote language learning in a pandemic-aware world
US9035163B1 (en) 2011-05-10 2015-05-19 Soundbound, Inc. System and method for targeting content based on identified audio and multimedia
BR112013031574A2 (pt) 2011-06-10 2018-04-24 Shazam Entertainment Ltd métodos e sistemas para identificar conteúdo em um fluxo de dados
US20120315014A1 (en) * 2011-06-10 2012-12-13 Brian Shuster Audio fingerprinting to bookmark a location within a video
US9063935B2 (en) * 2011-06-17 2015-06-23 Harqen, Llc System and method for synchronously generating an index to a media stream
US20130065213A1 (en) * 2011-09-13 2013-03-14 Harman International Industries, Incorporated System and method for adapting audio content for karaoke presentations
US8433577B2 (en) * 2011-09-27 2013-04-30 Google Inc. Detection of creative works on broadcast media
CN102419998B (zh) * 2011-09-30 2013-03-20 广州市动景计算机科技有限公司 一种音频处理方法及系统
JP6057504B2 (ja) * 2011-10-12 2017-01-11 アルパイン株式会社 電子装置、出力制御方法および出力制御プログラム
US9462340B1 (en) * 2011-10-13 2016-10-04 Trevor Mathurin Voice/manual activated and integrated audio/video multi-media, multi-interface system
US9715581B1 (en) * 2011-11-04 2017-07-25 Christopher Estes Digital media reproduction and licensing
JP2013117688A (ja) * 2011-12-05 2013-06-13 Sony Corp 音響処理装置、音響処理方法、プログラム、記録媒体、サーバ装置、音響再生装置および音響処理システム
US10986399B2 (en) 2012-02-21 2021-04-20 Gracenote, Inc. Media content identification on mobile devices
US9292894B2 (en) * 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
US10957310B1 (en) 2012-07-23 2021-03-23 Soundhound, Inc. Integrated programming framework for speech and text understanding with meaning parsing
US9117374B2 (en) * 2012-09-19 2015-08-25 Google Inc. Automatically generating quiz questions based on displayed media content
US9173023B2 (en) * 2012-09-25 2015-10-27 Intel Corporation Multiple device noise reduction microphone array
US20140149861A1 (en) * 2012-11-23 2014-05-29 Htc Corporation Method of displaying music lyrics and device using the same
MX2015007899A (es) * 2012-12-18 2016-02-05 Vadio Inc Sistema y metodo para proporacionar contenido de video multimedia concordante.
US20140196070A1 (en) * 2013-01-07 2014-07-10 Smrtv, Inc. System and method for automated broadcast media identification
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US9344759B2 (en) * 2013-03-05 2016-05-17 Google Inc. Associating audio tracks of an album with video content
US20140259043A1 (en) * 2013-03-11 2014-09-11 General Instrument Corporation Gathering and using information regarding viewers' familiarity with media-content items
US9232296B2 (en) * 2013-05-15 2016-01-05 Gn Resound A/S Method and apparatus for transmitting wireless audio streams
US9679053B2 (en) 2013-05-20 2017-06-13 The Nielsen Company (Us), Llc Detecting media watermarks in magnetic field data
CN105474655A (zh) * 2013-07-17 2016-04-06 瑞典爱立信有限公司 使用数字水印的媒体内容的无缝重放
US9542488B2 (en) 2013-08-02 2017-01-10 Google Inc. Associating audio tracks with video content
US20150046166A1 (en) * 2013-08-12 2015-02-12 Htc Corporation Methods and systems for music information management
US9864782B2 (en) * 2013-08-28 2018-01-09 AV Music Group, LLC Systems and methods for identifying word phrases based on stress patterns
US9380383B2 (en) * 2013-09-06 2016-06-28 Gracenote, Inc. Modifying playback of content using pre-processed profile information
US10754511B2 (en) * 2013-11-20 2020-08-25 Google Llc Multi-view audio and video interactive playback
US9507849B2 (en) 2013-11-28 2016-11-29 Soundhound, Inc. Method for combining a query and a communication command in a natural language computer system
US9292488B2 (en) 2014-02-01 2016-03-22 Soundhound, Inc. Method for embedding voice mail in a spoken utterance using a natural language processing computer system
FR3017224B1 (fr) 2014-02-04 2017-07-21 Michael Brouard Procede de synchronisation d'une partition musicale avec un signal audio
US11295730B1 (en) 2014-02-27 2022-04-05 Soundhound, Inc. Using phonetic variants in a local context to improve natural language understanding
EP2916241A1 (en) * 2014-03-03 2015-09-09 Nokia Technologies OY Causation of rendering of song audio information
EP3114783B1 (en) * 2014-03-04 2019-01-02 Telefonaktiebolaget LM Ericsson (publ) Method and apparatus for obtaining identification information for musical pieces
CN103853836B (zh) * 2014-03-14 2017-01-25 广州酷狗计算机科技有限公司 一种基于音乐指纹特征的音乐检索方法及系统
US10331736B2 (en) * 2014-03-21 2019-06-25 Sonos, Inc. Facilitating streaming media access via a media-item database
CN110045862B (zh) * 2014-03-31 2023-05-23 宸盛光电有限公司 电容式触控装置及其制作方法
US20150302086A1 (en) 2014-04-22 2015-10-22 Gracenote, Inc. Audio identification during performance
US9564123B1 (en) 2014-05-12 2017-02-07 Soundhound, Inc. Method and system for building an integrated user profile
US9449640B2 (en) * 2014-06-03 2016-09-20 Glenn Kreisel Media device turntable
US9905233B1 (en) 2014-08-07 2018-02-27 Digimarc Corporation Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
KR101644619B1 (ko) * 2014-08-22 2016-08-01 주식회사 문화방송 시간 동기화 시스템 및 그 방법
US9275682B1 (en) * 2014-09-26 2016-03-01 A9.Com, Inc. Video content alignment
US20160189694A1 (en) * 2014-10-08 2016-06-30 Richard Lynn Cowan Systems and methods for generating presentation system page commands
US20160110068A1 (en) * 2014-10-15 2016-04-21 Sean VOGT Systems and methods to enhance user experience in a live event
JP6467887B2 (ja) * 2014-11-21 2019-02-13 ヤマハ株式会社 情報提供装置および情報提供方法
US20160149956A1 (en) * 2014-11-21 2016-05-26 Whip Networks, Inc. Media management and sharing system
EP3026668A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Apparatus and method for generating visual content from an audio signal
US9363562B1 (en) 2014-12-01 2016-06-07 Stingray Digital Group Inc. Method and system for authorizing a user device
CN112261446B (zh) * 2015-01-30 2023-07-18 夏普株式会社 上报信息的方法
US10216277B2 (en) * 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
US9954570B2 (en) 2015-03-30 2018-04-24 Glenn Kreisel Rotatable device
CN104966527B (zh) * 2015-05-27 2017-04-19 广州酷狗计算机科技有限公司 K歌处理方法、装置以及k歌处理系统
GB2538994B (en) * 2015-06-02 2021-09-15 Sublime Binary Ltd Music generation tool
WO2017015759A1 (en) * 2015-07-30 2017-02-02 Amp Me Inc. Synchronized playback of streamed audio content by multiple internet-capable portable devices
KR20170027551A (ko) * 2015-09-02 2017-03-10 삼성전자주식회사 전자 장치 및 그의 제어 방법
JP6941093B2 (ja) * 2015-09-30 2021-09-29 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 異種ネットワーキング環境におけるメディアレンダリングの同期化
CN106653067B (zh) * 2015-10-28 2020-03-17 腾讯科技（深圳）有限公司 一种信息处理方法及终端
KR102450840B1 (ko) * 2015-11-19 2022-10-05 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US9596502B1 (en) 2015-12-21 2017-03-14 Max Abecassis Integration of multiple synchronization methodologies
US9516373B1 (en) 2015-12-21 2016-12-06 Max Abecassis Presets of synchronized second screen functions
CN108604252B (zh) * 2016-01-05 2022-12-16 六科股份有限公司 具有基于信道改变的触发特征的计算系统
US9848235B1 (en) * 2016-02-22 2017-12-19 Sorenson Media, Inc Video fingerprinting based on fourier transform of histogram
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9826306B2 (en) 2016-02-22 2017-11-21 Sonos, Inc. Default playback device designation
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10097939B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Compensation for speaker nonlinearities
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
EP3398286B1 (en) * 2016-02-25 2020-07-15 Amp Me Inc. Synchronizing playback of digital media content
JP6801225B2 (ja) 2016-05-18 2020-12-16 ヤマハ株式会社 自動演奏システムおよび自動演奏方法
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10515292B2 (en) * 2016-06-15 2019-12-24 Massachusetts Institute Of Technology Joint acoustic and visual processing
US10148722B2 (en) 2016-07-04 2018-12-04 Znipe Esports AB Methods and nodes for synchronized streaming of a first and a second data stream
SE541208C2 (en) * 2016-07-04 2019-04-30 Znipe Esports AB Methods and nodes for synchronized streaming of a first and a second data stream
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10061761B2 (en) * 2016-07-22 2018-08-28 International Business Machines Corporation Real-time dynamic visual aid implementation based on context obtained from heterogeneous sources
CN107666638B (zh) * 2016-07-29 2019-02-05 腾讯科技（深圳）有限公司 一种估计录音延迟的方法及终端设备
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9959448B2 (en) 2016-08-19 2018-05-01 Google Llc Multi-step sequence alignment
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
CN106340286B (zh) * 2016-09-27 2020-05-19 华中科技大学 一种通用的实时乐器演奏评价系统
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
GB201617409D0 (en) 2016-10-13 2016-11-30 Asio Ltd A method and system for acoustic communication of data
GB201617408D0 (en) 2016-10-13 2016-11-30 Asio Ltd A method and system for acoustic communication of data
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
MX2019004388A (es) * 2016-10-21 2019-07-15 Sony Corp Aparato de recepcion, aparato de transmision y metodo de procesamiento de datos.
US10922720B2 (en) 2017-01-11 2021-02-16 Adobe Inc. Managing content delivery via audio cues
GB201704636D0 (en) 2017-03-23 2017-05-10 Asio Ltd A method and system for authenticating a device
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10958966B2 (en) * 2017-03-31 2021-03-23 Gracenote, Inc. Synchronizing streaming media content across devices
US10740613B1 (en) 2017-04-20 2020-08-11 Digimarc Corporation Hybrid feature point/watermark-based augmented reality
US10166472B2 (en) * 2017-05-04 2019-01-01 Shazam Investments Ltd. Methods and systems for determining a reaction time for a response and synchronizing user interface(s) with content being rendered
GB2565751B (en) 2017-06-15 2022-05-04 Sonos Experience Ltd A method and system for triggering events
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US20190104335A1 (en) * 2017-09-29 2019-04-04 Theater Ears, LLC Theater ears audio recognition & synchronization algorithm
US10158907B1 (en) * 2017-10-10 2018-12-18 Shazam Investments Ltd. Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings
US10129575B1 (en) * 2017-10-25 2018-11-13 Shazam Entertainment Limited Methods and systems for determining a latency between a source and an alternative feed of the source
CN107948623A (zh) * 2017-11-16 2018-04-20 湖南海翼电子商务股份有限公司 投影仪及其音乐关联信息显示方法
CN109903745B (zh) * 2017-12-07 2021-04-09 北京雷石天地电子技术有限公司 一种生成伴奏的方法和系统
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US10715855B1 (en) * 2017-12-20 2020-07-14 Groupon, Inc. Method, system, and apparatus for programmatically generating a channel incrementality ratio
GB2570634A (en) 2017-12-20 2019-08-07 Asio Ltd A method and system for improved acoustic transmission of data
JP7362649B2 (ja) * 2017-12-22 2023-10-17 ネイティブウェーブス ゲーエムベーハー 追加信号を一次信号に同期させる方法
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
JP7243026B2 (ja) * 2018-03-23 2023-03-22 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム
CN108513174A (zh) * 2018-03-30 2018-09-07 合肥联宝信息技术有限公司 一种信息处理方法及电子设备
US11297369B2 (en) 2018-03-30 2022-04-05 Apple Inc. Remotely controlling playback devices
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10692496B2 (en) * 2018-05-22 2020-06-23 Google Llc Hotword suppression
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
CN108763182B (zh) 2018-05-25 2020-12-25 腾讯音乐娱乐科技（深圳）有限公司 渲染歌词的方法和装置
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10614857B2 (en) * 2018-07-02 2020-04-07 Apple Inc. Calibrating media playback channels for synchronized presentation
US10506275B1 (en) * 2018-07-16 2019-12-10 Gracenote, Inc. Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content
US11483785B2 (en) 2018-07-25 2022-10-25 Trulli Engineering, Llc Bluetooth speaker configured to produce sound as well as simultaneously act as both sink and source
CN112789868B (zh) 2018-07-25 2023-06-30 特鲁利工程有限责任公司 配置为产生声音并且同时用作接收器和源的蓝牙扬声器
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10743068B2 (en) * 2018-09-17 2020-08-11 International Business Machines Corporation Real time digital media capture and presentation
US10897637B1 (en) 2018-09-20 2021-01-19 Amazon Technologies, Inc. Synchronize and present multiple live content streams
US10863230B1 (en) * 2018-09-21 2020-12-08 Amazon Technologies, Inc. Content stream overlay positioning
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11451931B1 (en) 2018-09-28 2022-09-20 Apple Inc. Multi device clock synchronization for sensor data fusion
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
CN109769124A (zh) * 2018-12-13 2019-05-17 广州华多网络科技有限公司 混流方法、装置、电子设备及存储介质
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11126344B2 (en) * 2019-01-22 2021-09-21 Facebook, Inc. Systems and methods for sharing content
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
CN109935234B (zh) * 2019-02-22 2020-02-07 东莞理工学院 一种对录音鉴定来源设备的方法
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
CN110459233B (zh) * 2019-03-19 2022-02-11 深圳壹秘科技有限公司 语音的处理方法、装置和计算机可读存储介质
CN110267081B (zh) * 2019-04-02 2021-01-22 北京达佳互联信息技术有限公司 直播流处理方法、装置、系统、电子设备及存储介质
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11675563B2 (en) * 2019-06-01 2023-06-13 Apple Inc. User interfaces for content applications
US11487815B2 (en) * 2019-06-06 2022-11-01 Sony Corporation Audio track determination based on identification of performer-of-interest at live event
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
KR20210051319A (ko) * 2019-10-30 2021-05-10 엘지전자 주식회사 인공 지능 장치
IT201900020626A1 (it) * 2019-11-08 2021-05-08 M Live Srl Sistema elettronico per la sincronizzazione di eventi con il suono di una composizione musicale fra un dispositivo elettronico di riproduzione ed una pluralità di dispositivi elettronici mobili collegati al dispositivo elettronico di riproduzione per mezzo di una rete di telecomunicazioni a media-lunga distanza e relativo metodo di sincronizzazione
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
CN111243065B (zh) * 2019-12-26 2022-03-11 浙江大学 一种语音信号驱动的脸部动画生成方法
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
CN113364932B (zh) * 2020-03-04 2022-09-06 浙江宇视科技有限公司 水印的添加方法、装置、存储介质及设备
US11086586B1 (en) * 2020-03-13 2021-08-10 Auryn, LLC Apparatuses and methodologies relating to the generation and selective synchronized display of musical and graphic information on one or more devices capable of displaying musical and graphic information
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
GB2597334A (en) * 2020-07-17 2022-01-26 Playrcart Ltd A media player
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
SE2030332A1 (en) * 2020-11-06 2022-05-07 Aakerfeldt Erik Seamless multiplayer experience
US20220224994A1 (en) * 2021-01-12 2022-07-14 Musixmatch Method and system for navigating tags on time-synchronized content
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
EP4285247A1 (en) 2021-01-29 2023-12-06 Apple Inc. User interfaces and associated systems and processes for sharing portions of content items
US11481185B1 (en) * 2021-06-04 2022-10-25 Musixmatch S.P.A. Method and system for tagging and navigating through performers and other information on time-synchronized content
US11831943B2 (en) * 2021-10-26 2023-11-28 Apple Inc. Synchronized playback of media content
WO2023131498A1 (en) * 2022-01-04 2023-07-13 Signify Holding B.V. Extracting a color palette from music video for generating light effects
US20240078078A1 (en) * 2022-09-07 2024-03-07 Signglasses, Llc Augmented audio overlay

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770156A (zh) * 2004-11-02 2006-05-10 微软公司 对多个同步化数据流加速数据库查找的系统和方法
CN1998168A (zh) * 2004-02-19 2007-07-11 兰德马克数字服务有限责任公司 用于广播源辨识的方法与装置
CN101212690A (zh) * 2006-12-26 2008-07-02 中兴通讯股份有限公司 多媒体视音频流唇音同步的调测方法
CN101493831A (zh) * 2008-01-22 2009-07-29 图尼维齐公司 实时本地音乐回放和远程服务器歌词定时同步的系统和方法

Family Cites Families (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4230990C1 (en) * 1979-03-16 2002-04-09 John G Lert Jr Broadcast program identification method and system
US4450531A (en) 1982-09-10 1984-05-22 Ensco, Inc. Broadcast signal recognition system and method
US4746994A (en) * 1985-08-22 1988-05-24 Cinedco, California Limited Partnership Computer-based video editing system
US4739398A (en) * 1986-05-02 1988-04-19 Control Data Corporation Method, apparatus and system for recognizing broadcast segments
US4843562A (en) 1987-06-24 1989-06-27 Broadcast Data Systems Limited Partnership Broadcast information classification system and method
AU633828B2 (en) * 1988-12-05 1993-02-11 Ricos Co., Ltd. Apparatus for reproducing music and displaying words
US5267351A (en) * 1989-12-22 1993-11-30 Avid Technology, Inc. Media storage and retrieval system
US5136655A (en) * 1990-03-26 1992-08-04 Hewlett-Pacard Company Method and apparatus for indexing and retrieving audio-video data
US5210820A (en) * 1990-05-02 1993-05-11 Broadcast Data Systems Limited Partnership Signal recognition system and method
WO1991019989A1 (en) * 1990-06-21 1991-12-26 Reynolds Software, Inc. Method and apparatus for wave analysis and event recognition
US5134719A (en) 1991-02-19 1992-07-28 Mankovitz Roy J Apparatus and methods for identifying broadcast audio program selections in an FM stereo broadcast system
FR2681997A1 (fr) * 1991-09-30 1993-04-02 Arbitron Cy Procede et dispositif d'identification automatique d'un programme comportant un signal sonore.
US5999173A (en) * 1992-04-03 1999-12-07 Adobe Systems Incorporated Method and apparatus for video editing with video clip representations displayed along a time line
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US5333275A (en) 1992-06-23 1994-07-26 Wheatley Barbara J System and method for time aligning speech
DE69333422T2 (de) * 1992-07-31 2004-12-16 International Business Machines Corp. Auffindung von Zeichenketten in einer Datenbank von Zeichenketten
US5437050A (en) 1992-11-09 1995-07-25 Lamb; Robert G. Method and apparatus for recognizing broadcast information using multi-frequency magnitude detection
US5634020A (en) * 1992-12-31 1997-05-27 Avid Technology, Inc. Apparatus and method for displaying audio data as a discrete waveform
US5465240A (en) 1993-01-05 1995-11-07 Mankovitz; Roy J. Apparatus and methods for displaying text in conjunction with recorded audio programs
EP0682671A4 (en) 1993-02-01 1998-01-14 Seq Ltd METHOD AND DEVICES FOR SEQUENCING DNA.
US5903317A (en) * 1993-02-14 1999-05-11 Orad Hi-Tech Systems Ltd. Apparatus and method for detecting, identifying and incorporating advertisements in a video
US5506932A (en) * 1993-04-16 1996-04-09 Data Translation, Inc. Synchronizing digital audio to digital video
JP2986345B2 (ja) * 1993-10-18 1999-12-06 インターナショナル・ビジネス・マシーンズ・コーポレイション 音声記録指標化装置及び方法
US5581658A (en) * 1993-12-14 1996-12-03 Infobase Systems, Inc. Adaptive system for broadcast program identification and reporting
US5764852A (en) * 1994-08-16 1998-06-09 International Business Machines Corporation Method and apparatus for speech recognition for distinguishing non-speech audio input events from speech audio input events
US5900908A (en) * 1995-03-02 1999-05-04 National Captioning Insitute, Inc. System and method for providing described television services
US6505160B1 (en) * 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
US7562392B1 (en) * 1999-05-19 2009-07-14 Digimarc Corporation Methods of interacting with audio and ambient music
US5765132A (en) * 1995-10-26 1998-06-09 Dragon Systems, Inc. Building speech models for new words in a multi-word utterance
WO1997033273A1 (en) * 1996-03-08 1997-09-12 Motorola Inc. Method and recognizer for recognizing a sampled sound signal in noise
US5991737A (en) * 1996-03-11 1999-11-23 Connexus Corporation Automated consumer response to publicly broadcast information
US5801685A (en) * 1996-04-08 1998-09-01 Tektronix, Inc. Automatic editing of recorded video elements sychronized with a script text read or displayed
US5740230A (en) 1996-05-31 1998-04-14 Octel Communications Corporation Directory management system and method
US5822729A (en) * 1996-06-05 1998-10-13 Massachusetts Institute Of Technology Feature-based speech recognizer having probabilistic linguistic processor providing word matching based on the entire space of feature vectors
US5661665A (en) * 1996-06-26 1997-08-26 Microsoft Corporation Multi-media synchronization
US7346472B1 (en) 2000-09-07 2008-03-18 Blue Spike, Inc. Method and device for monitoring and analyzing signals
US5728960A (en) * 1996-07-10 1998-03-17 Sitrick; David H. Multi-dimensional transformation systems and display communication architecture for musical compositions
US5918223A (en) 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
JP3299890B2 (ja) * 1996-08-06 2002-07-08 ヤマハ株式会社 カラオケ採点装置
US5721827A (en) * 1996-10-02 1998-02-24 James Logan System for electrically distributing personalized information
US5952597A (en) 1996-10-25 1999-09-14 Timewarp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
US5925843A (en) * 1997-02-12 1999-07-20 Virtual Music Entertainment, Inc. Song identification and synchronization
US5884267A (en) * 1997-02-24 1999-03-16 Digital Equipment Corporation Automated speech alignment for image synthesis
US5987525A (en) * 1997-04-15 1999-11-16 Cddb, Inc. Network delivery of interactive entertainment synchronized to playback of audio recordings
US6611537B1 (en) * 1997-05-30 2003-08-26 Centillium Communications, Inc. Synchronous network for digital media streams
US5898119A (en) * 1997-06-02 1999-04-27 Mitac, Inc. Method and apparatus for generating musical accompaniment signals, and method and device for generating a video output in a musical accompaniment apparatus
US6166314A (en) 1997-06-19 2000-12-26 Time Warp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
US5869783A (en) * 1997-06-25 1999-02-09 Industrial Technology Research Institute Method and apparatus for interactive music accompaniment
JPH1155201A (ja) 1997-07-29 1999-02-26 Sony Corp 情報処理装置および方法、情報処理システム、並びに伝送媒体
AU1702199A (en) * 1997-11-25 1999-06-15 Motorola, Inc. Audio content player methods, systems, and articles of manufacture
US6336093B2 (en) * 1998-01-16 2002-01-01 Avid Technology, Inc. Apparatus and method using speech recognition and scripts to capture author and playback synchronized audio and video
US6173287B1 (en) * 1998-03-11 2001-01-09 Digital Equipment Corporation Technique for ranking multimedia annotations of interest
DE69908226T2 (de) * 1998-03-19 2004-03-25 Tomonari Sonoda Vorrichtung und Verfahren zum Wiederauffinden von Melodien
US6201176B1 (en) * 1998-05-07 2001-03-13 Canon Kabushiki Kaisha System and method for querying a music database
EP1014620B1 (en) 1998-07-14 2012-05-30 Sony Corporation Data transmission control method, data transmission method, data transmitter, and receiver
JP3925586B2 (ja) 1998-07-17 2007-06-06 ソニー株式会社 データ受信装置および方法ならびにデータ送受信システムおよび方法
US6016166A (en) * 1998-08-31 2000-01-18 Lucent Technologies Inc. Method and apparatus for adaptive synchronization of digital video and audio playback in a multimedia playback system
US6243676B1 (en) * 1998-12-23 2001-06-05 Openwave Systems Inc. Searching and retrieving multimedia information
US6473778B1 (en) * 1998-12-24 2002-10-29 At&T Corporation Generating hypermedia documents from transcriptions of television programs using parallel text alignment
US6185527B1 (en) * 1999-01-19 2001-02-06 International Business Machines Corporation System and method for automatic audio content analysis for word spotting, indexing, classification and retrieval
US6353172B1 (en) * 1999-02-02 2002-03-05 Microsoft Corporation Music event timing and delivery in a non-realtime environment
US7006967B1 (en) * 1999-02-05 2006-02-28 Custom Speech Usa, Inc. System and method for automating transcription services
US6272461B1 (en) * 1999-03-22 2001-08-07 Siemens Information And Communication Networks, Inc. Method and apparatus for an enhanced presentation aid
US6502194B1 (en) * 1999-04-16 2002-12-31 Synetix Technologies System for playback of network audio material on demand
US6434520B1 (en) * 1999-04-16 2002-08-13 International Business Machines Corporation System and method for indexing and querying audio archives
US6378132B1 (en) * 1999-05-20 2002-04-23 Avid Sports, Llc Signal capture and distribution system
TW495735B (en) 1999-07-28 2002-07-21 Yamaha Corp Audio controller and the portable terminal and system using the same
JP3371132B2 (ja) * 1999-08-25 2003-01-27 コナミ株式会社 ゲーム装置、ゲーム装置の制御方法、及び、そのゲーム装置で使用するコンピュータ読取可能な記憶媒体
US7174293B2 (en) * 1999-09-21 2007-02-06 Iceberg Industries Llc Audio identification system and method
US7194752B1 (en) 1999-10-19 2007-03-20 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
DE19948974A1 (de) * 1999-10-11 2001-04-12 Nokia Mobile Phones Ltd Verfahren zum Erkennen und Auswählen einer Tonfolge, insbesondere eines Musikstücks
US6469749B1 (en) * 1999-10-13 2002-10-22 Koninklijke Philips Electronics N.V. Automatic signature-based spotting, learning and extracting of commercials and other video content
US6993245B1 (en) * 1999-11-18 2006-01-31 Vulcan Patents Llc Iterative, maximally probable, batch-mode commercial detection for audiovisual content
US6606744B1 (en) * 1999-11-22 2003-08-12 Accenture, Llp Providing collaborative installation management in a network-based supply chain environment
US7257536B1 (en) * 1999-11-23 2007-08-14 Radiant Systems, Inc. Audio request interaction system
US6678680B1 (en) * 2000-01-06 2004-01-13 Mark Woo Music search engine
US6389467B1 (en) * 2000-01-24 2002-05-14 Friskit, Inc. Streaming media search and continuous playback system of media resources located by multiple network addresses
US6577346B1 (en) * 2000-01-24 2003-06-10 Webtv Networks, Inc. Recognizing a pattern in a video segment to identify the video segment
US7444353B1 (en) * 2000-01-31 2008-10-28 Chen Alexander C Apparatus for delivering music and information
US7010485B1 (en) * 2000-02-03 2006-03-07 International Business Machines Corporation Method and system of audio file searching
US6834308B1 (en) * 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
US6260011B1 (en) * 2000-03-20 2001-07-10 Microsoft Corporation Methods and apparatus for automatically synchronizing electronic audio files with electronic text files
US6453252B1 (en) * 2000-05-15 2002-09-17 Creative Technology Ltd. Process for identifying audio content
US7343553B1 (en) * 2000-05-19 2008-03-11 Evan John Kaye Voice clip identification method
US7149686B1 (en) * 2000-06-23 2006-12-12 International Business Machines Corporation System and method for eliminating synchronization errors in electronic audiovisual transmissions and presentations
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US7853664B1 (en) * 2000-07-31 2010-12-14 Landmark Digital Services Llc Method and system for purchasing pre-recorded music
MXPA02003991A (es) 2000-08-23 2002-12-13 Koninkl Philips Electronics Nv Metodo de mejoramiento y traduccion de un articulo contenido, sistema de cliente y sistema de servidor.
FI20002161A (fi) * 2000-09-29 2002-03-30 Nokia Mobile Phones Ltd Menetelmä ja järjestelmä melodian tunnistamiseksi
US7277766B1 (en) 2000-10-24 2007-10-02 Moodlogic, Inc. Method and system for analyzing digital audio files
US6721706B1 (en) * 2000-10-30 2004-04-13 Koninklijke Philips Electronics N.V. Environment-responsive user interface/entertainment device that simulates personal interaction
US20020072982A1 (en) * 2000-12-12 2002-06-13 Shazam Entertainment Ltd. Method and system for interacting with a user in an experiential environment
DE60228202D1 (de) 2001-02-12 2008-09-25 Gracenote Inc Verfahren zum erzeugen einer identifikations hash vom inhalt einer multimedia datei
US7062442B2 (en) * 2001-02-23 2006-06-13 Popcatcher Ab Method and arrangement for search and recording of media signals
ES2312772T3 (es) 2002-04-25 2009-03-01 Landmark Digital Services Llc Equivalencia solida e invariante de patron de audio.
US7461392B2 (en) 2002-07-01 2008-12-02 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
US6766523B2 (en) 2002-05-31 2004-07-20 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
JP4658598B2 (ja) 2002-07-01 2011-03-23 マイクロソフト コーポレーション ストリームに埋め込まれた反復オブジェクトに対するユーザ制御を提供するシステムおよび方法
EP1398931B1 (en) * 2002-09-06 2006-05-03 Sony Deutschland GmbH Synchronous play-out of media data packets
US20040266337A1 (en) 2003-06-25 2004-12-30 Microsoft Corporation Method and apparatus for synchronizing lyrics
US7788696B2 (en) * 2003-10-15 2010-08-31 Microsoft Corporation Inferring information about media stream objects
US20050228663A1 (en) * 2004-03-31 2005-10-13 Robert Boman Media production system using time alignment to scripts
US7836389B2 (en) * 2004-04-16 2010-11-16 Avid Technology, Inc. Editing system for audiovisual works and corresponding text for television news
US7433819B2 (en) * 2004-09-10 2008-10-07 Scientific Learning Corporation Assessing fluency based on elapsed time
US20060112812A1 (en) * 2004-11-30 2006-06-01 Anand Venkataraman Method and apparatus for adapting original musical tracks for karaoke use
CN1845591A (zh) * 2005-04-06 2006-10-11 上海渐华科技发展有限公司 卡拉ok接收装置
JP5329968B2 (ja) * 2005-11-10 2013-10-30 サウンドハウンド インコーポレイテッド 非テキストベースの情報を記憶し、検索する方法
US20070166683A1 (en) 2006-01-05 2007-07-19 Apple Computer, Inc. Dynamic lyrics display for portable media devices
US7623755B2 (en) * 2006-08-17 2009-11-24 Adobe Systems Incorporated Techniques for positioning audio and video clips
US8005666B2 (en) 2006-10-24 2011-08-23 National Institute Of Advanced Industrial Science And Technology Automatic system for temporal alignment of music audio signal with lyrics
TWI330795B (en) 2006-11-17 2010-09-21 Via Tech Inc Playing systems and methods with integrated music, lyrics and song information
US20080196575A1 (en) 2007-02-16 2008-08-21 Recordare Llc Process for creating and viewing digital sheet music on a media device
US7733214B2 (en) 2007-08-22 2010-06-08 Tune Wiki Limited System and methods for the remote measurement of a person's biometric data in a controlled state by way of synchronized music, video and lyrics
CN101136875A (zh) * 2007-09-11 2008-03-05 武汉虹旭信息技术有限责任公司 即时通信软件中多媒体文件同步回放的方法
US8205148B1 (en) * 2008-01-11 2012-06-19 Bruce Sharpe Methods and apparatus for temporal alignment of media
US8143508B2 (en) 2008-08-29 2012-03-27 At&T Intellectual Property I, L.P. System for providing lyrics with streaming music
WO2010065673A2 (en) * 2008-12-02 2010-06-10 Melodis Corporation System and method for identifying original music
US9390167B2 (en) * 2010-07-29 2016-07-12 Soundhound, Inc. System and methods for continuous audio matching
US8291328B2 (en) 2009-03-24 2012-10-16 Disney Enterprises, Inc. System and method for synchronizing a real-time performance with a virtual object
US8548613B2 (en) 2009-04-20 2013-10-01 Disney Enterprises, Inc. System and method for an interactive device for use with a media device
US20100299131A1 (en) * 2009-05-21 2010-11-25 Nexidia Inc. Transcript alignment
US20110258211A1 (en) * 2010-04-18 2011-10-20 Kalisky Ofer System and method for synchronous matching of media samples with broadcast media streams
CA2798072C (en) * 2010-05-04 2017-02-14 Shazam Entertainment Ltd. Methods and systems for synchronizing media
US9280598B2 (en) 2010-05-04 2016-03-08 Soundhound, Inc. Systems and methods for sound recognition
US9159338B2 (en) * 2010-05-04 2015-10-13 Shazam Entertainment Ltd. Systems and methods of rendering a textual animation
US9275141B2 (en) 2010-05-04 2016-03-01 Shazam Entertainment Ltd. Methods and systems for processing a sample of a media stream
SG185673A1 (en) * 2010-06-09 2012-12-28 Adelphoi Ltd System and method for audio media recognition
US9047371B2 (en) 2010-07-29 2015-06-02 Soundhound, Inc. System and method for matching a query against a broadcast stream
US8737679B2 (en) * 2011-07-12 2014-05-27 M/S. Amagi Media Labs Pvt. Ltd. System and method for seamless content insertion on network content using audio-video fingerprinting and watermarking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1998168A (zh) * 2004-02-19 2007-07-11 兰德马克数字服务有限责任公司 用于广播源辨识的方法与装置
CN1770156A (zh) * 2004-11-02 2006-05-10 微软公司 对多个同步化数据流加速数据库查找的系统和方法
CN101212690A (zh) * 2006-12-26 2008-07-02 中兴通讯股份有限公司 多媒体视音频流唇音同步的调测方法
CN101493831A (zh) * 2008-01-22 2009-07-29 图尼维齐公司 实时本地音乐回放和远程服务器歌词定时同步的系统和方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997388A (zh) * 2017-03-30 2017-08-01 宁波亿拍客网络科技有限公司 一种图像及非图像标记方法、设备及应用方法
CN112669798A (zh) * 2020-12-15 2021-04-16 深圳芒果未来教育科技有限公司 一种对音乐信号主动跟随的伴奏方法及相关设备
CN112669798B (zh) * 2020-12-15 2021-08-03 深圳芒果未来教育科技有限公司 一种对音乐信号主动跟随的伴奏方法及相关设备

Also Published As

Publication number Publication date
US9251796B2 (en) 2016-02-02
CA2943957C (en) 2017-10-03
KR101582436B1 (ko) 2016-01-04
CN102959544A (zh) 2013-03-06
WO2011140221A1 (en) 2011-11-10
EP2567331B1 (en) 2018-07-18
CA2943957A1 (en) 2011-11-10
KR101490576B1 (ko) 2015-02-11
US20110276333A1 (en) 2011-11-10
US8686271B2 (en) 2014-04-01
US20130243205A1 (en) 2013-09-19
US8816179B2 (en) 2014-08-26
US8996380B2 (en) 2015-03-31
US20110276334A1 (en) 2011-11-10
KR20150006896A (ko) 2015-01-19
US20140360343A1 (en) 2014-12-11
EP2567331A1 (en) 2013-03-13
CN102959544B (zh) 2016-06-08
KR20130023267A (ko) 2013-03-07
CA2798072C (en) 2017-02-14
CA2798072A1 (en) 2011-11-10
EP3418917A1 (en) 2018-12-26
EP3418917B1 (en) 2022-08-17

Similar Documents

Publication Publication Date Title
US9251796B2 (en) Methods and systems for disambiguation of an identification of a sample of a media stream
US9159338B2 (en) Systems and methods of rendering a textual animation
JP6060155B2 (ja) 受信データの比較を実行しその比較に基づいて後続サービスを提供する方法及びシステム
US10003664B2 (en) Methods and systems for processing a sample of a media stream
US9979691B2 (en) Watermarking and signal recognition for managing and sharing captured content, metadata discovery and related arrangements
JP5833235B2 (ja) データストリームのコンテンツを識別する方法及びシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160810

RJ01 Rejection of invention patent application after publication