CN102088625A - 媒体内容的基于音频和视频的媒体服务的自动同步 - Google Patents

Abstract

提供一种用于在第一媒体服务(400)和第二媒体服务(450)之间自动同步播放的方法，这两个服务都对应于同一媒体内容源。匹配第一媒体服务(400)与第二媒体服务(450)中共同的音频事件(499)。根据匹配步骤的结果，调节第一媒体服务(400)和第二媒体服务(450)中至少一个的播放定时，以便在第一媒体服务(400)和第二媒体服务(450)之间自动同步播放。

Description

媒体内容的基于音频和视频的媒体服务的自动同步

本申请是2003年2月14日提交的申请号为03825980.X的发明专利申请“媒体内容的基于音频和视频的媒体服务的自动同步”的分案申请。

技术领域

本发明一般涉及向用户呈现媒体服务(如音频和/或视频)，尤其涉及不考虑嵌在媒体服务中的时标(如果有的话)的、在播放基于音频和基于视频的媒体服务时的同步。

背景技术

随着可用不同的媒体服务表示同一媒体内容(如体育赛事)，多媒体用户可能希望在观看来自一个创作源(authoring source)的基于视频的媒体服务的同时，收听来自第二创作源的基于音频的媒体服务。基于视频的媒体服务代表体育赛事的国家电视广播，而基于音频的媒体服务代表同一体育赛事的当地收音机广播。由于每个媒体服务各自的广播时间线的差异(例如由于媒体服务的创建或广播中引入的不同的延迟所导致)，在这两个媒体服务的播放之间可能存在可察觉的延迟。

“对口型”(lip-synching)是由类似的同步问题产生的效应，但是涉及来自同一著作和内容源的媒体服务播放。传统的解决方案包括将信息插入表示媒体内容(可以是模拟或数字的)的音频和视频服务中，提供时标用来对准媒体服务表示。然后，特定的接收装备根据提供的时标同步音频和视频媒体服务，最小化对口型效应。然而，许多媒体服务没有可用来降低对口型效应的时标。

因此，最好有一种用来同步来自相同或不同创作源的媒体服务(如广播和/或流)的方法和装置，以便该方法和装置不依赖于时标和用来处理提供的时标的特定装备。

发明内容

根据本发明的一个方面，提供一种在对应于同一媒体内容但来自不同创作源的视频媒体服务和音频媒体服务之间自动同步播放的方法。匹配对应于视频媒体服务的音频波形与音频媒体服务中的共同音频特性。根据匹配步骤的结果，调节视频媒体服务和音频媒体服务中至少一个的播放定时，以便在视频媒体服务和音频媒体服务之间自动同步播放。

根据本发明的另一方面，提供一种在对应于同一媒体内容但来自不同创作源的视频媒体服务和音频媒体服务之间自动同步播放的装置。声音匹配设备匹配分别对应于视频媒体服务的音频波形与音频媒体服务中的共同音频特性。可变延迟器根据声音匹配设备的输出，调节视频媒体服务和音频媒体服务中至少一个的播放定时，以便在视频媒体服务和音频媒体服务之间自动同步播放。

附图说明

通过下面结合附图阅读对优选实施例的详细描述，本发明的这些和其他方面、特征和优点将变得清楚。

图1是图解根据本发明的示范性实施例的、用于实现媒体服务的自动同步的计算机处理系统100的方框图；

图2是图解根据本发明的示范性实施例的、可应用本发明的、基于广播的创作源200和基于流的内容创作源250的方框图；

图3是图解根据本发明的示范性实施例的、用于同步同一媒体内容的媒体服务的同步装置300的方框图；

图4是图解根据本发明的示范性实施例的、对应于同一媒体内容的广播音频流400和流式音频流450的频谱能量的方框图；

图5是图解根据本发明的示范性实施例的、同步后图4的广播音频流500和流式音频流550的频谱能量的图；和

图6是图解根据本发明的示范性实施例的、用于在对应于同一媒体内容但来自不同创作源的视频媒体服务和音频媒体服务之间自动同步播放的方法的流程图。

具体实施方式

本发明旨在提供一种用于同步来自不同创作源(如广播媒体、流媒体等)的媒体服务而不用考虑嵌入的时标的方法。最好在两个媒体服务来自同一创作源的情况下，本发明也可以容易地用来仅同步广播内容或仅同步流内容。此外，可以采用本发明来同步本领域普通技术人员容易地确定的其他类型的媒体服务。在本发明的优选实施例中，可以采用本发明来同步来自电视广播的视频媒体服务和来自卫星音频广播的音频媒体服务，这两个媒体服务都来源于同一媒体内容。

在这里使用的术语“媒体服务”包括音频、视频、文本、广播节目、多媒体数据文件和流媒体。基于音频的媒体服务具有对应的音频信号，而基于视频的媒体服务具有对应的视频信号。广播节目包括能够通过收音机、电视机或其他类型的能够接收广播媒体的设备呈现的服务。这些服务典型地从电视或无线电台通过无线电波来广播，并且通过到电缆、卫星、天线和能够传递收音机/电视节目的任何其它类型的通信介质的连接来接收。节目也可以通过通信网络发送(如因特网)，其使用通常所说的媒体浏览器或播放器(如

或MICROSOFT

)来呈现媒体服务。

多媒体文件包括文本、图像、视频和音频数据的任意组合。应当注意的是，只包含视频数据或音频数据的文件也被定义为多媒体文件。流媒体包括通过因特网或其他通信网络环境传送到用户的计算机的音频、视频、多媒体、文本和交互数据文件，其可以在整个文件传送完成之前在用户的计算机/设备上播放。流媒体的一个优点在于，流媒体文件在整个文件下载完之前开始播放，为用户节省了通常与下载整个文件相关联的长时间等待。数据记录的音乐、电影、预览、新闻报道、无线电广播和实况事件都有助于增加可用的流内容。

流媒体以各种格式编码，例如包括

APPLE

MICROSOFT

MEDIAFORMAT、

MPEG-2 LAYER III AUDIO和

典型地，为媒体文件指定用来指示与特定格式的兼容性的扩展名(后缀)。例如，以.ram、.rm、.rpm扩展名之一结尾的媒体文件(如音频和视频文件)与

格式兼容。下面的表中列出了一些文件扩展名及其兼容格式的例子。在http://www.bowers.cc/extensions2.htm可以找到媒体类型、扩展名和兼容格式的更详尽的列表。

术语“创作源”指的是创建媒体服务的源。通过广播台创建的媒体服务具有基于广播的创作源。这意味着媒体服务由广播中心(如电视台或无线电台)创建以便经过无线电波、卫星、电缆等传输。类似地，经过流处理的媒体服务具有基于流的创作源。流媒体服务也可以经过无线电波、卫星、电缆或因特网等接收，但流文件典型地由流媒体播放器播放。根据本发明的原理，诸如电视机、计算机之类的播放设备将具有接收广播创建的和流处理的媒体服务的能力，以及适当的呈现软件/硬件。媒体服务的源不限制媒体服务的播放。或者，创作源由广播台、位置和用于传输媒体服务的格式分开。例如，基于广播的创作源包括用于广播电视节目安排的媒体服务的ABC、NBC、FOX、CBS和UPN。

媒体内容指的是导出媒体服务的内容。媒体内容的例子包括歌曲、政治演讲、新闻广播、电源宣传片、实况直播、无线电广播、财政电话会议、实况音乐会、体育赛事、电影、电视、有线节目、网络摄像镜头等。典型地，几种不同的媒体服务源自同一媒体内容源。例如，大学足球赛具有表示国家广播的电视节目的音频和视频媒体服务。同一大学足球赛也可以作为对应于大学的共同访问频道的音频和视频媒体服务发送。来自国家广播和共同访问频道的媒体服务将是不同的，即使它们来自同一媒体创作源。可以使用与本发明的原理一致的其它媒体内容的例子。

应当理解的是，可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现本发明。最好，将本发明实现为硬件和软件的组合。此外，最好将软件实现为实际地嵌入程序存储设备的应用程序。应用程序可以上载到包括任何适合的架构的机器上并由其执行。最好，在具有诸如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)和输入/输出(I/O)接口之类的硬件的计算机平台上实现该机器。该计算机平台还包括操作系统和微指令代码。这里描述的各种处理和功能可以是由操作系统执行的微指令代码的部分或应用程序的部分(或者其组合)。此外，各种其他的诸如附加的数据存储设备和打印设备之类的外设可以连接到计算机平台。

还应当理解的是，由于附图中所示的一些组成系统部件和方法步骤最好以软件实现，因此系统部件(或处理步骤)之间的实际连接可能根据本发明的编程方式的不同而不同。根据这里的教学，本领域普通技术人员将能够思考出本发明的这些和类似的实现或配置。

图1是图解根据本发明的示范性实施例的、用于实现媒体服务的自动同步的计算机处理系统100的方框图。计算机处理系统100或其可应用的元件可以已经在下面的广播200和流创作源250中表示出，或者可以根据本发明而添加。应当理解，计算机处理系统100在这里也可以可替换地称为“声音匹配设备”。

计算机处理系统100包括至少一个处理器(CPU)102，其通过系统总线104可操作地耦合到其他部件。只读存储器(ROM)106、随机存取存储器(RAM)108、只读存储器(ROM)199、显示适配器110、I/O适配器112和用户接口适配器114可操作地耦合到系统总线104。

显示设备116通过显示适配器110可操作地耦合到系统总线104。存储设备(如磁、光和/或其他类型的存储设备)118通过I/O适配器112可操作地耦合到系统总线104。

输入设备120通过用户接口适配器114可操作地耦合到系统总线104。输入设备120用于向/从系统100输入/输出信息，其包括(但不限于)键盘、小键盘、鼠标、开关、按钮等。

解码器130可操作地耦合到系统总线104。解码器130接收用于处理(如同步)例如广播信号和流信号的输入信号。解码器130可以执行包括(但不限于)模数转换和数模转换的功能。解码器130也可以执行其他本领域普通技术人员容易确定的功能。如本领域普通技术人员所知的，能够理解，也可以采用数字声音处理器(DSP)代替计算机处理系统100。

图2是图解根据本发明的示范性实施例的、可应用本发明的、基于广播的创作源200和基于流的内容创作源250的方框图。广播创作源200包括广播台205和电视210。流创作源250包括音频系统255和调制解调器260，后者连接到因特网服务提供商(ISP)265，进而连接到因特网270。电视210和音频系统255在这里又称为“输出设备”。

每个系统具有与其相关联的用户控制。典型地，屏幕接口和遥控器与视频输出设备(如电视210)相关联，而显示和遥控器及键盘与音频输出设备(如音频系统255)相关联。

能够理解，本发明不限于前面广播和流创作源的严格配置，因此，也可以根据本发明采用这些系统(以及其他类型的系统)的其他配置。对于本领域普通技术人员，很明显本发明采用的广播和/或流创作源应当包括接收机、解码器和输出设备。接收机接收内容。解码器解码内容。输出设备将解码后的内容呈现给用户。还可以具有能够接收、解码和输出两种或多种不同类型的内容(如广播和流(如IP)内容)的单一系统。组合系统的一个例子是因特网电视。

根据本发明的示范性实施例，用户正在观看电视上的广播体育赛事，并从实况因特网流广播收听关于同一赛事的音频评论。广播的体育赛事表示媒体内容。在电视上播映的体育赛事表示视频媒体服务，其广播创作源具有对应的、表示电视广播的音频的音频波形。来自因特网的音频评论是来自流创作源的、基于音频的媒体服务。

由于在发送和处理这两个媒体服务时的延迟，可能需要调节这两个场景、两个媒体服务的同步，以便提供不中断的观看/收听体验。用户将能够调节两个节目的相对定时来提供可接受的匹配。这种调节可以通过用户手动、自动或者其组合来执行。例如，在最后一种情况下，可以使用本发明来执行媒体服务的自动同步，同时允许用户微调自动同步的结果。系统/设备将保持确定的延迟，直到改变媒体服务为止。

图3是图解根据本发明的示范性实施例的、用于同步媒体服务的同步装置300的方框图。同步装置300包括响应于用户和/或自动控制的可调节延迟线305。图1所示的计算机处理系统100提供自动控制。在本发明的不使用自动控制的实施例中，可以从同步装置300中省去计算机处理系统100。根据这里提供的本发明的教学，本领域普通技术人员可以思考出同步装置300的这些和各种其他配置。

将可调节延迟线305插入广播创作源200和/或流创作源250之一或者两者。延迟线305应当能够加入从0到几秒(或更多)的延迟。在使用缓冲区的创作源中，可以采用增加缓冲区的大小来跨越内容的适当的时间间隔，以及增加机构以便调节延迟。

用户和/或自动控制允许增加或减少相对延迟。本发明可以采用每个延迟线的单独控制或者同时增加一条延迟线并减少另一延迟的共同控制。

现在给出根据本发明示范性实施例的手动用户控制的进一步描述。在本发明的一个示范性实施例中，在每个输出设备(如电视210和音频系统255)上给用户提供控制，以调节该设备输出的延迟。通过手动调节控制，用户可以实现媒体服务之间可接受的同步。尽管在本例中描述了在两个输出设备上都具有延迟，但在本发明的其他实施例中，可以在任何一个设备上进行延迟控制。在本发明的另一示范性实施例中，在设备能够接收来自广播源的媒体服务和来自流源(如因特网电视)的媒体服务的情况下，用户控制将同时提前一个媒体服务并延迟另一媒体服务。用户控制可以具有从(媒体服务A最大提前，媒体服务B最大延迟)到(媒体服务A最大延迟，媒体服务B最大提前)的控制范围。能够理解本发明不限于前面的关于手动用户控制的实现，因此在保持本发明的宗旨和范围的同时可以根据本发明容易地采用其他实现。

现在给出根据本发明的示范性实施例的、自动用户控制的进一步描述。在本发明的一个示范性实施例中，系统接收两种内容(广播和流)，用户激活同步机制。在这种情况下的用户控制可以是“同步/返回默认”按钮。当激活“同步/返回默认”按钮时，自动同步机制将内容同步。当然，本领域普通技术人员可以容易地思考出其他配置。

如下所述，自动同步可以基于(但不限于)噪声包络匹配、音频纹记(fingerprint)匹配和嵌入的元数据标签。

在噪声包络匹配方法中，对基于音频的媒体服务的音频波形的处理过的整体噪声包络进行匹配。操作理论的中心在于通过数字处理技术匹配每个波形中不同的音频特性。例如，使用赛事的每个音频流(下文中，术语音频流或流指的是媒体服务的音频或对应于媒体服务的音频波形)中的群众噪声来实现同步。在两个流中分析宽带背景音频特性。在时间域执行相关性处理来确定音频流之间的相对延迟。在确定延迟之后，进行调节以呈现音频/视频。

将音频特性定义为用于定义音频波形的物理属性的音频参数，例如频率、增益、波形幅度、增益等。本领域技术人员可以选择一个或多个准则来定义要分析的音频波形的音频特性，以匹配音频媒体服务。可以使用数字处理技术对波形进行滤波来进一步定义音频特性。

考虑下面关于大学篮球比赛的例子。图4是图解根据本发明的示范性实施例的、对应于同一节目的、来自广播电视节目的音频流400和流式音频媒体服务450的频谱能量的图。图5是图解根据本发明的示范性实施例的、同步之后图4的音频流400和流式音频媒体服务450的频谱能量的图。以曲线图表示频谱能量，每个图具有由水平轴表示的时间和由垂直轴表示的幅度。

观看者可能喜欢收听赛事的无线电广播(作为音频媒体服务450)。主要语音的音频频谱内容将是不同的。每个播音员将在近似随机的时间评论不同的事件。广播之间共同的信息是背景噪声，由于音频波形(表示群众噪声)的幅度上的明显的变化而使得所述背景噪声与播音员相区别。通过假设两个播音员处于同一赛事(媒体内容)，随着事件引起观众响应，背景群众噪声的相对功率将随时间而变化。选择时间窗口来比较每个音频波形中的观众响应。可以根据从音频流和音频媒体服务中采样音频波形的较坏情况下的预期的延迟差来选择时间窗口。从音频波形的采样中生成关于时间的频谱功率密度曲线。取决于采样系统的处理负荷，最好尽量频繁地执行频谱功率密度曲线的生成。然而，也可以以预定次数或其他小于最大可能的次数执行该生成。

这两个音频波形之间的频谱能量的幅度可能不同，但形状和相对能量应当相互类似(具有类似的音频包络)。对我们的例子，峰值部分是诸如观众喝彩之类的低频噪声事件499，并且广播音频流400滞后于流式音频媒体服务450。解决方案是延迟音频媒体服务450，直到在给定的采样窗口上最小化两个频谱表之间的相关误差为止。

对嵌入有元数据标签的流，可以使用这些标签中的信息来实现同步。例如，如果两个媒体服务中嵌入有事件代码(例如在DVD情况下可以使用章节中断，这仅仅是本领域普通技术人员容易确定的许多事件代码中的一种)，则提取该元数据并用它来调节延迟线以实现同步。或者，如果媒体服务中嵌入有时间代码，则提取该时间代码(作为元数据)并用它来调节延迟线以实现同步。

作为自动同步的另一例子，可以使用音频波形中的已知声音(如体育场“喧嚣(charge)”声音、得分声音、比赛歌曲等)的音频纹记来对准媒体服务、流等。将输入的音频波形不断地与“纹记”数据库进行匹配。这个纹记数据库可以包含在例如存储设备118中。当发现输入流和存储在纹记数据库中的音频纹记之间的匹配时，将标签插入标识该标签的缓冲区(或其他存储设备)中。然后根据标签执行两个媒体服务之间的相关函数，以实现同步。在相关误差最小时认为发生同步。此外，尽管前述的是自动执行的，但可以允许用户手动对自动同步进行微调。应当理解，在本领域的普通技术人员确定之后可以容易地向/从纹记数据库中加入/删除音频纹记。或者，确定对应于每个媒体服务的音频中纹记的声音之间的时间长度；然后将媒体服务之一的播放延迟计算出的时间长度。

图6是图解根据本发明的示范性实施例的、用于在对应于同一节目但来自不同创作源的第一媒体服务和第二媒体服务之间同步播放的方法的流程图。第一媒体服务和第二媒体服务可以包括广播内容、流内容、其组合以及可对其应用根据本发明的同步的任何其他类型的内容。

匹配第一媒体服务和第二媒体服务中的共同音频事件(特性)(步骤610)。

根据匹配步骤的结果，调节第一媒体服务和/或第二媒体服务的播放定时，以便在第一媒体服务和第二媒体服务之间自动同步播放(步骤620)。

此外，还可以根据用户输入进一步调节第一媒体服务和/或第二媒体服务的播放定时(步骤630)。用户输入对应于增加和/或减少插入第一媒体服务和/或第二媒体服务的播放定时中的延迟。

最好步骤610可以包括下面步骤610a、610b和/或610c中的任意一个。

在步骤610a，根据噪声包络匹配执行匹配。步骤610a可以包括步骤610a1到610a4。在步骤610a1，选择时间窗口用来采样第一媒体服务和第二媒体服务。选择可以以第一媒体服务和第二媒体服务之间的最坏情况下预期的延迟差为基础。在步骤610a2，对第一媒体服务和第二媒体服务生成频谱功率密度曲线。在步骤610a3，为第一媒体服务和第二媒体服务关联频谱功率密度曲线中出现的背景音频事件。在步骤610a4，最小化对应于第一媒体服务和第二媒体服务的频谱功率密度曲线之间的相关误差。

在步骤610b，根据嵌入在元数据标签中、进而嵌入第一媒体服务和第二媒体服务中的事件代码执行匹配。步骤610b可以包括步骤610b1到610b2。在步骤610b1，在第一媒体服务和第二媒体服务中标识元标签，并且在元标签中标识事件代码。在步骤610b2，关联事件代码。

在步骤610c，根据已知声音的音频纹记执行匹配。步骤610c可以包括步骤610c1到610c2。在步骤610c1，比较已知声音的音频纹记(可以存储在音频纹记的数据库中)与第一媒体服务和第二媒体服务中的声音。在步骤610c2，关联与音频纹记相匹配并且在第一媒体服务和第二媒体服务中出现的声音。

作为本发明的替代，将使用对应于媒体服务的音频波形来匹配音频媒体服务与对应于基于视频的媒体服务的音频波形，两个媒体服务是同一内容源的。使用上述的过程，将基于视频的媒体服务与基于音频的媒体服务同步。

现在根据本发明的各种示范性实施例，给出对本发明的各种实现场景的描述。

在ATSC/DBS接收机上，可以通过使MPEG缓冲区具有可变的大小来实现延迟线。例如，将用户控制实现为遥控器上的一对按钮或摇杆按钮。延迟的相对设置的可见指示将作为屏幕上的图形或字母数字表示出现。用户通过按按钮之一来增加延迟，通过按下另一按钮来减少延迟。屏幕上的图形可以是根据当前插入的延迟量增加或减少的条形。

在因特网流式音频接收机上，可以通过使音频缓冲区具有可变的大小来实现延迟线。将用户控制实现为在单元控制面板上或遥控器上的额外控制。延迟的相对设置的可见指示将作为单元显示器上的图形或字母数字出现。

在可使用ATSC/DBS/Browser的电视(具有通过浏览器接收流内容的能力)，可以通过使MPEG缓冲区具有可变的大小和/或通过使流式音频缓冲区具有可变的大小来实现可调节的延迟线。如果系统中只有一条延迟线，则用户控制控制该延迟的长度，而如果有两条延迟线，则用户控制增加一个延迟并减少另一延迟。在任一场景中，通过遥控器上的一对按钮或摇杆按钮以及屏幕上指示两个节目之间的相对延迟的图形或字母数字来实现用户控制。

尽管这里参照附图描述了示范性实施例，但应当理解的是，本发明不限于这些确切的实施例，并且本领域技术人员可以在不背离本发明的范围或宗旨的前提下做出各种其他改变和变型。所有这些改变和变型规定为包含在所附权利要求书所限定的发明范围内。

Claims (22)

1.一种用于在对应于同一媒体内容的第一媒体服务和第二媒体服务之间自动同步重放的方法，包括下列步骤：

匹配第一媒体服务的音频信号与对应于第二媒体服务的音频波形中的共同音频特性；以及

根据所述匹配步骤的结果，调节第一媒体服务和第二媒体服务中至少一个的播放定时，所述第二媒体服务是来自与第一媒体服务的创作源不同的创作源的不同媒体服务，以便在第一媒体服务和第二媒体服务之间自动同步播放。

2.如权利要求1所述的方法，其中，所述匹配步骤使用噪声包络匹配，来匹配第一媒体服务的音频信号与所述音频波形中的共同音频特性。

3.如权利要求1所述的方法，其中，所述匹配步骤使用已知声音的音频纹记，来匹配第一媒体服务的音频信号与所述音频波形中的共同音频特性。

4.如权利要求3所述的方法，其中，所述已知声音包括运动场喧嚣声、得分声和歌曲中的至少一个。

5.如权利要求1所述的方法，其中，所述匹配步骤包括步骤：根据第一媒体服务和第二媒体服务之间的最坏情况下预期的延迟差，选择用于采样第一媒体服务的音频信号和对应于第二媒体服务的音频波形的时间窗口。

6.如权利要求1所述的方法，其中，所述匹配步骤包括步骤：对于第一媒体服务的音频信号和所述音频波形都生成频谱功率密度曲线。

7.如权利要求1所述的方法，其中，所述共同音频特性是背景音频事件，并且所述匹配步骤包括步骤：使在第一媒体服务的音频信号和所述音频波形中出现的背景音频事件相关联。

8.如权利要求1所述的方法，其中，所述匹配步骤包括步骤：最小化对应于第一媒体服务的音频信号和所述音频波形的频谱功率密度曲线之间的相关误差。

9.如权利要求1所述的方法，其中，所述调节步骤还根据用户输入调节播放定时，用户输入对应于改变在第一媒体服务和第二媒体服务中至少一个的播放定时中插入的延迟。

10.如权利要求9所述的方法，其中，所述用户输入对应于增加在第一媒体服务和第二媒体服务中至少一个的播放定时中插入的延迟，以及减少在第一媒体服务和第二媒体服务中至少另一个的播放定时中插入的延迟。

11.如权利要求1所述的方法，其中，所述匹配步骤使用嵌入在元数据标签中并进而嵌入第一媒体服务和第二媒体服务中至少一个中的事件代码，来匹配第一媒体服务的音频信号和所述音频波形中的共同音频事件。

12.如权利要求1所述的方法，其中，所述匹配步骤包括下列步骤：

比较已知声音的音频纹记与第一媒体服务的音频信号和对应于第二媒体服务的音频波形中的声音；以及

关联与音频纹记相匹配并且在音频信号和音频波形中出现的声音。

13.一种用于在对应于同一媒体内容的第一媒体服务和第二媒体服务之间自动同步播放的装置，包括：

声音匹配设备，用于匹配第一媒体服务的音频信号与对应于第二媒体服务的音频波形中的共同音频特性，所述第二媒体服务是来自与第一媒体服务不同的创作源的不同媒体服务；以及

可变延迟器，用于根据所述声音匹配设备的输出，调节第一媒体服务和第二媒体服务中至少一个的播放定时，以便在第一媒体服务和第二媒体服务之间自动同步播放。

14.如权利要求13所述的装置，其中，所述声音匹配设备使用噪声包络匹配，来匹配第一媒体服务的音频信号与所述音频波形中的共同音频事件。

15.如权利要求13所述的装置，其中，所述声音匹配设备使用已知声音的音频纹记，来匹配第一媒体服务的音频信号与所述音频波形中的共同音频事件。

16.如权利要求13所述的装置，其中，所述声音匹配设备根据音频信号和音频波形之间的最坏情况下预期的延迟差，选择用于采样第一媒体服务的音频信号和所述音频波形的时间窗口。

17.如权利要求13所述的装置，其中，所述声音匹配设备对于第一媒体服务的音频信号和所述音频波形都生成频谱功率密度曲线。

18.如权利要求13所述的装置，其中，所述声音匹配设备最小化对应于第一媒体服务的音频信号和所述音频波形的频谱功率密度曲线之间的相关误差。

19.如权利要求13所述的装置，其中，所述可变延迟器还根据用户输入调节播放定时，用户输入对应于改变在第一媒体服务和第二媒体服务中至少一个的播放中插入的延迟。

20.如权利要求13所述的装置，其中，所述声音匹配设备使用嵌入在元数据标签中并进而嵌入第一媒体服务和第二媒体服务中至少一个中的事件代码，来匹配第一媒体服务和第二媒体服务中的共同音频特性。

21.如权利要求13所述的装置，其中，所述声音匹配设备比较已知声音的音频纹记与第一媒体服务的音频信号和所述音频波形中的音频特性，并且使与音频纹记相匹配并在音频信号和音频波形二者中出现的声音相关联。

22.如权利要求13所述的装置，其中，第一媒体内容是第一创作源的，而第二媒体内容是第二创作源的。

Images