CN105052060A - 用于从第一数据流切换到第二数据流的设备和方法 - Google Patents

Abstract

一种设备接收表示音频和/或视频内容的第一数据流和第二数据流。所述设备预先被配置(400)为广播来自第一流的内容。在用于从第一流切换(401)到第二流的命令之后，所述设备通过相关性确定(402，403)第一流和第二流中的标记，并且根据与第一流和第二流中的每一个流中的标记相关联的时间戳信息来确定(404)时间偏移。在切换(410)之前，所述设备：在时间偏移表示第一流延迟时，暂停(409)第二流，直到时间偏移被吸收；在时间偏移表示第一流提前时，降低(407)第一流的广播速率，直到时间偏移被吸收。

Description

用于从第一数据流切换到第二数据流的设备和方法

本发明涉及在传播音频和/或视频内容的情况下从第一数据流切换到第二数据流。

随着在实时流模式下网络广播音频和/或视频内容的增加，对于相同的设备而言，被设置为通过第一装置接收表示音频和/或视频内容的第一数据流并且通过第二装置接收表示相同音频和/或视频内容的第二数据流并不罕见。例如，相同的解码设备可以接收来自两个广播网络(诸如有线和卫星)的相同的电视频道。然后，这种解码器装备有两个调谐器，这对于适当地管理而言是必须的。实际上，由于这两个调谐器可以提供(至少对于某些内容而言)具有不同特性(诸如，以不同的分辨率为例)的数据流，和/或因为这些调谐器可以捕捉不同组的电视频道，所以在它们的使用中必须执行仲裁。

因此，当设备适于接收表示音频和/或视频内容的第一数据流和表示相同音频和/或视频内容的第二数据流时，可以使该设备从一个流切换到另一个流。由于通过不同的装置接收或处理这些流，所以这些流之间通常存在一定的时间偏移。然后，从一个流切换到另一个流会对他的流从一个源切换到另一个(诸如，以中断图像和/或声音为例)源的用户造成烦恼。

人们期望通过提供使得能够透明地或者至少以用户不易察觉的方式执行这种切换的解决方案来克服现有技术的这些缺陷。

本发明涉及一种通过设备实现用于传播音频和/或视频内容的方法，所述设备接收表示音频和/或视频内容的第一数据流以及表示所述音频和/或视频内容的第二数据流，所述设备被预先配置为使用第一数据流传播所述音频和/或视频内容。所述方法使得，在检测到用于将音频和/或视频内容的传播从第一数据流切换到第二数据流的命令之后，所述设备执行以下步骤：通过相关性确定第一数据流和第二数据流中的音频和/或视频内容的基准点；使用与第一数据流和第二数据流中的每一个数据流中的基准点相关联的时间戳信息，来确定第一数据流和第二数据流之间的时间偏移。并且，在从第一数据流切换到第二数据流之前，所述设备执行以下步骤：当时间偏移表示第一数据流相对于第二数据流延迟时，暂停第二数据流，直到时间偏移被吸收；当时间偏移表示第一数据流相对于第二数据流提前时，降低第一数据流的帧速率，直到时间偏移被吸收。因此，由于通过暂停一个流或者通过降低另一流的帧速率进行的时间偏移的管理，切换被透明地执行(暂停)或者至少以对于用户而言不易觉察的方式(降低帧速率)执行。

根据特定实施方式，通过将第二数据流重新路由到存储器中来暂停第二数据流，时间偏移一被吸收，所述存储器就在读取模式下被激活。

根据特定实施方式，当第一流和第二流的数据是视频或视听数据时，基于第一数据流和第二数据流中的图像的亮度直方图，执行通过相关性的分析。

根据特定实施方式，当第一流和第二流的数据是压缩的数据时，所述设备在通过相关性的分析之前执行数据解压缩步骤，并且基于解压缩的数据来执行通过相关性的分析。

根据特定实施方式，当第一流和第二流的数据是通过预测编码压缩的视频或视听数据时，所述设备仅对帧内图像执行解压缩。

根据特定实施方式，当第一流和第二流的数据是视频或视听数据时，通过确定第一数据流和第二数据流的部分上的声学指纹来执行通过相关性的分析。

根据特定实施方式，所述设备存储表示时间偏移的信息，并且使用所述信息以用参数表示用于第一数据流和第二数据流之间的未来切换的通过相关性的分析。

根据特定实施方式，当所述设备降低第一数据流的帧速率直到时间偏移被吸收时，所述设备对第一流的数据执行音频处理以保持其音调(pitch)。

本发明还涉及一种用于传播音频和/或视频内容的设备，所述设备包括用于接收表示音频和/或视频内容的第一数据流以及表示所述音频和/或视频内容的第二数据流的装置，所述设备被配置为使用第一数据流传播所述音频和/或视频内容。在检测到用于将音频和/或视频内容的传播从第一数据流切换到第二数据流的命令之后，所述设备实现：用于通过相关性确定第一数据流和第二数据流中的音频和/或视频内容的基准点的装置；用于使用与第一数据流和第二数据流中的每一个数据流中的所述基准点相关联的时间戳信息来确定第一数据流和第二数据流之间的时间偏移的装置。并且，在从第一数据流切换到第二数据流之前，所述设备实现：用于在时间偏移表示第一数据流相对于第二数据流延迟时，暂停第二数据流直到时间偏移被吸收的装置；用于在时间偏移表示第一数据流相对于第二数据流提前时，降低第一数据流的帧速率直到时间偏移被吸收的装置。

本发明还涉及一种计算机程序，该计算机程序可以被存储在介质上和/或从通信网络下载以由处理器读取。该计算机程序包括当由处理器执行所述程序时用于在它的任何一种变形中实现上述方法的指令。本发明还涉及包括这种计算机程序的存储装置。

本发明的上述特征以及其它特征将根据阅读示例实施方式的下列描述而显得更清楚，所述描述与附图相关地给出，在附图中：

图1示意性地示出可以实现本发明的系统；

图2示意性地示出通信系统的设备的硬件架构的示例；

图3示意性地示出设备的至少部分的模块划分的示例；

图4示意性地示出用于管理设备的配置的算法。

图1示意性地示出可以实现本发明的系统。

图1的系统包括连接到第一通信网络120(诸如互联网)以及连接到第二通信网络110(诸如卫星网络)的设备100。

设备100适合于经由第一网络110和第二网络120以连续广播的数据流(实时流)的形式接收音频和/或视频内容。设备100适合于经由第一网络110和第二网络120同时接收音频和/或视频内容。

设备100还经由链路130连接到消费视听内容的第一设备131(诸如屏幕)，经由链路140连接到消费视听内容的第二设备141(诸如数字录像机或另一个屏幕)。在这点上，设备100是用于传播音频和/或视频内容的设备。应当注意的是，链路130和链路140可以是有线的或无线的。

当设备100经由第一网络110和第二网络120同时接收音频和/或视频内容时，设备100由此接收两个数据流。因为这两个数据流不遵循相同的传播路径，所以这两个数据流通常存在时间偏移。同样的情况将应用于设备100要从通信网络接收数据流并且单独进行预处理操作，并且因此随着单独的延迟，将被应用于该数据流以便形成注入到设备100中的两个数据流。

数据流优选为由MPEG组(运动图像专家组)定义的格式(诸如，以MPEG-2格式为例)。作为由设备100经由链路130和/或链路140传播的音频和/或视频内容是解码数据流的形式(意味着解压缩)，并且因此设备100包括对应的解码器，或者以未解码数据的流的形式(意味着压缩)，并且因此消费设备131和141分别包括对应的解码器。

在本发明的情况下，设备100事先被配置为使用来自这两个数据流的第一数据流来传播音频和/或视频内容。下面关于图4详细说明在检测到用于将音频和/或视频内容的传播从这两个数据流当中的第一数据流切换到第二数据流的命令之后设备100的行为。下面关于图3详细说明用于实现该行为的设备100的至少部分的模块划分。

图2示意性地示出通信设备100的硬件架构的示例。设备100然后包括通过通信总线220连接的以下各项：处理器或CPU(中央处理单元)210、随机存取存储器RAM211、只读存储器ROM212、存储单元或诸如SD(安全数字)卡读取器的存储介质读取器或硬盘驱动器HDD213、以及用于经由第一网络110和第二网络120接收视听内容并且经由第一链路130和第二链路140发送视听内容的一组接口214。

处理器210能够执行从ROM212、从外部存储器(未示出)、从存储介质或者从通信网络加载到RAM211中的指令。当通信设备100加电时，处理器210能够从RAM211读取指令并执行这些指令。这些指令形成计算机程序，所述计算机程序通过处理器210实现下面描述的模块、算法和步骤中的全部或一些。

因此，下面描述的模块、算法和步骤中的全部或一些可以通过由可编程机器(诸如DSP(数字信号处理器)或微控制器)执行一组指令以软件形式实现。下面描述的算法和步骤中的全部或一些可以由机器或专用组件(诸如FPGA(现场可编程门阵列)或ASIC(专用集成电路))以硬件形式实现。

图3示意性地示出设备100的至少部分的模块划分的示例。

设备100包括：第一接收模块301，其适于接收表示音频和/或视频内容的第一数据流(在图3中表示为F1)；以及第二模块302，其适于接收表示音频和/或视频内容的第二数据流(在图3中表示为F2)。在特定实施方式中，第一接收模块301和第二接收模块302包括调谐器，该调谐器用于从连续广播并且表示音频和/或视频内容的多个数据流中选择表示一个音频和/或视频内容的数据流。

设备100还包括：仲裁模块320，其用于从第一数据流F1和第二数据流F2中选择，并且在检测到切换的指令之后从第一数据流切换到第二数据流F2。所选择的流由此由仲裁模块320例如经由链路130发送。

设备100还包括：模块310，其用于通过相关性确定在连接到第一接收模块301的第一数据流F1中和在连接到第二接收模块302的第二数据流F2中的音频和/或视频内容的基准点。用于通过相关性确定的模块310的目的是要找出第一数据流F1和第二数据流F2中的相同的图像和/或相同的声音。因此，用于通过相关性确定的模块310找出音频和/或视频内容中的基准点，并且使用与第一数据流F1和第二数据流F2中的每一个数据流中的该基准点相关联的时间戳信息，来确定第一数据流F1和第二数据流F2之间的时间偏移。然后，用于通过相关性确定的模块310将表示该时间偏移的信息提供给仲裁模块320。

设备100还包括：模块311，其用于降低第一数据流F1的帧速率，模块311被置于第一接收模块301与仲裁模块320之间。因此，当时间偏移表示第一数据流F1相对于第二数据流F2提前时，仲裁模块320要求模块311降低第一数据流F1的帧速率，直到时间偏移被吸收。因此，暂时减慢了第一数据流F1的传播，并且然后仲裁模块320可以继续进行从第一数据流F1到第二数据流F2的切换。

设备100还包括：模块312，其用于暂停第二数据流F2，模块312被置于第一接收模块301和仲裁模块320之间。该原理称为时移(timeshifting)。因此，当时间偏移表示第一数据流F1相对于第二数据流F2延迟时，仲裁模块320要求模块312暂停数据流F2，直到时间偏移被吸收。通过将第二数据流F2重新路由到存储器来实现第二数据流F2的暂停，时间偏移一被吸收，该存储器就在读取模式下被激活。因此，在时间T写入的数据流F2中的任何数据项对于仲裁模块320而言仅在时间T+D可用，其中D代表第一数据流F1和第二数据流F2之间的时间偏移。然后，仲裁模块320可以继续进行从第一数据流F1到第二数据流F2的切换。

图3考虑从第一数据流F1切换到第二数据流F2的情况。如果也允许在其它方向上的切换，则模块311还将必须包括暂停第一数据流F1的功能，并且模块312还将必须包括降低第二数据流F2的帧速率的功能。

图4示意性地示出用于管理设备100的配置的算法。

在步骤400中，设备100被配置为使得设备100接收表示音频和/或视频内容的第一数据流F1和第二数据流F2。设备100还被配置为使得设备100例如经由链路130传播第一数据流F1或第一数据流F1的解压缩版本。在图3中的模块划分的情况下，由仲裁模块320应用这种配置。

在步骤401中，设备100检测用于将传播从第一数据流F1切换到第二数据流F2的指令。例如，第一数据流F1产生于用于接收第一组电视频道的调谐器，第二数据流F2产生于用于接收第二组电视频道的调谐器，并且必须释放产生第一数据流F1的调谐器，以便使得另一个消费设备能够接收仅存在于第一组电视频道中的电视频道。

在步骤402中，设备100通过相关性分析流F1和流F2中的数据，或者产生于流F1和流F2的解码的数据。在图3中的模块划分的情况下，由模块310来执行这种通过相关性的分析。

在特定实施方式中，从相同的数字化或编码操作获得第一流F1和第二流F2的音频和/或视频数据，当这些音频和/或视频数据对应于音频和/或视频内容的相同部分时，它们被假设为是相同的。通过相关性的分析包括对第一流F1的(或相应地第二流的)预定组的数据在第二流F2(或第一流F1)中所处的位置进行定位。

在另一个特定实施方式中，设备100还可以选择第一流F1的(或第二流F2的)音频和/或视频数据作为图像，并且在第二流F2中(或者相应地在第一流F1中)寻找具有预定阈值以上的相关性水平的数据。

在又一个特定实施方式中，设备100还可以选择第一流F1的(或第二流F2的)音频和/或视频数据作为图像，并且在第二数据流F2中(或者相应地在第一数据流F1中)寻找在一组数据当中的具有最高相关性水平的数据。这使得能够管理不通过相同的数字化和编码操作获得第一流F1和第二流F2的数据的情况，或者已经将噪声插入到数据流F1和数据流F2中的至少一个的数据中的情况。

在又一个特定实施方式中，当第一流F1和第二流F2的数据是视频数据或视听数据时，设备100可以基于第一数据流F1和第二数据流F2的图像的亮度直方图来进行通过相关性的分析。

在又一个特定实施方式中，当第一流F1和第二流F2的数据是音频或视听数据时，设备100可以使用动态时间规整(DTW)算法，以测量音频数据中的相似性。

在又一个特定实施方式中，当第一流F1和第二流F2的数据是音频或视听数据时，通过确定第一数据流F1和第二数据流F2的部分上的声学指纹来进行通过相关性的分析。设备100确定与用于第一数据流F1(或第二数据流F2)的内容的预定持续时间对应的第一声学指纹，并且确定用于第二流F2的(或相应地第一流F1的)与相同的预定持续时间对应的各个组的数据的第二声学指纹。声学指纹是音频信号的确定性数字概要。第一声学指纹用作基准，并且设备100对第二流F2的数据使用滑动窗口，以将第二声学指纹与第一声学指纹进行比较，直到获得预定阈值以上的相关性水平。这些指纹的确定包括例如在音频内容的简化的谱图中的频率峰值的检测以及这些频率峰值之间的差异的确定。

在又一个特定实施方式中，第一流F1和第二流F2的音频和/或视频数据以压缩格式进行编码，设备100首先进行第一流F1和第二流F2的音频和/或视频数据中的至少一些数据的对应的解压缩，以使得能够执行通过相关性的分析的操作。当第一流F1和第二流F2的数据是通过预测编码进行编码的视频数据或视听数据时，设备100可以仅对具有内部编码的图像(意味着帧内图像)执行该解码操作，并且仅对具有预测编码的图像(意味着帧间图像)不执行该解码操作。

在步骤403中，凭借通过相关性的分析的操作，设备100确定第一数据流F1和第二数据流F2中的音频和/或视频内容的基准点。

在步骤404中，第一流F1和第二流F2的音频和/或视频数据与时间戳信息相关联，设备100使用与第一数据流F1和第二数据流F2中的每一个数据流中的基准点相关联的时间戳信息，来确定第一数据流F1和第二数据流F2之间的时间偏移。当第一流F1和第二流F2的数据是根据MPEG格式编码的视频数据或视听数据时，时间戳信息可以表示对应的音频和/或视频数据必须被解码器采用的瞬间，并且被称为DTS(解码时间戳)，或者表示对应的音频和/或视频数据必须被显示到消费设备的瞬间，并且被称为PTS(显示时间戳)。

在特定实施方式中，设备100存储表示时间偏移的信息，并且确定并使用该信息以用参数表示对于第一数据流F1和第二数据流F2之间的未来切换的通过相关性的分析。存储的信息限定例如在该未来切换期间通过相关性的分析的起点。

在步骤405中，根据所确定的时间偏移，设备100确定第二数据流F2相对于第一数据流F1是否延迟。如果是这种情况，则执行步骤407；否则执行步骤406。

在步骤406中，根据所确定的时间偏移，设备100确定第二数据流F2相对于第一数据流F1是否提前。如果是这种情况，则执行步骤409；否则不存在时间偏移，并且执行步骤410。

在步骤407中，第二数据流F2相对于第一数据流F1延迟。然后，设备100降低第一数据流F1的传播速率(被称为帧速率)，直到时间偏移被吸收。然后，设备100相应地修正第一数据流F1的数据的时间戳信息，尤其是在MPEG流的情况下的PTS信息。在图3的模块划分的情况下，仲裁模块320请求模块311激活降低第二数据流F2的帧速率的功能，直到时间偏移被吸收。可以执行可选步骤408或者另外执行步骤410。

在步骤408中，当第一流F1和第二流F2的数据是音频或视听数据时，设备100对该数据执行音频处理，以保持音调，意思是为了防止，由于与第一数据流F1的帧速率的降低有关的减慢，声音重现变得更深。可以使用Flanagan、Griffin和Lim、Laroche和Dolson或Roebel算法实现相位声码器。可以实现SOLA(同步叠加)类型的算法，因此限制了为保持音调的处理资源的消耗。应用音频处理，直到时间偏移被吸收。然后，执行步骤410。

在步骤409中，第二数据流F2相对于第一数据流F1提前。然后，设备100暂停第二数据流F2，直到时间偏移被吸收。如已经提到的，这个指的是时移。在图3中的模块划分的情况下，仲裁模块320请求模块312激活暂停第二数据流F2的功能，直到时间偏移被吸收。然后，执行步骤410。

在步骤410中，设备100切换为使得设备100例如经由链路130传播第二数据流F2或第二数据流F2的解压缩形式的配置。在图3中的模块划分的情况下，由仲裁模块320应用这种配置。

Claims (9)

1.一种由设备(100)实现的用于传播视频/或视听内容的方法，所述设备接收表示视频或视听内容的第一数据流以及表示所述视频或视听内容的第二数据流，所述设备预先被配置(400)为使用所述第一数据流传播所述视频或视听内容，

所述方法使得，在从所述第一数据流切换(410)到所述第二数据流之前，所述设备执行下面的步骤：

-当时间偏移表示所述第一数据流相对于所述第二数据流延迟时，暂停(409)所述第二数据流，直到所述时间偏移被吸收；

-当所述时间偏移表示所述第一数据流相对于所述第二数据流提前时，降低(407)所述第一数据流的帧速率，直到所述时间偏移被吸收，

所述方法的特征在于，在检测到(401)用于将所述视频或视听内容的传播从所述第一数据流切换到所述第二数据流的命令之后，所述设备执行下面的步骤：

-通过相关性确定(402，403)在所述第一数据流和所述第二数据流中的所述视频或视听内容的基准点，所述相关性基于在所述第一数据流和所述第二数据流中的图像的亮度直方图来进行；

-使用与在所述第一数据流和所述第二数据流中的每一个数据流中的所述基准点相关联的时间戳信息，来确定(403)所述第一数据流和所述第二数据流之间的所述时间偏移。

2.根据权利要求1所述的方法，该方法的特征在于，通过将所述第二数据流重新路由到存储器中来进行所述第二数据流的所述暂停，所述时间偏移一被吸收，所述存储器就在读取模式下被激活。

3.根据权利要求1和2中的任一项所述的方法，该方法的特征在于，当所述第一流和所述第二流的所述数据是压缩数据时，在所述通过相关性确定的步骤之前，所述设备执行数据解压缩步骤，并且基于解压缩数据进行所述相关性。

4.根据权利要求3所述的方法，该方法的特征在于，当所述第一流和所述第二流的所述数据是通过预测编码压缩的视频或视听数据时，为了所述相关性，所述设备仅对帧内图像执行所述解压缩。

5.根据权利要求1至4中的任一项所述的方法，该方法的特征在于，当所述第一流和所述第二流的所述数据是视听数据时，通过确定所述第一数据流和所述第二数据流的部分上的声学指纹来执行所述相关性。

6.根据权利要求1至5中的任一项所述的方法，该方法的特征在于，所述设备存储表示所述时间偏移的信息，并且使用所述信息以用参数表示用于所述第一数据流和所述第二数据流之间的未来切换的相关性。

7.根据权利要求1至6中的任一项所述的方法，该方法的特征在于，当所述第一流和所述第二流的数据是视听数据时，并且当所述设备降低所述第一数据流的所述帧速率直到所述时间偏移被吸收时，所述设备对所述第一流的所述数据执行音频处理(408)以保持其音调。

8.一种用于传播视频或视听内容的设备(100)，所述设备包括用于接收表示视频或视听内容的第一数据流和表示所述视频或视听内容的第二数据流的装置，所述设备被配置(400)为使用所述第一数据流传播所述视频或视听内容，

所述设备使得，在从所述第一数据流切换(410)到所述第二数据流之前，所述设备实现：

-用于在时间偏移表示所述第一数据流相对于所述第二数据流延迟时，暂停(409)所述第二数据流，直到所述时间偏移被吸收的装置；

-用于在所述时间偏移表示所述第一数据流相对于所述第二数据流提前时，降低(407)所述第一数据流的帧速率，直到所述时间偏移被吸收的装置，

所述设备的特征在于，在检测到(401)用于将所述视频或视听内容的传播从所述第一数据流切换到所述第二数据流的命令之后，所述设备实现：

-用于通过相关性确定(402，403)所述第一数据流和所述第二数据流中的所述视频或视听内容中的基准点的装置，所述相关性基于所述第一数据流和所述第二数据流中的图像的亮度直方图来进行；

-用于使用与所述第一数据流和所述第二数据流中的每一个数据流中的所述基准点相关联的时间戳信息，来确定(403)所述第一数据流和所述第二数据流之间的所述时间偏移的装置。

9.一种计算机程序，该计算机程序的特征在于，该计算机程序包括用于在由处理器执行所述程序时，由所述处理器实现根据权利要求1至7中的任一项所述的方法的指令。