CN101076120A - 在无嵌入时间戳的多媒体流的回放期间维持音频/视频同步的健壮系统 - Google Patents

Abstract

一种装置，包括第一电路、第二电路和第三电路。第一电路可被配置成(i)多路分解具有一个或多个视频和音频流的多媒体流，以及(ii)响应于多路分解该多媒体流生成一个或多个视频信号以及一个或多个音频信号。该多媒体流可以不依赖于嵌入的时间戳。第二电路可被配置成(i)解码一个或多个视频数据信号以及一个或多个音频数据信号，以及(ii)为每一经解码的视频信号生成一视频当前时间信号，并为每一经解码的音频信号生成一音频当前时间信号。第三电路可被配置成用该视频当前时间信号和音频当前时间信号来同步每一经解码的音频信号和每一经解码的视频信号的回放。

Description

在无嵌入时间戳的多媒体流的回放期间维持音频/视频同步的健壮系统

技术领域

本发明一般涉及视频处理，尤其涉及用于在没有嵌入的时间戳的多媒体流的回放期间维持音频/视频同步的健壮方法和/或装置。

背景技术

呈现由视频和音频流组成的多媒体流中的最重要方面之一是所显示的视频帧和对应的音频信息之间的同步的感知。音频和视频信息之间大于四分之一秒至二分之一秒的滞后一般导致经专门训练的观察者的感知问题。超过四分之一秒至二分之一秒的任何滞后会分散普通观察者的注意力。通常，音频和视频之间的同步的维持形成了任何多媒体解码器的基础。

常规的方法包括用于在多媒体呈现期间维持音频-视频同步的许多不同的机制。一种常见的方法是周期性地在流中嵌入参考时钟的值，或为对应的音频和视频流提供这一时钟的快照。在解码阶段期间恢复主时钟的能力将有助于确保当前的呈现总体速率。用于音频和视频流的嵌入的时间戳也有助于确保回放期间在音频和视频流之间的正确同步。

近年来，一类完全不同的多媒体流的普及度有所增长。这类多媒体流没有嵌入的时间戳。这些多媒体流主要依赖于音频和视频数据的一致交错来进行同步。这类流在个人计算机上创建，这避免了对任何中央时钟恢复机制的需求。另外，在音频和视频流之间有理想同步的理想流的分发的固有假设避免了对任何嵌入的时间戳的需求，而是依赖于音频和视频分组的物理关系。这些流的普及导致将这类实现扩展到消费者电子产品世界。然而，消费者电子产品世界需要没有嵌入的时间戳的信号的理想同步，这现在是一个挑战。

期望提供一种用于在不包含嵌入的时间戳的多媒体流的回放期间维持音频-视频同步的方法和/或装置。

发明内容

本发明涉及一种装置，包括第一电路、第二电路和第三电路。第一电路可被配置成(i)多路分解具有一个或多个视频和音频流的多媒体流，以及(ii)响应于多路分解该多媒体流，生成一个或多个视频数据信号以及一个或多个音频数据信号。该多媒体流可以不依赖于嵌入的时间戳。第二电路可被配置成(i)解码一个或多个视频数据信号以及一个或多个音频数据信号，以及(ii)为每一解码的视频信号生成一视频当前时间信号，并为每一解码的音频信号生成一音频当前时间信号。第三电路可被配置成用视频当前时间信号和音频当前时间信号将每一解码的音频信号与每一解码的视频信号的回放同步。

本发明的目的、特征和优点包括提供一种用于在没有嵌入的时间戳的多媒体流的回放期间维持音频/视频同步的方法和/或装置，它(i)允许对于消费者电子产品世界足够准确地进行音频-视频同步，(ii)实现并不昂贵，和/或(iii)非常容易实现。

附图说明

本发明的这些和其它目的、特征和优点将从以下详细描述和所附权利要求书及附图中显而易见，附图中：

图1是音频-视频解码单元的图示；

图2是示出数据流中的音频和视频分组之间的关系的图；

图3是本发明的框图；

图4是在音频/视频呈现系统的环境中示出的本发明的更详细图示；以及

图5是示出在同步较差的流的情况下使用周期性纠正偏移的好处的图示。

具体实施方式

参考图1，示出了音频-视频解码单元50的框图。解码单元50一般包括块(或电路)54、块(或电路)56、块(或电路)58、块(或电路)60、块(或电路)62、块(或电路)64、块(或电路)66、以及块(或电路)68。电路54可被实现为前端控制和数据流传送电路54。电路56可被实现为多路分解器。电路58可被实现为音频解码器58。电路60可被实现为音频同步电路。电路62可被实现为基准时钟。电路64可被实现为视频解码器64。电路66可被实现为视频输出缓冲器66。电路68可被实现为音频-视频呈现设备。

前端控制电路54可从多路复用器(未示出)接收视频/音频数据52。前端控制电路54可将该视频/音频数据52提供给多路分解器56。多路分解器56可将信号(例如，A/V DATA)上经多路分解的音频数据提供给音频解码器58。多路分解器56可将信号A/V DATA上经多路分解的视频数据提供给视频解码器64。多路分解器56可将信号(例如，REFERENCE_TIMING_DATA)提供给基准时钟62。音频解码器58可将信号(例如，AUDIO)上经解码的音频数据提供给音频同步电路60。音频解码器58也可将信号(例如，AUDIO_TIMING_DATA)提供给基准时钟62。视频解码器64可将信号(例如，VIDEO_TIMING_DATA)提供给基准时钟62。视频解码器64可将信号(例如，VIDEO)上经解码的视频数据提供给视频输出缓冲器66。基准时钟62可将信号(例如，SYNCHRONIZATION_MECHANISM)提供给音频同步电路60。音频输出缓冲器66可将信号VIDEO提供给音频-视频呈现设备68。音频同步电路60可将信号(例如，SYNC_AUDIO)提供给音频-视频呈现设备68。

前端控制电路54可对视频/音频数据52执行模拟处理、信道解码和纠错。视频/音频数据52(或多媒体流)可包括视频流、音频流和与中央时钟有关的音频/视频定时信息(或嵌入的音频/视频时间戳)。多媒体流52可以是经多路复用的A/V文件。多路分解器56可多路分解来自多媒体流52的音频和视频流。解码单元50可通过对信号REFERENCE_TIMING_DATA提取与中央时钟有关的嵌入的视频/音频时间戳来维持音频-视频同步。多路分解器52可从在经多路复用的A/V文件中发送的中央时钟中提取视频和/或音频定时信息。音频解码器58可解码信号A/VDATA上经多路分解的音频数据。视频解码器64可解码信号A/V DATA上经多路分解的视频数据。音频解码器58可(i)将信号AUDIO上经解码的音频数据提供给音频同步电路60，并且(ii)将信号AUDIO_TIMING_DATA上的音频定时数据提供给基准时钟62。视频解码器64可(i)将信号VIDEO上经解码的视频数据提供给视频输出缓冲器66，并且(ii)将信号VIDEO_TIMING_DATA上的视频定时数据提供给基准时钟62。基准时钟62可对照从A/V多路复用文件中提取的嵌入的视频/音频时间戳将视频定时数据和音频定时数据进行比较。作为响应，基准时钟62可控制音频同步电路60用信号SYNCHRONIZATION MECHANISM将经解码的音频数据的定时调整成对应于经解码的视频数据的定时。音频-视频呈现设备68可呈现与视频数据同步的音频数据。一般而言，视频定时数据和音频定时数据可被呈现为多媒体流52的多路复用文件中的不同实体。视频定时数据和音频定时数据可从视频解码器58和音频解码器64中得到。

参考图2，示出了说明多个多媒体流的音频和视频分组之间的关系的图。多媒体流52可以被实现为普通的多媒体流54、音频预加载流56、音频预加载流58和/或音频/视频预加载流60。每一流54、56、58和60一般包括音频和视频分组。普通流52包括多路复用的视频和音频分组的交替序列。音频预加载流56包括多个多路复用的音频分组后跟多路复用的音频和视频分组的交替序列。音频预加载流58包括单个多路复用的音频分组后根多路复用的视频和音频数据分组的交替序列。单个多路复用的音频数据分组可包括等效于多个音频分组的定时。图2所示的流是流的开始处的音频/视频分组的所有可能配置的一个子集，取决于具体的多路复用器实现。例如，由于在流的开始处较小的分组化开销，流58可被认为比流56更优化。音频/视频预加载流60包括多个多路复用的音频分组后根多个多路复用的音频分组以及多路复用的视频和音频分组的交替序列。多媒体流52中的视频和音频分组的具体排列和定时可以变化以满足具体实现的设计准则。

参考图3，根据本发明的一个较佳实施例示出了系统100的框图。系统100一般包括块(或电路)102、块(或电路)104以及块(或电路)106。电路102可被实现为输入电路。电路104可被实现为音频/视频解码器。电路106可被实现为同步电路。输入电路102可具有可接收信号(例如，MULTIMEDIA_STREAM)的输入105。输入电路102可具有可呈现信号(例如，PACKETS)的输出130、可呈现信号(例如，TOTAL_PACKETS)的输出132、可呈现信号(例如，BIT_RATE)的输出134、可呈现信号(例如，AUDIO_DATA)的输出136、可呈现信号(例如，FRAME_RATE)的输出138、可呈现信号(例如，VIDEO_DATA)的输出140、以及可呈现信号(例如，TOTAL_FRAME)的输出142。音频/视频解码器104可具有可接收信号PACKETS的输入144、可接收信号TOTAL_BYTES的输入146、可接收信号BIT_RATE的输入148、可接收信号AUDIO_DATA的输入150、可接收信号FRAME_RATE的输入152、可接收信号VIDEO_DATA的输入154、以及可接收信号TOTAL_FRAME的输入156。音频/视频解码器104可具有可呈现信号(例如，DECODED_AUDIO)的输出160、可呈现信号(例如，A_CURRENT_TIME)的输出162、可呈现信号(例如，V_CURRENT_TIME)的输出164、以及可呈现信号(例如，DECODED_VIDEO)的输出166。同步电路106可具有可接收信号DECODED_AUDIO的输入168、可接收信号A_CURRENT_TIME的输入170、可接收信号V_CURRENT_TIME的输入172以及可接收信号DECODED_VIDEO的输入174。同步电路106可具有可呈现信号(例如，SYNC_DATA)的输出176。

系统100可回放信号SYNC_DATA上经解码的音频数据和经解码的视频数据，同时在不依赖于信号MULTIMEDIA_STREAM上的嵌入的音频/视频时间戳的情况下维持音频-视频同步。

参考图4，在音频-视频呈现系统的环境中示出了系统100的更详细框图。系统100还包括音频-视频呈现设备114。输入电路102一般包括块(或电路)107、块(或电路)109、以及块(或电路)111。电路107可被实现为前端控制器。电路109可被实现为帧电路。电路111可被实现为多路分解器。音频/视频解码器104一般包括块(或电路)116、块(或电路)118、块(或电路)120、块(或电路)122以及块(或电路)124。电路116可被实现为音频时间电路。电路118可被实现为音频解码器。在一个示例中，电路116和电路118可被实现为单个组合电路。电路120可被实现为视频时间电路。电路122可被实现为视频解码器。在一个示例中，电路122和电路124可被实现为单个组合电路。电路124可被实现为加法器电路124。视频时间电路120可将信号(例如，V_TOTAL_TIME)提供给加法器电路124。视频时间电路120可将信号V_CURRENT_TIME提供给加法器电路124。同步电路106一般包括块(或电路)110和块(或电路)112。电路110可被实现为视频输出缓冲器。电路112可被实现为音-视频同步电路。

前端控制器107可从多路复用器(未示出)接收信号MULTIMEDIA_STREAM。前端控制器107可将信号MULTIMEDIA_STREAM提供给帧电路109。帧电路109可呈现与A/V多路复用有关的比特率信息或信号BIT_RATE上的信号MULTIMEDIA_STREAM。帧电路109可将信号MULTIMEDIA_STREAM提供给多路分解器111。多路分解器111可呈现信号AUDIO_DATA上经压缩的音频数据。多路分解器111可呈现信号VIDEO_DATA上经压缩的视频数据。视频解码器122可呈现信号DECODED_VIDEO上经解码(或未压缩)的视频数据。音频解码器118可呈现信号DECODED_VIDEO上经解码(或未压缩)的音频数据。音频时间电路116可呈现信号A_CURRENT_TIME上经解码的音频数据的当前时间。视频解码器122可呈现信号V_CURRENT_TIME上经解码的视频数据的当前时间。A/V同步电路112可将信号(例如，SYNC_DATA)上经同步的音频和视频数据提供给音频-视频呈现设备114。

信号MULTIMEDIA_STREAM可以由多个独立的音频流和一个主要视频流组成。在任何时刻，单个音频视频流可经由音频-视频呈现设备114来呈现给观众。信号MULTIMEDIA_STREAM可在整个A/V多路复用文件上正确且一致地维持音频和视频流之间的时间差。信号MULTIMEDIA_STREAM中的音频和视频分组之间的关系可保持一致。

信号MULTIMEDIA_STREAM中的视频流可以用已知且恒定的帧速率来多路复用。可假定音频和视频分组之间的最大时间距离ΔTimeOffset。信号MULTIMEDIA_STREAM的音频流可以是分段可变的，并且包括最大时间距离ΔTimeOffset上的恒定比特率。流可以由可变大小的分组构成，但是流的总体速率可以在诸如ΔTimeOffset等指定的时间段上是恒定的。因此，当在非常短的分段(诸如，2到3个分组)中检查时，流看似是可变速率的。然而，当在较长的持续时间(诸如100个分组)上检查时，流可以是恒定速率的。

系统100可在A/V多路复用文件的开始处测量音频和视频帧之间的关系以解决不规则性。系统100可通过在周期性的基础上维持偏移量而在信号MULTIMEDIA_STREAM的整个回放期间维持音频-视频同步。在周期性的基础上对同步较差的音频和视频流维持偏移量的好处将结合图5来更详细讨论。在一个示例中，信号MULTIMEDIA_STREAM可被实现为结合图2所示的音频预加载流58。尽管有信号MULTIMEDIA_STREAM的开始处的音频或视频分组的特性，但是如果信号MULTIMEDIA_STREAM被实现为音频预加载流58，则信号MULTIMEDIA_STREAM中的音频和视频数据的多路复用可保持一致。

帧电路109可在信号MULTIMEDIA_STREAM的开始处在一时段ΔT内研究音频和视频分组之间的关系。在时段ΔT内，帧电路109可确定总的视频帧数并对每一音频帧确定总字节数。帧电路109可呈现信号TOTAL_FRAME上的总视频帧数。帧电路109可呈现信号TOTAL_BYTES上的每一音频帧的总字节数。由于视频帧速率是已知的，因此视频时间电路120可对时段ΔT计算对应于视频帧的精确时间。由于对于持续时间ΔT对应于视频帧的精确时间可基于信号MULTIMEDIA_STREAM作为音频预加载流58的实现来知晓，因此可估算时段ΔT期间音频数据和视频数据之间的定时关系。

帧电路109可基于以下公式EQ.1来确定信号TOTAL_FRAMES：

$V_{\mathrm{TotalFrames}}=\underset{t=0}{\overset{\mathrm{\ΔT}}{\mathrm{\Σ}}}\mathrm{VideoFrames}---(\mathrm{EQ}.1)$

视频时间电路120可基于以下公式EQ.2来确定信号V_TOTAL_TIME：

$V_{\mathrm{TotalTime}}=\frac{V_{\mathrm{TotalFrames}}}{V_{\mathrm{FramesPerSecond}}}---(\mathrm{EQ}.2)$

其中V_TotalFrames可被定义为信号TOTAL_FRAME，而V_{FramePerSecond}可被定义为信号FRAME_RATE。

帧电路1-9可基于以下公式EQ.3来确定信号TOTAL_BYTES：

$A_{\mathrm{TotalBytes}}=\underset{t=0}{\overset{\mathrm{\ΔT}}{\mathrm{\Σ}}}\mathrm{AudioBytes}---(\mathrm{EQ}.3)$

音频时间电路116可基于以下公式EQ.4来确定音频总时间：

$A_{\mathrm{TotalTime}}=\frac{A_{\mathrm{TotalBytes}}}{A_{\mathrm{Bitrate}}}---(\mathrm{EQ}.4)$

其中A_Bitrate可被定义为信号BIT_RATE。

视频时间电路120可基于以下公式EQ.5来确定信号V_CURRENT_TIME：

$V_{\mathrm{CurrentTime}}=\frac{V_{\mathrm{FrameNum}}}{V_{\mathrm{FramePerSecond}}}---(\mathrm{EQ}.5)$

其中V_FrameNum可被定义为视频帧数，而V_{FramePerSecond}可被定义为信号FRAME_RATE。

音频时间电路116可基于以下公式EQ.6来确定信号A_CURRENT_TIME：

A_CurrentTime＝V_CrrentTime+(A_TotalTime-V_TtalTime)    (EQ.6)

音频时间电路116还可基于信号PACKET上的分组数而非信号TOTAL_BYTES上的总字节数来确定预加载音频时间。帧电路109可通过以下公式EQ.7来确定总音频分组数：

$A_{\mathrm{TotalPackets}}=\underset{t=0}{\overset{\mathrm{\ΔT}}{\mathrm{\Σ}}}\mathrm{AudioPackets}---(\mathrm{EQ}.7)$

音频时间电路116可基于以下公式EQ.8来确定音频总时间：

$A_{\mathrm{TotalTime}}=\frac{A_{\mathrm{PacketNum}}}{A_{\mathrm{PacketsPerSecond}}}---(\mathrm{EQ}.8)$

其中A_PacketsNum可被定义为音频分组的分组数，而A_{PacketPerSecond}可被定义为分组速率。

公式EQ.8可用于用公式EQ.6来确定信号A_CURRENT_TIME：

A_CurrentTime＝V_CurrentTime+(A_TotalTime-V_TotalTime)

系统100可用以下步骤来进行没有嵌入的视频/音频时间戳的多媒体流52的健壮回放。

在第一步中，多路分解器111可多路分解来自多路复用A/V文件(或信号MULTIMEDIA_STREAM)的音频和视频数据。

在第二步中，音频时间电路116可在预定时间之后确定A_TotalTime的值(用公式EQ.4或公式EQ.8)。视频时间电路120可在预定时间之后用公式EQ.2来确定V_TotalTime(或信号V_TOTAL_TIME)。在预定时间ΔT到期前，A/V同步电路112可使用信号V_CURRENT_TIME来将经解码的音频数据和经解码的视频信号同步，直到音频时间电路116确定了A_TotalTime的值。音频时间电路116可使用经解码的样值(例如，经解码的音频和视频数据之间的总的经解码的信号)来确定信号A_CURRENT_TIME。例如，音频时间电路116可基于以下公式EQ.9来确定信号A_CURRENT_TIME：

$A_{\mathrm{CurrentTime}}=\frac{\mathrm{TOTALDECODEDSAMPLES}}{\mathrm{SamplesPerSecond}}---(\mathrm{EQ}.9)$

在第三步中，在预定时间ΔT到期之后，A/V同步电路112可如公式EQ.1到EQ.8中所描述的那样使用信号V_CURRENT_TIME和A_CURRENT_TIME来将经解码的视频数据和经解码的音频数据同步。A/V同步电路112可根据相关的经解码的视频数据和经解码的音频数据来呈现信号SYNC_DATA上的对应的经解码的音频和经解码的视频数据。A/V同步电路112可采用专有技术来确保经解码的视频数据和经解码的音频数据的正确同步。A/V同步电路112可以(i)最优地接收来自信号V_CURRENT_TIME和信号A_CURRENT_TIME的周期性的值，以及(iii)为A/V同步的目的采用该周期性的值。来自信号V_CURRENT_TIME和A_CURRENT_TIME的周期性的值可从(i)呈现的开始处，或(ii)呈现从信号MULTIMEDIA_STREAM内的偏移处重新开始的点处开始。信号V_CURRENT_TIME和A_CURRENT_TIME的频率可以从在整个呈现期间仅被发送一次或在每一和所有视频和音频分组之前被发送之间变化。

当信号MULTIMEDIA_STREAM包括一个以上音频流时，信号A_CURRENT_TIME可被独立地计算并可基于以下公式EQ.10对每一音频流计算：

A_CurrentTime(i)＝A_CurrenTime+(A_TotalTime(i)-V_TotalTime)    (EQ.10)

对每一音频流计算独立信号A_CURRENT_TIME可允许在具有多个音频流的多媒体流的呈现(或回放)期间视频和音频数据的无缝切换。

参考图5，示出了说明使用周期性纠正偏移量的好处的图。一般而言，系统100可通过在周期性的基础上维持偏移量而在信号MULTIMEDIA_STREAM的整个回放期间维持音频-视频同步。这一偏移量可用于实现音频和视频流同步较差的流中的音频-视频同步。周期性纠正偏移量可防止在信号MULTIMEDIA_STREAM的回放期间视频定时和音频定时之间的漂移。

尽管本发明已参考其较佳实施例具体示出并描述，但是本领域的技术人员可以理解，可作出形式和细节上的各种改变而不脱离本发明的范围。

Claims (20)

1.一种装置，包括：

第一电路，它被配置成(i)多路分解具有一个或多个视频和音频流的多媒体流，以及(ii)响应于多路分解所述多媒体流生成一个或多个视频数据信号以及一个或多个音频数据信号，其中所述多媒体流不依赖于嵌入的时间戳；

第二电路，它被配置成(i)解码所述一个或多个视频数据信号以及所述一个或多个音频数据信号，以及(ii)为每一经解码的视频信号生成一视频当前时间信号，并为每一经解码的音频信号生成一音频当前时间；以及

第三电路，它被配置成用所述音频当前时间信号和所述视频当前时间信号来同步每一经解码的音频信号和每一经解码的视频信号的回放。

2.如权利要求1所述的装置，其特征在于，所述第二电路包括视频时间电路，它被配置成基于视频帧速率以及每一经解码的视频信号的帧数来确定所述视频当前时间信号。

3.如权利要求2所述的装置，其特征在于，所述第二电路包括音频时间电路，它被配置成基于总帧数以及所述帧速率来为每一经解码的视频信号确定视频总时间。

4.如权利要求3所述的装置，其特征在于，所述音频时间电路被配置成基于每一经解码的音频信号的总时间、所述视频当前时间信号、以及每一经解码的视频信号的所述视频总时间来生成所述音频当前时间信号。

5.如权利要求4所述的装置，其特征在于，每一经解码的音频信号的所述总时间基于所述经解码的音频信号的总字节数和比特率。

6.如权利要求4所述的装置，其特征在于，每一经解码的音频信号的所述总时间基于每一经解码的音频信号中的分组数和每秒分组数。

7.如权利要求1所述的装置，其特征在于，所述第三电路包括音频/视频同步电路，它被配置成在所述第二电路生成所述音频当前时间信号的同时在预定量的时间内用所述视频当前时间信号来同步每一经解码的音频信号和每一经解码的视频信号。

8.一种装置，包括：

用于(i)多路分解具有一个或多个视频和音频流的多媒体流，其中所述多媒体流不依赖于嵌入的时间戳，以及(ii)响应于多路分解所述多媒体流来生成一个或多个视频数据信号以及一个或多个音频数据信号，其中所述多媒体流不依赖于嵌入的时间戳的装置；

用于(i)解码所述一个或多个视频数据信号以及一个或多个音频数据信号，以及(ii)为每一经解码的视频信号生成一视频当前时间信号并为每一经解码的音频信号生成一音频当前时间信号的装置；以及

用于用所述视频当前时间信号和所述音频当前时间信号来同步每一经解码的音频信号和每一经解码的视频信号的回放的装置。

9.一种用于多媒体流的音频-视频同步的方法，包括以下步骤：

(A)多路分解具有一个或多个视频和音频流的所述多媒体流，其中所述多媒体流不依赖于嵌入的时间戳；

(B)响应于执行步骤(A)生成一个或多个视频数据信号以及一个或多个音频数据信号；

(C)解码所述一个或多个视频数据信号以及所述一个或多个音频数据信号；

(D)为每一经解码的视频信号生成一视频当前时间信号，并为每一经解码的音频信号生成一音频当前时间信号；以及

(E)用所述视频当前时间信号和所述音频当前时间信号来同步每一经解码的音频信号和每一视频信号的回放。

10.如权利要求9所述的方法，其特征在于，步骤(C)还包括以下步骤：

用每一经解码的视频信号的视频帧速率和帧数来生成所述视频当前时间信号。

11.如权利要求10所述的方法，其特征在于，还包括以下步骤：

基于每一经解码的视频信号的总帧数和所述帧速率来为每一经解码的视频信号确定视频总时间。

12.如权利要求11所述的方法，其特征在于，还包括以下步骤：

用每一经解码的音频信号的总时间、所述视频当前时间信号和所述视频总时间来生成所述音频当前时间信号。

13.如权利要求11所述的方法，其特征在于，还包括以下步骤：

基于每一经解码的音频信号的分组数和每秒分组数来生成所述音频当前时间信号。

14.如权利要求9所述的方法，其特征在于，步骤(D)还包括以下步骤：

在生成所述音频当前时间信号的同时在预定量的时间内用所述视频当前时间信号来同步每一经解码的音频信号和每一经解码的视频信号。

15.如权利要求11所述的方法，其特征在于，还包括以下步骤：

在预定量的时间之后为每一经解码的视频信号确定视频总时间，并为每一经解码的音频信号确定音频总时间。

16.如权利要求9所述的方法，其特征在于，步骤(A)还包括以下步骤：

在整个音频/视频多路复用文件中正确地维持所述视频流和所述音频流之间的时间差的量。

17.如权利要求9所述的方法，其特征在于，步骤(A)还包括以下步骤：

维持所述音频流中的音频分组与所述视频流中的视频分组之间的一致关系。

18.如权利要求9所述的方法，其特征在于，还包括以下步骤：

以已知且恒定的帧速率多路复用所述多媒体流。

19.如权利要求17所述的方法，其特征在于，还包括以下步骤：

维持所述音频分组与所述视频分组之间的最大距离。

20.如权利要求9所述的方法，其特征在于，步骤(A)还包括以下步骤：

将所述音频流定义为分段可变的并在最大距离上具有恒定比特率。

Images