CN101478683B

CN101478683B - 同步音频帧与视频帧

Info

Publication number: CN101478683B
Application number: CN2008101847791A
Authority: CN
Inventors: C·A·索恩伯格; P·佩迪
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2007-12-28
Filing date: 2008-12-26
Publication date: 2013-04-10
Anticipated expiration: 2028-12-26
Also published as: EP2076052A2; CN101478683A; EP2076052A3; US9571901B2; US20090169176A1

Abstract

本发明为同步音频帧与视频帧，通过确定是否自前一帧视频已显示后已经过某个预定时间，可减轻音频与视频信息之间的同步问题。因此，例如，在音频显现时间戳和视频显现时间戳偏移，使得音频信息可在视频信息之前显现的情况下，队列中的下一视频帧可在预定时间经过后立即显示。随后，音频/视频同步可在由帧之间预定经过时间设置确定的时间量经过后实现。帧之间的预定时间越长，视频帧显示就越慢，但音频和视频同步实现就越快。

Description

同步音频帧与视频帧

技术领域

本发明涉及显现音频与视频信息。

背景技术

音频与视频信息可通过使用显现时间戳在输出装置上显现。显现时间戳可为每个音频和视频帧提供。因此，在当前时间等于适当的显现时间戳时间时，可显示音频数据或视频帧序列。

显现时间戳嵌在编码内容内。音频和视频呈现器在适当的时间将音频和视频帧显现到输出显示装置。

发明内容

本发明的第一方面在于一种方法，包括：使用时间戳同步音频和视频帧；确定自最后视频帧显现后某个时间段是否已经过；以及如果已经过，则自动显示要显示的下一视频帧。

本发明的第二方面在于一种计算机可读媒体，所述媒体存储有可由计算机执行的指令以便：使用时间戳同步音频和视频帧；确定自最后视频帧显现后某个时间段是否已经过；以及如果已经过，则显示要显示的视频帧序列中的下一视频帧。

本发明的第三方面在于一种设备，包括：解码器；以及呈现器，所述呈现器耦合到所述解码器以使用时间戳同步音频和视频帧，确定自所述呈现器显现前一视频帧后某个时间段是否已经过，并且如果已经过，则显示下一视频帧。

本发明的第四方面在于一种系统，包括：解码器；耦合到所述解码器的呈现器；耦合到所述呈现器的显示器；以及所述呈现器显现用于使用时间戳在所述显示器上显示的音频和视频信息帧，所述呈现器确定自最后视频帧显现后某个时间段是否已经过，并且如果已经过，则自动显示要显示的下一视频帧。

附图说明

图1是本发明的一个实施例的系统图示；

图2是根据一些实施例，用于显现视频帧和音频数据的计时图；以及

图3是根据一些实施例，用于同步音频数据和视频帧的顺序的流程图。

具体实施方式

音频与视频帧显现之间的同步对获得增强的用户体验很重要。音频和视频帧不同步时会发生失常。例如，观看者可能看到说话者的嘴唇在动，但可认识到音频已经播放或者仍未播放。

显现时间戳嵌在称为分包基本流的编码内容内。显现时间戳放置在分组报头中以指示一部分的部分解码音频或视频数据要向观看者显现的确切时间。编码内容可以是任何类型的音频和视频材料，包括电影、游戏或其它图形。呈现器(renderer)是决定何时音频或视频发送到输出装置的任何组件。输出装置可以是电视、监视器、音频/视频接收器或计算机显示器，这里只列出一些示例。

通常，内容包含时间上相互接近的初始音频和视频显现时间戳。第一视频帧在启动后很快显示，并且可接近第一呈现音频样本，由此保持音频/视觉同步。实际时间可取决于内容和使用的软件与硬件。

然而，一些情况下，内容可不遵循此顺序。内容可编码以便例如第一视频显现时间戳在第一音频显现时间戳后某个时间出现。此类情况下，用户在第一视频帧之前听到几秒钟音频。在因特网协议流传送中，这可使信道变化时间对最终用户来说似乎比所需更长。

因此，参照图2，线条32示出增大的时间单元。线条34示出音频显现时间戳，并且指示在一个实施例中何时呈现样本。线条36示出与每个时间单元和音频显现时间戳同步的视频显现时间戳和帧标识符。在线条38中所示的音频/视频同步点(A/V同步点)是即时的，并且之后的每个帧具有音频与视频之间的同步。

在另一实施例中，线条40示出音频显现时间戳和呈现音频样本的时间，该时间在此情况下对应于每个时间单元。线条42示出视频显现时间戳和帧标识符，并且在此情况下，第一视频显现时间戳到时间单元5才出现。

因此，如果严格遵从显现时间戳，则音频将在视频之前开始。如线条44中所示，音频/视频(A/V)同步点到时间单元5才出现，并且在此示例中，在该点之后音频和视频同步。对于时间单元1-4，在此示例中将有音频但无视频，这可能是不需要的用户体验。

参照图1，音频视频显现系统10可在解码器12接收音频/视频(A/V)流。在一个实施例中，系统是使用芯片上的系统实现的消费电子装置。解码器12将帧序列的任何编码或压缩解码，并向呈现器14提供帧显现时间戳和帧。解码器12可从流中的分组去除报头，并提取音频和视频显现时间戳。解码器12也可从流中去除音频和视频帧。

呈现器14可接收如图所示的时钟信号、弹出(flip)信号和hold_time信号。呈现器14提供帧到可以是音频/视频显示装置的输出装置16。因此，音频/视频显示装置可以是计算机、电视或蜂窝电话，这里只提到几个示例。

系统10可包括计算机系统、设备、工作站、终端、手持式装置、个人数字助理、电视、机顶盒、电话、手机、无线接入点或用户站，这里只提到几个示例。系统10可以是传递或处理诸如媒体信息和控制信息等不同类型信息的媒体处理系统。媒体信息的示例可包括表示对用户有意义的内容的任何数据或信号，如媒体内容、话音信息、视频信息、音频信息、图像信息、文本信息等。控制信息可指表示对音频系统有意义的命令、指令或控制字的任何数据或信号。

在一些实施例中，系统10可实现为有线通信系统、无线通信系统或两者的组合。音频视频流的源可包括能够提供或输送媒体信息或控制信息的任何媒体源。此信息可提供到大量节点，图1中只示出其中一个节点。媒体源可以是能够存储和/或输送媒体信息的任何硬件或软件元件。信息可提供如一些实施例中所示的流传送信息。它也可提供广播信息或数字音频视频信号。

最大保持时间(hold_time)由呈现器14引入以处理音频和视频内容。最大保持时间可由分配器(distributor)安排，基于内容分析选定或者由系统动态调整，这里只提到几个示例。在一个实施例中，最大保持时间可配置。可配置的含意是指在系统已制造后设置或更改最大保持时间的能力。例如，hold_time可由系统集成商设置。最大保持时间是在假设未压缩视频帧在呈现器14中可用的情况下，新帧在其位置中弹出前帧保持在显示器上的最大时间。最大保持时间也可理解为在两个连续帧弹出到显示器16之间允许的最大时间。

在一个实施例中，可动态配置的系统可基于A/V流的各种特征、当前时间或系统状态设置hold_time变量。一个此类特征是在视频帧与包括随视频帧一起的音频的音频帧之间的时间。在一个实施例中，视频与音频帧之间的时间越长，hold_time就越大。通过使用流或内容的特征，可基于A/V流的性质自动配置hold_time。hold_time也可基于系统10的类型设置。在另一实施例中，可基于当前时间与下一显现时间戳之间的差别确定hold_time。例如，下一视频显现时间戳与当前时间之间的差别越大，保持时间就越大。在仍有的另一实施例中，可基于当前在系统内缓冲的音频或视频数据量确定hold_time。

在启动时，呈现器14立即发送第一视频帧到显示器16。如果在前一帧弹出后的最大保持时间内没有帧被弹出，则流中的下一帧被发送到显示器16。如果帧在这期间被弹出，则前一弹出时间被更新，并且呈现器14等待自该弹出时间起的保持时间。

因此，再次参照图2，在此示例中，显示了由两个时间单元分开，具有等于2的最大保持时间、帧A、B、C、D及E的线条46。音频/视频同步到时间E才实现。然而，从开始便显示帧，并且在时间E后，实现音频和视频同步。

在一些实施例中，视频连同音频立即向显示器显现，给用户留下了启动或信道更改更快的印象。音频/视频同步在最初时可未获得，并且视频可慢动作显示，直至音频/视频同步实现。实现音频/视频同步前的实际时间取决于最大保持时间和初始音频与视频显现时间戳之间的差别。

也如图2所示，在最大保持时间等于3的线条48中，隔三个时间单元显示帧，并且在时间7通过帧C实现音频/视频同步。注意，最大保持时间越长，实现音频与视频信息之间的同步就越早。然而，在同步前视频可更慢播放。

最大保持时间可大于要实现音频/视频同步的一个帧间隔。例如，对于每秒30帧的内容，最大保持时间可大于0.033秒。

最大保持时间也可让视频呈现器14从内容重放中间接收的异常大的显现时间戳中恢复。显现器14只可在前一弹出后的保持时间内停止(stall)，而不是使视频冻结(freeze)。

最大保持时间的使用可为用户提供信道更改更快的印象，这是因为视频可在由解码器12解码后便向显示器显现。它也可增大视频呈现器的健壮性，并且可允许处理视频显现时间戳比音频显现时间戳提前很多情况下的内容。在一些实施例中，呈现器14因而具有一种机制，可从显现时间戳例如由于错误而很迟的帧中恢复正常，而不是使视频冻结。

参照图3，序列18可以软件、硬件或固件形式实现。就软件而言，在一个实施例中，它可存储在呈现器14内的存储装置18a中。在一些实施例中，它也可存储在呈现器14外，并且可存储在例如任何半导体存储器中。在本发明的一些实施例中，呈现器14是基于处理器的系统，如控制器。

在方框20，系统被初始化。变量prev_flip_time设为等于就是当前时间的变量current_time。在一个实施例中，变量hold_time设为等于指定值(assigned value)。指定值可由用户指定，可由制造商预设，并且可从操作员控制推断。例如，可与音频/视频流一起提供告诉呈现器14指定值是什么的信号。备选，系统可检测音频与视频显现时间戳之间的偏移，并评估在这种情况下使用的最佳保持时间。

如方框22中所示，一旦系统被初始化，便可获得当前时间和队列中的下一帧。于是，当前时间可从时钟获得，并且队列中的下一帧从解码器12接收(如图1所示)。

在菱形24，检查确定帧显现时间戳是否等于当前时间，或者变量prev_flip_time加hold_time等于当前时间。在任一这些情况下，帧由呈现器14发送到显示器16。因此，如果显现时间戳要求显示时，则进行显示。如果显现时间戳仍不要求显示视频帧，则检查确定是否自上一帧显示或帧弹出后保持时间已经过。如果已经过，则在任一情况下均显示帧(方框26)。在方框16中显示帧后，在方框28中，变量prev_flip_time设为等于新的当前时间，并且队列指针递增以指向下一帧(方框30)。

存储装置18a可使用能够存储数据的任何机器可读或计算机可读媒体实现，包括易失性和非易失性存储器。例如，存储装置18a可包括只读存储器、随机存取存储器、动态随机存取存储器、双数据率动态随机存取存储器、同步动态随机存取存储器、静态随机存取存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、闪存、聚合物存储器、奥式存储器、相变或铁电存储器或适用于存储信息的任何其它类型的媒体。所有或部分存储装置18a可包括在与呈现器14相同的集成电路上，或者备选，一部分或所有存储装置18a可布置在呈现器14集成电路外部的集成电路或其它媒体上，例如，硬盘驱动器上。实施例在此上下文中并不受限制。

此说明书通篇对“一个实施例”或“实施例”的引用指结合该实施例描述的特定特性、结构或特征包括在本发明内包含的至少一个实现中。因此，出现的词语“在一个实施例中”或“在实施例中”不一定全部指同一实施例。此外，特定的特性、结构或特征可以不同于所述特定实施例的其它适合的方式设立，并且所有此类形式可包含在本申请权利要求内。

虽然本发明已相对有限数量的实施例进行了描述，但本领域的技术人员将理解由此产生的多种修改和变化。随附权利要求旨在涵盖本发明真正精神和范围内的此类修改和变化。

Claims

1.一种用于同步音频帧和视频帧的方法，包括：

使用时间戳同步音频帧和视频帧；

确定自最后的视频帧显现后最大保持时间是否已经过；

如果已经过，则自动显示要显示的下一视频帧；以及

其中，在系统已经被制造后，所述最大保持时间能够被设置或更改，所述最大保持时间是指两个连续帧弹出到显示器之间允许的最大时间。

2.如权利要求1所述的方法，包括允许配置所述最大保持时间。

3.如权利要求2所述的方法，允许动态配置所述最大保持时间。

4.如权利要求3所述的方法，包括基于视频帧与具有用于所述视频帧的音频的音频帧之间的时间，设置所述最大保持时间。

5.如权利要求1所述的方法，包括防止在连续帧显示之间超出最大保持时间。

6.如权利要求1所述的方法，包括使所述最大保持时间大于一个帧间隔。

7.如权利要求1所述的方法，包括使音频/视频同步的时间取决于所述最大保持时间以及在初始音频显现时间戳与视频显现时间戳之间的差别。

8.如权利要求1所述的方法，包括接收音频/视频分包流，从所述流去除报头，并从所述报头获得显现时间戳以及从所述流获得帧。

9.一种用于同步音频帧和视频帧的装置，包括：

用于使用时间戳同步音频帧和视频帧的部件；

用于确定自最后的视频帧显现后最大保持时间是否已经过的部件；

用于如果自最后的视频帧显现后最大保持时间已经过去则显示要显示的视频帧序列中的下一视频帧的部件，及

10.如权利要求9所述的装置，还包括用于允许配置所述最大保持时间的部件。

11.如权利要求9所述的装置，还包括用于允许动态配置所述最大保持时间的部件。

12.如权利要求11所述的装置，还包括用于基于视频帧与具有用于该视频帧的音频的音频帧之间的时间设置所述最大保持时间的部件。

13.如权利要求9所述的装置，还包括用于防止在连续帧显示之间超出最大保持时间的部件。

14.如权利要求11所述的装置，还包括用于使音频/视频同步的时间取决于所述最大保持时间以及在初始音频显现时间戳与视频显现时间戳之间的差别的部件。

15.如权利要求9所述的装置，还包括用于接收音频/视频分包流，从所述流去除报头，并从所述报头获得显现时间戳以及从所述流获得帧的部件。

16.如权利要求9所述的装置，还包括用于将所述显现时间戳和所述帧与时间指示和所述最大保持时间指示一起提供到呈现器的部件。

17.一种用于同步音频帧和视频帧的设备，包括：

解码器；以及

呈现器，所述呈现器耦合到所述解码器以使用时间戳同步音频帧和视频帧，确定自所述呈现器显现前一视频帧后最大保持时间是否已经过，并且如果已经过，则显示下一视频帧，其中，在系统已经被制造后，所述最大保持时间能够被设置或更改，所述最大保持时间是指两个连续帧弹出到显示器之间允许的最大时间。

18.如权利要求17所述的设备，其中所述最大保持时间可配置。

19.如权利要求18所述的设备，其中所述最大保持时间可动态配置。

20.如权利要求17所述的设备，其中所述呈现器防止在连续帧显示之间超出最大保持时间。

21.如权利要求17所述的设备，其中所述呈现器使所述最大保持时间大于一个帧间隔。

22.如权利要求17所述的设备，其中所述呈现器使所述音频/视频同步的时间取决于所述最大保持时间以及在初始音频显现时间戳与视频显现时间戳之间的差别。

23.如权利要求17所述的设备，其中所述解码器接收音频/视频分包流，从所述流去除报头，并从所述报头获得显现时间戳以及从所述流获得帧。

24.如权利要求23所述的设备，其中所述解码器在所述帧中将所述显现时间戳与时间指示和所述最大保持时间指示一起提供到所述呈现器。

25.如权利要求17所述的设备，包括耦合到所述呈现器的显示器。

26.一种用于同步音频帧和视频帧的系统，包括：

解码器；

耦合到所述解码器的呈现器；

耦合到所述呈现器的显示器；以及

所述呈现器显现用于使用时间戳在所述显示器上显示的音频信息帧和视频信息帧，所述呈现器确定自最后的视频帧显现后最大保持时间是否已经过，并且如果已经过，则自动显示要显示的下一视频帧，其中，在系统已经被制造后，所述最大保持时间能够被设置或更改，所述最大保持时间是指两个连续帧弹出到显示器之间允许的最大时间。

27.如权利要求26所述的系统，所述呈现器防止在连续帧显示之间超出最大保持时间。

28.如权利要求26所述的系统，所述呈现器使音频/视频同步的时间取决于所述最大保持时间以及在初始音频时间戳与视频时间戳之间的差别。

29.如权利要求26所述的系统，所述最大保持时间可配置。

30.如权利要求29所述的系统，其中所述最大保持时间可动态配置。