CN102789798A - 音频-视频同步方法以及音频-视频同步模块 - Google Patents

Abstract

本发明提供一种音频-视频同步方法，用以同步视频串流与音频串流的播放，所述视频串流包含有多个视频帧，所述音频-视频同步方法包含有：得出对应所述视频串流中当前视频帧的指示信息以及时序信息，其中所述指示信息表示所述当前视频帧的运动幅度；以及参照所述指示信息、所述时序信息以及系统频率来处理所述当前视频帧，以同步所述视频串流与所述音频串流的播放。本发明提出的音频-视频同步方法以及音频-视频同步模块可提供对人类感官而言更加自然的影音播放质量。

Description

音频-视频同步方法以及音频-视频同步模块

技术领域

本发明相关于一种音频-视频同步(audio-video synchronization)处理技术，尤指一种参照可表示当前视频帧(video frame)运动幅度的指示信息来执行音频-视频同步的音频-视频同步方法以及音频-视频同步模块。

背景技术

现有的多媒体播放器(例如数字视频盘(Digital Video Disc，DVD)或是计算机软件)会由光盘或是硬盘中接收并处理视频(video)以及音频(audio)来播放影音(audio-video，AV)数据。当视频与音频彼此不同步时，所播放的声音将可能会领先或是落后所播放的影像，严重影响到观赏者的体验。

一般来说，现有的多媒体播放器提供了仅基于视频以及音频的时序(timing)信息的同步机制，即，视频与音频是依据公用频率信号(globalclock signal)来同步播放的。而在另一种常见的同步机制中，视频与音频其中之一的播放时序是依据视频与音频之中另外一个的播放时序来加以调整的。举例来说，当视频的播放落后于音频的播放时，现有的多媒体播放器可能选择丢掉(drop)一张或是多张经由视频串流传输的视频帧来追上音频信号；另一方面来说当视频的播放领先于音频的播放时，现有的多媒体播放器可能选择重复(repeat)一张或是多张经由视频串流传输的视频帧来等待音频信号追上。

请参照图1，其为现有视频-音频同步方法的示意图。如图所示，连续四张视频帧F1~F4展示了一颗球落下并静止停在地面上的过程。假若在过程中因音频领先于视频而导致同步错误，现有的视频-音频同步方法会跳过第二张视频帧F2而依序播放视频帧F1、F3以及F4。

然而，在一些案例之中，这样的同步机制可能会带给观赏者糟糕的视听感受。当播放的视频带有快速运动的内容且落后于该音频时，现有的同步机制会决定丢掉(drop)视频串流中部分的视频帧以达到影音同步；然而，跳过这些带有快速运动的物体的视频可能会对观赏者造成不协调、不连续的视觉感受。举例来说，在图1的例子中，跳过第二张视频帧F2会使得落下的球突然出现在地面上，球的运动过程对观赏者来说会是一种令人困惑且荒唐的视觉感受。更明确地来说，当视频串流包含有人眼较敏感的元素，例如快速移动的物体或是迅速变化的亮度之类，现有的影音同步技术(例如丢掉或是重复视频帧)会对观赏者造成不愉快的视觉体验。

发明内容

为了解决现有技术中影音同步的效果不理想的技术问题，本发明提供一种影音同步方法以及一种影音同步模块来解决上述的问题。

依据本发明的第一实施方式，其提供了一种音频-视频同步(audio-video synchronization)方法，用以同步视频串流(bitstream)与音频串流的播放，视频串流包含有多个视频帧(video frame)，音频-视频同步方法包含有：得出对应视频串流中当前视频帧的指示信息以及时序信息，其中指示信息表示当前视频帧的运动幅度；以及参照指示信息、时序信息以及系统频率来处理当前视频帧，以同步视频串流与音频串流的播放。

依据本发明的第二实施方式，其提供了一种音频-视频同步方法，用以同步视频串流与音频串流的播放，视频串流包含有多个视频帧，音频-视频同步方法包含有：得出对应视频串流中当前视频帧的指示信息以及时序信息，其中指示信息为当前视频帧的译码后信息；以及参照指示信息、时序信息以及系统频率来处理当前视频帧，以同步视频串流与音频串流的播放。

依据本发明的第三实施方式，其提供了一种音频-视频同步模块，用以同步视频串流与音频串流的播放，视频串流包含有多个视频帧，音频-视频同步模块包含有：侦测单元以及处理单元。侦测单元用以得出对应该视频串流中当前视频帧的指示信息以及时序信息，其中指示信息表示当前视频帧的运动幅度。处理单元耦接于侦测单元，用以参照指示信息、时序信息以及系统频率来处理当前视频帧，以同步视频串流与音频串流的播放。

依据本发明的第四实施方式提供了一种音频-视频同步模块，用以同步视频串流与音频串流的播放，视频串流包含有多个视频帧，音频-视频同步模块包含有：侦测单元以及处理单元。侦测单元用以得出对应该视频串流中当前视频帧的指示信息以及时序信息，其中指示信息为当前视频帧的译码后信息。处理单元耦接于侦测单元，用以参照指示信息、时序信息以及系统频率来处理当前视频帧，以同步视频串流与音频串流的播放。

本发明各个范例中的音频-视频同步方法以及音频-视频同步模块可提供对人类感官而言更加自然的影音播放质量。

附图说明

图1其为现有技术的视频-音频同步方法的示意图。

图2为依据本发明的实施方式所实现的多媒体处理系统的范例架构示意图。

图3为本发明的实施方式中音频-视频同步模块对视频帧执行影音同步的范例示意图。

图4为本发明的另一实施方式中音频-视频同步模块对视频帧执行影音同步的范例示意图。

图5是依据本发明的另一实施方式所实现的多媒体处理系统的范例架构示意图。

具体实施方式

在说明书及权利要求书当中使用了某些词汇来称呼特定的元件。本领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的准则。在通篇说明书及权利要求书当中所提及的“包含”是开放式的用语，故应解释成“包含但不限定于”。此外，“耦接”一词在此是包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或通过其它装置或连接手段间接地电气连接到第二装置。

参照图2，其为依据本发明的实施方式所实现的多媒体处理系统200的范例架构示意图。多媒体处理系统200包含有(但不限定于)音频-视频同步(au dio-video synchronization)模块210、译码器(decoder)220、显示引擎(display engine)230以及音频播放单元240。音频-视频同步模块210会将音频串流(bitstream)BS_A与包含有多个视频帧的视频串流BS_V同步。音频-视频同步模块210包含有(但不限定于)侦测单元211以及处理单元212。译码器220可包含有对接收进来的音频串流BS_A进行译码的音频译码电路(未绘示于图中)以及对接收进来的视频串流BS_V进行译码的视频译码电路(未绘示于图中)。显示引擎230则用以驱动视频输出装置(例如：显示屏幕)，依据音频-视频同步模块210的决定输出来显示由视频译码电路对视频串流BS_V译码后的视频帧。音频播放单元240则用以驱动音频输出装置(例如：音响)来播放由音频译码电路对音频串流BSA处理后的音频样本。在这个实施方式中，经由音频-视频同步模块210的决定输出的帮助，显示引擎230可选择性地重复当前视频帧以进行影音同步、丢掉当前视频帧以进行影音同步，或是照常播放当前视频帧。

侦测单元211用以处理视频串流BS_V来得到对应该当前视频帧的指示信息SI以及对应当前视频帧的时序信息(video pre sentationtime stamp，VPTS)，其中指示信息SI表示当前视频帧的运动幅度。举例来说，指示信息SI可从处理视频串流BS_V的译码结果的过程中得到。每一译码后的当前视频帧以及每一译码后的先前视频帧均是一张完整的图片，而侦测单元211会比较译码后的当前视频帧与译码后的先前视频帧来辨识出对应当前视频帧的运动幅度，并产生对应当前视频帧的指示信息SI。在另一个设计之中，指示信息SI可由视频串流BS_V中的内容相关信息(其为译码器220对视频串流BS_V中的当前视频帧译码所得到)来得到。更明确地来说，当对当前视频帧译码时，译码器220中的视频译码电路会辨识出前述的内容相关信息(例如：当前视频帧的向量)。经过计算当前视频帧的向量，可得出参数，而侦测电路211可接着参照参数来决定对应当前视频帧的指示信息SI。举例来说，当视频串流BS_V在传送快速运动的视频帧时，幅度大的运动向量会被侦测到，而指示信息SI也是如此。

在又另一设计中，指示信息SI可能会从当前视频帧的报头(header)所得到，而报头可以提供粗略但快速的结果。举例来说，指示信息SI可以是指出当前视频帧的帧类型(frame type)，帧类型可指出当前视频帧是帧内编码视频帧(intra-coded frame，I画面)或是帧间编码视频帧(inter-coded frame，P画面或是B画面)。请注意，帧类型可以用来表示运动幅度。帧内编码画面(即，I画面)代表了当前视频帧的译码过程与先前视频帧或后续视频帧无关。预测画面(pre dicted frame，P画面)则与先前视频帧相关，所以可能代表当前视频帧有涉及快速移动的内容。而双向编码画面(bi-direction frame，B画面)则与包含有先前视频帧或后续视频帧的多个视频帧相关，是故可推得当前视频帧具有大量快速移动的内容在其中。然而，这些并非用来限定本发明的内容。举例来说，指示信息SI可以设定为可指出当前视频帧的运动幅度的任意参数，例如当前视频帧的运动信息、当前视频帧的亮度变化信息、当前视频帧的帧类型或是上述信息的组合。这些设计均符合本发明的精神并落在本发明的范畴之内。

处理单元212耦接于侦测单元211，用以接收指示信息SI并参照指示信息SI、时序信息(例如：VPTS)以及系统频率STC来处理当前视频帧，以控制视频串流BS_V与音频串流BS_A的播放同步化。本领域内技术人员应可轻易了解如何依据经由传输流(transport stream)传输的程序频率参考源(program clock reference，PCR)，来在译码器端产生系统频率STC，为简明起见，详细叙述在此便不再赘述。当指示信息SI指出当前视频帧的运动幅度小于一个阈值时，处理单元212会如同传统的同步装置一般运作，在系统频率STC与时序信息VPTS出现岐异时，决定丢掉或是重复当前视频帧。在这种情况下，视频与音频的播放仅有极小的差异，并不会对观赏者的视觉感受有重大的影响，而现有的同步技术足以有效率地弥平这些微小的差异。然而，当指示信息SI指出当前视频帧的运动幅度超过阈值时，处理单元212会以不同的方式运作。举例来说，处理单元212会停止影音同步以使得当前视频帧经由显示引擎230正常显示出来。此外，影音同步的运作是暂时停止的，当前视频帧的运动幅度降低至小于阈值时，处理单元212便可能决定重新开始影音同步的运作。

请参照图3，其为本发明的实施方式中音频-视频同步模块210对视频帧F1~F4执行影音同步的范例示意图。请参照与图1相似的影音同步情况，当在处理第二视频帧F2时，侦测到同步错误，在此情况下，现有影音同步方法会打算跳过第二视频帧F2来完成影音同步，而相对应的指示信息SI也会指出第二视频帧F2具有极大的运动向量；于是处理单元212将不会丢掉第二视频帧F2，而是正常地显示它。接下来，当译码器220在处理第三视频帧F3，相对应的指示信息SI指出第三视频帧F3的运动幅度降低至小于阈值时，处理单元212会继续影音同步并丢掉第三视频帧F3。如图3所示，第三视频帧F3为静止的情境。所以，对人眼视觉而言，跳过第三视频帧F3会比跳过第二视频帧F2来得自然许多。如此一来，观赏者便可享有较平顺而愉快的影音播放体验。

如同之前所叙述的，本发明的指示信息SI并不限定于运动信息。指示信息SI可以是另一表示运动幅度的参数，例如当前视频帧的亮度变化信息。请参照图4，其为本发明的另一实施方式中音频-视频同步模块210对视频帧G1~G4执行影音同步的范例示意图。连续的视频帧G1~G4展示了一个手电筒在黑暗的环境中渐渐由关闭状态转至开启状态。在此情况下，侦测单元211会取得载有当前视频帧亮度变化信息的指示信息SI以指示运动幅度。当在处理第二视频帧G2而发现同步错误时，处理单元212不会决定马上丢掉第二视频帧G2，而是选择丢掉第三视频帧G3，这是因为拿掉后续的第三视频帧G3所造成的亮度变化远小于丢掉当前的第二视频帧G2。

虽然音频-视频同步模块210可经由延迟影音同步的时序来提供较合适的视频/音频播放给观赏者，然而，影音同步不应该被延迟超过太多帧数；否则，其所呈现的不同步的视频/音频播放令人难以忍受。所以，当不同步程度(即是系统频率STC与时序信息VPTS的差异)大于预定时间阈值(或是预定帧数阈值)时，处理单元212会决定仍旧执行影音同步而不论指示信息为何。

请参照图5，其为依据本发明的另一实施方式所实现的多媒体处理系统500的范例架构示意图。多媒体处理系统500包含有(但不限定于)音频-视频同步模块510、译码器220、显示引擎230以及音频播放单元240。处理单元212、译码器220、显示引擎230以及音频播放单元240与图2中的对照组件本质上均相同，为简明起见，相关叙述在此便不再赘述。音频-视频同步模块510包含有(但不限定于)侦测单元511以及处理单元212。在图2中，侦测单元211可依据译码器220所提供的信息来得到指示信息SI，而图5中的侦测单元511则是可处理所接收的视频串流BS_V并在内部便得到指示信息SI。由于译码后的数据仅有一小部分(例如报头中的帧类型或是帧运动信息(framemotion information))是必要的，侦测单元511的应用可因此省下不少时间。此外，当处理单元212决定丢掉当前视频帧，处理单元212可通知译码器220跳过处理被丢掉的当前视频帧，以节省系统资源。

综上所述，经由侦测一些运动幅度信息，可因此而避免重复或是丢掉具有较大运动幅度的视频帧之类的影音同步操作。是故，本发明各个范例中的音频-视频同步方法以及音频-视频同步模块可提供对人类感官而言更加自然的影音播放质量。

本领域中技术人员应能理解，在不脱离本发明的精神和范围的情况下，可对本发明做许多更动与改变。因此，上述本发明的范围具体应以后附的权利要求界定的范围为准。

Claims (20)

1.一种音频-视频同步方法，用以同步视频串流与音频串流的播放，所述视频串流包含有多个视频帧，所述音频-视频同步方法包含有：

得出对应所述视频串流中当前视频帧的指示信息以及时序信息，其中所述指示信息表示所述当前视频帧的运动幅度；以及

参照所述指示信息、所述时序信息以及系统频率来处理所述当前视频帧，以同步所述视频串流与所述音频串流的播放。

2.如权利要求1所述的音频-视频同步方法，其特征在于，所述指示信息包含有所述当前视频帧的运动信息、所述当前视频帧的亮度信息以及所述当前视频帧的帧类型至少其中之一。

3.如权利要求1所述的音频-视频同步方法，其特征在于，所述指示信息由所述视频串流译码所得到。

4.如权利要求1所述的音频-视频同步方法，其特征在于，所述指示信息为所述视频串流的译码结果。

5.如权利要求1所述的音频-视频同步方法，其特征在于，所述指示信息由所述当前视频帧的报头所得到。

6.如权利要求1所述的音频-视频同步方法，其特征在于，参照所述指示信息、所述时序信息以及所述系统频率来处理所述当前视频帧的步骤包含有：

当所述指示信息指出所述当前视频帧的所述运动幅度超过阈值时，停止音频-视频同步的运作。

7.如权利要求6所述的音频-视频同步方法，其特征在于，参照所述指示信息、所述时序信息以及所述系统频率来处理所述当前视频帧的步骤包含有：

当所述指示信息指出所述当前视频帧的所述运动幅度低于所述阈值时，重新开始音频-视频同步的所述运作。

8.一种音频-视频同步方法，用来同步视频串流与音频串流的播放，所述视频串流包含有多个视频帧，所述音频-视频同步方法包含有：

得出对应所述视频串流中当前视频帧的指示信息以及时序信息，其中所述指示信息为所述当前视频帧的译码后信息；以及

参照所述指示信息、所述时序信息以及系统频率来处理所述当前视频帧，以同步所述视频串流与所述音频串流的播放。

9.如权利要求8所述的音频-视频同步方法，其特征在于，参照所述指示信息、所述时序信息以及所述系统频率来处理所述当前视频帧的步骤包含有：

当所述指示信息指出所述当前视频帧的所述运动幅度超过阈值时，停止音频-视频同步的运作。

10.如权利要求9所述的音频-视频同步方法，其特征在于，参照所述指示信息、所述时序信息以及所述系统频率来处理所述当前视频帧的步骤包含有：

当所述指示信息指出所述当前视频帧的所述运动幅度低于所述阈值时，重新开始音频-视频同步的运作。

11.一种音频-视频同步模块，用以同步视频串流与音频串流的播放，所述视频串流包含有多个视频帧，所述音频-视频同步模块包含有：

侦测单元，用以得出对应所述视频串流中当前视频帧的指示信息以及时序信息，其中所述指示信息表示所述当前视频帧的运动幅度；

以及

处理单元，耦接于所述侦测单元，用以参照所述指示信息、所述时序信息以及系统频率来处理所述当前视频帧，以同步所述视频串流与所述音频串流的播放。

12.如权利要求11所述的音频-视频同步模块，其特征在于，所述指示信息包含有所述当前视频帧的运动信息、所述当前视频帧的亮度信息以及所述当前视频帧的帧类型的至少其中之一。

13.如权利要求11所述的音频-视频同步模块，其特征在于，所述指示信息由所述视频串流的译码结果所得到。

14.如权利要求11所述的音频-视频同步模块，其特征在于，所述指示信息为所述视频串流的译码结果。

15.如权利要求11所述的音频-视频同步模块，其特征在于，所述指示信息由所述当前视频帧的报头所得到。

16.如权利要求11所述的音频-视频同步模块，其特征在于，当所述指示信息指出所述当前视频帧的所述运动幅度超过阈值时，所述处理单元决定停止音频-视频同步的运作。

17.如权利要求16所述的音频-视频同步模块，其特征在于，所述指示信息指出所述当前视频帧的所述运动幅度低于所述阈值时，所述处理单元决定重新开始音频-视频同步的所述运作。

18.一种音频-视频同步模块，用以同步视频串流与音频串流的播放，所述视频串流包含有多个视频帧，所述音频-视频同步模块包含有：

侦测单元，用以得出对应所述视频串流中当前视频帧的指示信息以及时序信息，其中所述指示信息为所述当前视频帧的译码后信息；

以及

处理单元，耦接于所述侦测单元，用以参照所述指示信息、所述时序信息以及系统频率来处理所述当前视频帧，以同步所述视频串流与所述音频串流的播放。

19.如权利要求18所述的音频-视频同步模块，其特征在于，当所述指示信息指出所述当前视频帧的所述运动幅度超过阈值时，所述处理单元决定停止音频-视频同步的运作。

20.如权利要求19所述的音频-视频同步模块，其特征在于，所述指示信息指出所述当前视频帧的所述运动幅度低于所述阈值时，所述处理单元决定重新开始音频-视频同步的所述运作。

Images