CN112243145A

CN112243145A - 音频与视频同步方法和音频与视频处理装置

Info

Publication number: CN112243145A
Application number: CN202010424282.3A
Authority: CN
Inventors: 游振威
Original assignee: Realtek Semiconductor Corp
Current assignee: Realtek Semiconductor Corp
Priority date: 2019-07-18
Filing date: 2020-05-19
Publication date: 2021-01-19
Anticipated expiration: 2040-05-19
Also published as: CN112243145B; TW202106037A; TWI743774B

Abstract

本发明涉及音频与视频同步方法和音频与视频处理装置。一种音频与视频同步方法，其包含以下流程：获取第一视频数据的第一出现时戳以及第二视频数据的第二出现时戳；选择主控时戳，且主控时戳对应于音频数据或垂直同步脉波；计算第一出现时戳与主控时戳之间的第一时戳差值以及第二出现时戳与主控时戳之间的第二时戳差值；以及根据第一时戳差值、第二时戳差值及第一视频数据是否已被输出达一预定次数，选择输出第一视频数据或第二视频数据。

Description

音频与视频同步方法和音频与视频处理装置

技术领域

本公开文件有关一种音频与视频处理方法，尤指一种音频与视频同步方法。

背景技术

通过连接数字机顶盒(set-up box)与电视机，电机视可以接收以各种有线与无线方式传输的数字内容，例如高质量的音频与视频串流。在许多情况下，视频串流的帧率会因为传输过程的延迟而有所变动。因此，传统的数字机顶盒会将视频串流的视频数据过多或过少次地传送至电视机，进而造成影音不同步的结果。

发明内容

本公开文件提供一种音频与视频同步方法，其包含以下流程：获取第一视频数据的第一出现时戳以及第二视频数据的第二出现时戳；选择主控时戳，且主控时戳对应于音频数据或垂直同步脉波；计算第一出现时戳与主控时戳之间的第一时戳差值以及第二出现时戳与主控时戳之间的第二时戳差值；以及根据第一时戳差值、第二时戳差值及第一视频数据是否已被输出达一预定次数，选择输出第一视频数据或第二视频数据。

本公开文件提供另一种音频与视频同步方法，其包含以下流程：获取第一视频数据的第一出现时戳以及第二视频数据的第二出现时戳；选择主控时戳，且主控时戳对应于音频数据或垂直同步脉波；计算第一出现时戳与主控时戳之间的第一时戳差值以及第二出现时戳与主控时戳之间的第二时戳差值；以及根据第一时戳差值、第二时戳差值及第一视频数据是否已被输出，选择输出或不输出第二视频数据。

本公开文件提供一种音频与视频处理装置，其包含译码器、编码与传送单元与同步控制器。译码器用于获取第一视频数据、第二视频数据与音频数据。编码与传送单元用于输出音频数据与垂直同步脉波，且用于选择输出第一视频数据或第二视频数据。同步控制器耦接于译码器以及编码与传送单元，用于接收第一视频数据的第一出现时戳、第二视频数据的第二出现时戳以及对应于音频数据或垂直同步脉波的主控时戳。同步控制器用于计算第一出现时戳与主控时戳之间的第一时戳差值以及第二出现时戳与主控时戳之间的第二时戳差值。同步控制器还用于依据第一时戳差值、第二时戳差值及第一视频数据是否已被输出达一预定次数，指示编码与传送单元选择输出第一视频数据或第二视频数据。

上述的音频与视频同步方法与音频与视频处理装置能避免影音不同步的现象。

附图说明

图1为依据本公开文件一实施例的音频与视频处理装置简化后的功能框图。

图2为一实施例中的音频数据与视频数据的时间对应关系示意图。

图3为依据本公开文件一实施例的音频与视频同步方法简化后的功能框图。

图4为一实施例中音频数据与视频数据的时间对应关系示意图。

图5为另一实施例中音频数据与视频数据的时间对应关系示意图。

图6为依据本公开文件一实施例的音频与视频同步方法简化后的功能框图。

图7为一实施例中音频数据与视频数据的时间对应关系示意图。

具体实施方式

以下将配合相关图式来说明本公开文件的实施例。在图式中，相同的标号表示相同或类似的组件或方法流程。

图1为依据本公开文件一实施例的音频与视频处理装置100简化后的功能框图。音频与视频处理装置100包含解多任务器110、储存单元120、译码器130、同步控制器140以及编码与传送单元150。音频与视频处理装置100用于耦接一播放系统101，且用于依据接收到的音频串流SA与视频串流SV提供播放系统101对应的控制信号，例如水平同步信号、垂直同步信号Vsync与灰阶数据等等。

在一些实施例中，音频与视频处理装置100可以是数字视频转换盒，而播放系统101则可以是包含扬声器的电视机或是家庭剧院组。

解多任务器110耦接于储存单元120，当解多任务器110收到以有线或无线方式传输的音频串流SA与视频串流SV时，会将音频串流SA中的音频封包与视频串流SV中的视频封包分别储存于储存单元120中对应的区块。例如将音频封包储存于储存单元120中的一个先入先出缓冲器，并将视频封包储存于另一个先入先出缓冲器，但本公开文件不以此为限。音频封包分为表头(header)及负(payload)，负载的内容包含对应于多个帧的多组音频数据Ao，而表头则记载了音频数据Ao的播放顺序。在一实施例中，音频封包的表头包含每组音频数据Ao的出现时戳(PresentationTime Stamp，简称PTS)。相似地，视频封包的负载包含对应于多个帧的多组视频数据Vo，而其表头则包含了这些视频数据Vo的播放顺序，例如每组视频数据Vo的出现时戳。

译码器130用于译码储存单元120中的音频封包与视频封包，以取得多个组音频数据Ao、视频数据Vo以及对应的出现时戳。译码后的音频数据Ao与视频数据Vo可以由译码器130回存至储存单元120，接着由编码与传送单元150读出，或者也可以由译码器130直接提供至编码与传送单元150。编码与传送单元150用于依据与播放系统101之间的通信协议，将音频数据Ao与视频数据Vo编码为适当的格式再传送至播放系统101。在一实施例中，编码与传送单元150可以通过高画质多媒体接口(HighDefinition Multimedia Interface，简称HDMI)连接至播放系统101。

另外，译码后获得的出现时戳可以由译码器130回存至储存单元120，接着由同步控制器140读出，或者也可以由译码器130直接提供至同步控制器140。同步控制器140用于依据接收到的出现时戳控制编码与传送单元150的输出行为，例如是否重复发送同一组视频数据Vo，及/或是否省略其中一组视频数据Vo而不将其传送至播放系统101。

实际上，储存单元120可以用各种合适的挥发性或非挥发性内存电路来实现。译码器130、同步控制器140以及编码与传送单元150可以用硬件、事先储存于储存单元120中的软件或者其组合来实现。

图2为一实施例中的音频数据Ao与视频数据Vo的时间对应关系示意图。在音频主控(audio master)模式中，以每一组音频数据Ao的出现时戳作为主控时戳，时间上最接近于主控时戳的视频数据Vo会跟随对应于主控时戳的音频数据Ao一起输出，其中，出现时戳与主控时戳的单位为刻点(tick)。如图2所示，音频串流SA以59.94fps的帧率提供音频数据Ao(例如，音频数据Ao1～Ao7)，且视频串流SV以30fps的帧率提供视频数据Vo(例如，视频数据Vo1～Vo4)。因此，于一般操作的规律中，约每500组视频数据Vo被输出时，会有一组视频数据Vo被重复输出两次。开发者可按照此规律预先配置音频数据Ao与视频数据Vo以达成影音同步。然而，当视频串流SV的帧率发生变化时，可能会有某一帧的视频数据Vo错误地被输出超过两次。例如，出现时戳为18970的视频数据Vo3会跟随出现时戳分别为17501、19003与20514的三组音频数据Ao4、Ao5和Ao6而被输出三次，可能造成影音不同步。

图3为依据本公开文件一实施例的音频与视频同步方法300简化后的功能框图。图4为一实施例中音频数据Ao与视频数据Vo的时间对应关系示意图。前述的音频与视频处理装置100可用于执行音频与视频同步方法300。在图4中，音频串流SA以59.94fps的帧率提供音频数据Ao(例如，音频数据Ao1～Ao7)，且视频串流SV以30fps的帧率提供视频数据Vo(例如，视频数据Vo1～Vo4)。请同时参考图3与图4，在流程S302中，解多任务器110会接收音频串流SA与视频串流SV，并将音频串流SA中的音频封包与视频串流SV中的视频封包分别储存于储存单元120中对应的区块。

在流程S304中，译码器130会译码储存单元120中的音频封包与视频封包，以获取多个音频数据Ao(例如，图4中的音频数据Ao1～Ao7)与视频数据Vo(例如，图4中的视频数据Vo1～Vo4)，并获取多个音频数据Ao的出现时戳以及多个视频数据Vo的出现时戳。

在流程S306中，同步控制器140会获取译码后的音频数据Ao的出现时戳以及视频数据Vo的出现时戳。并且，同步控制器140会计算一组音频数据Ao以及与其相邻的两组视频数据Vo之间的两组时戳差值(timestamp difference)，以判断是否可能出现影音不同步的情况。时戳差值的计算方式可以是将该组音频数据Ao的出现时戳设置为主控时戳，再将主控时戳分别减去相邻的两组视频数据Vo的出现时戳，再将这些运算结果取绝对值。

例如，同步控制器140可以选择图4中音频数据Ao6的出现时戳作为主控时戳，因此主控时戳的数值为20514。接着，同步控制器140会计算音频数据Ao6与视频数据Vo3(出现时戳为18970)之间的一第一时戳差值Pdif1(亦即1544)，并计算音频数据Ao6与视频数据Vo4(出现时戳为22060)之间的一第二时戳差值Pdif2(亦即1546)。

在流程S308中，同步控制器140会进一步计算流程S306中获得的两组时戳差值之间的差异。若这两组时戳差值之间的差异大于一临界数值，判断不会出现影音不同步的现象，此时同步控制器140会执行流程S310。若这两组时戳差值之间的差异小于或等于临界数值，判断可能会出现影音不同步的现象，此时同步控制器140执行流程S312。

在流程S310中，同步控制器140会指示编码与传送单元150输出具有最接近主控时戳的出现时戳的视频数据Vo(亦即前述两组时戳差值中较小者所对应的视频数据Vo)，以及输出对应于主控时戳的音频数据Ao。

临界数值可以事先储存于储存单元120之中，实作上，临界数值可以依据视频串流SV的帧率、音频串流SA的帧率、垂直同步信号Vsync的频率及/或其他设计上的实际需求来设置。

在本实施例中，临界数值设置为20刻点，但本公开文件不以此为限。在以图4中音频数据Ao6的出现时戳作为主控时戳的情况下，由于第一时戳差值Pdif1(亦即1544)与第二时戳差值Pdif2(亦即1546)之间的差异为2，小于临界数值，音频与视频处理装置100会执行流程S312。在一些实施例中，临界数值可以是介于20至50之间的一正整数，例如30、35或40。

在流程S312中，同步控制器140会进一步判断相邻于主控时戳的两组视频数据Vo中具有较小出现时戳的视频数据Vo是否已被提供至播放系统101大于或等于一预定次数。若否，则音频与视频处理装置100会执行流程S314，同步控制器140于流程S314中指示编码与传送单元150提供具有较小出现时戳的该组视频数据Vo至播放系统101。若是，音频与视频处理装置100会执行流程S316，同步控制器140于流程S316中指示编码与传送单元150提供相邻于主控时戳的两组视频数据Vo中具有较大出现时戳的视频数据Vo至播放系统101。

例如，音频与视频处理装置100可以为每组视频数据Vo配置一个初始值为零的计数值，每当视频数据Vo被提供至播放系统101时，对应的计数值便会加一。

在本实施例中，预定次数的计算方式为先将音频串流SA的帧率除以视频串流SV的帧率，接着再将得到的商值四舍五入。例如，若音频与视频处理装置100是用于处理图4中帧率为59.94fps的音频数据Ao以及帧率为30fps视频数据Vo，则预定次数为二。换言之，预定次数实质上等于将音频串流SA的帧率除以视频串流SV的帧率所得的商值。因此，在音频数据Ao6的出现时戳作为主控时戳的情况下，由于视频数据Vo3已被输出2次，编码与传送单元150会选择提供视频数据Vo4至播放系统101。

在图4的情况下，约每500组的视频数据Vo被输出时，会有一组视频数据Vo被重复输出两次。本公开提出的同步方法能避免同一组视频数据Vo被输出过多次，以使音频数据Ao与视频数据Vo以相同的规律被播放于播放系统101，进而避免影音不同步的现象。

值得注意的是，在上述的多个实施例中，将音频串流SA与视频串流SV的帧率分别设定为59.94fps与30fps仅是为了说明上的方便。音频与视频同步方法300适用于所有音频串流SA的帧率大于或等于视频串流SV的帧率的情况。

举例来说，图5绘示了在音频串流SA的帧率约等于视频串流SV的帧率的情况下，音频数据Ao(例如，音频数据Ao1～Ao6)与视频数据Vo(Vo1～Vo5)的时间对应关系。在本实施例中，音频串流SA以24fps的帧率提供音频数据Ao，而视频串流SV以23.97fps的帧率提供视频数据Vo。依据上述的音频与视频同步方法300，预定次数可以被设置为一。在同步控制器140选择图5中音频数据Ao3的出现时戳作为主控时戳的情况下，同步控制器140会于流程S312中判断视频数据Vo2已被提供至播放系统101达到预定次数(亦即，一次)。因此，即使视频数据Vo2相较于视频数据Vo3更接近于音频数据Ao3，编码与传送单元150仍会于流程S314中将视频数据Vo3与音频数据Ao3一起提供至播放系统101，而不会将视频数据Vo2与音频数据Ao3一起输出。

如此一来，视频数据Vo2不会被错误地被输出两次，视频数据Vo3也不会被错误地省略而没有被输出至播放系统101，进而避免了影音不同步的现象。

图6为依据本公开文件一实施例的音频与视频同步方法600简化后的功能框图。图7为一实施例中音频数据Ao(例如，音频数据Ao1～Ao5)与视频数据Vo(例如，视频数据Vo1～Vo9)的时间对应关系示意图。请同时参考图6与图7，在本实施例中，音频串流SA以29.97fps的帧率提供音频数据Ao，而视频串流SV以60fps的帧率提供视频数据Vo。因此，于一般操作的规律中，相邻两帧的视频数据Vo的其中之一会被省略而不会被输出至播放系统101，且约每33秒会有连续二帧的视频数据Vo被省略。然而，若视频串流SV的帧率有所变动，则可能会在短时间内多次出现连续二帧的视频数据Vo被省略的情形，进而可能造成影音不同步。

音频与视频同步方法600能避免上述问题，且相似于音频与视频同步方法300，差异在于，音频与视频同步方法600以流程S612～S616取代流程S312～S316。在流程S612中，同步控制器140会判断相邻于主控时戳的两组视频数据Vo中，出现时戳数值较小的视频数据Vo是否曾经被输出。若否，则音频与视频处理装置100会执行流程S614，以输出相邻于主控时戳的两组视频数据Vo中具有较大出现时戳的视频数据Vo，以及输出对应于主控时戳的音频数据Ao。若是，则音频与视频处理装置100会执行流程S616，以省略相邻于主控时戳的两组视频数据Vo中具有较大出现时戳的视频数据Vo，亦即编码与传送单元150不会输出具有较大出现时戳的该组视频数据Vo。

例如，在一实施例中，同步控制器140选择图7中音频数据Ao4的出现时戳作为主控时戳，其中视频数据Vo7与视频数据Vo8相邻于主控时戳。由于视频数据Vo7未曾被输出至播放系统101，音频与视频处理装置100会执行流程S614以输出视频数据Vo8，并且输出音频数据Ao4。如此一来，在视频数据Vo4和Vo5被省略后，不会接着出现视频数据Vo8和Vo9也不当地被省略的情况，因而避免了影音不同步的现象。

值得注意的是，在上述的实施例中，将音频串流SA与视频串流SV的帧率分别设定为29.97fps与60fps仅是为了说明上的方便。音频与视频同步方法600适用于所有音频串流SA的帧率小于视频串流SV的帧率的情况。

在上述的多个实施例中，音频与视频同步方法300和600是应用于音频主控模式，但本公开文件不以此为限。在一些实施例中，音频与视频同步方法300和600亦可以应用于视频主控模式(video master mode)。在视频主控模式中，音频与视频处理装置100会依据垂直同步信号Vsync中的垂直同步脉波的时戳来输出视频数据Vo，并依据视频数据Vo的出现时戳来输出音频数据Ao。垂直同步信号Vsync可以由同步控制器140、编码与传送单元150或是音频与视频处理装置100中其他未绘示的电路产生。垂直同步信号Vsync中的垂直同步脉波用于通知播放系统101开始显示下一帧画面。

在一些视频主控模式中的实施例中，音频与视频同步方法300适用于垂直同步信号Vsync的频率高于或等于视频串流SV的帧率的情况。此时，在音频与视频同步方法300的流程S306中，同步控制器140会改为将一个垂直同步脉波的时戳设置为主控时戳，并计算该垂直同步脉波以及与其相邻的两组视频数据Vo之间的两组时戳差值。另外，流程S312中预定次数的计算方式可以为先将垂直同步信号Vsync的频率除以视频串流SV的帧率，接着再将得到的商值四舍五入。例如，若垂直同步信号Vsync的频率为59.94Hz且视频串流SV的帧率为30fps，则预定次数可以为二。亦即预定次数实质上等于将垂直同步信号Vsync的频率除以视频串流SV的帧率所得的商值。前述音频与视频同步方法300中的其余对应流程，亦适用于该些视频主控模式中的实施例，为简洁起见，在此不重复赘述。

在另一些视频主控模式中的实施例中，音频与视频同步方法600适用于垂直同步信号Vsync的频率低于视频串流SV的帧率的情况。此时，在音频与视频同步方法600的流程S306中，同步控制器140会改为将一个垂直同步脉波的时戳设置为主控时戳，并计算该垂直同步脉波以及与其相邻的两组视频数据Vo之间的两组时戳差值。前述音频与视频同步方法600中的其余对应流程，亦适用于该另一些视频主控模式中的实施例，为简洁起见，在此不重复赘述。

前述各流程图中的流程执行顺序，只是示范性的实施例，而非意图局限本发明的实际实施方式。例如，在前述的各流程图中，流程S302可以和流程S304同时进行。另外，在一些实施例中，音频与视频同步方法300或600可以被重复执行，以确保每一个音频数据Ao或每一个垂直同步脉波输出时皆不会出现影音不同步的情况。

以上仅为本公开文件的优选实施例，凡依本公开文件权利要求所做的均等变化与修饰，皆应属本公开文件的涵盖范围。

【符号说明】

100:音频与视频处理装置

101:播放系统

110:解多任务器

120:储存单元

130:译码器

140:同步控制器

150:编码与传送单元

SA:音频串流

SV:视频串流

Ao、Ao1～Ao7:音频数据

Vo、Vo1～Vo9:视频数据

Vsync:垂直同步信号

300:音频与视频同步方法

S302～S316:流程

600:音频与视频同步方法

S612～S616:流程

Pdif1:第一时戳差值

Pdif2:第二时戳差值。

Claims

1.一种音频与视频同步方法，包含以下步骤：

获取一第一视频数据的一第一出现时戳以及一第二视频数据的一第二出现时戳；

选择一主控时戳，其中，该主控时戳对应于一音频数据或一垂直同步脉波；

计算该第一出现时戳与该主控时戳之间的一第一时戳差值以及该第二出现时戳与该主控时戳之间的一第二时戳差值；以及

根据该第一时戳差值、该第二时戳差值及该第一视频数据是否已被输出达一预定次数，选择输出该第一视频数据或该第二视频数据。

2.根据权利要求1所述的音频与视频同步方法，其中，选择输出该第一视频数据或该第二视频数据的步骤还包含：

若该第一时戳差值与该第二时戳差值之间的差异小于或等于一临界数值，且该第一视频数据已被输出大于或等于该预定次数时，输出该第二视频数据；以及

若该第一时戳差值与该第二时戳差值之间的差异小于或等于该临界数值，且该第一视频数据被输出没有超过该预定次数时，输出该第一视频数据。

3.根据权利要求1所述的音频与视频同步方法，其中，选择输出该第一视频数据或该第二视频数据的步骤还包含：

若该第一时戳差值与该第二时戳差值之间的差异大于一临界数值，且该第一时戳差值小于该第二时戳差值时，输出该第一视频数据；以及

若该第一时戳差值与该第二时戳差值之间的差异大于该临界数值，且该第一时戳差值大于该第二时戳差值时，输出该第二视频数据。

4.根据权利要求1所述的音频与视频同步方法，还包含以下步骤：

接收一视频串流，其中，该视频串流包含该第一视频数据和该第二视频数据；

接收一音频串流，其中，该音频串流包含该音频数据；以及

产生一垂直同步信号，其中，该垂直同步信号包含该垂直同步脉波；

其中，该预定次数是根据该音频串流的帧率、该垂直同步信号的频率或该视频串流的帧率决定。

5.一种音频与视频同步方法，包含以下步骤：

根据该第一时戳差值、该第二时戳差值及该第一视频数据是否已被输出，选择输出或不输出该第二视频数据。

6.根据权利要求5所述的音频与视频同步方法，其中，选择输出或不输出该第二视频数据的步骤还包含：

若该第一时戳差值与该第二时戳差值之间的差异小于或等于一临界数值，且该第一视频数据已被输出时，不输出该第二视频数据；以及

若该第一时戳差值与该第二时戳差值之间的差异小于或等于该临界数值，且该第一视频数据未曾被输出时，输出该第二视频数据。

7.根据权利要求5所述的音频与视频同步方法，其中，选择输出或不输出该第二视频数据的步骤还包含：

8.一种音频与视频处理装置，包含：

一译码器，译码一视频串流与一音频串流以获取一第一视频数据、一第二视频数据与一音频数据；

一编码与传送单元，用于输出该音频数据与一垂直同步脉波，且用于选择输出该第一视频数据或该第二视频数据；以及

一同步控制器，耦接于该译码器以及该编码与传送单元，用于接收该第一视频数据的一第一出现时戳、该第二视频数据的一第二出现时戳以及对应于该音频数据或该垂直同步脉波的一主控时戳，且用于计算该第一出现时戳与该主控时戳之间的一第一时戳差值以及该第二出现时戳与该主控时戳之间的一第二时戳差值；

其中，该同步控制器还用于依据该第一时戳差值、该第二时戳差值及该第一视频数据是否已被输出达一预定次数，指示该编码与传送单元选择输出该第一视频数据或该第二视频数据。

9.根据权利要求8所述的音频与视频处理装置，其中，若该同步控制器控制判断该第一时戳差值与该第二时戳差值之间的差异小于或等于一临界数值，且判断该第一视频数据已被输出大于或等于该预定次数时，该编码与传送单元输出该第二视频数据，

若该同步控制器判断该第一时戳差值与该第二时戳差值之间的差异小于或等于该临界数值，且判断该第一视频数据被输出没有超过该预定次数时，该编码与传送单元输出该第一视频数据。

10.根据权利要求8所述的音频与视频处理装置，其中，若该同步控制器判断该第一时戳差值与该第二时戳差值之间的差异大于一临界数值，且判断该第一时戳差值小于该第二时戳差值时，该编码与传送单元输出该第一视频数据，

其中，若该同步控制器判断该第一时戳差值与该第二时戳差值之间的差异大于该临界数值，且判断该第一时戳差值大于该第二时戳差值时，该编码与传送单元输出该第二视频数据。