CN100423571C - 同步记录音频信号与视频信号的装置与方法 - Google Patents

Abstract

本发明提供一种可以同步记录音频与视频信号的方法。该视频信号被分成多个视频框。该方法包含有：当接收到音频信号时增加音频计数器的计数值，以及当接收到一视频框时记录该音频计数器目前的计数值。

Description

同步记录音频信号与视频信号的装置与方法

技术领域

本发明提供一种记录音频串流与视频串流的装置及方法，尤指一种可同步记录音频与视频串流的装置及方法。

背景技术

同步记录音频与视频串流的装置与方法常见于公知技术之中。通常编码程序包含三个阶段，第一阶段的主要目的是将模拟的音频来源与视频来源加以数字化，音频来源是由多个音频取样(audio sample)所组成的；而视频来源是由多个视频帧所组成的。第二阶段的主要的目的是将数字化后的该多个音频取样与该多个视频帧加以压缩，以分别产生一音频串流与一视频串流，其中该音频串流是由多个被压缩过的音频帧所组成的，而该视频串流是由多个被压缩过的视频帧所组成。最后，第三阶段的主要目的是以多任务处理的方式整合该音频串流与该视频串流以形成一单一串流。译码的方法则是由上述三个阶段以相反的操作程序所组成。

请参照图1。图1是公知编码系统10的功能方块示意图。编码系统10包括一音频编码器20、一视频编码器30以及一多任务器40。音频编码器20包括一音频模拟数字转换器22与一音频压缩器24，而视频编码器30包括一视频模拟数字转换器32与一视频压缩器34。音频压缩器24是耦接于音频模拟数字转换器22与多任务器40，而视频压缩器34是耦接于视频模拟数字转换器32与多任务器40。值得注意的是，模拟数字转换器又可称作数字化器(digitizer)。

理论上在某一时刻被数字化的音频信号应该与在同一时刻被数字化的视频信号具有关联性，但是不幸的是，当该音频信号由音频编码器20输出而该视频信号由视频编码器30输出至多任务器40时，并没有办法正确地得知音频信号与视频信号是何时被数字化的。由于音频压缩器24和视频压缩器34并不会总是以相同的速率来压缩信号，因此被压缩的音频帧与其所对应的被压缩的视频帧就可能不会同时到达多任务器40。除此之外，当该视频串流与该音频串流输入至多任务器40时，模拟音频来源与模拟视频来源在音频模拟数字转换器2 2中与在视频模拟数字转换器32中进行数字化所对应的时间信息(timing information)会消失，因此该视频串流与该音频串流将无法同步。

为了解决这个问题，Sackstein等人在美国专利6,744,815中提出一种编码系统。请参考图2，图2是公知编码系统100的功能方块示意图。编码系统100包含一音频编码器110、一视频编码器130、一音频缓冲器140、一视频缓冲器144、一控制器142以及一多任务器150。音频编码器110包括一音频模拟数字转换器114、一音频压缩器120以及一耦接于音频模拟数字转换器114与一音频来源的音频时脉产生器112，而视频编码器130则包含一视频模拟数字转换器134、一视频压缩器136以及一耦接于视频模拟数字转换器134与一视频来源的视频时脉产生器132。

音频缓冲器140是耦接于音频压缩器120、控制器142以及多任务器150。视频缓冲器144是耦接于视频压缩器136、控制器142以及多任务器150。音频压缩器120包括一用以暂存音频取样的输入缓冲器122，以及一处理器124，耦接于音频缓冲器140与输入缓冲器122之间。控制器142被进一步地耦接于输入缓冲器122。音频模拟数字转换器114依照取样音频时脉产生器112所指定的速率提供数字的音频取样给压缩器120。除非经由到达其输入端的音频取样来获得时间信息，否则压缩器120并无法知道相关的时间信息。

如上所述，音频压缩器24与视频压缩器34并非永远以相同的速率压缩信号，为了得到音频压缩器24与视频压缩器34间的速率差，处理器124在音频缓冲器140中储存了被压缩的音频帧(音频取样)，而视频压缩器136则在视频缓冲器144中储存了被压缩的视频帧，因此，控制器142可以藉由分析在音频缓冲器140中音频取样的数目与视频缓冲器144中视频帧的数目，得知音频压缩器24与视频压缩器34间的压缩速率差，并藉以增加与减少在输入缓冲器122中的音频取样的数量，以达成该音频串流与该视频串流在多任务器150中一并多任务处理与同步处理的目的。

当分析完音频缓冲器140与视频缓冲器144的内容之后，控制器142提供一回馈讯号给输入缓冲器122，藉以改变输入缓冲器122中的音频取样数目。举例来说，降低输入缓冲器122中的写入指针(write pointer)可达到减低输入缓冲器122中音频取样的数目，而在输入缓冲器122中复制一音频取样将可增加其中音频取样的数目。因此，当音频/视频在同步上有错误产生时，公知编码系统100仅能藉由移除或是增加在输入缓冲器122中的音频取样来达到同步地记录该音频串流与该视频串流的目的。

发明内容

因此本发明的目的之一在于提供一种同步记录音频信号与视频信号的方法与装置，以解决上述问题。

本发明揭露一种同步记录多个音频信号与多个视频信号的方法，该多个视频信号被分成多个视频帧。该方法包含有：每当接收到一音频信号时增加一音频计数器所记录的计数值，以及每当接收到一视频帧时记录音频计数器当时的计数值。

本发明另揭露一种同步记录多个音频信号与多个视频信号的装置，该多个视频信号被分成多个视频帧。该装置包含一用以在每当接收到一音频信号时会增加计数值的音频计数器，以及一用以在每当接收到一视频帧时记录该音频计数器当时所记录的计数值的时间戳记缓冲器(time stamp buffer)。

本发明另揭露一种同步记录多个音频信号与多个视频信号的方法，该多个视频信号被分成多个视频帧。该方法包含有：接收该多个音频信号所对应的至少一音频框的编码，以及当一视频帧被接收到时，记录该音频计数器目前所记录的该计数值。

本发明另揭露一种同步记录多个音频信号与多个视频信号的装置，该多个视频信号被分成多个视频帧。该装置包含有：一用以当该多个音频信号所对应的至少一音频帧的编码完成时增加所记录的一计数值的音频计数器，以及一用以当一视频帧被接收时记录该音频计数器目前所记录的该计数值的时间戳记缓冲器。

本发明的优点之一在于本发明是依据编码音频信号所使用的参考时脉或编码(压缩)完成的音频帧个数来对视频信号进行时间戳记的标记，如此一来，视频信号便可以被正确而精准地与该音频信号同步而达到音频串流与视频串流的同步记录的目的。

附图说明

图1是公知编码系统的功能方块示意图。

图2是另一公知编码系统的功能方块示意图。

图3是本发明第一实施例的编码系统的功能方块示意图。

图4是本发明第二实施例的编码系统的功能方块示意图。

符号说明：

10、100、200、300    编码器统

20、110、210、310    音频编码器

22、114、214、314    音频模拟数字转换器

24、120、220、320    音频压缩器

30、130、230、330    视频编码器

32、134、234、334    视频模拟数字转换器

34、136、236、336    视频压缩器

40、150、250、350    多任务器

112、212、312        音频时脉产生器

122、222、322        输入缓冲器

124、224、324        处理器

132、232、332        视频时脉产生器

142                  控制器

140、240、340        音频缓冲器

242、342            音频计数器

244、344            时间戳记缓冲器

144、246、346       视频缓冲器

具体实施方式

请参考图3。图3是本发明第一实施例的编码系统200的功能方块示意图。如同上述的公知编码系统100，本发明编码系统200包括一音频编码器210、一视频编码器230、一音频缓冲器240、一视频缓冲器246以及一多功器250。此外，本发明编码系统200另外包含一音频计数器242与一时间戳记缓冲器244。音频编码器210包括一音频模拟数字转换器214、一音频压缩器220以及一耦接于音频模拟数字转换器214与一音频来源的音频时脉产生器212；视频编码器230包括一视频模拟数字转换器234、一视频压缩器236以及一耦接于视频模拟数字转换器234与一视频来源的视频时脉产生器232。音频缓冲器240是耦接于音频压缩器220与多任务器250，而视频缓冲器246是耦接于视频压缩器236与多任务器250。音频压缩器220包括一用来暂存音频取样的输入缓冲器222和一耦接于输入缓冲器222与音频缓冲器240之间的处理器224。

音频模拟数字转换器214是依据音频时脉产生器212所指示的一速率来将数字的音频取样提供予压缩器220，此外，压缩器220除了透过到达其输入端的音频取样来取得时间资料之外，其并无从得知相关的时间信息。当音频模拟数字转换器214连续地自音频来源接收到音频取样时，音频时脉产生器212会继续不断地运行，而当音频计数器242接收到来自音频时脉产生器212所发出的时脉(clock pulse)时，音频计数器242会增加其计数值。在视频模拟数字转换器234从视频来源接收到一视频帧的同时，视频模拟数字转换器234会输出一信号给时间戳记缓冲器244，用以表示已接收到一视频帧，接着，时间戳记缓冲器244便会加载音频计数器242目前的计数值，其中本发明是透过音频计数器242所产生的计数值来记录该视频帧进入视频模拟数字转换器234的时间。

因此，编码过(压缩过)的该音频帧被储存于音频缓冲器240中，而编码过(压缩过)的该视频帧被储存于视频缓冲器246中，而对应于编码过(压缩过)的该视频帧的时间戳记则被储存于时间戳记缓冲器244之中，当多任务器250多任务处理该音频串流与该视频串流时，被储存于视频缓冲器246的该视频帧、被储存于音频缓冲器240的该音频帧以及被储存于时间戳记缓冲器244中对应于编码过的该视频帧的时间戳记将一起被多任务处理。由于音频计数器242所产生的时间戳记是指派给相对应的视频帧，以同步地记录该音频串流与该视频串流，因此经由上述时间戳记所标记的视频帧可以与相对应的音频信号同步，而不会有任何音频/视频在同步上的错误产生。

请参考图4。图4是本发明第二实施例的编码系统300的功能方块示意图。本发明编码系统300包括一音频编码器310、一视频编码器330、一音频缓冲器340、一视频缓冲器346以及一多功器350。此外，本发明编码系统300另外包含一音频计数器342与一时间戳记缓冲器344。音频编码器310包括一音频模拟数字转换器314、一音频压缩器320以及一耦接于音频模拟数字转换器314与一音频来源的音频时脉产生器312；视频编码器330包括一视频模拟数字转换器334、一视频压缩器336，以及一耦接于视频模拟数字转换器334与一视频来源的视频时脉产生器332。音频缓冲器340是耦接于音频压缩器320与多任务器350，而视频缓冲器346是耦接于视频压缩器336与多任务器350。音频压缩器320包括一用来暂存音频取样的输入缓冲器322和一耦接于输入缓冲器322与音频缓冲器340之间的处理器324。图4所示的编码系统300是类似于图3所示的编码系统200，而主要的不同之处在于编码系统300中的音频计数器342是计数处理器324所压缩完成的音频帧个数，因此，于此一实施例中，每当音频压缩器320完成一个音频帧的压缩时，就会使得音频计数器342的计数值增加。请注意，编码系统300中其它组件是与编码系统200中的同名组件具有相同的功能与操作，故在不影响本实施例的技术揭露下不另赘述于此。

本实施例达到同步记录音频串流与视频串流的操作说明如下。在视频模拟数字转换器334从视频来源接收到一视频帧的同时，视频模拟数字转换器334会输出一信号给时间戳记缓冲器344，用以表示已接收到一视频帧，接着，时间戳记缓冲器344便会加载音频计数器342目前的计数值(经由计数音频压缩器320所压缩完成的音频帧个数而得)来记录该视频帧进入视频模拟数字转换器334的时间。因此，编码过(压缩过)的该音频帧被储存于音频缓冲器340中，而编码过(压缩过)的该视频帧被储存于视频缓冲器346中，而对应于编码过(压缩过)的该视频帧的时间戳记则被储存于时间戳记缓冲器344之中，当多任务器350多任务处理该音频串流与该视频串流时，被储存于视频缓冲器346的该视频帧、被储存于音频缓冲器340的该音频帧以及被储存于时间戳记缓冲器344中对应于编码过的该视频帧的时间戳记将一起被多任务处理，因此经由上述时间戳记所标记的视频帧可以与相对应的音频信号同步，而不会有任何音频/视频在同步上的错误产生。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (20)

1. 一种同步记录多个音频信号与多个视频信号的方法，该多个视频信号被分成多个视频帧，该方法包含有：

每当一音频信号被接收到时，增加一音频计数器所记录的一计数值；以及

每当一视频帧被接收到时，记录该音频计数器目前所记录的该计数值。

2. 根据权利要求1所述的方法，其还包含有：

接收该多个音频信号；

接收该多个视频帧，其中对应于该多个视频帧的由该音频计数器所产生的多个计数值为时间戳记，并且将该多个计数值储存于一时间戳记缓冲器中；

数字化该多个音频信号与该多个视频帧；以及

压缩该多个音频信号与该多个视频帧。

3. 根据权利要求2所述的方法，其还包含有：

在一音频缓冲器中储存压缩后的该多个音频信号；以及

在一视频缓冲器中储存压缩后的该多个视频帧。

4. 根据权利要求3所述的方法，其还包含有：

以多任务方式处理储存于该视频缓冲器的压缩后的该多个视频帧、储存于该音频缓冲器的压缩后的该多个音频信号，以及储存于该时间戳记缓冲器的对应于该多个视频帧的多个时间戳记。

5. 根据权利要求1所述的方法，其中当该多个视频帧被接收以进行数字化时，该多个视频帧会被时间戳记加以标记。

6. 一种同步记录多个音频信号与多个视频信号的装置，该多个视频信号被分成多个视频帧，该装置包含有：

一音频计数器，用以每当一音频信号被接收时增加该音频计数器所记录的一计数值；以及

一时间戳记缓冲器，用以每当一视频帧被接收时，记录该音频计数器目前所记录的该计数值。

7. 根据权利要求6所述的装置，其还包含有：

一音频模拟数字转换器，用以接收该多个音频信号，并且数字化该多个音频信号；

一视频模拟数字转换器，用以接收该多个视频帧，并且数字化该多个视频帧；

一音频压缩器，用以压缩该多个音频信号；

一视频压缩器，用以压缩该多个视频帧；以及

一时间戳记缓冲器，用以储存对应于该多个视频帧的由该音频计数器所产生的多个计数值，其中对应于该多个视频帧的由该音频计数器所产生的多个计数值为时间戳记。

8. 根据权利要求7所述的装置，其还包含有：

一音频缓冲器，用以储存压缩后的该多个音频信号；以及

一视频缓冲器，用以储存压缩后的该多个视频帧。

9. 根据权利要求8所述的装置，其还包含有：

一多任务器，用以多任务处理储存于该视频缓冲器的压缩后的该多个视频帧、储存于该音频缓冲器的压缩后的该多个音频信号、以及储存于该时间戳记缓冲器的对应于该多个视频帧的多个时间戳记。

10. 根据权利要求6所述的装置，其中当该多个视频帧被接收以进行数字化时，该多个视频帧会被时间戳记加以标记。

11. 一种同步记录多个音频信号与多个视频信号的方法，该多个视频信号被分成多个视频帧，该方法包含有：

当完成该多个音频信号所对应的至少一音频帧的编码时，增加一音频计数器的一计数值；以及

当一视频帧被接收到时，记录该音频计数器目前所记录的该计数值。

12. 根据权利要求11所述的方法，其还包含有：

接收该多个视频帧，其中对应于该多个视频帧的由该音频计数器所产生的多个计数值为时间戳记，并且将该多个计数值储存于一时间戳记缓冲器中；

数字化该多个音频信号与该多个视频帧；

压缩该多个音频信号，其中增加该音频计数器的该计数值的步骤是于每完成一音频帧的压缩时执行；以及

压缩该多个视频帧。

13. 根据权利要求12所述的方法，其还包含有：

在一音频缓冲器中储存压缩后的该多个音频信号；以及

在一视频缓冲器中储存压缩后的该多个视频帧。

14. 根据权利要求13所述的方法，其还包含有：

以多任务方式处理储存于该视频缓冲器的压缩后的该多个视频信号、储存于该音频缓冲器的压缩后的该多个音频帧以及储存于该时间戳记缓冲器的对应于该多个视频帧的多个时间戳记。

15. 根据权利要求11所述的方法，其中当该多个视频帧被接收以进行数字化时，该多个视频帧会被时间戳记加以标记。

16. 一种同步记录多个音频信号与多个视频信号的装置，该多个视频信号被分成多个视频帧，该装置包含有：

一音频计数器，用以于该多个音频信号所对应的至少一音频帧的编码完成时，增加其所记录的一计数值；以及

一时间戳记缓冲器，用以当一视频帧被接收时，记录该音频计数器目前所记录的该计数值。

17. 根据权利要求16所述的装置，其还包含有：

一音频模拟数字转换器，用以接收该多个音频信号，并且数字化该多个音频信号；

一视频模拟数字转换器，用以接收该多个视频帧，并且数字化该多个视频帧；

一音频压缩器，用以压缩该多个音频信号，其中该音频计数器是于该音频压缩器每完成一音频帧的压缩时增加该计数值；

一视频压缩器，用以压缩该多个视频帧；以及

一时间戳记缓冲器，用以储存对应于该多个视频帧的由该音频计数器所产生的多个计数值，其中对应于该多个视频帧的由该音频计数器所产生的多个计数值为时间戳记。

18. 根据权利要求17所述的装置，其还包含有：

一音频缓冲器，用以储存压缩后的该多个音频信号；以及

一视频缓冲器，用以储存压缩后的该多个视频帧。

19. 根据权利要求18所述的装置，其还包含有：

一多任务器，用以多任务处理储存于该视频缓冲器的压缩后的该多个视频帧、储存于该音频缓冲器的压缩后的该多个音频信号以及储存于该时间戳记缓冲器的对应于该多个视频帧的多个时间戳记。

20. 根据权利要求16所述的装置，其中当该多个视频帧被接收以进行数字化时，该多个视频帧会被时间戳记加以标记。

Images