CN103369365A

CN103369365A - 音视频同步记录装置

Info

Publication number: CN103369365A
Application number: CN2013102693096A
Authority: CN
Inventors: 刘昊; 刘伟庆
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2013-06-28
Filing date: 2013-06-28
Publication date: 2013-10-23

Abstract

本发明公开了一种音视频同步记录装置，包括音频编码器、音频缓冲器、音频时间戳记录缓冲器、视频编码器、视频缓冲器、视频时间戳记录缓冲器、实时时钟发生器和多任务器，所述音频编码器和视频编码器分别用于将输入的音频信号和视频信号编码并将编码后的音频数据流和视频数据流分别输入到音频缓冲器和视频缓冲器，所述实时时钟发生器耦接于音频编码器和视频编码器之间。本发明在面对动态音频数据和视频数据变化要求的情况下，音频模拟数字转换器和视频模拟数字转换器都参考同一时钟，即使发生动态音频和视频采样切换的情况下，依然能够保持同步，即使在切换过程中发生不同步，也不会影响之后数据的同步性。

Description

音视频同步记录装置

技术领域

本发明涉及一种音频和视频记录装置，具体是一种音视频同步记录装置（音频和视频同步记录装置），可同步记录音频数据流和视频数据流。

背景技术

音频与视频的不同步是伴随着多媒体的应用而出现的，它是由多媒体数据所具有的独特特征而引发的问题，可以说，音频和视频同步研究的历史即是多媒体发展的历史。多媒体信息本身的特点使得各种信息之间在时间上具有一定的相关性，多媒体应用允许用户改变事件的顺序并修改多媒体信息的表现。在对多媒体数据进行综合处理时，不仅要考虑到各种媒体的相对独立性，为了达到较好的信息表示效果，还要注意保持媒体之间在时间上和空间上的相关性。多媒体系统中各媒体在不同的通道路径上传输，会产生不同的延迟和损伤，从而造成媒体间协同性的破坏。

针对音频和视频不同步问题，各国研究人员提出了众多的解决方法，主要集中针对于多媒体信息的获取、存储、转发、传输和播映等一系列过程。按照传统方式，音频数据和视频数据一般是分开传输的，分开传输必然会增加媒体间众多不同步因素，媒体之间数据相互独立，切断了音频和视频本身在时间和空间上的相关性，影响音频和视频在客户端的播放效果。

通常，音频和视频的编码经典系统结构如图1所示。编码系统10包括一音频编码器20、一视频编码器30以及一多任务器40.音频编码器20包括一音频模拟数字转换器22与一音频压缩器24，而视频编码器30包括一视频模拟数字转换器32与一视频压缩器34。音频压缩器24是耦接于音频模拟数字转换器22与多任务40，而视频压缩器34是耦接于视频模拟数字转换器32与多任务器40。由于该系统在音频编码器20和视频编码器30数据数据输出到多任务器40时，没有办法正确的得知音频信号与视频信号是何时被数字化的，而且音频压缩器24和视频压缩器34不会总以相同的速率来压缩信号，因此，音频与视频之间的关联被割断，无法实现同步效果。

为了解决这个问题，陈正哲等人在中国专利中提出一种编码系统，参考图2，该编码系统200包括一音频编码器210、一视频编码器230、一音频缓冲器240、一视频缓冲器246以及一多功能器250，此外，该编码系统200还包含一音频计数器242与一时间戳记录缓冲器。音频编码器210包括一音频模拟数字转换器214、一音频压缩器220以及一耦接于音频模拟数字转换器214与一音频来源的音频时脉产生器212；视频编码器230包括一视频模拟数字转换器234，一视频压缩器236以及一耦接于视频模拟数字转换器234与一视频来源的视频时脉产生器232。音频缓冲器240是耦接于音频压缩器220与多任务器250，而视频缓冲器246是耦接于视频压缩器236与多任务器250。音频压缩器220包括一用来暂存音频取样的输入缓冲器222和一耦接于输入缓冲器222与音频缓冲器240之间的处理器224。该编码系统200同步主要是通过音频计数器242所产生的计数值来记录视频框进入视频模拟数字转换器234的时间完成的。当音频模拟数字转换器214连续的接收音频取样时，音频时脉产生器212会不断运行，音频计数器242会增加其计数值。在视频模拟数字转换器234从视频来源接收到一视频框的同时，视频模拟数字转换器234会输出一信号给时间戳记录缓冲器244，用以表示已接收到一视频框，接着，时间戳记录缓冲器244便会加载音频计数器242目前的计数值。

该方法较大程度上依赖于音频计数器242，并且加载音频计数器242目前计数器是根据视频模拟数字转换器234接收一视频框而非视频帧产生的，为了实现同步操作，本身已经分割了单一音频和视频帧的完整性，当该编码系统200中的音频模拟转换器214采用变频率采样的时候，音频时脉冲产生器本身时钟周期会发生改变，采样速率加快的时候可能会避免因时钟改变而引起的音频计数器242与视频模拟数字转换器234之间的同步操作，但当采样速率降低的时候，时钟计数器242记录周期增加，而此时视频模拟数字转换器234要求记录音频计数器242目前计数值时，会出现记录同一数值的情况，这样之后的数据将会产生一系列的不同步现象，而这还不在视频模拟转换器234切换视频采样大小的情况下。

发明内容

发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提供一种音视频同步记录装置,面对动态音频数据和视频数据变化要求的情况下，音频模拟数字转换器和视频模拟数字转换器都参考同一时钟，即使发生动态音频和视频采样切换的情况下，依然能够保持同步，即使在切换过程中发生不同步，也不会影响之后数据的同步性。

技术方案：为实现上述发明目的，本发明采用的技术方案为一种音视频同步记录装置，包括音频编码器、音频缓冲器、音频时间戳记录缓冲器、视频编码器、视频缓冲器、视频时间戳记录缓冲器、实时时钟发生器和多任务器，所述音频编码器和视频编码器分别用于将输入的音频信号和视频信号编码并将编码后的音频数据流和视频数据流分别输入到音频缓冲器和视频缓冲器，所述实时时钟发生器耦接于音频编码器和视频编码器之间，当音频编码器或视频编码器开始工作时，读取实时时钟发生器的当前时钟到音频时间戳记录缓冲器或视频时间戳记录缓冲器中，生成音频时间戳或视频时间戳；当音频编码器或视频编码器完成音频信号或视频信号编码时，读取音频时间戳或视频时间戳到音频缓冲器或视频缓冲器中；所述音频缓冲器将所存储的音频数据流和音频时间戳输入到多任务器中，所述视频缓冲器将所存储的视频数据流和视频时间戳输入到多任务器中。所述的实时时钟发生器是独立运行的。

进一步的，所述音频编码器包括音频模拟数字转换器和音频压缩器，所述音频模拟数字转换器用于接收音频信号并将音频信号数字化后输入到音频压缩器中，所述音频压缩器将数字化后的音频信号编码压缩后输入到音频缓冲器中；所述视频编码器包括视频模拟数字转换器和视频压缩器，所述视频模拟数字转换器用于接收视频信号并将视频信号数字化后输入到视频压缩器中，所述视频压缩器将数字化后的视频信号编码压缩后输入到视频缓冲器中。

进一步的，当单一或者一组音频信号开始模拟数字转换时，记录当前音频信号转换时间，并存储于音频时间戳记录缓冲器中，生成音频时间戳；当单一或者一组视频信号开始模拟数字转换时，记录当前视频信号转换时间，并存储于视频时间戳记录缓冲器中，生成视频时间戳。

进一步的，在所述音频缓冲器中，所述音频时间戳存储于相应的编码后的音频数据流之前；在所述视频缓冲器中，所述视频时间戳存储于相应的编码后的视频数据流之前。

进一步的，所述音频时间戳含有采集时间以及能够区分音频时间戳与音频数据流的时间戳识别码；所述视频时间戳含有采集时间以及能够区分视频时间戳与视频数据流的时间戳识别码。更进一步的，所述时间戳识别码为图像开始标记。

进一步的，所述音频压缩器包括音频输入缓冲器和第一处理器，当音频输入缓冲器接收的数字化后的音频信号已满时，音频输入缓冲器通过音频模拟数字转换器发送反馈信号给实时时钟发生器，将当前时间存储于音频时间戳记录缓冲器中，生成音频时间戳，第一处理器开始对音频输入缓冲器中的音频信号进行编码压缩，并将编码压缩后的音频数据流输入到音频缓冲器中；所述视频压缩器包括视频输入缓冲器和第二处理器，当视频输入缓冲器接收的数字化后的视频信号已满时，视频输入缓冲器通过视频模拟数字转换器发送反馈信号给实时时钟发生器，将当前时间存储于视频时间戳记录缓冲器中，生成视频时间戳，第二处理器开始对视频输入缓冲器中的视频信号进行编码压缩，并将编码压缩后的视频数据流输入到视频缓冲器中。

进一步的，所述多任务器为现有技术，能够对比时间戳，用以顺序、交替搬运处理音频缓冲器的数据以及视频缓冲器的数据，并作为其他数据处理设备的数据输入接口。

有益效果：本发明的优点是建立独立的时间运行机制，能够独立的完成音频信号和视频信号数据采集时间的记录，即使在音频信号变频率采集或者视频信号采集图像大小切换的情况下，都能够保持时间记录的准确性，保持了音频数据流和视频数据流的同步性，采用单一音频信号/视频帧信号或者一组音频信号/视频帧信号记录，降低了系统操作的频率，减少了功耗，并能够将非同步时间限制在单一或者一组音频/视频数据之内。

附图说明

图1是公知编码系统功能模块示意图。

图2是另一公知编码系统功能模块示意图。

图3是本发明的音视频同步记录装置功能模块示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明提供一种音频和视频的同步记录装置。该装置设有独立的实时时钟发射器，能够在音频模拟量和视频模拟量输入的时候记录系统时间或相对时间（系统时间-起始时间），音频和视频分别设有自己独立的缓冲器，当音频或者视频信号进行采集时，记录当前采集时间，并分别写入对应的音频或者视频时间戳记录缓冲器，当音频/视频编码结束存入音频/视频缓冲器的时候，在音频/视频数据流中加入时间戳标志。待音频/视频缓冲器存储到一定程度时，通过多任务器将音频编码数据和视频编码数据存入硬盘或者多媒体存储卡时，对比音视频数据流的时间戳，顺序存储音频和视频数据流。音频和视频缓冲器采取乒乓操作，轮流存储。在客户端仅需要区分音视频数据流，对比音频数据流和视频数据流的采集时间进行同步播放控制，同步控制可以限于单个时间段内也可以在相邻数据时间段内进行。本发明极大的减少了采集端MCU的运算量，并减少了客户端控制音视频同步的复杂度，完全满足音频和视频同步的要求。

参考图3。图3是本发明的一个实例编码系统300的功能模块示意图。该编码系统300包含一个音频编码器310、一个视频编码器330、一个实时时钟发生器340、一个音频缓冲器344、一个视频缓冲器346以及一个多任务器350。音频编码器310包含一个音频模拟数字转换器314和一个音频压缩器320。视频编码器330包含一个视频模拟数字转换器334和一个视频压缩器336。实时时钟发生器340耦接于音频模拟数字转换器314和视频模拟数字转换器334之间，当音频信号新一比特或一组数据开始转换时，音频时间戳记录缓冲器342读取并存储当前音频信号采集时间，当视频信号新一帧或一组视频帧数据开始转换时，视频时间戳记录缓冲器348读取并存储当前视频采集时间。音频缓冲器344耦接于音频编码器320与多任务器350之间，用于暂存音频编码数据。视频缓冲器346耦接于视频编码器330与多任务器350之间，用于暂存视频编码数据。

实时时钟发生器340独立于音视频转换模块，这样在音频或者视频采样频率发生变化的时候不会影响时间戳记录共同参考的实时时钟。当音频模拟数字转换器314或者视频模拟数字转换器334动作开始时，读取实时时钟发生器340当前时钟到对应的音频时间戳记录缓冲器342或视频时间戳记录缓冲器348中，当音频压缩器320完成音频数据压缩后，读取音频时间戳到音频缓冲器344中，当视频压缩器336完成视频数据压缩后，读取视频时间戳到视频缓冲器346中。一帧视频信号经视频编码器330编码周期要比单独一比特音频信号经音频编码器310编码的周期长，记录一帧视频采集时间的同时可能经历过多个比特的音频采集，为了使得时间戳与相对应的数据流相对应，需要设计两个独立的时间戳记录缓冲器，分别对应于视频和音频数据。

由于音频信号和视频信号的采集是连续进行的，不能对每一个音频数据流和视频数据流的采集时间进行记录，但音频信号和视频信号在尚未编码前的数据格式及大小是可以确定的，音频信号时间记录动作周期是由音频模拟数字转换器314根据音频输入缓冲器322大小决定的，当音频输入缓冲器322数据达到一定程度时，音频输入缓冲器322会发送反馈信号给音频模拟数字转换器314，音频数字模拟转换器314发送信号给实时时钟发生器340，将当前时间存入音频时间戳记录缓冲器342，而第一处理器324此时开始对音频输入缓冲器322中存储的数据进行编码压缩，并将编码压缩后生成的音频数据流输入音频缓冲器344。视频信号时间动作周期是由视频模拟数字转换器334根据视频帧大小决定的，视频压缩器336将编码帧大小数据满信号反馈给视频模拟数字转换器334（图中未示出视频输入缓冲器和第二处理器），视频数字模拟转换器334发送信号给实时时钟发生器340，将当前时间存入视频时间戳记录缓冲器348。

存在于音频缓冲器344和视频缓冲器346中的时间戳在客户端读取识别的时候容易被当做编码后的音频数据或者视频数据二进制数据流，这就需要在音频时间戳记录缓冲器342和视频时间戳记录缓冲器348中加入默认的时间戳识别码，以区别于音视频流数据。所谓的识别码是类似于JPEG文件格式定义中的图像开始标记（SOI，Start of Image）（FFD8）标识，是一串固定的二进制数据码流，当多任务器或者客户端检查到该码流时，就知道之后的数据是时间戳还是音频/视频编码后的数据流（因为当前时间的二进制数据的长度也是固定的）。

在音频缓冲器342中，音频时间戳存放于音频压缩数据（即音频数据流）之前，在视频缓冲器346中，视频时间戳存放于相对应的视频压缩数据（即视频数据流）之前，这样能够表明该时间戳之后的就是该时间对应的音频/视频数据流，在数据检索或者其他操作中读取时间不用再进行数据解码而获得。当多任务器350处理音频缓冲器344中的音频数据流和视频缓冲器346中的视频数据流时，对比时间大小，因为视频数据量大，优先处理小于下一帧音频时间戳的视频数据流。经由上述时间戳记录的音频和视频信号可以很好的表现现场环境的实时情况，众所周知，时延存在于信息获取、存储、转发、传输和播映等一系列过程之中，本发明不但实现了对采集数据端的同步控制，还对后续处理提供了更多的灵活性。

Claims

1.一种音视频同步记录装置，其特征在于，包括音频编码器、音频缓冲器、音频时间戳记录缓冲器、视频编码器、视频缓冲器、视频时间戳记录缓冲器、实时时钟发生器和多任务器，所述音频编码器和视频编码器分别用于将输入的音频信号和视频信号编码并将编码后的音频数据流和视频数据流分别输入到音频缓冲器和视频缓冲器，所述实时时钟发生器耦接于音频编码器和视频编码器之间，当音频编码器或视频编码器开始工作时，读取实时时钟发生器的当前时钟到音频时间戳记录缓冲器或视频时间戳记录缓冲器中，生成音频时间戳或视频时间戳；当音频编码器或视频编码器完成音频信号或视频信号编码时，读取音频时间戳或视频时间戳到音频缓冲器或视频缓冲器中；所述音频缓冲器将所存储的音频数据流和音频时间戳输入到多任务器中，所述视频缓冲器将所存储的视频数据流和视频时间戳输入到多任务器中。

2.根据权利要求1所述音视频同步记录装置，其特征在于，所述音频编码器包括音频模拟数字转换器和音频压缩器，所述音频模拟数字转换器用于接收音频信号并将音频信号数字化后输入到音频压缩器中，所述音频压缩器将数字化后的音频信号编码压缩后输入到音频缓冲器中；所述视频编码器包括视频模拟数字转换器和视频压缩器，所述视频模拟数字转换器用于接收视频信号并将视频信号数字化后输入到视频压缩器中，所述视频压缩器将数字化后的视频信号编码压缩后输入到视频缓冲器中。

3.根据权利要求2所述音视频同步记录装置，其特征在于，当单一或者一组音频信号开始模拟数字转换时，记录当前音频信号转换时间，并存储于音频时间戳记录缓冲器中，生成音频时间戳；当单一或者一组视频信号开始模拟数字转换时，记录当前视频信号转换时间，并存储于视频时间戳记录缓冲器中，生成视频时间戳。

4.根据权利要求3所述音视频同步记录装置，其特征在于，在所述音频缓冲器中，所述音频时间戳存储于相应的编码后的音频数据流之前；在所述视频缓冲器中，所述视频时间戳存储于相应的编码后的视频数据流之前。

5.根据权利要求1所述音视频同步记录装置，其特征在于，所述音频时间戳含有采集时间以及能够区分音频时间戳与音频数据流的时间戳识别码；所述视频时间戳含有采集时间以及能够区分视频时间戳与视频数据流的时间戳识别码。

6.根据权利要求5所述音视频同步记录装置，其特征在于，所述时间戳识别码为图像开始标记。

7.根据权利要求3所述音视频同步记录装置，其特征在于，所述音频压缩器包括音频输入缓冲器和第一处理器，当音频输入缓冲器接收的数字化后的音频信号已满时，音频输入缓冲器通过音频模拟数字转换器发送反馈信号给实时时钟发生器，将当前时间存储于音频时间戳记录缓冲器中，生成音频时间戳，第一处理器开始对音频输入缓冲器中的音频信号进行编码压缩，并将编码压缩后的音频数据流输入到音频缓冲器中；所述视频压缩器包括视频输入缓冲器和第二处理器，当视频输入缓冲器接收的数字化后的视频信号已满时，视频输入缓冲器通过视频模拟数字转换器发送反馈信号给实时时钟发生器，将当前时间存储于视频时间戳记录缓冲器中，生成视频时间戳，第二处理器开始对视频输入缓冲器中的视频信号进行编码压缩，并将编码压缩后的视频数据流输入到视频缓冲器中。