CN101916577A - 一种音视频播放同步的方法及装置 - Google Patents

Abstract

本发明公开了音视频播放同步的方法及装置。所述方法包括：对原始音频数据进行解码，获得所述音频数据的脉码调制数据；根据所述脉码调制数据提取对应的音频特征参数；在第一缓存模块中缓存所述脉码调制数据；在第二缓存模块中缓存所述脉码调制数据所对应的音频特征参数；将所述第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，根据所述脉码调制数据所对应的音频特征参数生成相应的视频数据，并播放所述视频数据。本发明通过缓存音频特征参数或缓存音频特征参数所生成的视频数据，达到音频/视频数据播放的同步。

Description

一种音视频播放同步的方法及装置

技术领域

本发明主要涉及音视频播放领域，特征是指一种音视频播放同步的方法及装置。

背景技术

音频可视化效果在很多的播放器上得以运用，如Windows Media Player(微软公司开发的一种播放器)，Winamp等常用的播放器都支持音频可视化功能。随着嵌入式技术的发展，嵌入式播放器也开始逐渐加入音频可视化功能。

在播放音频时，首先解码出PCM(Pulse Code Modulation，脉码调制)数据，通过DMA(Direct Memory Access，直接存储器访问)通道将整块数据传输到缓冲内存中，然后将缓冲内存中的数字信号转变成模拟信号输出。音频播放时由于受到硬件环境的限制，必须将PCM数据通过DMA通道传送到内存中缓存，然后才能利用D/A(数/模)转换器和相关的运算，转变成声音信号。由于缓存的存在，造成了播放数据相对于解码器的延时。而视频的数据是由解码器解码出的PCM数据实时生成的，所以，播放的音频数据相对于视频数据来说就有了延时。

在某些情况下，当音频播放的数据是第n块PCM数据，产生的视频却是与第(n+1)块的数据相匹配的。所以，实际听到的音频与实际看到的画面之间相差了一个数据块所对应的时长。这个数据块越大，视频提前于音频的时间就越长。而在实际应用中，为了减少DMA传输数据的次数，每次传输的数据块都尽可能的较大。当数据块的容量达到一定程度，音视频的不匹配性就能被人耳明确的感知。

发明内容

本发明提出一种音视频播放同步的方法及装置，通过缓存音频特征参数或缓存音频特征参数所生成的视频数据，达到音频/视频数据播放的同步。

本发明的技术方案是这样实现的：

一种音视频播放同步的方法，包括：

对原始音频数据进行解码，获得所述音频数据的脉码调制数据；

根据所述脉码调制数据提取对应的音频特征参数；

在第一缓存模块中缓存所述脉码调制数据；

在第二缓存模块中缓存所述脉码调制数据所对应的音频特征参数；

将所述第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，根据所述脉码调制数据所对应的音频特征参数生成相应的视频数据，并播放所述视频数据。

优选的，所述根据所述脉码调制数据提取对应的音频特征参数后还包括：

在所述音频特征参数中设置时间戳参数；

所述根据所述脉码调制数据所对应的音频特征参数生成相应的视频数据具体为：

根据所述时间戳参数读取所述脉码调制数据所对应的所述第二缓存模块中的音频特征参数；

根据所述音频特征参数生成相应的视频数据。

优选的，根据所述第一缓存模块设置相匹配的所述第二缓存模块，使所述脉码调制数据进行数模转换并进行播放时，同步播放所述脉码调制数据所对应的音频特征参数所生成的相应视频数据。

一种音视频播放同步的方法，包括：

对原始音频数据进行解码，获得所述音频数据的脉码调制数据；

根据所述脉码调制数据提取对应的音频特征参数；

在第一缓存模块中缓存所述脉码调制数据；

根据所述音频特征参数生成相应的视频数据；

在第三缓存模块中缓存所述视频数据；

将所述第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，从所述第三缓存模块中读取所述脉码调制数据所对应的音频特征参数所生成的视频数据，并播放所述视频数据。

优选的，所述根据所述音频特征参数生成相应的视频数据后还包括：

在所述视频数据中设置时间戳参数；

所述从所述第三缓存模块中读取所述脉码调制数据所对应的音频特征参数所生成的视频数据具体为：

根据所述时间戳参数从所述第三缓存模块中读取所述脉码调制数据所对应的音频特征参数所生成的视频数据。

一种音视频播放同步的装置，包括：

解码模块，用于对原始音频数据进行解码，获得所述音频数据的脉码调制数据；

提取模块，用于根据所述脉码调制数据提取对应的音频特征参数；

第一缓存模块，用于缓存所述脉码调制数据；

第二缓存模块，用于缓存所述脉码调制数据所对应的音频特征参数；

同步播放模块，用于将第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，根据所述脉码调制数据所对应的音频特征参数生成相应的视频数据，并播放所述视频数据。

优选的，还包括：

第一设置模块，用于在所述音频特征参数中设置时间戳参数；

其中，所述同步播放模块在将第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，根据所述时间戳参数读取所述脉码调制数据所对应的音频特征参数，并根据所述音频特征参数生成相应的视频数据，播放所述视频数据。

优选的，根据所述第一缓存模块设置相匹配的所述第二缓存模块，使所述脉码调制数据进行数模转换并进行播放时，同步播放所述脉码调制数据所对应的音频特征参数所生成的相应视频数据。

一种音视频播放同步的装置，包括：

解码模块，用于对原始音频数据进行解码，获得所述音频数据的脉码调制数据；

提取模块，用于根据所述脉码调制数据提取对应的音频特征参数；

第一缓存模块，用于缓存所述脉码调制数据；

生成模块，用于根据所述音频特征参数生成相应的视频数据；

第三缓存模块，用于缓存所述视频数据；

同步播放模块，用于将所述第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，从所述第三缓存模块中读取所述脉码调制数据所对应的音频特征参数所生成的视频数据，并播放所述视频数据。

优选的，还包括：

第二设置模块，用于在所述视频数据中设置时间戳参数；

其中，所述同步播放模块在将第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，根据所述时间戳参数从所述第三缓存模块中读取所述脉码调制数据所对应的音频特征参数所生成的视频数据，并播放所述视频数据。

本发明技术方案通过缓存音频特征参数或缓存音频特征参数所生成的视频数据，从而能使音频数据所对应的视频数据不会早于音频数据被播放，能够在播放音频数据的同时播放音频数据所对应的视频数据，达到音频/视频数据播放的同步，提高了音频可视化的用户体验效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种音视频播放同步的方法优选实施例的流程示意图；

图2为本发明一种音视频播放同步的方法另一优选实施例的流程示意图；

图3为本发明一种音视频播放同步的装置优选实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，示出了本发明一种音视频播放同步的方法优选实施例的流程示意图，包括：

步骤S110、对原始音频数据进行解码，获得所述音频数据的脉码调制数据。

原始音频数据要进行播放，首先要进行解码，根据原始音频数据解码出脉码调制PCM数据。

步骤S120、根据所述脉码调制数据提取对应的音频特征参数。

根据原始音频数据解码出脉码调制PCM数据时，实时根据所述脉码调制数据提取对应的音频特征参数，也即所述音频特征参数是由解码出的PCM数据实时生成的，由PCM数据提取对应的音频特征参数是现有技术，本发明对此不进行详细描述。

步骤S130、在第一缓存模块中缓存所述脉码调制数据。

音频数据在播放时由于受到硬件环境的限制，要将PCM数据通过DMA通道传输到第一缓存模块中缓存。

步骤S140、在第二缓存模块中缓存所述脉码调制数据所对应的音频特征参数。

本实施例技术方案通过对所述音频特征参数的缓存来实现音视频播放的同步。

步骤S150、将所述第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，根据所述脉码调制数据所对应的音频特征参数生成相应的视频数据，并播放所述视频数据。

所述第一缓存模块中的脉码调制数据通过数模转换和相关的运放处理，转变成声音信号进行播放，此时为了音视频播放的同步，播放的视频数据是由所述脉码调制数据所对应的音频特征参数所生成的。

为了使播放音频的同时播放所述音频对应的视频，实现音视播放的同步，本发明公开了两种具体实施例：

实施例一：通过在所述音频特征参数中设置时间戳参数来实现。

首先选择一个参考时钟(要求参考时钟上的时间是线性递增的)；生成数据流(音频特征参数)时依据参考时钟上的时间给每个数据块都打上时间戳(一般包括开始时间和结束时间)；在播放时，读取数据块上的时间戳，同时参考当前参考时钟上的时间来安排播放(如果数据块的开始时间大于当前参考时钟上的时间，则不急于播放该数据块，直到参考时钟达到数据块的开始时间；如果数据块的开始时间小于当前参考时钟上的时间，则“尽快”播放这块数据或者索性将这块数据“丢弃”，以使播放进度追上参考时钟)。

每一个Byte的PCM音频数据，相对于文件的开始都有一个播放时间。设第n块数据，其相对PCM数据的起始点是第N′个Byte，PCM数据的采样频率是SR(Byte Per Second)，声道数是C，位宽是W，则第N′个Byte的播放时间为：

$T^{\′}=\frac{N^{\′}}{\mathrm{SR}*C*W/8}.$

设视频的帧率是k帧每秒，则每L个Byte的PCM数据提取一组音频特征参数，即音频的帧长为L个Byte，则：

$L=\frac{\mathrm{SR}*C*W/8}{k}.$

第N′个Byte的PCM数据对应的视频帧为N′/L帧，因为第N′个Byte对应的播放时间是T′，所以，我们在提取第N′/L组音频特征参数的时候，将时刻T′作为时间戳参数设置到第N′/L组音频特征参数中。利用系统时间，当计时到文件播放T′时间时，读取出第N′/L组的音频特征参数，生成视频，然后播放，从而达到音视频播放的同步。

实施例二：根据所述第一缓存模块设置相匹配的所述第二缓存模块，使所述脉码调制数据进行数模转换并进行播放时，同步播放所述脉码调制数据所对应的音频特征参数所生成的相应视频数据。

设对第n块数据进行缓存，缓存的大小就是第n块数据的长度N个Byte，设PCM数据的采样频率是SR(Byte Per Second)，声道数是C，位宽是W，则第n块数据对应的时间长度T(second)为：

$T=\frac{N}{\mathrm{SR}*C*W/8}.$

即解码出第n块数据到播放第n块数据，时间相隔了T秒。如果在解码第n块数据的时候就实时的输出视频，这样该帧视频所对应的音频在T秒后才播放。所以，本发明技术方案将音频特征参数也缓存，使之T秒后再生成视频数据播放，从而达到音视频同步的效果。而通常视频帧的数据量都非常的大，所以本发明优选缓存提取的音频特征参数(当然也可以缓存视频数据，参见后面的实施例)，T秒后再由该音频特征参数生成视频数据进行播放。

设视频的帧率是k帧每秒，则T秒总共产生的视频帧为T*K帧。也就是每(N/T*K)个Byte的PCM数据需要提取一组音频特征参数，缓存够T*K组数据后，开始使用缓存的第一组音频参数特征按照k帧每秒的帧率生成视频数据，从而达到音视频的同步。

本发明技术方案通过缓存音频特征参数，从而能使音频数据所对应的视频数据不会早于音频数据被播放，能够在播放音频数据的同时播放音频数据所对应的视频数据，达到音频/视频数据播放的同步，提高了音频可视化的用户体验效果。

参照图2，示出了本发明一种音视频播放同步的方法另一优选实施例的流程示意图，包括：

步骤S210、对原始音频数据进行解码，获得所述音频数据的脉码调制数据。

步骤S220、根据所述脉码调制数据提取对应的音频特征参数。

根据原始音频数据解码出脉码调制PCM数据时，实时根据所述脉码调制数据提取对应的音频特征参数，也即所述音频特征参数是由解码出的PCM数据实时生成的，由PCM数据提取对应的音频特征参数是现有技术，本发明对此不进行详细描述。

步骤S230、在第一缓存模块中缓存所述脉码调制数据。

步骤S240、根据所述音频特征参数生成相应的视频数据。

步骤S250、在第三缓存模块中缓存所述视频数据。

步骤S260、将所述第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，从所述第三缓存模块中读取所述脉码调制数据所对应的音频特征参数所生成的视频数据，并播放所述视频数据。

本实施例所述技术方案与图3实施例技术方案不同之处在于，图3所述实实施例是缓存音频特征参数，而本实施例则是缓存所述音频特征参数所生成的视频数据，由于视频数据比音频特征参数大，所以图3实施例所述技术方案效果比本实施例更好，但本实施例所述技术方案也是可以实现的。

与图1所述实施例一样，本实施例也可以通过在所述视频数据中设置时间戳参数或根据所述第一缓存模块设置相匹配的所述第二缓存模块这两种方式来实现，其具体实现过程在图1所述实施例中已经进行了详细描述，在此不再赘述。

本发明技术方案通过缓存音频特征参数所生成的视频数据，从而能使音频数据所对应的视频数据不会早于音频数据被播放，能够在播放音频数据的同时播放音频数据所对应的视频数据，达到音频/视频数据播放的同步，提高了音频可视化的用户体验效果。

参照图3，示出了本发明一种音视频播放同步的装置优选实施例的结构示意图。所述音视频播放同步的装置包括：

解码模块，用于对原始音频数据进行解码，获得所述音频数据的脉码调制数据。

提取模块，用于根据所述脉码调制数据提取对应的音频特征参数。

第一缓存模块，用于缓存所述脉码调制数据。

第二缓存模块，用于缓存所述脉码调制数据所对应的音频特征参数。

同步播放模块，用于将第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，根据所述脉码调制数据所对应的音频特征参数生成相应的视频数据，并播放所述视频数据。

优选的，所述音视频播放同步的装置，还包括：

第一设置模块，用于在所述音频特征参数中设置时间戳参数。

其中，所述同步播放模块在将第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，根据所述时间戳参数读取所述脉码调制数据所对应的音频特征参数，并根据所述音频特征参数生成相应的视频数据，播放所述视频数据。

另外，根据所述第一缓存模块设置相匹配的所述第二缓存模块，使所述脉码调制数据进行数模转换并进行播放时，同步播放所述脉码调制数据所对应的音频特征参数所生成的相应视频数据。

在本发明一种音视频播放同步的装置的另一优选实施例中，所述音视频播放同步的装置包括：

解码模块，用于对原始音频数据进行解码，获得所述音频数据的脉码调制数据。

提取模块，用于根据所述脉码调制数据提取对应的音频特征参数。

第一缓存模块，用于缓存所述脉码调制数据。

生成模块，用于根据所述音频特征参数生成相应的视频数据。

第三缓存模块，用于缓存所述视频数据。

同步播放模块，用于将所述第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，从所述第三缓存模块中读取所述脉码调制数据所对应的音频特征参数所生成的视频数据，并播放所述视频数据。

优选的，还包括：

第二设置模块，用于在所述视频数据中设置时间戳参数。

其中，所述同步播放模块在将第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，根据所述时间戳参数从所述第三缓存模块中读取所述脉码调制数据所对应的音频特征参数所生成的视频数据，并播放所述视频数据。

需要说明的是，本发明所述装置实施例中各组成部分的工作过程和工作原理在图1、图2所述实施例中已经进行了详细描述，为了篇幅考虑，在此不再赘述，参照方法实施例相关部分的描述即可。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括如上述方法实施例的步骤，所述的存储介质，如：磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。在本发明各方法实施例中，所述各步骤的序号并不能用于限定各步骤的先后顺序，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，对各步骤的先后变化也在本发明的保护范围之内。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种音视频播放同步的方法，其特征在于，包括：

对原始音频数据进行解码，获得所述音频数据的脉码调制数据；

根据所述脉码调制数据提取对应的音频特征参数；

在第一缓存模块中缓存所述脉码调制数据；

在第二缓存模块中缓存所述脉码调制数据所对应的音频特征参数；

将所述第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，根据所述脉码调制数据所对应的音频特征参数生成相应的视频数据，并播放所述视频数据。

2.根据权利要求1所述的音视频播放同步的方法，其特征在于，所述根据所述脉码调制数据提取对应的音频特征参数后还包括：

在所述音频特征参数中设置时间戳参数；

所述根据所述脉码调制数据所对应的音频特征参数生成相应的视频数据具体为：

根据所述时间戳参数读取所述脉码调制数据所对应的所述第二缓存模块中的音频特征参数；

根据所述音频特征参数生成相应的视频数据。

3.根据权利要求1所述的音视频播放同步的方法，其特征在于，根据所述第一缓存模块设置相匹配的所述第二缓存模块，使所述脉码调制数据进行数模转换并进行播放时，同步播放所述脉码调制数据所对应的音频特征参数所生成的相应视频数据。

4.一种音视频播放同步的方法，其特征在于，包括：

对原始音频数据进行解码，获得所述音频数据的脉码调制数据；

根据所述脉码调制数据提取对应的音频特征参数；

在第一缓存模块中缓存所述脉码调制数据；

根据所述音频特征参数生成相应的视频数据；

在第三缓存模块中缓存所述视频数据；

将所述第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，从所述第三缓存模块中读取所述脉码调制数据所对应的音频特征参数所生成的视频数据，并播放所述视频数据。

5.根据权利要求4所述的音视频播放同步的方法，其特征在于，所述根据所述音频特征参数生成相应的视频数据后还包括：

在所述视频数据中设置时间戳参数；

所述从所述第三缓存模块中读取所述脉码调制数据所对应的音频特征参数所生成的视频数据具体为：

根据所述时间戳参数从所述第三缓存模块中读取所述脉码调制数据所对应的音频特征参数所生成的视频数据。

6.一种音视频播放同步的装置，其特征在于，包括：

解码模块，用于对原始音频数据进行解码，获得所述音频数据的脉码调制数据；

提取模块，用于根据所述脉码调制数据提取对应的音频特征参数；

第一缓存模块，用于缓存所述脉码调制数据；

第二缓存模块，用于缓存所述脉码调制数据所对应的音频特征参数；

同步播放模块，用于将第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，根据所述脉码调制数据所对应的音频特征参数生成相应的视频数据，并播放所述视频数据。

7.根据权利要求6所述的音视频播放同步的装置，其特征在于，还包括：

第一设置模块，用于在所述音频特征参数中设置时间戳参数；

其中，所述同步播放模块在将第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，根据所述时间戳参数读取所述脉码调制数据所对应的音频特征参数，并根据所述音频特征参数生成相应的视频数据，播放所述视频数据。

8.根据权利要求6所述的音视频播放同步的装置，其特征在于，根据所述第一缓存模块设置相匹配的所述第二缓存模块，使所述脉码调制数据进行数模转换并进行播放时，同步播放所述脉码调制数据所对应的音频特征参数所生成的相应视频数据。

9.一种音视频播放同步的装置，其特征在于，包括：

解码模块，用于对原始音频数据进行解码，获得所述音频数据的脉码调制数据；

提取模块，用于根据所述脉码调制数据提取对应的音频特征参数；

第一缓存模块，用于缓存所述脉码调制数据；

生成模块，用于根据所述音频特征参数生成相应的视频数据；

第三缓存模块，用于缓存所述视频数据；

同步播放模块，用于将所述第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，从所述第三缓存模块中读取所述脉码调制数据所对应的音频特征参数所生成的视频数据，并播放所述视频数据。

10.根据权利要求9所述的音视频播放同步的装置，其特征在于，还包括：

第二设置模块，用于在所述视频数据中设置时间戳参数；

其中，所述同步播放模块在将第一缓存模块中的所述脉码调制数据进行数模转换并进行播放时，根据所述时间戳参数从所述第三缓存模块中读取所述脉码调制数据所对应的音频特征参数所生成的视频数据，并播放所述视频数据。

Images