CN101282482A - 视频数据与音频数据同步播放的装置、系统和方法 - Google Patents

Abstract

本发明公开了一种视频数据与音频数据同步播放的装置、系统和方法。所述视频数据与音频数据同步播放系统，包括前端发送设备和终端，其中：所述前端发送设备，用于将接收到的媒体数据的时间戳转换成统一时间基准下的广播时间戳；将需要在当前时间片内发送的媒体数据连同该媒体数据的广播时间戳一起广播发送；所述终端，用于根据时间戳确定各媒体数据的播放时间。

Description

视频数据与音频数据同步播放的装置、系统和方法

技术领域

本发明涉及移动多媒体广播领域，特别涉及一种移动多媒体广播实时视频音频流的同步播放方法。

背景技术

近年来，数字移动多媒体广播技术和标准发展迅速，例如DVB-H(数字视频广播手持式接收：Digital Video Broadcast Handheld)、MediaFLO(媒体单一前向链路：Media Forward Link Only)和CMMB(移动多媒体广播：China Mobile Multimedia Broadcasting)等。根据这些技术和标准，可以实现在移动终端上看电视。

移动多媒体广播为降低终端功耗，采用时间片突发方式发送多媒体广播服务：一种业务在一个小的时间片(Time Slice)内，单独占用系统的全部带宽来高速传送数据，后面接着再传送下一种业务，依次类推。在所有业务发送完后，再重新传送第一种业务。

移动多媒体广播每个频道的数据包括视频媒体数据、音频媒体数据，有的还包括数据媒体数据。对于终端来说，需要保证视频音频的同步播放，即唇音同步。

最常用的低码率媒体传输协议是RTP(实时传输协议)。视音频媒体在不同的RTP流里面传输，每个RTP包带有时间戳信息。RTP要实现准确的同步需要伴生协议RTCP(实时传输控制协议)的支持，通过RTCP来实现视频流和音频流里面时间戳的对齐，从而实现视频音频的同步播放。

在移动多媒体广播中，用RTP来传输媒体流，要实现视频音频的准确同步播放有一些问题：1)需要RTCP的支持，RTCP包周期长则需要在同步前作长时间的等待，缓冲时间长；RTCP周期短则对信道带宽的开销过大，而无线信道带宽资源是很宝贵的。2)RTP传输中，视频、音频流的时间戳，其时间单位不一样，同步需要做转换计算；3)视频流、音频流的RTP包，其在网络上的物理传送时刻，和其时间戳(代表其展现时刻)，不是对应的，收到一个视频包之后，和其同步的音频包，可能要等较长时间后才能收到，这样刚收到的视频包就必须缓冲，等收到同步的音频包之后，才能展现出来。在移动多媒体广播中，缓冲时间大不仅意味着存储资源需要的多，还意味着业务的获取时间长，频道切换时间长，这样用户的体验就差。

发明内容

本发明要解决的技术问题是提供一种视频数据与音频数据同步播放的装置和方法。

为了解决上述技术问题，本发明提供了一种视频数据与音频数据同步播放设备，包括时戳转换模块和时戳对齐模块，其中：

所述时戳转换模块，用于将接收到的媒体数据的时间戳转换成统一时间基准下的广播时间戳；

所述时戳对齐模块，用于将需要在当前时间片内发送的媒体数据连同该媒体数据的广播时间戳一起广播发送。

进一步地，所述将接收到的媒体数据的时间戳转换成统一时间基准下的广播时间戳是指：时戳转换模块在接收到媒体流后，计算媒体流的网络时间协议NTP时间，将所述NTP时间转换为多媒体广播时间戳。

为了解决上述技术问题，本发明还提供了一种视频数据与音频数据同步播放系统，包括前端发送设备和终端，其中：

所述前端发送设备，用于将接收到的媒体数据的时间戳转换成统一时间基准下的广播时间戳；将需要在当前时间片内发送的媒体数据连同该媒体数据的广播时间戳一起广播发送；

所述终端，用于根据时间戳确定各媒体数据的播放时间。

为了解决上述技术问题，本发明又提供了一种视频数据与音频数据同步发送方法，包括：

接收到媒体流后，将媒体数据的时间戳转换成统一时间基准下的广播时间戳；在时间片周期内，将需要在当前时间片内发送的媒体数据连同该媒体数据的广播时间戳一起广播发送。

进一步地，所述方法包括以下步骤：

(a)接收到媒体流后，计算媒体流的网络时间协议NTP时间，再将所述NTP时间转换为多媒体广播时间戳，将转换后的多媒体广播时间戳连同媒体数据一起放入缓冲区缓存；

(b)当时间片周期到时，从缓冲区内读取需要在当前时间片内发送的各媒体流的媒体数据，将媒体数据连同转换后的多媒体广播时间戳一起广播发送。

为了解决上述技术问题，本发明还提供了一种视频数据与音频数据同步传输方法，包括：

接收到媒体流后，将媒体数据的时间戳转换成统一时间基准下的广播时间戳；在时间片周期内，将需要在当前时间片内发送的媒体数据连同该媒体数据的广播时间戳一起广播发送；

终端上收到媒体流后，取出各类型媒体数据及其对应的时间戳，根据所述时间戳确定各媒体数据的播放时间。

本发明通过统一视、音频的时间戳时间基准，并将视、音频在一个时间片内的媒体数据在时间上对齐后在前端发送，在移动广播网络中实现视频音频同步播放，简化终端的视频音频的同步处理，减少终端因同步引起的缓冲时间，缩短频道切换时间，改善用户体验。

附图说明

图1是本实施例前端设备模块结构图；

图2是本实施例中时戳转换的流程图；

图3是本实施例中时戳对齐的流程图。

具体实施方式

本发明的主要构思是，在多媒体广播前端设备上对要广播发送的多媒体数据的时间戳进行转换，将各个媒体流的时间戳转换成统一时间基准下的时间戳，然后将需要在当前时间片内发送的各媒体流的媒体数据与转换后的时间戳一起广播出去。

终端接收到各媒体流的媒体数据及其时间戳后，确定一个媒体数据的播放时间，根据确定的播放时间计算其他媒体数据相对于该媒体数据的时间偏差，从第1个媒体数据开始进行顺序播放。

下面结合附图和具体实施方式对本发明作进一步详细描述。

如图1所示，在多媒体广播前端设备(如发端的设备)中，包括时戳转换模块和时戳对齐模块，其中：

时戳转换模块，用于将接收到的不同媒体流(如视频数据、音频数据)按时间同步关系进行时戳转换，将各媒体流的时间戳转换成统一时间基准下的多媒体广播时间戳；

输入时戳转换模块的码流是包含视频、音频码流的媒体流。媒体流中的视频、音频可以是RTP传输方式的各自独立的码流，也可以是TS(传输流)系统流那样的复合码流。转换后的时间戳连同媒体数据可以放入一个缓冲区缓存。可以取统一时间基准的多媒体广播时间戳的时间单位为1/Tmm秒，即每秒发生Tmm个时间单位。

时戳对齐模块，用于按时间片周期，读取需要在当前时间片内的各媒体流的媒体数据，将媒体数据连同转换后的多媒体广播时间戳一起广播出去。

时戳对齐模块可以以其中一个媒体流如视频流为基准，先取出将要在当前时间片里广播的视频数据，再取视频数据的时间戳区间，根据该时间戳区间去取对应的其他媒体流如音频流的媒体数据，将取出的视频媒体数据、音频媒体数据在当前时间片里广播出去。

视频数据与音频数据在前端设备上的转换处理方法包括以下步骤：

步骤一，将接收到的媒体流进行时间戳转换，将视频、音频时间戳转换为统一时间基准的多媒体广播时间戳，并将转换后的时间戳连同媒体数据放入一个缓冲区缓存；

步骤二，按时间片周期，从缓冲区内读取需要在当前时间片内发送的各媒体流的媒体数据，将媒体数据连同转换后的多媒体广播时间戳一起广播出去。

以输入码流为RTP为例，在进行时戳转换时，如图2所示，包括以下步骤：

步骤210，时戳转换模块接收输入的RTP和RTCP流，根据RTP/RTCP报文内容计算该RTP包对应的NTP(网络时间协议)时间；

RTP包对应的NTP时间的计算可以采用以下方法：

(a)时戳转换模块接收输入的RTP，并找到对应的RTCP流，从收到的RTP报文里取出RTP时间戳，从收到的RTCP报文里取出SR(发送者报告)里携带的参考NTP时间和对应的参考RTP时间戳；

(b)用RTP包里的RTP时间戳去和对应的RTCP流里的参考RTP时间戳做差值，再除以timescale，得到一个参考绝对时间差，用这个差值再加上参考NTP时间，就得到RTP包对应的NTP时间：

公式(1)

上述timescale为Rtp媒体本身的时标或称时间刻度或称时间尺度，表示1秒内媒体的时间单位数，时间单位不同媒体可以不同，如RTP视频，常用90000Hz的时钟为时间单位，1秒钟内的时钟数90000就是timescale；音频常用采样率为时间单位，timescale就是1秒内的采样数，如采样率为48000/秒，则1秒内的采样数48000即为timescale。

步骤220，用计算得到的某个RTP包对应的NTP时间作为基准，计算其他RTP包所对应的多媒体广播时间戳。

以某一个RTP包的NTP时间为基准，计算其他RTP包多媒体广播时间戳时，用其他RTP包的NTP时间减去基准NTP时间，将差值也就是与基准NTP时间的相对值换算成多媒体广播时间戳，该基准RTP包的多媒体广播时间戳为0。具体方法描述如下：

(c)取早于当前时间的一个非负的值作为NTP时间基准，如最先收到的某个RTP或RTCP包对应的NTP时间，用RTP包对应的NTP时间减去NTP时间基准，得到一个绝对时间差值；

(d)用上述绝对时间差值除以多媒体广播时间戳时间单位(1/Tmm秒)，即得到该RTP包所对应的多媒体广播时间戳。

在其他实施例中，也可直接用各RTP包的NTP时间除以多媒体广播时间戳时间单位得到该RTP包所对应的多媒体广播时间戳，这样，相当于NTP时间基准为0。

如果输入码流为TS流，可以根据其PCR(节目时钟参考)、PTS(展现时间戳)、DTS(解码时间戳)来做同步和时戳转换。

当时间片周期到时，进行时戳转换，如图3所示，包括以下步骤：

步骤310，以其中一个媒体流如视频流为基准流媒体数据，按一定条件，从缓冲区中取出将要在当前时间片里广播的视频数据；

可以取任意一个媒体流作为基准流媒体数据，在特殊情况下，如分主次媒体流时，可以取主媒体流作为基准媒体流。

所述条件与应用相关，可以是以下条件的一种或几种：信道带宽要求、码流码率要求、或码流时间戳区间等。

步骤320，取基准流媒体数据的时间戳区间，根据该时间戳区间去取与基准流媒体数据对应的、时间戳在该时戳区间内的其他媒体流如音频流的媒体数据；

基准流媒体数据的时间戳区间是指，在一个时间片内要发送的所有该类型媒体数据的时间戳范围，例如，某时间片里要发送的视频数据有A、B、C，A、B、C有各自的时间戳T1、T2、T3，且T1＜T2＜T3，则时间戳区间可以取T1到T3。区间之间也可以有小部分重叠。

步骤330，将取出的视频媒体数据、音频媒体数据连同转换后的多媒体广播时间戳在当前时间片里广播出去。

媒体数据的广播发送，采用多媒体广播信道要求的格式进行封装。

终端上收到媒体流后的处理包括以下步骤：

步骤一，终端收到了多媒体广播的时间片内的突发数据后，从中取出各视频媒体数据和音频媒体数据及其时间戳；

步骤二，确定了第1个媒体数据的播放时间后，计算每个媒体数据相对于第1个媒体数据的时间戳的时间偏差，从第1个媒体数据开始进行顺序播放。

所述第一个媒体数据是指时间片里的位置上的第一个。

由于采用了统一的时间戳基准，时间片内的视、音频本身又是对齐的，不再需要做专门的同步缓冲和视音频同步操作。确定了第1个媒体数据的播放时间后，其余媒体数据按照其时间戳与第1个媒体数据时间戳的相对关系进行播放，从第1个媒体数据开始进行顺序播放即可达到视音频媒体流的唇音同步。

以在CMMB中的应用为例进行说明，CMMB视音频采用统一的时间基准，时间单位为1/22500秒，当输入码流为RTP时：

前端设备复用器上，时戳转换模块将RTP时间戳转换为CMMB时间戳。转换后的时间戳连同视音频等媒体单元，先放入一个缓冲区。

复用器接收输入的RTP和RTCP流，根据RTP/RTCP报文内容计算RTP包对应的NTP时间；用RTP包对应的NTP时间为基准，计算该RTP包所对应的CMMB媒体单元的CMMB时间戳。

计算CMMB时间戳时，以某RTP包的NTP时间作为NTP时间基准，其他RTP包对应的NTP时间减去NTP时间基准，得到一个绝对时间差值，然后用该绝对时间差值除以CMMB时间单位(1/22500秒)，即得到其他RTP包所对应的CMMB媒体单元的CMMB的时间，CMMB时间戳表示为32位值，计算出来的时间以2的32次方取模，即为CMMB媒体单元的CMMB的时间戳。

上述媒体单元表示一定格式媒体数据的基本元素。

当时间片周期即复用子帧周期到时，时戳对齐模块在缓冲区内以其中一个媒体流如视频流为基准，按一定条件，取出将要在当前时间片即复用子帧周期里广播的视频单元；取该基准流媒体单元的时间戳区间，时间戳区间由所取的媒体单元中，最晚一个的时间戳减去最早一个的时间戳得到，根据该时间戳区间去取对应的其他媒体流如音频流的媒体单元；然后将取出的视频媒体单元、音频媒体单元封装为复用子帧和复用帧，媒体单元的CMMB时间戳转换为复用子帧内的起始播放时间和相对播放时间，在当前时间片里广播出去。

媒体单元的CMMB时间戳的实现形式为复用子帧内起始播放时间和相对播放时间的和，起始播放时间和相对播放时间如何取值，与具体实现相关。可以取一个复用子帧内的每个视频单元与音频单元的播放时间的最小值，为起始播放时间；计算视频单元内视频数据的播放时间与复用子帧头的起始播放时间的差，记录在视频段头中每个视频单元对应的相对播放时间字段中，计算音频单元内音频数据的播放时间与复用子帧头的起始播放时间的差，记录在音频段头中每个音频单元对应的相对播放时间字段中，将起始播放时间放在子帧头中，子帧头、视频段及音频段组成复用子帧。

CMMB中，终端收到媒体流后的处理包括以下步骤：

终端收到一个复用子帧后，从复用子帧的子帧头中取出起始播放时间，从视频段头中取出各个视频单元的相对播放时间，计算起始播放时间与该视频单元对应的相对播放时间的和，得到该视频单元的实际播放时间，终端从音频段头中取出各个音频单元的相对播放时间，计算起始播放时间与该音频单元对应的相对播放时间的和，得到该音频单元的实际播放时间；

终端根据每个视频单元与音频单元的实际播放时间，顺序按实际播放时间同步播放各个视频单元与音频单元中的媒体单元。

由于采用了统一的CMMB时间戳基准，复用子帧内的视、音频本身又是对齐的，不再需要做专门的同步缓冲和视音频同步操作。确定了起始播放时间后，后续媒体单元以其时间戳相对于起始播放时间的差值，顺序按实际播放时间播放即可达到视音频媒体流的唇音同步。

由于减少了同步处理时间和缓冲时间，CMMB终端的频道切换时间缩短，可以在2秒左右完成频道切换。

Claims (21)

1、一种视频数据与音频数据同步播放设备，其特征在于，包括时戳转换模块和时戳对齐模块，其中：

所述时戳转换模块，用于将接收到的媒体数据的时间戳转换成统一时间基准下的广播时间戳；

所述时戳对齐模块，用于将需要在当前时间片内发送的媒体数据连同该媒体数据的广播时间戳一起广播发送。

2、如权利要求1所述的设备，其特征在于，

所述将接收到的媒体数据的时间戳转换成统一时间基准下的广播时间戳是指：时戳转换模块在接收到媒体流后，计算媒体流的网络时间协议NTP时间，将所述NTP时间转换为多媒体广播时间戳。

3、如权利要求2所述的设备，其特征在于，

当输入码流为实时传输协议RTP流时，所述时戳转换模块接收到的媒体流为RTP流和RTCP流，时戳转换模块从RTP报文中取出RTP时间戳，从RTCP报文中取出参考NTP时间和对应的参考RTP时间戳，采用以下公式计算NTP时间：

其中，所述timescale为RTP媒体流的时间刻度；

然后，用计算得到的RTP包对应的NTP时间作为基准，将其他RTP包对应的NTP时间与该NTP时间基准的差值除以多媒体广播时间戳时间单位，得到其他RTP包所对应的多媒体广播时间戳。

4、如权利要求1或2或3所述的设备，其特征在于，

所述时戳对齐模块在当时间片周期到时，从缓冲区内读取需要在当前时间片内发送的各媒体流的媒体数据，将媒体数据连同转换后的多媒体广播时间戳一起广播发送。

5、如权利要求4所述的设备，其特征在于，

所述时戳对齐模块以某一类型媒体流为基准媒体流数据，取出将要在当前时间片里广播的该类型的媒体流；取基准媒体流的时间戳区间，根据该时间戳区间取与基准媒体流对应的、时间戳在该时戳区间内的其他类型媒体流数据；将取出的在该时间戳区间内的所有类型的媒体流连同多媒体广播时间戳在当前时间片里广播发送。

6、一种视频数据与音频数据同步播放系统，包括前端发送设备和终端，其特征在于，其中：

所述前端发送设备，用于将接收到的媒体数据的时间戳转换成统一时间基准下的广播时间戳；将需要在当前时间片内发送的媒体数据连同该媒体数据的广播时间戳一起广播发送；

所述终端，用于根据时间戳确定各媒体数据的播放时间。

7、如权利要求6所述的系统，其特征在于，所述前端发送设备包括时戳转换模块和时戳对齐模块，其中：

所述时戳转换模块，用于将接收到的媒体数据的时间戳转换成统一时间基准下的广播时间戳；

所述时戳对齐模块，用于将需要在当前时间片内发送的媒体数据连同该媒体数据的广播时间戳一起广播发送。

8、如权利要求7所述的系统，其特征在于，

所述终端用于确定时间片中第1个媒体数据的播放时间，计算其余媒体数据的时间戳相对于该第1个媒体数据的时间戳的差值，按照其余媒体数据时间戳与第1个媒体数据时间戳的相对关系进行播放。

9、一种视频数据与音频数据同步发送方法，其特征在于，

接收到媒体流后，将媒体数据的时间戳转换成统一时间基准下的广播时间戳；在时间片周期内，将需要在当前时间片内发送的媒体数据连同该媒体数据的广播时间戳一起广播发送。

10、如权利要求9所述的方法，其特征在于，所述方法进一步包括以下步骤：

(a)接收到媒体流后，计算媒体流的网络时间协议NTP时间，再将所述NTP时间转换为多媒体广播时间戳，将转换后的多媒体广播时间戳连同媒体数据一起放入缓冲区缓存；

(b)当时间片周期到时，从缓冲区内读取需要在当前时间片内发送的各媒体流的媒体数据，将媒体数据连同转换后的多媒体广播时间戳一起广播发送。

11、如权利要求10所述的方法，其特征在于，当输入码流为实时传输协议RTP流时，在所述步骤(a)中，接收到的媒体流为RTP流和RTCP流，从RTP报文中取出RTP时间戳，从RTCP报文中取出参考NTP时间和对应的参考RTP时间戳，采用以下公式计算NTP时间：

其中，所述timescale为RTP媒体流的时间刻度；

然后，用计算得到的RTP包对应的NTP时间作为基准，计算该RTP包所对应的多媒体广播时间戳。

12、如权利要求11所述的方法，其特征在于，计算多媒体广播时间戳的方法如下：

取某RTP包对应的NTP时间为基准，将其他RTP包对应的NTP时间与NTP时间基准的差值除以多媒体广播时间戳时间单位，得到其他RTP包所对应的多媒体广播时间戳。

13、如权利要求10所述的方法，其特征在于，

如果输入码流为传输流TS，可以根据其节目时钟参考PCR、展现时间戳PTS、解码时间戳DTS来进行同步和时戳转换。

14、如权利要求10所述的方法，其特征在于，所述步骤(b)进一步包括以下步骤：

以某一类型媒体流为基准媒体流数据，按一定条件，从缓冲区中取出将要在当前时间片里广播的该类型的媒体流；

取基准媒体流的时间戳区间，根据该时间戳区间取与基准媒体流对应的、时间戳在该时戳区间内的其他类型媒体流数据；

将取出的在该时间戳区间内的所有类型的媒体流连同多媒体广播时间戳在当前时间片里广播发送。

15、如权利要求10或14所述的方法，其特征在于，在所述步骤(b)中

从缓冲区中提取数据的条件是以下条件的一种或几种：信道带宽要求、码流码率要求、或码流时间戳区间。

16、如权利要求9至14中任一权利要求所述的方法，其特征在于，

在移动多媒体广播CMMB系统中，所述统一时间基准下的广播时间戳包括起始播放时间和相对播放时间。

17、如权利要求16所述的方法，其特征在于，

所述起始播放时间记录在复用子帧的子帧头中，所述相对播放时间记录在各视频段头或音频段头中。

18、一种视频数据与音频数据同步传输方法，其特征在于，

接收到媒体流后，将媒体数据的时间戳转换成统一时间基准下的广播时间戳；在时间片周期内，将需要在当前时间片内发送的媒体数据连同该媒体数据的广播时间戳一起广播发送；

终端上收到媒体流后，取出各类型媒体数据及其对应的时间戳，根据所述时间戳确定各媒体数据的播放时间。

19、如权利要求18所述的方法，其特征在于，

所述终端先确定时间片中第1个媒体数据的播放时间，计算其余媒体数据的时间戳相对于该第1个媒体数据的时间戳的差值，按照其余媒体数据时间戳与第1个媒体数据时间戳的相对关系进行播放。

20、如权利要求18所述的方法，其特征在于，

在移动多媒体广播CMMB系统中，所述统一时间基准下的广播时间戳包括起始播放时间和相对播放时间；

终端收到媒体流后，取出各媒体流的起始播放时间和相对播放时间，计算所述起始播放时间与相对播放时间的和，得到该视频单元的实际播放时间。

21、如权利要求20所述的方法，其特征在于，

所述起始播放时间记录在复用子帧的子帧头中，所述相对播放时间记录在各视频段头或音频段头中。

Images