CN101272200B - 一种多媒体流同步缓存的方法及系统 - Google Patents

Abstract

一种多媒体流同步缓存的方法及系统，所述方法包括以下步骤：发送端设备接收输入的多个媒体流，取出要在当前时间片周期内广播且播放时间在同一播放时间区间内的各个媒体流的媒体数据，与其对应的播放时间信息一起进行封装后，从广播信道传输给接收端设备。接收端设备根据节目带宽和时间片周期计算出各媒体流的媒体数据所需要的缓存最大空间，分配指定大小的缓存，同步缓存由发送端设备下发的媒体流，并从中获取各媒体流的媒体数据及其分别对应的播放时间信息，将各媒体流的媒体数据按时间顺序在终端同步播放。采用本发明提出的方法及系统，可以简化接收端视频音频的同步处理，减少接收端因同步引起的缓冲时间，缩短频道切换时间，改善用户体验。

Description

一种多媒体流同步缓存的方法及系统

技术领域

本发明涉及移动多媒体广播或手机电视技术领域，尤其涉及到一种移动多媒体广播视音频同步缓存的方法及系统。

背景技术

近年来，数字移动多媒体广播技术和标准发展迅速，例如DVB-H(DigitalVideo Broadcast Handheld，数字视频广播手持式接收)、MediaFLO(MediaForward Link Only，媒体单一前向链路)和CMMB(China Mobile MultimediaBroadcasting，移动多媒体广播)等。根据这些技术和标准，可以实现在移动终端上看电视。

移动多媒体广播为降低终端功耗，采用时间片突发方式发送多媒体广播服务：一种业务在一个小的时间片内，单独占用系统的全部带宽来高速传送数据，后面接着再传送下一种业务，依次类推。在所有业务发送完后，再重新传送第一种业务。

移动多媒体广播每个频道的数据包括视频媒体数据、音频媒体数据，有的还包括数据媒体数据。对于终端来说，需要保证视频和音频(文中也简称为视音频)的同步播放，即唇音同步。

现常见的媒体流传输标准主要有以下两种：

第一种是RTP(Real-time Transport Protocol，实时传输协议)方式。这种方式可以通过打开多个RTP通道来分别传输视频流和音频流；由于在不同通道中传输，视音频只能在终端分别缓存。

第二种是TS(Transport Stream，传输流)方式。TS协议是MPEG(MovingPicture Expert Group，运动图像专家组)标准中的一种，它把视频、音频放在一个固定188字节大小的包里传输，通过PID(Program Identifier，节目标识)字段来区分视频和音频，从而可以支持视频和音频在一个TS流中传输；但是TS方式的每个包很小，终端需要分级解析，为了获取一个完整的音视频帧，需要缓存大量TS包，且视音频相对播放时间不确定，视音频同样难以确定同步缓存。

发明内容

本发明要解决的技术问题是提供一种多媒体流同步缓存的方法及系统，以保证视音频同步传输，简化终端视频音频的同步控制。

为了解决上述技术问题，本发明提供一种多媒体流同步缓存的方法，包括以下步骤：

发送端设备接收输入的多个媒体流，取出要在当前时间片周期内广播且播放时间在同一播放时间区间内的各个媒体流的媒体数据，与其对应的播放时间信息一起进行封装后，从广播信道传输给接收端设备。

进一步地，该方法还包括：

接收端设备根据节目带宽和时间片周期计算出各媒体流的媒体数据所需要的缓存最大空间，分配指定大小的缓存，同步缓存由发送端设备下发的媒体流，并从中获取各媒体流的媒体数据及其分别对应的播放时间信息，将各媒体流的媒体数据按时间顺序在终端同步播放。

进一步地，所述取出多个媒体流的媒体数据时，是以其中一个媒体流为基准，先取出将要在当前时间片周期内广播的基准流媒体单元，再取出播放时间在所述基准流媒体单元的播放时间区间内的其它媒体流的媒体单元。

进一步地，所述时间片周期小于等于1秒。

进一步地，所述基准流媒体单元的播放时间区间，是所取的基准流媒体单元中最早一个媒体单元的播放时间到最晚一个媒体单元的播放时间之间的时间段。

进一步地，所述输入的多个媒体流包含视频和音频码流。

进一步地，所述播放时间信息包括起始播放时间和相对播放时间，所述起始播放时间为所述时间片周期内所有媒体流的媒体数据播放时间的最早时间值，所述相对播放时间用各媒体单元数据的播放时间减去起始播放时间得到。

本发明还提供一种接收端设备实现多媒体流同步缓存的方法，包括以下步骤：

接收端设备根据节目带宽和时间片周期计算出各媒体流的媒体数据所需要的缓存最大空间，分配指定大小的缓存，同步缓存由发送端设备下发的媒体流，并从中获取各媒体流的媒体数据及其分别对应的播放时间信息，将各媒体流的媒体数据按时间顺序在终端同步播放。

进一步地，所述播放时间信息包括起始播放时间和相对播放时间，接收端设备用所述起始播放时间加上所述相对播放时间得到各媒体单元数据的播放时间。

本发明还提供一种多媒体流同步缓存的系统，包括发送端设备及接收端设备，所述发送端设备包括视音频单元选择模块、封装模块和媒体帧发送模块，其中

所述视音频单元选择模块用于接收输入的多个媒体流，取出要在当前时间片周期内广播且播放时间在同一播放时间区间内的各个媒体流的媒体单元，并将其发送到封装模块；

所述封装模块用于将视音频单元选择模块取到的各媒体流的媒体单元及其对应的播放时间信息封装到媒体帧中，并将封装好的媒体帧发送给媒体帧发送模块；

所述媒体帧发送模块用于将已封装好的媒体帧下发到接收端设备。

进一步地，该系统中所述接收端设备包括媒体帧接收模块、视音频同步缓存模块、解析模块及视音频播放模块，其中

所述媒体帧接收模块用于接收所述发送端设备下发的媒体帧，并将其转发给视音频同步缓存模块；

所述视音频同步缓存模块用于根据节目带宽和时间片周期计算出所需的缓存最大空间，分配指定大小的缓存，并同步缓存发送端设备下发的媒体帧；

所述解析模块用于从媒体帧中解析出各媒体流的媒体数据及其对应的播放时间信息，并将其发送给视音频播放模块；

所述视音频播放模块用于将从所述解析模块中取出的各媒体流的媒体数据按时间顺序在终端同步播放。

进一步地，所述视音频单元选择模块，是以其中一个媒体流为基准，先取出将要在当前时间片周期内广播的基准流媒体单元，再取出播放时间在所述基准流媒体单元的播放时间区间内的其它媒体流的媒体单元。

进一步地，所述视音频单元选择模块选取的所述基准流媒体单元的播放时间区间，是所取的基准流媒体单元中最早一个媒体单元的播放时间到最晚一个媒体单元的播放时间之间的时间段。

进一步地，所述视音频单元选择模块接收的所述输入的多个媒体流是包含视频和音频码流的媒体流。

本发明还提供一种接收端设备，包括媒体帧接收模块、视音频同步缓存模块、解析模块及视音频播放模块，其中

所述媒体帧接收模块用于接收所述发送端设备下发的媒体帧，并将其转发给视音频同步缓存模块；

所述视音频同步缓存模块用于根据节目带宽和时间片周期计算出所需的缓存最大空间，分配指定大小的缓存，并同步缓存发送端设备下发的媒体帧；

所述解析模块用于从媒体帧中解析出各媒体流的媒体数据及其对应的播放时间信息，并将其发送给视音频播放模块；

所述视音频播放模块用于将从所述解析模块中取出的各媒体流的媒体数据按时间顺序在终端同步播放。

本发明有如下技术效果：采用本发明提出的移动多媒体广播多媒体流同步缓存的方法及系统，通过在广播发送端将一个较小的时间片周期内的视音频数据，按相同的起始播放时间对齐后广播出去，在广播接收端分配一个固定大小的缓存来同步缓存视音频数据后播放，从而简化接收端的视频音频的同步处理，减少接收端因同步引起的缓冲时间，缩短频道切换时间，改善用户体验。

附图说明

图1是本发明中移动多媒体广播的系统结构图；

图2是本发明实施例的多媒体广播前端广播流程图；

图3是本发明实施例的多媒体广播终端播放流程图。

具体实施方式

下面将结合附图及实施例对本发明的技术方案作更详细的说明：

本发明提供一种多媒体流同步缓存的系统，如图1所示，包括移动多媒体广播系统发送端设备及接收端设备，发送端设备包括视音频单元选择模块，封装模块和媒体帧发送模块，接收端设备包括媒体帧接收模块、视音频同步缓存模块、解析模块、及视音频播放模块；其中

视音频单元选择模块用于接收数据输入流，以较小的时间片周期，取当前时间片周期内要广播且播放时间在同一播放时间区间内的各媒体流的媒体单元，并将其发送到封装模块；

其中，输入流是包含视频、音频码流的媒体流。

封装模块用于将视音频单元选择模块取到的各媒体流的媒体单元及其对应的播放时间信息封装到媒体帧中，并将封装好的媒体帧发送给媒体帧发送模块；

其中，媒体帧包含媒体帧头、视频段和音频段。媒体帧起始播放时间放在媒体帧头中；视频单元和音频单元分别封装到媒体帧的视频段和音频段；视频单元和音频单元的相对播放时间分别放在视频段头和音频段头中。

媒体帧发送模块用于将已封装好的媒体帧下发到接收端设备；

媒体帧接收模块用于接收发送端设备发来的媒体帧，并将其转发给视音频同步缓存模块；

视音频同步缓存模块用于根据节目带宽和时间片周期计算出所需的缓存最大空间，分配指定大小的缓存，并同步缓存由发送端设备下发的媒体帧；

解析模块用于从媒体帧中解析出各媒体流的媒体数据及其对应的播放时间信息，并将其发送给视音频播放模块；具体实现见下文。

视音频播放模块用于将从解析模块中取出的各媒体流的媒体数据按时间顺序在终端同步播放。

本发明还提供一种多媒体流同步缓存的方法：

现以CMMB中的实施为例。

以复用子帧周期为时间片周期，假定复用子帧周期为1秒钟，也可以是其它时间值。

在移动多媒体广播发送端设备如多媒体广播前端设备复用器上，按复用子帧周期，取出该复用子帧周期内广播的各媒体流的媒体数据，再将获取的各媒体流的媒体数据广播出去。如图2所示，具体步骤如下：

201、以其中一个媒体流如视频流为基准，按一定条件，先取出将要在当前复用子帧周期内广播的视频单元；

其中，所述一定条件，与应用相关，可以是信道带宽要求、码流码率要求、或码流播放时间区间等。

202、确定所取的基准流媒体单元的播放时间区间，取播放时间(指实际播放时间)在该播放时间区间内的其它媒体流如音频流媒体单元；

其中，基准流可以是但不限于视频流，也可以是音频流。所述基准流媒体单元的播放时间区间，即为所取的基准流媒体单元中，最早一个媒体单元的播放时间到最晚一个媒体单元的播放时间之间的时间段。

203、将取出的视频单元、音频单元及其分别对应的播放时间信息封装在复用子帧中；

其中，复用子帧包括子帧头、视频段和音频段。在当前复用子帧周期内，视频单元和音频单元按时间顺序分别封装到复用子帧的视频段和音频段。取当前复用子帧内所有视频单元与音频单元的播放时间的最早时间值作为起始播放时间放在子帧头中；计算视频单元的播放时间与起始播放时间的差，记录在视频段头各视频单元对应的相对播放时间字段中；计算音频单元的播放时间与起始播放时间的差，记录在音频段头各音频单元对应的相对播放时间字段中。

204、将复用子帧从广播信道传输给接收端设备。

在移动多媒体广播接收端设备如多媒体广播终端上，如图3所示，按以下步骤操作：

301、根据节目带宽和复用子帧周期计算出所需的缓存最大空间，并分配指定大小的缓存；

在媒体帧播放过程中，对获取的每一个复用子帧的处理步骤如下：

302、终端从广播信道中获取一个复用子帧后，放入该缓存；

303、从该缓存中解析出各视频媒体数据和音频媒体数据及其播放时间信息；

其中，从该缓存的复用子帧的子帧头中取出起始播放时间；从视频段头中取出各视频单元的相对播放时间，通过计算起始播放时间与该视频单元对应的相对播放时间的和，得到该视频单元数据的播放时间；从音频段头中取出各音频单元的相对播放时间，通过计算起始播放时间与该音频单元对应的相对播放时间的和，得到该音频单元数据的播放时间。

304、终端根据每个视频单元与音频单元的播放时间，按时间顺序同步播放各视频单元与音频单元中的媒体数据。

由于复用子帧内的视、音频本身有相同的起始播放时间，而且视音频相对播放时间小，接收端仅需分配出一个固定大小的缓存来缓存视音频。确定了起始播放时间后，后续媒体单元以其播放时间相对于起始播放时间的差值，按实际播放时间顺序播放即可达到视音频媒体流的唇音同步。

这种方法通过发送端来保证视音频同步传输，简化接收端的视频音频的同步控制。

Claims (13)

1.一种多媒体流同步缓存的方法，包括以下步骤：

发送端设备接收输入的多个媒体流，取出要在当前时间片周期内广播且播放时间在同一播放时间区间内的各个媒体流的媒体数据，与其对应的播放时间信息一起进行封装后，从广播信道传输给接收端设备；所述取出多个媒体流的媒体数据时，是以其中一个媒体流为基准，先取出将要在当前时间片周期内广播的基准流媒体单元，再取出播放时间在所述基准流媒体单元的播放时间区间内的其它媒体流的媒体单元。

2.如权利要求1所述的方法，其特征在于，还包括：

接收端设备根据节目带宽和时间片周期计算出各媒体流的媒体数据所需要的缓存最大空间，分配指定大小的缓存，同步缓存由发送端设备下发的媒体流，并从中获取各媒体流的媒体数据及其分别对应的播放时间信息，将各媒体流的媒体数据按时间顺序在终端同步播放。

3.如权利要求1所述的方法，其特征在于：

所述时间片周期小于等于1秒。

4.如权利要求1所述的方法，其特征在于：

所述基准流媒体单元的播放时间区间，是所取的基准流媒体单元中最早一个媒体单元的播放时间到最晚一个媒体单元的播放时间之间的时间段。

5.如权利要求1所述的方法，其特征在于：所述输入的多个媒体流包含视频和音频码流。

6.如权利要求1或2所述的方法，其特征在于：

所述播放时间信息包括起始播放时间和相对播放时间，所述起始播放时间为所述时间片周期内所有媒体流的媒体数据播放时间的最早时间值，所述相对播放时间用各媒体单元数据的播放时间减去起始播放时间得到。

7.一种接收端设备实现多媒体流同步缓存的方法，包括以下步骤：

接收端设备根据节目带宽和时间片周期计算出各媒体流的媒体数据所需要的缓存最大空间，分配指定大小的缓存，同步缓存由发送端设备下发的媒体流，并从中获取各媒体流的媒体数据及其分别对应的播放时间信息，将各媒体流的媒体数据按时间顺序在终端同步播放。

8.如权利要求7所述的方法，其特征在于：

所述播放时间信息包括起始播放时间和相对播放时间，接收端设备用所述起始播放时间加上所述相对播放时间得到各媒体单元数据的播放时间。

9.一种多媒体流同步缓存的系统，包括发送端设备及接收端设备，所述发送端设备包括封装模块和媒体帧发送模块，其特征在于：

所述发送端设备还包括视音频单元选择模块；其中

所述视音频单元选择模块用于接收输入的多个媒体流，取出要在当前时间片周期内广播且播放时间在同一播放时间区间内的各个媒体流的媒体单元，并将其发送到封装模块；所述视音频单元选择模块，是以其中一个媒体流为基准，先取出将要在当前时间片周期内广播的基准流媒体单元，再取出播放时间在所述基准流媒体单元的播放时间区间内的其它媒体流的媒体单元；

所述封装模块用于将视音频单元选择模块取到的各媒体流的媒体单元及其对应的播放时间信息封装到媒体帧中，并将封装好的媒体帧发送给媒体帧发送模块；

所述媒体帧发送模决用于将已封装好的媒体帧下发到接收端设备。

10.如权利要求9所述的系统，其特征在于：

所述接收端设备包括媒体帧接收模块、视音频同步缓存模块、解析模块及视音频播放模块，其中

所述媒体帧接收模块用于接收所述发送端设备下发的媒体帧，并将其转发给视音频同步缓存模块；

所述视音频同步缓存模块用于根据节目带宽和时间片周期计算出所需的缓存最大空间，分配指定大小的缓存，并同步缓存发送端设备下发的媒体帧；

所述解析模块用于从媒体帧中解析出各媒体流的媒体数据及其对应的播放时间信息，并将其发送给视音频播放模块；

所述视音频播放模块用于将从所述解析模块中取出的各媒体流的媒体数据按时间顺序在终端同步播放。

11.如权利要求9所述的系统，其特征在于：

所述视音频单元选择模块选取的所述基准流媒体单元的播放时间区间，是所取的基准流媒体单元中最早一个媒体单元的播放时间到最晚一个媒体单元的播放时间之间的时间段。

12.如权利要求9所述的系统，其特征在于：所述视音频单元选择模块接收的所述输入的多个媒体流是包含视频和音频码流的媒体流。

13.一种接收端设备，包括视音频接收模块及视音频播放模块，其特征在于：

所述接收端设备还包括视音频同步缓存模块及解析模块；其中，

所述媒体帧接收模块用于接收所述发送端设备下发的媒体帧，并将其转发给视音频同步缓存模块；

所述视音频同步缓存模块用于根据节目带宽和时间片周期计算出所需的缓存最大空间，分配指定大小的缓存，并同步缓存发送端设备下发的媒体帧；

所述解析模块用于从媒体帧中解析出各媒体流的媒体数据及其对应的播放时间信息，并将其发送给视音频播放模块；

所述视音频播放模块用于将从所述解析模块中取出的各媒体流的媒体数据按时间顺序在终端同步播放。

Images