CN101137066A

CN101137066A - 一种多媒体数据流同步控制的方法及装置

Info

Publication number: CN101137066A
Application number: CNA2007100991235A
Authority: CN
Inventors: 吴安军
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2007-05-11
Filing date: 2007-05-11
Publication date: 2008-03-05
Anticipated expiration: 2027-05-11
Also published as: CN101137066B

Abstract

本发明提供了一种多媒体数据流同步控制的方法，该方法将至少两种多媒体数据帧的时间戳与对应的系统时间戳进行比较，确定该至少两种多媒体数据帧不同步的类型，然后根据所确定的不同步的类型进行同步控制操作。本发明还提供了一种多媒体数据流同步控制的装置，该装置包括比较确定模块和同步控制模块，同步控制模块进一步包括计算模块、延时模块和发送模块。通过本发明实现了对多媒体数据流中不同多媒体数据帧之间的同步控制，简单有效地避免了多媒体数据流播放过程中不同多媒体数据帧之间的不同步现象，从而大大改善了多媒体数据流播放器的播放效果。

Description

一种多媒体数据流同步控制的方法及装置

技术领域

本发明涉及无线通信领域中数据流的同步控制，尤其涉及一种多媒体数据流同步控制的方法及装置。

背景技术

随着无线通信网络的不断发展和终端功能的不断加大，手机多媒体应用越来越普及，并深受人们的喜爱，其中的手机电视直播更是各种多媒体数据流应用中的一个热点。目前，手机电视的多媒体数据流从信元到播放器主要经历以下环节：

信元→编码器→转码器→复用器→调制器→发射机→接收机→解调器→解复用器→播放器

在上述各个环节的网络传输过程中，多媒体数据流可能出现延迟，造成不同类型的多媒体数据帧之间的不同步现象发生。另外，在编码采样过程中，由于不同类型的媒体数据往往因编码采样频率的不同而造成播放时间上的不同步。例如，由音频数据和视频数据这两种常见类型的媒体数据组成的电视节目，当视频数据和音频数据不同步时，将造成电视节目中画面和声音无法相互吻合，出现画面超前于与该画面相对应的声音，或者画面滞后于与该画面相对应的声音的情况。

图1为实际情况下音频数据帧和视频数据帧的四种不同步类型的示意图。图1中，座标轴第一横轴对应于视频数据帧的时间戳Tv，座标轴第二横轴对应于音频数据帧的时间戳Ta，座标轴第三横轴对应于系统时间戳Ts。其中，Tvn表示第n视频数据帧的时间戳，Tan表示第n音频数据帧的时间戳，Tsn表示第n系统时间戳。理想情况下，在每个系统时间戳所在的时刻发送一个音频数据帧和一个视频数据帧。而在实际情况下，由于网络传输和编码采样频率的不同，从而造成了单个音频数据帧和单个视频数据帧的不同步，下面结合附图对四种音频数据帧和视频数据帧的不同步类型进行阐述：

图1中，Tv1表示第一视频数据帧的时间戳，Ta1表示第一音频数据帧的时间戳，Ts1表示第一系统时间戳，Tv1、Ta1、Ts1共同表示了实际情况下音频数据帧和视频数据帧不同步的第一种类型：

第一视频数据帧的时间戳Tv1和第一音频数据帧的时间戳Ta1均超前于系统时间戳。

Tv2表示第二视频数据帧的时间戳，Ta2表示第二音频数据帧的时间戳，Ts2表示第二系统时间戳，Tv2、Ta2、Ts2共同表示了实际情况下音频数据帧和视频数据帧不同步的第二种类型：

第二视频数据帧的时间戳Tv2和第二音频数据帧的时间戳Ta2均滞后于第二系统时间戳Ts2。

Tv3表示第三视频数据帧的时间戳，Ta3表示第三音频数据帧的时间戳，Ts3表示第三系统时间戳，Tv3、Ta3、Ts3共同表示了实际情况下音频数据帧和视频数据帧不同步的第三种类型：

第三视频数据帧的时间戳Tv3超前于第三系统时间戳Ts3，第三音频数据帧的时间戳Ta3滞后于第三系统时间戳Ts3。

Tv4表示第四视频数据帧的时间戳，Ta4表示第四音频数据帧的时间戳，Ts4表示第四系统时间戳，Tv4、Ta4、Ts4共同表示了实际情况下音频数据帧和视频数据帧不同步的第四种类型：

第四视频数据帧的时间戳Tv4滞后于第四系统时间戳Ts4，第四音频数据帧的时间戳Ta4超前于第四系统时间戳Ts4。

由于实际情况中同一时间段内的视频数据帧和音频数据帧的数目可能不相同，因此，上述Tv1、Ta1、Ts1，...，Tvn、Tan、Tsn是为了更清楚地描述四种视频数据帧与音频数据帧不同步的类型，而不是强调第n视频数据帧的时间戳Tvn与第n音频数据帧的时间戳Tan以及第n系统时间戳相互之间必须完全对应。实际情况下，系统将需要发送的视频数据帧序列与音频数据帧序列缓存起来，按时间先后顺序读取单个视频数据帧与单个音频数据帧，然后在每个系统时间戳所在时刻将该单个视频数据帧与单个音频数据帧发送，也就是说，在一个系统时间戳所在时刻附近仅有一个需要发送的单个视频数据帧和单个音频数据帧。

目前的多媒体数据流系统中，一般通过转码器对音频数据和视频数据进行同步控制，但是在音频数据和视频数据通过转码器实现同步之后，还需要被进一步传输到播放器，而在此传输过程中，又可能造成同步后的音频数据和视频数据再次不同步的情况发生，从而影响播放器的正常播放。因此，如何保证播放器可以比较连续的接收到同步的音频数据和视频数据是一个比较突出的问题。

发明内容

有鉴于此，本发明的目的在于提供一种多媒体数据流同步控制的方法及装置，来避免多媒体数据流播放过程中不同多媒体数据帧之间的不同步现象，达到改善多媒体数据流播放器的播放效果的目的。

本发明提供了一种多媒体数据流同步控制的方法，包括以下步骤：

A.将至少两种多媒体数据帧的时间戳与对应的系统时间戳进行比较，确定该至少两种多媒体数据帧不同步的类型；

B.根据确定的不同步的类型进行同步控制操作。

该方法步骤A所述至少两种多媒体数据帧为两种多媒体数据帧。

该方法步骤A所述该两种多媒体数据帧不同步的类型为：

两种多媒体数据帧的时间戳均超前于系统时间戳；

该方法步骤B所述同步控制操作为：

分别计算该两种多媒体数据帧的时间戳超前该系统时间戳的时间差值；

选出两个时间差值中数值较小的时间差值作为延时时间；

所述延时时间完成后，将对应于数值较小的时间差值的多媒体数据帧发送，并返回步骤A。

该方法所述返回步骤A为：

将未被发送的多媒体数据帧的时间戳、新到达的类型相异的多媒体数据帧的时间戳与下一个系统时间戳进行比较，确定该两种多媒体数据帧不同步的类型。

该方法步骤A所述该两种多媒体数据帧不同步的类型为：

两种多媒体数据帧的时间戳均滞后于系统时间戳；

该方法步骤B所述同步控制操作为：

发送该两种多媒体数据帧。

该方法步骤A所述该两种多媒体数据帧不同步的类型为：

第一种多媒体数据帧的时间戳滞后于该系统时间戳，第二种多媒体数据帧的时间戳超前于该系统时间戳；

该方法步骤B所述同步控制操作为：

将所述第一种多媒体数据帧发送；

计算所述第二多媒体数据帧的时间戳超出该系统时间戳的时间差值；

将所述时间差值作为延时时间；

所述延时时间完成后，将所述第二种多媒体数据帧发送。

本发明还提供了一种多媒体数据流同步控制的装置，包括：

比较确定模块，用于将至少两种多媒体数据帧的时间戳与对应的系统时间戳进行比较，确定所述两种多媒体数据帧不同步的类型；

同步控制模块，用于根据确定的不同步的类型进行同步控制操作。

当两种多媒体数据帧的时间戳均超前于系统时间戳时，该装置所述同步控制模块包括：

计算模块，用于分别计算所述两种多媒体数据帧的时间戳超前该系统时间戳的时间差值；

延时模块，用于选出该两个时间差值中数值较小的时间差值作为延时时间；

发送模块，用于在延时时间完成后，将与数值较小的时间差值对应的多媒体数据帧发送。

当第一种多媒体数据帧的时间戳滞后于系统时间戳，第二种多媒体数据帧的时间戳超前于系统时间戳时，该装置所述同步控制模块包括：

发送模块，用于将所述第一种多媒体数据帧发送；

计算模块，用于计算所述第二种多媒体数据帧的时间戳超前该系统时间戳的时间差值；

延时模块，用于将该时间差值作为延时时间；

发送模块，用于在延时时间完成后，将所述第二种多媒体数据帧发送。

当两种多媒体数据帧的时间戳均滞后于系统时间戳时，该装置所述发送模块还用于将所述两种多媒体数据帧发送。

本发明所述的多媒体数据流同步控制方法及装置，通过确定多媒体数据流中音频数据帧和视频数据帧不同步的类型，并根据不同步的类型进行相应的操作，实现对多媒体数据流中不同多媒体数据帧之间的同步控制，简单有效地避免了多媒体数据流播放过程中不同多媒体数据帧之间的不同步现象，从而大大改善了多媒体数据流播放器的播放效果。

附图说明

图1为实际情况下音频数据帧和视频数据帧的四种不同步类型的示意图；

图2为本发明中一种多媒体数据流同步控制装置的结构框图；

图3为本发明中一种多媒体数据流同步控制方法的流程图。

具体实施方式

下面结合附图来说明本发明的具体实施方式。

图2为本发明中一种多媒体数据流同步控制装置的结构框图，图中包括比较确定模块201和同步控制模块202，其中，

比较确定模块201，用于将至少两种多媒体数据帧的时间戳与对应的系统时间戳进行比较，确定该两种多媒体数据帧不同步的类型；

同步控制模块202，用于根据所确定的不同步的类型进行同步控制操作。

同步控制模块202进一步包括计算模块2021、延时模块2022和发送模块2023。

当两种多媒体数据帧的时间戳均超前于系统时间戳时，所述同步控制模块进一步包括发送模块，该发送模块2023将所述两种多媒体数据帧发送。

当两种多媒体数据帧的时间戳均超前于系统时间戳时，计算模块2021分别计算该两种多媒体数据帧的时间戳超前该系统时间戳的时间差值；延时模块2022选出该两个时间差值中数值较小的时间差值作为延时时间，延时时间完成后，发送模块2023将对应于数值较小的时间差值的多媒体数据帧发送。

当第一种多媒体数据帧的时间戳滞后于系统时间戳，第二种多媒体数据帧的时间戳超前于系统时间戳时，发送模块2023将所述第一种多媒体数据帧发送，计算模块2021计算所述第二种多媒体数据帧的时间戳超前该系统时间戳的时间差值；延时模块2022将该时间差值作为延时时间，延时时间完成后，发送模块2023将所述第二种多媒体数据帧发送。

图3为本发明中一种多媒体数据流同步控制方法的流程图，具体实施步骤如下：

步骤301：将初始视频数据帧和初始音频数据帧在初始系统时间戳所在时刻发送。

步骤302：对于后续的视频数据帧和音频数据帧，将该视频数据帧的时间戳和音频数据帧的时间戳与对应的系统时间戳进行比较，确定音频数据帧和视频数据帧不同步的类型。

步骤303，根据所确定的不同步的类型进行相应的同步控制操作。

下面以具体实施例的方式对如何实现上述四种不同步类型的同步控制进行详细说明。

具体实施例1

将该视频数据帧和音频数据帧的时间戳与对应的系统时间戳进行比较，得出视频数据帧的时间戳和音频数据帧的时间戳均超前于系统时间戳，因此，确定音频数据帧和视频数据帧不同步的类型为第一种类型。相应同步控制操作如下：

分别计算视频数据帧和音频数据帧超前对应系统时间戳的时间差值；

选出两个时间差值中数值较小的时间差值作为延时时间，并加以记录；

延时时间完成后，将时间戳超前系统时间戳较小的多媒体数据帧发送；

例如，当ΔTvs<ΔTas时，延时时间ΔTas完成后，发送视频数据帧，被保留下来的音频数据帧和新到达的视频数据帧进入与下一个系统时间戳的比较过程，确定音频数据帧和视频数据帧不同步的类型，然后根据所确定的不同步的类型进行相应同步控制操作。

具体实施例2

将该视频数据帧和音频数据帧的时间戳与对应的系统时间戳进行比较，得出视频数据帧的时间戳和音频数据帧的时间戳均滞后于系统时间戳，因此，确定音频数据帧和视频数据帧不同步的类型为第二种类型。相应同步控制操作如下：

直接发送该视频数据帧和音频数据帧。

具体实施例3

将该视频数据帧和音频数据帧的时间戳与对应的系统时间戳进行比较，得出视频数据帧的时间戳超前于系统时间戳，音频数据帧的时间戳滞后于系统时间戳，因此，确定音频数据帧和视频数据帧不同步的类型为第三种类型。相应同步控制操作如下：

将时间戳滞后于系统时间戳的音频数据帧发送；

计算出视频数据帧的时间戳超前系统时间戳的时间差值；

将该时间差值作为延时时间；

延时时间完成后，发送该视频数据帧。

具体实施例4

将该视频数据帧和音频数据帧的时间戳与对应的系统时间戳进行比较，得出视频数据帧时间戳滞后于系统时间戳，音频数据帧的时间戳超前于系统时间戳，因此，确定音频数据帧和视频数据帧不同步的类型为第四种类型。相应同步控制操作如下：

将时间戳滞后于系统时间戳的视频数据帧发送；

计算出音频数据帧的时间戳超前系统时间戳的时间差值；

将该时间差值作为延时时间；

延时时间完成后，发送该音频数据帧。

在手机电视系统的整个研发设计过程中，音频数据流和视频数据流分别通过串行外设接口(SPI，Serial Peripheral Interface)进入解复用单板，解复用单板对视频数据流和音频数据流完成解复用后，按照上述流程进行同步控制，最后将音频数据帧和视频数据帧封装在同一数据包中，通过实时传输协议(RTP，Real-time Transport Protocol)协议发送给播放器。

本发明所述的多媒体数据流同步控制的方法和装置，可广泛应用于各种多媒体系统中。虽然本发明实施例仅阐述了如何解决两种多媒体数据帧不同步的情况，但本发明并不局限于此，对于解决两种以上多媒体数据帧不同步的情况仍然适用。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种多媒体数据流同步控制的方法，其特征在于，包括以下步骤：

B.根据确定的不同步的类型进行同步控制操作。

2.根据权利要求1所述的方法，其特征在于，步骤A所述至少两种多媒体数据帧为两种多媒体数据帧。

3.根据权利要求2所述的方法，其特征在于：

步骤A所述该两种多媒体数据帧不同步的类型为：两种多媒体数据帧的时间戳均超前于系统时间戳；

步骤B所述同步控制操作为：

选出两个时间差值中数值较小的时间差值作为延时时间；

4.根据权利要求3所述的方法，其特征在于，所述返回步骤A为：

5.根据权利要求2所述的方法，其特征在于：

步骤A所述该两种多媒体数据帧不同步的类型为：两种多媒体数据帧的时间戳均滞后于系统时间戳；

步骤B所述同步控制操作为：发送该两种多媒体数据帧。

6.根据权利要求2所述的方法，其特征在于：

步骤A所述该两种多媒体数据帧不同步的类型为：第一种多媒体数据帧的时间戳滞后于该系统时间戳，第二种多媒体数据帧的时间戳超前于该系统时间戳；

步骤B所述同步控制操作为：

将所述第一种多媒体数据帧发送；

将所述时间差值作为延时时间；

所述延时时间完成后，将所述第二种多媒体数据帧发送。

7.一种多媒体数据流同步控制的装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，当两种多媒体数据帧的时间戳均超前于系统时间戳时，所述同步控制模块包括：

9.根据权利要求7所述的装置，其特征在于，当第一种多媒体数据帧的时间戳滞后于系统时间戳，第二种多媒体数据帧的时间戳超前于系统时间戳时，所述同步控制模块包括：

发送模块，用于将所述第一种多媒体数据帧发送；

延时模块，用于将该时间差值作为延时时间；

10.根据权利要求8或9所述的装置，其特征在于，当两种多媒体数据帧的时间戳均滞后于系统时间戳时，所述发送模块还用于将所述两种多媒体数据帧发送。