CN1816156A

CN1816156A - 多媒体数据的同步播放方法

Info

Publication number: CN1816156A
Application number: CN 200510033153
Authority: CN
Inventors: 林美京
Original assignee: LG Electronics Huizhou Co Ltd
Current assignee: LG Electronics Huizhou Co Ltd
Priority date: 2005-02-02
Filing date: 2005-02-02
Publication date: 2006-08-09

Abstract

一种多媒体数据的同步播放方法，配备有第1、第2缓冲存储器的系统在实时性得不到保障的环境下播放视频数据的方法，包括：(a)如果计时器驱动，则计算经过时间；(b)确认第2缓冲存储器内所存储的视频数据，是否存在视频数据时间戳大于或还是小于已计算的经过时间与第1一定时间之间的差的视频数据；(c)如果存在，则播放相关的视频数据；(d)确认第1缓冲存储器内所存储的视频数据，是否存在视频数据时间戳大于经过时间与第2一定时间的和的视频数据；(e)如果存在，则对相关的视频数据进行解码，存储在第2缓冲存储器内，然后从(b)步骤开始进行反复。本发明在实时性受到限制的情况下也能实现音频和视频流的同步播放。

Description

多媒体数据的同步播放方法

(1)技术领域

本发明是指在实时性得不到保障的环境下，用于将RTP(实时位置)接收到的视频数据和音频数据同步播放的一种多媒体数据的同步播放方法。

(2)背景技术

流式数据多媒体，通常是使用实时传输协议(real-time transportprotocol)的。在这种情况下，音频和视频数据分别装载着相互不同的数据包，而且各数据包包含有用于显示该数据包内的数据必须什么时候播放的时间戳。一般的多媒体流服务器是按照该时间戳信息来决定各数据包的发送顺序及时间的。例如，如果说音频数据包的产生周期是a秒，视频数据包的产生周期是v秒，那么，一般的流式数据服务器在开始串流后，音频数据包每a秒、视频数据包每v秒就向数据流播放器(streaming player)发送。

如上所述，大部分提供多媒体流式数据服务的系统都是在有时间戳值的情况下执行同步。目前，提供多媒体流式服务的系统所采用的同步方法有：针对接收到的视频/音频数据，每当解码时就要检查同步情况，以根据各数据的相位变化来完成缓冲和跳读的方法。但是，这种方法的问题在于：需要对执行实际同步的系统进行性能评价，而且因时间检查而造成系统资源的浪费。另外，不仅需要使对视频/音频数据进行编码的时点与对视频/音频信号进行解码的时点的时间值差保持一定，而且还需要使视频/音频解码时点与实际表示时点的时间值差保持一定，所以当两个差值超过或者低于一定的临界值时，在画面跳读或反复调整同步的情况下，为了保持一定的时间值，将生成很多的计算和必需的反复，还会导致由跳读所带来的抖动(Jitter)。

而且，在视频/音频数据两种数据中设定标准流，来使同步符合更准确的数据流的情况下，当达到标准的标准流无法符合同步时，将无法全部实现同步。

另外，在求出视频/音频的比特率(Bit Rate)平均值，来使视频和音频的平均数据量混合发送的情况下，以平均的视频和音频数据量来实现同步，不可能实现真正的同步。因此，流式数据多媒体服务的同步只有在构成实际多媒体的文件的同步互相实现调合，才能发挥出真正的同步性能，提高同步效率，轻而易举实现同步，防止为同步而产生资源浪费。

RTP/RTSP是流式数据服务的标准协议，RTSP的作用是通过TCP/IP接收并发送对数据流控制(Stream Control)的指令，而RTP则通过UDP接收实际音频/视频数据。此时，通过RTP将要接收的音频和视频数据由于是分别通过另外的连接进入的，所以在接收并播放它时需要将这两种数据同步。

假若是实时性能够得到保障的系统，即使针对音频和视频流分别设置一个数据提示(Cue)和计时器来播放动影像，也会因计时器的精确度高，而能使视频和音频同步。

下面将参照附图对在实时性得到保障的环境下将音频和视频流同步的方法进行说明。

图1是现有的在实时性得到保障的环境下将音频和视频数据同步播放的系统构成概略方块图。

参照图1，在实时得到保障的环境下将音频和视频数据同步播放的系统包括：接收部100，多路分解部110，第1、第2缓冲存储器120a、120b，视频解码器130，音频解码器140，第1、第2计时器150a、150b，显示部160，扬声器170。

上述接收部100负责接收被传送的多媒体数据，将其发送给多路分解部110。

上述多路分解部110把通过上述接收部100传送的多媒体数据分离成视频数据和音频数据。

上述第1、第2缓冲存储部120a、120b由存储视频数据的第1缓冲存储器120a和存储音频数据的第2缓冲存储器120b构成。

上述视频解码器130在从上述第1缓冲存储器120a中将与时间戳相关的视频数据提取并解码后，通过显示部160进行输出。此时，上述视频解码器130利用第1计时器150a，来判断相关时间是否是对应上述时间戳的时间，并对相关视频数据进行解码。

上述音频解码器140在从上述第2缓冲存储器120b中将与时间戳相关的视频数据提取并解码后，通过扬声器170进行输出。此时，上述音频解码器140利用第2计时器150b，来判断相关时间是否是对应上述时间戳的时间，并对相关音频数据进行解码。

但是，如上所述，目前存在的问题是：在实时性得不到保障的环境下，由于计时器的时间间隔不一定，所以根本无法保障同步。

(3)发明内容

本发明的目的在于解决上述问题，提供一种在实时性得不到保障的环境下仍能实现视频和音频流同步的多媒体数据的同步播放方法。

为了实现上述目的，本发明提供的多媒体数据的同步播放方法，是指由第1缓冲存储器、第2缓冲存储器构成的系统在实时性得不到保障的环境下播放视频数据的方法，它包括以下几个步骤：(a)如果计时器驱动，则计算经过时间的步骤；(b)确认上述第2缓冲存储器内所存储的视频数据，判断是否存在视频数据时间戳大于上述计算出的经过时间和第1一定时间的差，还是小于上述经过时间和第1一定时间的差的视频数据的步骤；(c)如果上述判断结果是存在满足上述条件的视频数据，则播放与上述时间戳相关的视频数据的步骤；(d)确认上述第1缓冲存储器所存储的视频数据，判断是否存在视频数据时间戳大于经过时间与第2一定时间的和的视频数据的步骤；(e)上述判断结果如果是满足上述条件的视频数据存在，则对与上述时间戳相关的视频数据进行解码，存储在第2缓冲存储器内，然后从(b)步骤开始进行反复。

上述第1缓冲存储器负责存储接收的视频数据，而上述第2缓冲存储器负责存储解码的视频数据。

从另一方面，本发明所指的多媒体数据的同步播放方法，是指由第3、第4缓冲存储器构成的系统在实时性得不到保障的环境下播放音频数据的方法，它包括以下几个步骤：如果接收到音频数据，则驱动计时器，同时将上述音频数据存储在第3缓冲存储器内的步骤；对上述第3缓冲存储器内所存储的音频数据进行解码，再发送给第4缓冲存储器的步骤；判断在发送给上述第4缓冲存储器的音频数据中是否存在时间戳是缓冲时间以后的音频数据的步骤；上述判断结果如果是存在上述时间戳是缓冲时间以后的音频数据，则播放相关音频数据的步骤。

上述缓冲时间是指对上述音频数据进行解码，再存储到第4缓冲存储器内的时间。

本发明的效果：

综上所述，本发明的多媒体数据的同步播放方法能够提供一种在实时性受到限制的情况下仍能体现音频和视频流同步播放的多媒体数据同步播放方法。

而且，本发明能够提供的多媒体数据同步播放方法可最低限度地减少计时器和系统资源的使用，适合应用于便携式终端机等系统资源严重受限的地区。

另外，本发明能够提供的多媒体数据同步播放方法在视频帧间隔不一定的情况下无需追加设置也能使用。

为进一步说明本发明的上述目的、结构特点和效果，以下将结合附图对本发明进行详细的描述。

(4)附图说明

图2是本发明实施例所指的在实时性得不到保障的环境下将视频和音频数据同步播放的系统构成概略方块图。

图3是本发明实施例所指的音频数据播放方法流程图。

图4是本发明实施例所指的视频数据播放方法流程图。

附图中主要部分的符号说明：

100、200：接收部 110、210：多路分解(Demultiplexing)部

120a、120b、220a、220b、260a、260b：缓冲存储器

130、230：视频解码器

140、240：音频解码器 150a、150b、250a、250b：计时器

160、270：显示部 170、280：扬声器

(5)具体实施方式

下面将参照附图，对本发明的多媒体数据的同步播放方法的实施例进行详细说明。

图2是本发明实施例所指的在实时性得不到保障的环境下用于将视频和音频数据同步播放的系统构成概略方块图。

参照图2，在实时性得不到保障的环境下用于将视频和音频数据同步播放的系统包括：接收部200；多路分解部210；缓冲存储器220a、220b、260a、260b；视频解码器230；音频解码器240；第1计时器250a、第2计时器250b；显示部270；扬声器280。

上述接收部200负责接收传送的多媒体数据，再发送给多路分解部210。

上述多路分解部210把从上述接收部200传送的多媒体数据分离成视频数据和音频数据。

上述缓冲存储器220a、220b、260a、260b包括：存储从上述多路分解部210传送的视频数据的第1缓冲存储器220a、存储音频数据的第3缓冲存储器220b、存储从上述视频解码器230中解码的数据的第2缓冲存储器260a、存储从上述音频解码器240中解码的数据的第4缓冲存储器260b。

上述视频解码器230对位于上述第1缓冲存储器220a内的视频数据进行解码。

上述音频解码器240对位于上述第3缓冲存储器220b内的音频数据进行解码。

上述第2缓冲存储器260a存储从上述视频解码器中解码的数据，再利用上述第1计时器250a，判断相关时间是否是与上述时间戳对应的时间，通过上述扬声器280输出相关被解码的数据。

下面对具有如上构成的系统的操作情况进行说明。

音频计时器——第2计时器250b每当音频的帧间隔就启动，而视频计时器——第1计时器250a每当视频的帧间隔就启动，上述计时器的启动间隔可根据需要有所不同。

上述第2计时器250b在接收音频数据的同时开始工作，于是，上述音频解码器240在所给的缓冲时间内仅进行解码，不进行播放，而缓冲时间过后则进行解码的同时开始播放操作。因为计时器的时间间隔不一定，所以经过缓冲时间后首先对不变部分进行解码。视频计时器250a直到开始播放被解码的音频时才会启动。

音频若开始播放，则以一定速度播放第4缓冲存储器260b内的音频数据。如果把解码的音频数据继续放入第4缓冲存储器内的话，播放将继续进行。但是，视频数据如果放入第2缓冲存储器260a内播放一次的话，则是不应该继续出现在画面上的，而是应该直接留在画面上的，所以具有与音频不同的结构。

下面对视频数据播放方法进行说明。

视频数据由于计时器的时间间隔不一定，所以每次计时器呼叫时都在播放时间后计算经过时间，并将其用于播放。如果第1计时器250a开始运行，则首先从显示在画面的部分开始启动。

即，上述视频解码器230在第1计时器250a开始工作前，事先将最先显示在画面上的视频数据解码，存储在上述第2缓冲存储器260a内，然后，如果计时器计时器250a开始工作，则显示第2缓冲存储器内所存储的视频。

而且，在显示上述第2缓冲存储器内260a存储着的视频数据时，并不是无条件按顺序显示，而是选择在当前经过时间帧数据时间戳位于一定间隔以下的进行显示，并丢弃之前的帧数据。

如上所述，如果第1计时器250a开始工作，显示第1画面的话，上述视频解码器230对存储在上述第1缓冲存储器内的220a的视频数据进行解码。解码时，把流式数据的时间戳同当前经过时间进行比较，仅执行位于一定时间前的。

同对音频数据解码时不同的是，利用时间戳和经过时间来决定要解码的流，其理由是：如果每当计时器呼叫时对一个帧的视频数据进行解码的话，那么当计时器呼叫的时间比用户所要的时间间隔长时，将无法进行显示，而计时器呼叫的时间间隔比用户所要时间间隔短时，第2缓冲存储器260a内将会产生溢出(Overflow)。而且，经解码的视频数据的大小比音频大很多，所以为了少用系统的存储器资源，需要设置时间限制来进行解码。

图3是本发明实施例所指的音频数据播放方法流程图。

S300、S302，参照图3，系统如果接收到音频数据，则将驱动第2计时器，同时将上述接收到的音频数据存储在第3缓冲存储器内。

S304、S306，然后，上述系统对存储在第3缓冲存储器内的音频数据进行解码，并将上述经解码的音频数据存储在第4缓冲存储器内。

S308，之后，上述系统判断是否存在相关音频时间戳(Time Stamp)是缓冲时间以后的。此时，上述缓冲时间是指将上述音频数据进行解码，将其存储在第4缓冲存储器内的时间。

S310，如果308步骤的判断结果是存在音频数据时间戳是缓冲时间以后的，上述系统则播放在上述缓冲时间存储在上述第4缓冲存储器内的音频数据。

图4是本发明实施例所指的视频数据播放方法流程图。

S400、S402，参照图4，如果第1计时器驱动，系统则将计算经过时间。

S404，然后，上述系统确认第2缓冲存储器内所存储的视频数据。

S406，判断在上述存储的视频数据中是否存在时间戳大于经过时间-Δ1的视频数据，即，视频数据时间戳是否大于上述已计算的经过时间与第1一定时间的差的视频数据。在这里，上述第2缓冲存储器内存储着经过解码的视频数据。上述Δ1可以是由用户事先设定的时间。

S408，在S406步骤的判断结果如果是在上述视频数据中存在时间戳大于经过时间-Δ1的视频数据，上述系统则判断是否存在上述时间戳小于经过时间+Δ1的视频数据，即，视频数据时间戳是否小于上述经过时间和上述第1一定时间差的视频数据

S410，在S408步骤的判断结果如果是在上述第2缓冲存储器内所存储的视频数据中存在时间戳小于经过时间+Δ1的视频数据，上述系统则播放与上述时间戳相关的视频数据。

S412，然后，上述系统确认第1缓冲存储器内所存储的视频数据。

S414，判断是否存在时间戳小于经过时间+Δ2的视频数据，即，是否存在视频数据时间戳大于经过时间和第2一定时间的和的视频数据。上述Δ2可以是由用户事先设定的时间。

S416，在S414判断结果如果是存在时间戳小于经过时间+Δ2的视频数据，上述系统则对与上述时间戳有关的视频数据进行解码。

S418，然后，上述系统把上述经过解码的视频数据存储在第2缓冲存储器内。

S420，假如S414判断结果是不存在时间戳小于经过时间+Δ2的视频信号，上述系统则将结束第1计时器工作。

假如S406判断结果是在上述第2缓冲存储器内所存储的视频数据中不存在时间戳大于经过时间-Δ1的视频数据，上述系统则执行S404步骤。

假如S408步骤判断结果是上述第2缓冲存储器内所存储的视频数据中不存在时间戳小于经过时间+Δ1的视频数据，上述系统则将执行S412步骤。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明权利要求书的范围内。

Claims

1、一种多媒体数据的同步播放方法，是指配备有第1缓冲存储器、第2缓冲存储器的系统在实时性得不到保障的环境下仍能播放视频数据的方法，其特征在于包括以下几个步骤：

(a)如果计时器驱动，则计算经过时间的步骤；

(b)确认上述第2缓冲存储器内所存储的视频数据，判断是否存在视频数据时间戳大于上述已计算的经过时间与第1一定时间的差，还是小于上述经过时间和上述第1一定时间差的视频数据的步骤；

(c)上述判断结果如果是存在满足上述条件的视频数据，则播放与上述时间戳相关的视频数据的步骤；

(d)确认上述第1缓冲存储器内所存储的视频数据，判断是否存在视频数据时间戳大于经过时间和第2一定时间的和的视频数据的步骤；

(e)上述判断结果如果是存在满足上述条件的视频数据，则对与上述时间戳相关的视频数据进行解码，并存储在上述第2缓冲存储器内，然后从上述(b)步骤开始重复的步骤。

2、如权利要求1所述的多媒体数据的同步播放方法，其特征在于：

所述的第1缓冲存储器内存储着接收到的视频数据。

3、如权利要求1所述的多媒体数据的同步播放方法，其特征在于：

所述的第2缓冲存储器内存储着经过解码的视频数据。

4、如权利要求1所述的多媒体数据的同步播放方法，其特征在于：

所述的第1一定时间与第2一定时间差是由用户事先设定的值。

5、一种多媒体数据的同步播放方法，是指配备有第3缓冲存储器、第4缓冲存储器的系统在实时性得不到保障的环境下仍能播放音频数据的方法，其特征在于包括以下几个步骤：

如果接收到音频数据，则驱动计时器，同时将上述音频数据存储在第3缓冲存储器内的步骤；

对上述第3缓冲存储器内所存储的音频数据进行解码，再传送给第4缓冲存储器的步骤；

判断在传送给上述第4缓冲存储器的音频数据中时间戳是缓冲时间以后的音频数据是否存在的步骤；

上述判断结果如果是存在上述时间戳是缓冲时间以后的音频数据，则播放相关音频数据的步骤。

6、如权利要求5所述的多媒体数据的同步播放方法，其特征在于：

所述的缓冲时间是指对所述的音频数据进行解码，再存储到第4缓冲存储器内的时间。