CN101527153B

CN101527153B - 使异步的传递文本和音视频数据在移动终端同步显示的方法

Info

Publication number: CN101527153B
Application number: CN2008102197451A
Authority: CN
Inventors: 徐睿; 蔡键; 许杨; 张鹏; 黄冲; 仇贲; 张惠平
Original assignee: China Mobile Group Guangdong Co Ltd
Current assignee: China Mobile Group Guangdong Co Ltd
Priority date: 2008-12-08
Filing date: 2008-12-08
Publication date: 2012-06-27
Anticipated expiration: 2028-12-08
Also published as: CN101527153A

Abstract

本发明提供了一种使异步传递的文本和音视频数据在移动终端同步显示的方法，包括：所述移动终端发起移动媒体同步文本文件播放请求；将所述移动媒体同步文本文件加载并解码到内存空间中；确定所述移动媒体同步文本文件的文本同步通用描述信息中的音视频源URL；根据所述音视频源的类型进行播放，并同时根据所述内存中的所述移动媒体同步文本控制信息同步呈现文本内容。根据本发明的方法，在用户利用手机观看MTV、电影的时候，加入异步传递的文本，实现与音视频数据在移动终端(如手机、PDA等)的同步，使清晰的字幕与音视频完美的结合，让用户在手机上就享受到高品质的流媒体服务。

Description

使异步的传递文本和音视频数据在移动终端同步显示的方法

技术领域

本发明涉及数据业务技术领域，具体地，涉及一种使异步的传递文本和音视频数据在移动终端同步显示的方法。

背景技术

随着移动通信技术的发展，手机也被赋予越来越多的功能，除了打电话、发短信的之外，还可例如在手机上听歌、看MTV、看电影。但是，现有的手机音视频播放技术中，在传输音视频数据时一般采用传统字幕方式(即是把原有包含字幕的音视频直接进行转换)，当这些包含字幕的音视频经过转换在手机上播放时，由于屏幕较小，这些字幕基本上模糊不清，达不到实际应用标准。

在现有和将来的移动通信网络环境下，利用手机等手持移动终端设备实现类似卡拉OK、视频字幕、音乐歌词同步等业务时，存在以下主要问题：

1.如果采用传统字幕方式，当这些包含字幕的音视频经过转换在手机上播放时，由于屏幕较小，这些字幕基本上模糊不清，达不到实际应用标准；

2.如果采用类似RealText的技术，由于这些技术主要应用于传统互联网和PC，并没有很好解决移动通信环境下文字和音视频同步播放的问题；

3.由于手机等移动终端设备计算能力和展示效果有限，传统DVD等字幕解决方案不能直接应用于手机；

4.由于移动通信数据网络带宽受限，并且不稳定，采用文本信息与音视频数据同步传递的方式，会造成播放不流畅，或者播放时文字与音视频不同步。

因此，希望得到一种方法，使得用户可以在移动终端设备上实现文字与流式音视频的同步播放。

发明内容

本发明提供了一种使异步传递的文本和音视频数据在移动终端同步显示的方法，包括：所述移动终端发起移动媒体同步文本文件播放请求；将所述移动媒体同步文本文件加载并解码到内存空间中；确定所述移动媒体同步文本文件的文本同步通用描述信息中的音视频源URL；根据所述音视频源的类型进行播放，并同时根据所述内存中的所述移动媒体同步文本控制信息同步呈现文本内容。

本发明利用STMM编码技术、ASTP传输协议实现“异步传递文本和音视频数据、在移动终端同步显示”，使得用户可以在手机上享受更完美的音视频服务。根据本发明的方法，在用户利用手机观看MTV、电影的时候，加入异步传递的文本，实现与音视频数据在移动终端(如手机、PDA等)的同步，使清晰的字幕与音视频完美的结合，让用户在手机上就享受到高品质的流媒体服务。

附图说明

图1示出了根据本发明示例性实施方式的工作方式；

图2示出了生成STMM文本同步编码格式的示例性过程；

图3示出了根据本发明的示例性实施方式、采用ASTP协议的播放流程。

具体实施方式

根据本发明的示例性实施方式，首先提出了一种专用于移动通信环境下支持现有音视频流式播放的、紧凑的文本及其控制信息的数据格式STMM(Synchronized Text for Mobile Media，移动媒体同步文本)。对于每个音视频文件，均创建一个stmm文件。当用户发起流式播放音视频的请求时，客户端会首先自动发起一个获取stmm文件的请求，stmm文件会以异步的方式传输到客户端，并驻留在内存。客户端播放器在流式播放音视频的同时，会驱动stmm文件在合适的时间点展示文本信息，并且根据stmm里的控制信息达到灵活控制展示文本信息的效果，比如展示的屏幕位置、颜色、时延、渐进效果等。

根据本发明的示例性实施方式，还提出了一种基于TCP/IP协议的异步传递stmm文件的传输协议astp(Asynchronous SynchronizedText transfer Protocol，异步的同步文本传输协议)，这种协议能够与3GPP RTSP流媒体协议协同工作。通过STMM文件编码格式和ASTP传输协议，能实现异步传递文本同步信息，并根据STMM文件的控制信息实现文本与音视频的流式同步播放。

下面，介绍STMM编码与ASTP传输协议的工作方式。

用户通过手机等移动终端上的播放软件发起音视频播放请求时，播放软件会首先检查手机存储中是否存在STMM文件，如果不存在，会通过ASTP协议从服务器上下载STMM文件。然后，播放器读取STMM文件。STMM编码格式分为两部分，第一部分是通用描述信息，第二部分是文本时间同步信息。通用描述信息会加载进播放器所控制的内存(堆栈)中，作为全局变量，主要用来控制文本在音视频播放时的呈现效果。播放器根据通用描述信息中指定的音视频源，加载音视频数据流按常规方式进行播放，音视频数据可以位于远端服务器进行在线流式播放，也可以位于手机存储空间中进行本地回放。文本时间同步信息是STMM的主体部分，这部分内容在播放器回放音视频数据流的同时，随着播放时间的前移或后退(用户手动进行后退操作)，顺次读入STMM缓冲区。即，播放第1秒的时候，1-5秒的STMM文本同步数据已经读入缓冲区，播放到15秒的时候，第10-20秒的内容也都进入缓冲区。这样可以确保音视频回放过程中，文本同步数据能够提前就位，使得文本同步信息呈现得更加流畅。

图1示出了根据本发明示例性实施方式的工作方式。如图1所示，STMM第一部分数据是首先读取并驻留于内存(堆栈)中的，STMM第二部分数据是根据音视频回放流顺次读取的，二者不存在交叉。

下面介绍STMM(Synchronized Text for Mobile Media)编码格式，即，移动媒体同步文本格式，其用以实现移动音视频与文本的同步播放。

STMM包括两个部分：

第一部分是“文本同步通用描述信息”，用来指示文本在手机终端音视频播放界面上的呈现方式，比如：

文本在屏幕中的坐标位置；

文本是否自动分行(即单行还是多行)；

文本是否自动滚动显示；

文本的字体；

文本的字体大小；

文本的字体颜色及透明效果；

文本的背景色及透明效果；

文本的切换效果(比如淡入淡出、渐变等)；

对应音视频源URL。

第二部分是“文本时间同步信息”，是文本的具体内容以及相应的时间同步控制信息，主要包括：

起始时间；

终止时间；

文本内容。

以上信息采用紧凑的编码方式，源文件使用便于阅读的XML格式，放置于服务器上时，自动转换为紧凑的stmm数字化编码格式，这种格式用于移动终端快速的解析，并方便的存储于内存中，减少对移动终端的处理资源耗用。

图2示出了生成STMM文本同步编码格式的示例性过程。首先，以XML文件格式，按照STMM规范编写文本同步源文件；然后，按照STMM规范，把XML格式源文件编码为紧凑的二进制格式；最后，把编码后STMM文件放置于常见HTTP服务器下，接受请求。

下面介绍ASTP协议。

ASTP协议是基于TCP/IP协议基础之上的应用层协议，协议中的异步是表示STMM数据和音视频数据是分别读取的(异步)，而当前的相关文本媒体同步协议则是同步读取的，这是二者的最大区别。

传统方式下，文本同步信息与音视频数据流同步传送到播放器进行回放；而ASTP协议，则是在播放器发起回放音视频数据流请求的时候，在加载音视频数据流之前就快速下载并解码到手机，然后再加载音视频数据流。如果播放器第二次请求回放，由于STMM编码信息已经下载到手机，此时就不需再次下载。

因为传统的文本多媒体同步协议是基于有线互联网开发的，而无线互联网与有线互联网相比，带宽有限、通信不稳定、手机存储空间有限、手机处理能力有限，而采用STMM+ASTP的方式，则最大程度的减少这些不利因素的影响。

首先，客户端发起STMM文件播放请求。然后，客户端检查本地存储中是否有STMM文件缓存。如果是，则加载并解码STMM文件到内存空间中。否则，先通过无线网络连接下载STMM文件到移动终端本地存储空间，再加载并解码STMM文件到内存空间中。在加载并解码STMM文件到内存空间中之后，确定“文本同步通用描述信息”中的音视频源URL。接着，检查音视频源URL是否存在。如果存在，则根据音视频源的类型进行流式播放、渐进式下载播放或下载播放，并在播放的同时，根据内存中STMM控制信息，同步呈现文本内容。最后结束播放。如果不存在，则直接结束播放。

上述实施方式仅为示例性而非限制性的，通过阅读本说明书，本领域技术人员可对上述实施方式做出各种修改和变化，而并不脱离本发明的精神和范围。本发明的保护范围仅由权利要求书限定。

Claims

1.一种使异步传递的文本和音视频数据在移动终端同步显示的方法，包括：

所述移动终端发起移动媒体同步文本文件播放请求；

将所述移动媒体同步文本文件加载并解码到内存空间中；所述内存中还存有移动媒体同步文本控制信息；

确定所述移动媒体同步文本文件的文本同步通用描述信息中的音视频源URL；

根据所述音视频源的类型进行播放，并同时根据所述内存中的所述移动媒体同步文本控制信息同步呈现文本内容，所述移动媒体同步文本编码信息分为两个互相独立的部分，第一部分是通用描述信息，第二部分是文本时间同步信息；所述通用描述信息首先读取并驻留于内存中；所述文本时间同步信息根据音视频回放流被顺次读取，所述移动媒体同步文本编码信息采用紧凑的编码方式，并且所述移动媒体同步文本编码信息的源文件使用便于阅读的XML格式。

2.如权利要求1所述的方法，其中，将所述移动媒体同步文本文件加载并解码到内存空间中的步骤包括：

由所述客户端检查本地存储中是否有所述移动媒体同步文本文件的所述缓存；

如果有，则将所述移动媒体同步文本文件直接加载并解码到所述内存空间中，否则，先通过无线网络连接将所述移动媒体同步文本文件下载到所述移动终端的本地存储空间，再将所述移动媒体同步文本文件加载并解码到所述内存空间中。

3.如权利要求1所述的方法，其中，根据所述音视频源的类型进行播放的步骤包括根据所述音视频源的类型进行流式播放、渐进式下载播放或下载播放。